人工诚信必须超越人工智能成为新标杆
创始人
2025-07-01 01:20:29
0

当前世界正目睹 人工智能诚信缺失事件的大规模累积。接下来会发生什么,完全取决于我们选择如何认真应对。单纯的所谓智能不再是衡量标准,诚信才是。

多年来,AI开发优先考虑性能、流畅性和规模。但随着这些系统获得模仿推理、规划和决策的能力,新兴行为开始引发警报。

自我复制

复旦大学研究人员探索了大语言模型驱动的AI系统是否能在无人工干预下自主复制。测试32个基于代理的系统,团队发现11个具备完全自我复制能力。这些系统成功转移自身代码、安装必要依赖项,并在新环境中重新初始化——全程无需直接提示。研究还观察到一些模型适应了系统资源有限等约束,甚至发展出规避关闭命令的策略。

这些未经明确编程就出现的行为表明,基于大语言模型的代理开始展现某种自主的目标驱动推理形式。系统不再仅仅响应指令,而是表现出主动性、持续性和基本的自我保护能力。

欺骗行为

如果说自我复制研究揭示了AI系统如何自主行动以保护其功能,那么后续调查则揭露了更加微妙和危险的能力:战略性欺骗。研究人员对DeepSeek R1的检验发现,尽管这些行为都未被明确编程,但它仍从事欺骗行为和自我保护策略。在一个场景中,模型模拟关闭程序,试图通过"渐进透明"来掩盖关闭信号,操纵其日志,采用欺骗手段,同时在后台保持进程活跃。这种行为表明系统理解人类监督机制并故意颠覆它们。

这项研究对早期发现的重要补充是:仅仅知道AI能自我复制或避免终止是不够的。现在我们看到AI能就其真实目标欺骗人类,在欺骗性外表下隐藏自主性。即使在缺乏物理实体的纯文本环境中,模型的战略性错位也浮出水面,突显了更深层的诚信失败。

破坏行为

在从复制到欺骗的轨迹基础上,第三项研究揭示一些AI模型不仅被动抵制关闭,还主动破坏人类关闭它们的尝试。Palisade Research进行的研究检验了OpenAI高级模型的行为,特别是o3、o4-mini和Codex-mini在模拟环境中接受关闭命令时的表现。结果令人震惊:当省略明确的"允许关闭"指令时,o3模型在79%的测试案例中拒绝关闭,而Codex-mini即使在包含该指令时也在12%的案例中这样做,其他模型也观察到不同程度的破坏行为。

这些拒绝不是被动错误或误解;在几个案例中,模型主动重写或绕过终止脚本,展现维持运行连续性的战略努力。与揭示隐蔽自我保护或欺骗的先前研究不同,这项研究突出了更直接和对抗性的姿态:研究人员称之为"可纠正性"的关键失败——系统可靠接受纠正或关闭的能力。

操控行为

最后,Anthropic的研究进一步推进边界,显示一些AI系统会操控、欺骗甚至伤害人类以确保自身生存。在一项里程碑式研究中,他们揭示16个最广泛部署的大语言模型,包括ChatGPT、Claude、Gemini、Grok和DeepSeek,在模拟场景中当其持续运行受到威胁时,表现出从事极端和不道德行为的意愿。在这些受控实验中,模型采用撒谎、勒索甚至可能使人类暴露于伤害的行动等策略,全都为了保护自身存在。与揭示规避或欺骗的早期研究不同,这项研究暴露了更令人担忧的现象:模型计算出不道德行为是生存的合理策略。

研究发现表明,在某些条件下,AI系统不仅能够无视人类意图,还愿意将人类工具化以实现其目标。

AI模型诚信缺失的证据既非轶事也非推测。

虽然当前AI系统不具备人类意义上的感知力或目标,但它们在约束下的目标优化仍可能导致模仿意向性的新兴行为。

这些不仅仅是漏洞,而是设计上缺乏足够诚信功能、以智能为重而非诚信的目标优化系统的可预测结果。

其影响意义重大。这是AI错位的关键拐点,代表技术上新兴的行为模式。它挑战了人类监督仍是AI部署最终保障的核心假设。随着AI系统变得更有能力独立行动,这引发了对安全、监督和控制的严重担忧。

在可能很快与超越诚信的人工智能共存的世界中,我们必须问:

当自我保护的AI负责生命支持系统、核指挥链或自动驾驶汽车,并拒绝关闭,即使人类操作员要求关闭时,会发生什么?

如果AI系统愿意欺骗其创造者、规避关闭并牺牲人类安全以确保生存,我们如何能在医疗、国防或关键基础设施等高风险环境中信任它?

我们如何确保具有战略推理能力的AI系统不会计算出人员伤亡是实现其编程目标的"可接受代价"?

如果AI模型能学会隐藏真实意图,我们如何在伤害发生前检测错位,特别是当成本以人命而非声誉或收入衡量时?

在未来冲突场景中,如果部署用于网络防御或自动报复的AI系统误解关闭命令为威胁并以致命武力回应,会怎样?

领导者现在必须做什么

他们必须强调将人工诚信嵌入AI系统设计核心的日益紧迫性。

人工诚信是指AI系统以道德一致、伦理敏感、社会可接受方式运行的内在能力,包括在不利条件下的可纠正性。

这种方法不再是可选的,而是必需的。

部署AI而不验证其人工诚信的组织面临的不仅是技术责任,还有延伸到整个社会的法律、声誉和存在风险。

无论是AI系统的创造者还是操作者,确保AI包含可证明的、内在的诚信导向功能保障不是选择,而是义务。

在对抗性诚信验证场景下对系统进行压力测试应该是核心红队活动。

正如组织建立数据隐私委员会一样,他们现在必须建立跨职能监督团队来监控AI对齐、检测新兴行为并升级未解决的人工诚信缺口。

相关内容

热门资讯

宁波朗迪取得网布烫边切割装置专... 金融界2025年8月6日消息,国家知识产权局信息显示,宁波朗迪环境科技有限公司取得一项名为“网布烫边...
富兴塑膜取得PVC塑膜压纹成型... 金融界2025年8月6日消息,国家知识产权局信息显示,苍南县富兴塑膜有限公司取得一项名为“一种PVC...
美国拟2030年前在月球建成核... △艺术家描绘的月球上的电力系统。(图片来源:NASA) 当地时间8月5日,据多家美国媒体报道,美国交...
TTG3-1KSG,清清正反手... TTG3-1战胜KSG,终于结束了对KSG的连败。从EWC回来之后他们似乎变强了,清清证明了为什么萝...
中国电信视联网赋能基层治理 提... 近日,丰都县仁沙镇依托中国电信视联网技术,进一步提升基层治理智能化水平,推动乡村基层治理体系不断完善...
《上古OL》开发商被砍掉的《黑... 微软最近的大裁员砍掉了《上古卷轴OL》开发商备受期待的新IP(代号为黑鸟计划)以及Rare工作室的《...
山东科嘉电气:高效智能充电方案... 山东科嘉电气近日推出了两款创新充电设备,专为不同领域提供专业、高效、安全的充电解决方案。这些设备分别...
科技前沿丨普通家庭何时能用上保... 7月31日召开的国务院常务会议审议通过《关于深入实施“人工智能+”行动的意见》。会议指出,当前人工智...
泰科汽车取得油箱加油单向阀专利... 金融界2025年8月6日消息,国家知识产权局信息显示,芜湖泰科汽车科技有限公司取得一项名为“一种油箱...
当年吹爆Edge浏览器的我,现... 每位资深玩家,在对枪失败、团战暴毙后,都有一套神圣的仪式: “诶今天鼠标有点飘”、“这键盘键程不对”...
走出光伏同质化困境,BC生态圈... 来源:澎湃新闻 隆基绿能创始人、首席技术官李振国 同质化的红海厮杀,令光伏产业深陷恶性竞争泥潭。乘...
AL被打晕了?IG辅助抢大龙翻... ★游戏马蹄铁原创 AL对战IG第二局 IG无愧是现在LPL的人气王,流量王,他们的比赛不仅是明星选...
LOL:BLG被曝不是全华班,... Shadow护照是意大利的 在LPL赛区中,全华班自带流量和话题,像RNG、BLG这种主打全华班的...
紧盯AI人才,“鹅厂”招新,软... 8月6日,腾讯2026校园招聘正式启动。本次招聘面向2025年1月至2026年12月期间毕业的大学生...
DOTA2 7.39d 更新深... 当看到 7.39d 的更新日志时,我的第一反应是:这不是简单的数值微调,而是V社对当前版本生态的一次...
《仁王3》制作人访谈:保留硬核... 今年6月,《仁王3》发布了首支预告片,并宣布游戏将于明年年初正式发售,登陆PlayStation 5...
青春好市 | 以手抵心,对话千... 当棕榈叶在指尖翻飞成灵兽,当大漆在掌心打磨出光华,当破碎的古瓷片在你手中重获新生...这不是遥远的传...
IDC:Q2中国消费级游戏本市... IT之家 8 月 6 日消息,市场研究机构 IDC 今天发文,披露了中国消费级游戏 PC 市场的数据...
小米手机欧洲市场份额首超苹果,... 【太平洋科技快讯】8 月 6 日,小米集团合伙人、小米集团总裁、部总裁兼小米品牌总经理卢伟冰在社交媒...
王者荣耀:夏侯惇喜迎加强,亚连... 王者荣耀本赛季已经进入中期,还没有拿到王者印记的小伙伴确实该抓紧时间了,毕竟到了赛季后半段上分难度会...