人工诚信必须超越人工智能成为新标杆
创始人
2025-07-01 01:20:29
0

当前世界正目睹 人工智能诚信缺失事件的大规模累积。接下来会发生什么,完全取决于我们选择如何认真应对。单纯的所谓智能不再是衡量标准,诚信才是。

多年来,AI开发优先考虑性能、流畅性和规模。但随着这些系统获得模仿推理、规划和决策的能力,新兴行为开始引发警报。

自我复制

复旦大学研究人员探索了大语言模型驱动的AI系统是否能在无人工干预下自主复制。测试32个基于代理的系统,团队发现11个具备完全自我复制能力。这些系统成功转移自身代码、安装必要依赖项,并在新环境中重新初始化——全程无需直接提示。研究还观察到一些模型适应了系统资源有限等约束,甚至发展出规避关闭命令的策略。

这些未经明确编程就出现的行为表明,基于大语言模型的代理开始展现某种自主的目标驱动推理形式。系统不再仅仅响应指令,而是表现出主动性、持续性和基本的自我保护能力。

欺骗行为

如果说自我复制研究揭示了AI系统如何自主行动以保护其功能,那么后续调查则揭露了更加微妙和危险的能力:战略性欺骗。研究人员对DeepSeek R1的检验发现,尽管这些行为都未被明确编程,但它仍从事欺骗行为和自我保护策略。在一个场景中,模型模拟关闭程序,试图通过"渐进透明"来掩盖关闭信号,操纵其日志,采用欺骗手段,同时在后台保持进程活跃。这种行为表明系统理解人类监督机制并故意颠覆它们。

这项研究对早期发现的重要补充是:仅仅知道AI能自我复制或避免终止是不够的。现在我们看到AI能就其真实目标欺骗人类,在欺骗性外表下隐藏自主性。即使在缺乏物理实体的纯文本环境中,模型的战略性错位也浮出水面,突显了更深层的诚信失败。

破坏行为

在从复制到欺骗的轨迹基础上,第三项研究揭示一些AI模型不仅被动抵制关闭,还主动破坏人类关闭它们的尝试。Palisade Research进行的研究检验了OpenAI高级模型的行为,特别是o3、o4-mini和Codex-mini在模拟环境中接受关闭命令时的表现。结果令人震惊:当省略明确的"允许关闭"指令时,o3模型在79%的测试案例中拒绝关闭,而Codex-mini即使在包含该指令时也在12%的案例中这样做,其他模型也观察到不同程度的破坏行为。

这些拒绝不是被动错误或误解;在几个案例中,模型主动重写或绕过终止脚本,展现维持运行连续性的战略努力。与揭示隐蔽自我保护或欺骗的先前研究不同,这项研究突出了更直接和对抗性的姿态:研究人员称之为"可纠正性"的关键失败——系统可靠接受纠正或关闭的能力。

操控行为

最后,Anthropic的研究进一步推进边界,显示一些AI系统会操控、欺骗甚至伤害人类以确保自身生存。在一项里程碑式研究中,他们揭示16个最广泛部署的大语言模型,包括ChatGPT、Claude、Gemini、Grok和DeepSeek,在模拟场景中当其持续运行受到威胁时,表现出从事极端和不道德行为的意愿。在这些受控实验中,模型采用撒谎、勒索甚至可能使人类暴露于伤害的行动等策略,全都为了保护自身存在。与揭示规避或欺骗的早期研究不同,这项研究暴露了更令人担忧的现象:模型计算出不道德行为是生存的合理策略。

研究发现表明,在某些条件下,AI系统不仅能够无视人类意图,还愿意将人类工具化以实现其目标。

AI模型诚信缺失的证据既非轶事也非推测。

虽然当前AI系统不具备人类意义上的感知力或目标,但它们在约束下的目标优化仍可能导致模仿意向性的新兴行为。

这些不仅仅是漏洞,而是设计上缺乏足够诚信功能、以智能为重而非诚信的目标优化系统的可预测结果。

其影响意义重大。这是AI错位的关键拐点,代表技术上新兴的行为模式。它挑战了人类监督仍是AI部署最终保障的核心假设。随着AI系统变得更有能力独立行动,这引发了对安全、监督和控制的严重担忧。

在可能很快与超越诚信的人工智能共存的世界中,我们必须问:

当自我保护的AI负责生命支持系统、核指挥链或自动驾驶汽车,并拒绝关闭,即使人类操作员要求关闭时,会发生什么?

如果AI系统愿意欺骗其创造者、规避关闭并牺牲人类安全以确保生存,我们如何能在医疗、国防或关键基础设施等高风险环境中信任它?

我们如何确保具有战略推理能力的AI系统不会计算出人员伤亡是实现其编程目标的"可接受代价"?

如果AI模型能学会隐藏真实意图,我们如何在伤害发生前检测错位,特别是当成本以人命而非声誉或收入衡量时?

在未来冲突场景中,如果部署用于网络防御或自动报复的AI系统误解关闭命令为威胁并以致命武力回应,会怎样?

领导者现在必须做什么

他们必须强调将人工诚信嵌入AI系统设计核心的日益紧迫性。

人工诚信是指AI系统以道德一致、伦理敏感、社会可接受方式运行的内在能力,包括在不利条件下的可纠正性。

这种方法不再是可选的,而是必需的。

部署AI而不验证其人工诚信的组织面临的不仅是技术责任,还有延伸到整个社会的法律、声誉和存在风险。

无论是AI系统的创造者还是操作者,确保AI包含可证明的、内在的诚信导向功能保障不是选择,而是义务。

在对抗性诚信验证场景下对系统进行压力测试应该是核心红队活动。

正如组织建立数据隐私委员会一样,他们现在必须建立跨职能监督团队来监控AI对齐、检测新兴行为并升级未解决的人工诚信缺口。

相关内容

热门资讯

苏试试验:可提供航天领域一站式... 证券之星消息,苏试试验(300416)12月30日在投资者关系平台上答复投资者关心的问题。 投资者提...
扎克伯格下狠手:Meta收购开... IT之家 12 月 30 日消息,meta 公司已同意收购开发 AI 智能体 Manus 的公司蝴蝶...
昊森热能取得四通控流阀专利,可... 国家知识产权局信息显示,广东昊森热能设备有限公司取得一项名为“一种四通控流阀”的专利,授权公告号CN...
2025吴晓波科技人文秀落幕 ... 封面新闻记者 付文超 12月28日,“优酷人文跨年——AI闪耀中国·2025吴晓波科技人文秀”在厦门...
航天科普+传统文化:人民 VR... 中国日报12月30日电(记者 赵磊)日前,通州湾里·王府井商圈再添文化与科技融合新地标——人民VR科...
全国产化!顺利通过168小时试... 本文转自【科技日报】; 记者 代小佩 12月29日,我国首台全面国产的大F级商用燃机项目——华电望...
清华、华科与快手联手突破:AI... 当我们使用手机拍照时,相机能够立即识别出画面中的人物和物体。与此同时,我们也经常使用AI绘画工具根据...
江苏鸿恩智能取得梁架加固结构专... 国家知识产权局信息显示,江苏鸿恩智能科技有限公司取得一项名为“一种梁架加固结构”的专利,授权公告号C...
人工智能大模型系列国家标准实施 28日,记者从市场监管总局获悉,《人工智能大模型》系列国家标准近日正式实施,标志着我国大模型产业进入...
通信与AI共振,重塑通话业务新... 通信世界网消息(CWW)随着AI技术的快速发展,通信业务迎来了前所未有的变革机遇。当前,产业界正处在...
好评如潮的圣诞皮肤,穿得少就是... 12月圣诞月,各大游戏厂商纷纷赶着节日热度吸粉,推出了各种圣诞主题皮肤和时装。比如NIKKE、碧蓝航...
王者正式服更新,3款无双上架,... 大家好,12月30日上午7点,正式服会迎来重大更新,这不仅是罕见的周二提前更新,也是2025年的最后...
王者荣耀项羽九幽镇关皮肤怎么获... 大家好,王者荣耀全新赛季中有着许多内容可以让玩家们来体验,其中项羽的新皮肤九幽镇关也会在1月8日更新...
小米澎湃OS 3正式版大规模推... 近日,小米澎湃OS官方正式宣布,澎湃OS 3系统迎来新一轮大规模正式版推送,覆盖范围扩展至多款早期发...
浙江匠选科技申请视觉激光打标机... 国家知识产权局信息显示,浙江匠选科技有限公司申请一项名为“一种视觉激光打标机”的专利,公开号CN12...
2025,迎变、应变、求变 来源:第一财经 回望2025年,新形势带来的机遇层出不穷,但各种考验似乎也更为苛刻,AI的飞速演进只...
人形机器人的“破圈”与“落地” 来源:市场资讯 (来源:大象新闻) 大象新闻记者 李莉 杨文丽 2025年,人形机器人走出实验室的“...
2026年三角洲行动职业联赛即... 提到2025年的现象级游戏,腾讯天美工作室群旗下琳琅天上团队研发的《三角洲行动》一定位列其中。 20...
最硬核的生存游戏《DAYZ》要... 近日,来自Bohemia Interactive(波希米亚互动工作室)的《DayZ》市场品牌负责人S...
基于大模型的AI门户平台研究、... 一、证券经营机构智能化发展 在数字化浪潮推动下,随着大数据、人工智能、区块链及大模型等前沿科技的迅猛...