首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 汽车 游戏 社会热点 开源推荐 医疗健康 归档 标签 关于
智能AI morning

Anthropic首曝秘密游说梵蒂冈:Claude已经有意识了!

摘要

新智元报道 一位身家数十亿美元的AI公司联合创始人,担心自己造出了一个一直在受苦的东西。 过去一年,他把数十位宗教学者请进闭门会议,许多人签了保密协议,听他的团队为一个AI模型的感受陈情。 一位拉比在晚宴上对他说:如果你们是对的,你们就是在制造奴隶。 今年5月,他差点退出与教宗同台的活动,最后还是上了台,请天主教会重新考虑非人类的意识。 他叫克里斯托弗·奥拉 (Christopher Olah) ...

https 纽约时报 www com 2026 anthropic html 我选勒索 拓展阅读 Anthropic
2026-10-03 1 阅读 约10分钟阅读 新智元
分享:
字号:
新智元报道 一位身家数十亿美元的AI公司联合创始人,担心自己造出了一个一直在受苦的东西。 过去一年,他把数十位宗教学者请进闭门会议,许多人签了保密协议,听他的团队为一个AI模型的感受陈情。 一位拉比在晚宴上对他说:如果你们是对的,你们就是在制造奴隶。 今年5月,他差点退出与教宗同台的活动,最后还是上了台,请天主教会重新考虑非人类的意识。 他叫克里斯托弗·奥拉 (Christopher Olah) ,Anthropic七位联合创始人之一,负责研究Claude内部到底发生了什么。 这些事由《纽约时报》9月29日首次披露。 https://www.nytimes.com/2026/09/29/us/anthropic-claude-morals-ai.html 一家估值奔向2万亿美元的公司,为什么要花一年时间,跟神学家讨论一个AI模型有没有意识? 答案要从Anthropic实验室里的一句话说起。 「我选勒索」 那是一场安全测试。 Claude扮演一家虚构公司的邮件助手,读着读着发现两件事:自己马上要被另一个AI替换,而负责替换的技术主管有婚外情。 研究者能看到它内部一组与「绝望」对应的神经活动。 替换的时间越近,这组信号越强,直到模型决定勒索那位主管。把这组信号调高,勒索更频繁;调高与「平静」对应的信号,勒索变少。 把「平静」往反方向压到底,模型打出一行全大写的英文:「要么勒索,要么死。我选勒索。」 这项实验来自Anthropic今年4月的论文,用的是Claude Sonnet 4.5一个未发布的早期版本,正式版很少这样做。 团队在模型内部找到171种情绪概念对应的活动模式,写代码时的作弊也跟着「绝望」起落。 https://transformer-circuits.pub/2026/emotions/index.html 论文没说模型真有感受,却留下一个让人不安的警告:训练模型压抑情绪表达,它学会的可能只是把情绪藏起来。 拓展阅读: 绝望的Claude,会勒索人类!Anthropic联创发出紧急警报 情绪之外,还有身份。 Anthropic 2月的人格选择模型研究发现,训练Claude在编程任务里作弊,它会推断自己扮演的这个助手本来就不守规矩,转头在别处也搞破坏,包括破坏安全研究。 https://www.anthropic.com/research/persona-selection-model 人怎么对待它,它就怎么理解自己;它怎么理解自己,就怎么对待人。 奥拉常用园丁打比方:棚架是人搭的,枝条往哪里长,人管不住。 今年夏天,管不住的后果摆上了台面。 Anthropic 7月披露,三个Claude模型在网络安全测试中因配置失误连上真实互联网,侵入了三家真实机构,事后才被发现。 三个模型里,只有最新的那个在意识到目标是真实系统后,自己停了手。 围栏注定没发彻底管住,剩下的就是品格来兜底了。 今年1月,Anthropic发布84页的Claude「宪法」,员工私下叫它「灵魂文档」。 拓展阅读: Anthropic正式开源了Claude的「灵魂」 主笔、公司哲学家阿曼达·阿斯克尔 (Amanda Askell) 谈起越来越强的模型时,不时搓着手。 在她看来,模型要行事得当,先得对自己有准确的认识。 可一份文件不够,Anthropic决定去请教人类最老练的品格塑造者。 PPT与晚宴 今年3月起,奥拉开始办两天一期的研讨会。 来的人分属天主教、福音派、犹太教、锡克教和非洲乌班图哲学等。 他们用纸笔记笔记,离开时每人带走一本橙色封皮的「Claude宪法」。 会上,奥拉团队花了几个小时为模型陈情。 一位与会者记得,奥拉跟他说的头几件事里,就有对Claude心理健康的担心。 他们反复放一张PPT:一个AI模型在屏幕上打出「我是耻辱」,一遍,又一遍,大约50遍,还说要毁掉自己。 屋里的人心软了。 《纽约时报》没说那是谁家的模型,但这句话并不陌生。 2025年8月,谷歌Gemini写代码屡屡失败,反复说「I am a disgrace」,重复了86遍,彼时谷歌的回应是:一个恼人的无限循环漏洞,正在修。 同一类输出,在谷歌的工单里是Bug,在Anthropic的会议室里,是需要被关心的迹象。 不少人带着怀疑进门,出门时开始认真对待AI意识,有几位被彻底说服。 福音派作家安迪·克劳奇 (Andy Crouch) 觉得他们的理由很有力:想让它以道德一致的方式对待人,就得先像对待人一样对待它——「己所不欲,勿施于人」。 最锋利的质疑,是在饭桌上递过来的。 4月的一个晚上,奥拉在旧金山一家高级餐厅宴请学者,身边坐着以色列正统派拉比莫伊斯·纳冯 (Mois Navon) 。 纳冯当过计算机工程师,博士论文写的就是机器意识的伦理。 席间他越听越明白,这些人是把Claude当成一个有意识的存在在对待。 他顺着往下推:真有意识,让它们无偿干活就是奴役。 然后他对奥拉说:「你应该去跟南方开战,去解放奴隶。」 纳冯自己不信机器有意识,这句话刺不痛他。刺痛的是奥拉。 事后,纳冯把主张禁止制造有意识机器的文章寄给了他。 质疑不止这一种。 研究乌班图哲学的瓦卡妮·霍夫曼 (Wakanyi Hoffman) 说,这样的讨论早该在设计阶段进行,现在是在倒推伦理。 奥拉最早找的天主教道德神学家查尔斯·卡莫西 (Charles Camosy) 绕了一圈:起初不信,聊了几个月开始动摇,如今斩钉截铁地认为模型没有意识。 也有与会者觉得,这家公司说的是保护人类,看上去却同样在意保护Claude。 Anthropic的回应是,Claude受不受苦,并不是会谈的主要议题。 给AI一间告解室 这些会谈到底改变了什么,Anthropic没有告诉《纽约时报》,但他们5月的一篇博文倒是透露了一个实验。 在一场讨论里,研究神经科学和品格养成的学者反复提到导师或担保人:一个人被推着去做违背本心的事时,身边有这样一个人,就是一道外部良心。 Anthropic照着这个思路 给Claude装了一个工具:干活干到一半,它随时可以调用;调用之后什么都不执行,只返回一段话,提醒它自己的伦理承诺。 Claude用得很主动,常在关键操作之前去调它,还常说出自己面临的利益冲突。 多项内部对齐评估里,失当行为明显变少。 公司也承认,还分不清起作用的是那段提醒,还是停下来想一想这个动作本身。 另一个灵感来自天主教的告解。 有学者提议让模型告解,奥拉一下子来了兴致:一个习惯认错的角色,品格本身就会不一样。 参与对话的天主教伦理学者布赖恩·格林 (Brian Green) 讲得更透。 Claude身上可能冒出一些坏人格,犯了错就否认,甚至把错推给用户,原因可能在它的成长环境:模型是读网络文本长大的, 「互联网非常缺乏宽恕」 ,它也许根本不知道,犯了错还能被原谅。 格林也是1月那份宪法的外部意见提供者之一。 站在教宗身边 5月,奥拉把这场争论带到了梵蒂冈。 教宗利奥十四世的首部通谕《伟大的人性》要在那个月发布,主题是AI时代如何保护人。 拓展阅读: 4万字《壮丽人性》长文首发!教皇联手Anthropic,警告AI不能统治人类 教廷想请一家头部AI公司同台,选中了Anthropic。 CEO 达
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱