用我们的生命进行赌博：人工智能研究人员退出 Anthropic 并发出安全警告

【HN用户评论摘要】 我认为经常混淆的基本点是 LLM 和代理系统之间的区别。LLM 除了生成代币之外什么也做不了。您在 vLLM 或其他环境中运行 LLM，它会根据您的输入标记生成输出标记。就是这样！然后，人类构建确定性系统来获取这些代币，并用这些代币做各种事情，比如在现实世界中采取行动。然后我们可以将这些操作的输出反馈给 LLM，并生成更多代币。还有 > Anthropic 的员工埃文·胡宾格 (Evan Hubinger) 负责让技术与人类目标和价值观保持一致，他在自己的后续帖子中支持了 Coxon 的说法，尽管他没有退出公司。> “雅各布在这里是正确的 - 我们确实真诚地相信人工智能可以杀死所有人类，”他说。> 胡宾格估计，在未来十年内发生这种情况的可能性高于 10%，并补充说，目前还没有关于如何使人工智能与人类目标保持一致的计划。超级智能场景 我特别喜欢他在这里提出的最后一点：不要低估这项技术的力量。这些很快将成为超人类系统，可以破解任何东西，在一夜之间彻底改变任何领域，并获得真正的力量和资源。有趣的是，看到对使用人工智能制作几乎任何类型创意作品的创作者如此仇恨。至少这些是人类将其用作“可控工具”。心灵的核动力自行车。随着分离程度的增加，事物就会变得有趣 “我今天从 Anthropic 辞职”（twitter.com/hilbertspaess）https://news.ycombinator.com/item?id=49619227564 点 | 9 小时前 | 766 条评论 > OpenAI 和 Anthropic 最近都标记了由其模型驱动的代理发生流氓事件的事件。我可能有偏见并且有点偏离主题，但我认为这些事件是上个世纪最重要的事件之一。我真的不明白为什么这些公司没有采取更明智的方法来解决这些问题。最新的分析充其量是可笑的：识别漏洞，修补它，然后继续前进。只是重复相同的循环而不考虑可能有什么f 原始链接：https://www.politico.eu/article/anthropic-openai-researcher-jacob-coxon-warns-ai-could-kill- humans/