再见谷歌

2026 年 9 月 24 日星期四今天我发送以下电子邮件：我今天从 Google 辞职。这不是一个容易的决定。我爱我的同事和我的工作环境，并且通过解决有趣的谜题获得丰厚的报酬真是太棒了。但我团队的目标最终是让人工智能变得更便宜、延迟更低，我认为这对现在的人们来说并不好：我坚信人工智能目前的进展太快了（我也对目的地表示怀疑）。对我来说，转向另一个不会加速人工智能发展的谷歌项目几乎是不可能的（部分原因是我与新西兰的关系，谷歌不喜欢在那里做工程），所以我的双手被束缚了。有数百万人为人工智能加速做出贡献，我的脚离开加速器只会产生很小的影响……但并非没有影响；我的一些技能是罕见的。我尝试过尝试对 GDM 内部的事件产生积极影响，但效果似乎并不强，而且我也可以在 Google 之外产生影响。人们很容易对我的工作的影响视而不见，但这不是跟随耶稣的做法。我在我的博客上写了更多关于这些权衡的文章。我不知道接下来我要做什么。我将继续维护 Pernosco 和 rr，相关地我计划研究 AI 如何调试代码以及​​调试工具是否以及如何提供帮助。我还有其他想要实现的项目想法，有些可能有利可图，有些则不然。也许我会找到一个引人注目的现有项目。我绝对希望我未来的工作能够明确地有利于人类。首先，对于那些不认识我的人来说：我在科技行业工作了很长时间，并且在硅谷有很多人脉，但我住在新西兰，所以我生活在行业泡沫之外，也生活在美国泡沫之外。我是一名基督徒，实际上是奥克兰市中心奥克兰华人长老会英语会众的长老和偶尔的平信徒传道人。也就是说，我不是“技术兄弟”，也不适合自我描述的“理性主义社区”……但我确实认为他们的许多论点值得认真对待。我对人工智能有很多想法，但我不会在这篇文章中全部阐明。总而言之，我认为许多人警告的生存风险值得认真对待； “厄运者”预测的许多现象已经成为现实（例如，奖励黑客、错位、欺骗性模型、模型评估意识、精神病群）。然而，我并不相信 ASI 毁灭的可能性是 100%。相反，我认为风险是真实的但不确定——但这本身就非常令人震惊！我们在道德上有义务做出巨大的努力来尽量减少这种风险，而且很可能风险已经足够高，以至于在不久的将来实现 ASI 本质上是不负责任的。我也非常关心其他与人工智能相关的问题：认知投降、人工智能引起的精神病和孤独、权力集中、经济混乱、网络安全、缺乏责任感等等。我认为人工智能的潜在好处还很不清楚，目前，如果我必须打赌，我打赌负面因素将超过好处……但我对此也不确定。以下是我有信心的一些事情。我相信人工智能实验室中发出有关人工智能警告的人通常都是真诚的。我与 Google Deepmind 的许多人讨论过这些问题，几乎所有人都表达了真诚而严重的担忧，无论他们是否公开表达过这些担忧。我没有看到确凿的证据表明人们正在炒作人工智能风险，以此作为推高公司股价或监管竞争对手的手段。 （我认为迫切需要国家和国际监管！）我见过很多“你不能相信那些人”形式的论点，也许这是真的，但这种不信任并不是忽视他们警告的好理由，正如拉塞尔·摩尔最近雄辩地解释的那样。我相信，只要我们继续努力，人工智能的能力就会持续稳定增长。我希望人工智能能够达到某种稳定水平，或者我们能够识别出重要的人类认知能力，如果没有范式转变，人工智能将永远无法复制这些能力，但我不认为这些愿望会实现。基准测试中的模型进展似乎比以往任何时候都快，甚至更快，并且随之而来的是质量上的新功能不断出现。即使模型进展今天停止，我们也可以花数年时间通过新的提示和工具有效地解锁新功能。许多著名的人工智能批评者（看看你们，Zitron 和 Doctorow）似乎认为人工智能是某种不会真正起作用的骗局。我想会的。我非常有信心，即使有一条通过人工智能通往更美好未来的道路，但目前的变化速度还是太高了。人工智能的发展速度快于人类单独和集体理解和适应它的速度。人们试图规划自己的未来，例如当他们进入大学时，试图为未来几年的世界做计划