对话Vitalik：捐出数亿美元后，如何开始反思EA？（下篇）

文 | 硅谷101，访问｜Yiwen、泓君，编辑｜Yiwen 怎样用有限的钱帮助更多人？有效利他主义（Effective Altruism，简称“EA”）就是从这个朴素的问题出发，推动人们比较不同慈善项目的效果，从捐赠蚊帐、预防疟疾，到后来投入数亿美元研究AI安全。 SBF与FTX的崩塌，曾让这场运动陷入信誉危机。最近，AI研究员辞职、安全评估机构和捐赠网络引发的争议，又让EA受到关注。当一些人把防止AI毁灭人类视为最值得投入的事业，他们的判断如何影响研究方向和资金分配？其中又有怎样的利益与权力问题？ 在本期节目的上篇，我们透过科技记者Afra的视角，了解了EA如何从一场讨论“怎样更有效地做好事”的运动，逐渐影响了今天的AI研究、资金流向，甚至政治议程。而这些思想之所以能产生今天的影响，离不开背后巨额资金的支持。 所以在节目的下篇，硅谷101对话了其中一位重要的捐赠者——以太坊联合创始人Vitalik Buterin。他曾在2021年向多家慈善机构捐出一批加密货币，用于疫情救助、全球健康和科研等领域。其中捐给未来生命研究所（FLI）的部分，据他回忆大约兑现了4-6亿美元。FLI也明确表示，Vitalik是该机构迄今最大的捐赠者。然而后续FLI的关注方向发生了变化：从研究所有对抗人类存在性风险的领域，转向全力押注AI安全这一个方向，并越来越走向政策行动。 Vitalik在节目中告诉我们，他尝试过与FLI沟通，希望对方拓展关注领域，但FLI拒绝了，这成为他们分歧的起点。在他看来，EA的思想在人对抗自然（man v.s nature）的领域非常有效，但踏入与人博弈（man v.s man）的领域时，情况会变得更加复杂。 Vitalik认为，AI是否存在毁灭人类的风险，仍有极大的不确定性；不同立场的人对Anthropic的安全哲学存在不同质疑，甚至在EA内部，也存在支持Anthropic和反对Anthropic的两个人群；面对科技的进步与种种未知风险，他总结出了一套d/acc（防御性加速主义）思想，主张优先发展能保护人、分散权力的技术，例如网络安全、疫苗和空气过滤，提高社会抵御风险的能力。 以下是这次对话内容的精选： Yiwen：你最初接触EA是什么原因？当时是什么吸引了你？ Vitalik：我第一次听到理性主义和EA这两个概念，可能是2013年和2015年之间，那个时候两个都很早期。Eliezer Yudkowsky是在理性主义那边的，他有一个博客叫LessWrong，写过很多很多的文章，叫The Sequences（系列文章），他们在谈关于物理学、道德等所有有意思的话题。 有效利他主义者的这群人有说到：其实我们大部分人做的慈善，大家的目的是非常好的，大家的心是非常好的，但是大部分的效率是很低的。他们在那个时候讨论了很多在非洲健康的话题。他们有一个很出名的统计数字：如果你用（那个时候的）2000美元给一些非常穷的非洲国家的人买蚊帐，就可以防护很多人不让他们得疟疾，你每付2000美元，就可以救一个人的命。 如果真的是这样子的，那我自己也必须花自己的钱到这样的地方。2016年和2017年的时候，以太币涨了10倍，于是我把一小部分的以太币卖掉了，捐给那些组织。 药浸蚊帐是全球抗疟最有效的干预手段之一，也是EA"蚊帐时期"的标志物 图片来源：President's Malaria Initiative（公有领域） Yiwen：你开始关注EA的时候，对AI安全的思考是什么样的？你当时捐款、去接触一些组织，它们对于AI安全的涉猎大概是怎样的情况？ Vitalik：那个时候，我关于AI安全的思想还是非常抽象的。我知道了AI理论上是一个非常重要的话题，有可能他们说的是真的，有可能AI的安全就会决定人类未来的命运。但是不管这个可能性是100%还是0.1%，在那个时候，思考这些话题和研究这些话题的人非常非常少。 2015年，我们现在在说的这个AI是几乎不存在的。我们2018年担心的所谓的AI，可能就是摄像头和带有AI辅助的数字监控。2020年到2023年之间，GPT-3出来的时候就改变了非常多，AI变成了一个真正的话题。到ChatGPT出来了，我们开始理解：有可能AI真的会发展得非常非常快，AI也真的会给我们带来很多很多的变化。 2022年之前，唯一的答案就是你怎么能多帮助研究，人类知道得更多，那对我们更好。但是2022年之后就变了，从一个抽象的话题，变成了一个具体的话题。 泓君：你会担心AI的安全问题吗？ Vitalik：大家问我P(doom)（人类灭绝的概率）——AI或者其他的风险会完全毁灭我们的世界、人类会不存在的概率——我会说0.1。我为什么说0.1？为什么不说0.03？为什么不说0.3？其实说得更明确是很难的，因为我从开始就有非常大的不确定性，有很多很多不确定的点。 第一，AI的发展会多快？有可能到达大家说的所谓的AGI，会需要10年，也可能300年。 第二，Yudkowsky说的alignment problem（对齐问题）到底是不是一个真正的问题？会不会这个问题很简单地自己就解决了？举个例子：那时候我们做一个非常聪明的AI，我们跟它说希望有一个没有癌症的世界，这个AI觉得最简单的办法就是把整个世界毁灭了，把所有人都杀了。其实如果你现在跟Claude和GPT和现代的AI说话，你就知道，现在的AI比较了解语境，它们了解我们的含义——这是10年前比较难预测的一个变化。 但是这个也不一定意味着对齐问题就不是一个非常大的问题。如果你现在问Yudkowsky：你看现在的AI，如果你跟它们说要治癌症，它们就不会完全毁灭这个世界，那是不是对齐的问题解决了？他会说：并不会。这个问题只是对齐问题的一小部分，还有很多其他的部分，还有很多的我们完全没有解决、完全不知道的风险。这里的不确定性也非常多。 第三，就是政治的不确定性。因为现在有不同的国家、不同的人、不同的公司都在做AI。在一个竞争的情况下，大家有不同的目的，大家同时希望有安全，大家也希望自己赢了。如果比如在AI变得非常危险的时候，同时第三次世界大战出来了，那可能最危险的并不是因为什么技术的问题，而是因为在那个时候，大家会最不思考安全，只会思考“自己赢是最重要的”。 所以就是有技术的不确定性，乘以另外一个技术的不确定性，乘以政治的不确定性，再乘以更多更多。AI是不是对我们真的会危险，是非常难预测的。 泓君：我注意到，您在2021年5月12号，应该是同时捐赠了非常多的EA组织；在2017年，捐赠了尤德考斯基当时创建的机器智能研究所（MIRI）这些组织。可不可以讲一下，在2021年的那一天，您在捐赠很多组织的时候，当时你在想什么？你是怎么样做出这个捐赠的决定的？ Vitalik：这个故事是非常好玩的。2020年的时候，狗狗币非常成功，大家都开始发自己的狗狗币，其中最大的就是Shiba Inu（柴犬币/SHIB）。 柴犬币SHIB官方标志，诞生于2020年8月，发行量为1000万亿，2021年5月初，柴犬币价格剧烈上涨引发市场关注。图片来源：shib.io 他们也做了一个很好玩的事情：他们把他们的币的supply（代币供应量）的一半，放在我的钱包里。那个时候还是疫情的时候