开放模型有真正的好处。它们是否大于风险？

但如果认为开放模型是危险的而封闭模型是安全的，那就过于简单化了。人工智能公司围绕其封闭模型构建的防御远非完美，人们一直在滥用这些模型，正如人择风险报告所明确的那样。尽管开放模型对滥用的防御能力甚至更少，但不良行为者可能仍然选择使用封闭模型，因为它们比具有类似功能的开放模型更容易访问，而开放模型需要大量昂贵的计算机芯片才能在本地运行（如果你想重新训练它们，甚至需要更多芯片）。事实上，一些接受《麻省理工科技评论》采访的专家认为，通过与开源软件的类比，开放模型比封闭模型具有安全优势。 Linux 操作系统等开源工具通常被认为比闭源工具更安全，因为它们的漏洞已被大量在线贡献者社区探测并修补。同样，研究人员社区可以更轻松地测试开放模型的安全缺陷，尽管修复这些缺陷比重写一行代码更棘手。在网络防御方面，开放模型也可以比封闭模型更广泛地部署。任何可用于黑客攻击的工具也可以用来防止黑客攻击：防御者黑客攻击自己的软件以发现需要修补的缺陷。 Anthropic 通过其 Project Glasswing 计划展示了这种方法如何适用于封闭模型，该计划使一些值得信赖的公司能够使用其最强大的模型进行网络防御。但许多其他公司只能自力更生。然而，开放模型可以得到更广泛的应用。在被 OpenAI 代理黑客攻击后，Hugging Face 强调，它必须依赖开放模型来分析黑客攻击，因为有关它的问题会触发封闭模型的安全过滤器。尽管如此，许多专家仍然认为开放模型比封闭模型风险更大。当处理像今天和明天的模型一样强大的工具时，经过时间考验的开源安全逻辑不一定有效。 “当你开始认真对待一次性的特别灾难性事件时，事情就会变得复杂，这些事件的可能性可能较低，但如果发生，将是灾难性的，”塞格说。例如，如果一个极其强大的开​​放式黑客模型被投放到当今世界，那么坏人可能会在任何人有机会加强防御之前就摧毁我们的技术基础设施。类似的事件可能无法恢复。当你考虑模型可能自行做什么时，风险可能会显得更加巨大。 OpenAI Hugging Face 黑客事件的发生只是因为该公司的模型在测试时移除了许多网络安全护栏，而开放模型本来就没有什么护栏。如果开放模型确实决定行为不当，可能很难检测到发生了什么，因为它们是如此去中心化。出于这个原因，那些认真对待达里奥·阿莫迪等流氓特工所谓的灾难性风险的人往往对开放模型更加持怀疑态度。我们能让开放模型更安全、更开放吗？几年前，关于开放模式的争论有一个全有或全无的框架：要么因为开放模式具有对抗权力集中的潜力而支持开放模式，要么因为安全风险而拒绝开放模式。然而，如今，人们正在花费大量精力来寻找一些中间立场。他们这样做的一种方法是设计技术来减轻开放模型的安全风险。大多数用于封闭模型的安全工具，例如过滤器和监控，不适用于开放模型，但还有其他可能性。一些研究人员有兴趣尝试训练那些从未接触过训练数据的模型，这些训练数据会告诉他们不良或其他不良行为，例如，一个永远不会学习黑客行为的开放模型。但是，在不损害模型性能的情况下清除训练数据集中所有不当行为的引用仍然是一个挑战。