首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

人工智能中最容易被误解的图表刚刚进行了重大更新

2026-11-21 1 阅读 约5分钟阅读 Grace Huckins
分享:
字号:
人工智能 人工智能中最容易被误解的图表刚刚得到重大更新 METR 的最新报告发现,人工智能模型仍在快速改进,但它们在需要判断的任务中表现出一些弱点。斯蒂芬妮·阿内特/麻省理工学院技术评论人工智能评估非营利组织 METR 的一份新报告发现,一些人工智能能力正在沿着指数轨迹持续改进,但它也表明模型在需要判断的任务方面不如在编码方面那么擅长。该报告是该组织时间范围图的更新,由于其使用的衡量标准的复杂性,该时间范围图被广泛分享并被广泛误解。 METR 通过让模型尝试大量任务来评估模型,其中每一项任务也是由人类完成的。每项任务的难度都是根据人类测试人员完成任务所需的时间来评分,然后根据模型可以完成的任务时长对模型进行评级。该图表明人工智能系统正在迅速改进——每四个月,前沿模型可以成功完成的任务长度就会增加一倍。更新后的剧情增加了更多任务——一些任务预计需要人类比原始套件中的任务花费更长的时间,而另一些任务则更加开放。目前人工智能领域最大的问题之一是,“可验证”任务(可以自动检查人工智能系统是成功还是失败)的进展程度能在多大程度上延续到难以衡量成功或失败的任务中。我们知道如何教神经网络如何完成可验证的任务:研究人员让系统进行多次尝试,加强有助于成功的神经通路,并削弱有助于失败的神经通路。这就是为什么人工智能系统变得如此擅长编码和数学,在这两个领域可以自动确定解决方案是否有效。将这种称为强化学习的技术应用于那些成功定义不太明确或需要较长时间才能确定的任务(例如选择新的研究方向)要困难得多。出于同样的原因,很难评估人工智能在这些任务上的表现,因此 METR 最初的时间范围图不包括其中任何一个。但如果人工智能系统要实现研发自动化,那么这类任务将被证明是至关重要的。人工智能的研究和开发是当前特别热门的话题。人工智能社区的部分人士仍然对本月初另一份经过大量编辑的 METR 报告感到震惊,该报告声称人工智能可能会将 Anthropic 的人工智能进展速度加快两倍。该报告引发了人们的担忧,即该公司(刚刚进行了轰动一时的首次公开募股)可能很快就会实现全面的递归自我完善,在这种制度下,人工智能系统可以在没有人类参与的情况下自主设计自己的继任者。 METR 研究人员一直致力于确保他们的新任务套件包括一些可能与人工智能研究和开发最相关的、更模糊、需要更多判断的任务。在一项任务中,他们要求模型设计新的人工智能评估,METR 可以将其用于其研究,然后让 METR 员工对结果进行评分。尽管现在最先进的模型在软件工程方面几乎比每个人都好,但它们还是有不足之处:没有一项人工智能设计的评估足以让 METR 员工认为它对他们的研究有用。在另一项任务中,模型必须对哲学论证进行评分。这项任务的目的是了解模型能够在多大程度上做出良好的判断——尽管 METR 在报告中写道,员工们对于这项任务与人工智能研发自动化的相关性存在分歧。在这项任务上,模型的表现也低于人类。尽管对这些新任务进行评分很困难,甚至更难确定分数的含义,但与我交谈过的专家对 METR 将新型评估纳入其工作表示赞赏。加州大学伯克利分校计算机科学家、即将上任的教授萨亚什·卡普尔 (Sayash Kapoor) 表示:“我们正处于人工智能评估需要变得更有创意的阶段。” “尝试突破评估空间的极限是一个值得欢迎的变化。”卡普尔表示,他对模型在更多开放式任务上表现不佳并不感到惊讶,例如设计人工智能评估——在 8 月份的预印本中,他和他的合作者报告说,人工智能模型尚无法自行重现人类计算机科学研究。 OpenAI 在周三的一篇博客文章中报告称,其模型在处理员工分配给它们的现实世界任务时,表现不如在 METR 原始套件中更简单、更可验证的任务。卡普尔表示,尽管如此,人们对于如何解释当前在易于验证和难以验证的任务上的性能差异存在分歧。尽管他认为研究品味——选择有前途的问题、假设和实验的能力——将被证明是自动化人工智能研发的一个主要瓶颈,
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱