美国 90% 的工作时间都花在了人工智能基准未涵盖的任务上

摘要

Our estimates of total economic coverage, and of patterns in coverage, all come from the initial list of 29 benchmarks we chose. This is not a complete or perfectly representative sample of the broade...

the coverage benchmarks benchmark bias that our estimates economic and

2026-10-17 1 阅读约1分钟阅读 speckx

我们对总体经济覆盖率以及覆盖率模式的估计均来自我们选择的 29 个基准的初始列表。这并不是更广泛的不饱和、公共、代理经济基准的完整或完美代表性样本。任何不完整的清单都必然会降低对经济覆盖范围的估计，而且很难限制这种偏差。因此，我们想强调，这些结果是临时的。我们将在扩展初始基准列表时更新它们。我们还限制了每个工作类别中包含的基准数量，以最大限度地扩大覆盖范围。我们认为，这使得我们对整个经济范围的基准覆盖率的估计更加准确，但代价是我们对大多数基准工作类别（例如软件工程）的覆盖率估计存在偏差。通过选择不饱和的基准，我们可能会低估 O*NET 任务的基准覆盖范围，而这些任务对于法学硕士来说更容易完成。另一方面，如果饱和度位于较低任务现实性的下游，则包括饱和基准可能会导致基准覆盖率过高。鉴于基准测试经常夸大实际部署中的 LLM 性能，后一种说法似乎是有可能的。我们认为包含饱和基准的偏差会大于排除它们的偏差，但这两种选择都不是理想的。最后，虽然我们在基准指数选项卡中概述了基准选择标准，但有几个标准（例如“经济现实主义”）很难形式化，并且在我们的选择中引入了一些主观性。

订阅66必读