人工智能前沿的终结

2023 年 ChatGPT 发布后，我很清楚，研究需要比 Microsoft Research 内部的典型研究更有组织性才能取得成功。其他研究小组所提供的支持和关注的力度足够大，以至于即使一个人追求了一个聪明的想法，它也可能会迟到并且无法令人信服，因为一个人的行动速度不够快，而且一个人可以建立的基线不够强大，不足以真正表明一个想法值得采取。其他几个人也有类似的想法，我们组织在 MSR 内创建了 AI Frontiers 子组织。在人工智能前沿，我们积极尝试组织连贯的研究工作。这并不完全是“自上而下”或“自下而上”，而是大多处于混乱的中间位置。当然，存在分歧，而解决这些分歧有时相当具有挑战性。计算可用性也是一个经常严重的瓶颈。但在高层，我的总体印象是该组织在开创性的事情上取得了成功，特别是考虑到 AIF 规模较小（约 50 人）并且相对于我们以前可以做的事情。 AIF 的大部分工作是弄清楚如何使代理发挥作用，例如 Autogen 编排框架和 Fara 计算机使用代理。然而，在纽约，我们中的一些人对开发新的基本功能感兴趣，例如支持外推的 Next Latent 目标、创建优化/改进的 Muon 的 Dion3 或通过递归有效地使模型功能更加强大的 Full Bandwidth Transformer。我们还积极尝试与 MSR 的其他成员分享。例如，AIF 决定开发一个默认与所有 Microsoft 研究院共享的 monorepo。例如，在这个 monorepo 中，我在上个月的 COLM 主题演讲中谈到了经过验证的边缘规模预训练代码库。这看起来似乎是一个小细节，但创建一个格式良好的模型创建管道所需的工作量是巨大的，而且我知道至少有 4 项工作（另外 3 项不在 MSR 存储库中公开）试图开发模型构建管道。九月初，我们重组为 Microsoft AI。从表面上看，这可能是有道理的，因为将两个不同的人工智能组织放在一起可以创造更好地集中精力的机会，并且在某些地方 AIF 领先于 MAI，当然反之亦然（MAI 要大得多）。在实践中，由于与 MAI 前 Inflection 领导层的理念不相容，存在重大问题。其核心理念是扩展，而不是积极研究。这可能会让一些人感到震惊，他们自然认为建立更好模型的方法是通过研究，但有大量证据表明，就其预测的质量而言，更大的模型就是更好的模型，并且从商业角度来看，规模回报比研究回报更可预测。当然，在仅扩展的环境中，主要工作是获取/制作/精炼数据，这与我们正在做的事情相去甚远。除了不相容的焦点之外，还有大量证据表明他们并不真正想要我们。这对你来说是一个艰难的处境。我认为只关注扩展既误导又不有趣。这是一种可以理解的失败模式——扩展很简单，人们通常会短视地全面采用一个而放弃另一个，从而放弃多种相互竞争的理想（例如创新和规模）之间的权衡。但研究的回报是真实且显着的。例如，字节跳动的实验表明，全带宽变压器的变体可能与两倍大小的模型相当，这意味着相同功能的训练和推理可以显着节省。算算一下，考虑到该行业的投资接近一万亿美元，将训练和推理成本减半到底值多少钱？所以我尽我所能安置我的家人然后离开了。我很幸运，因为世界上还有很多人能够看到研究和创新的价值，这是我内在的兴趣中心。 AIF 创始领导团队的所有其他成员似乎都得出了类似的结论。这确实留下了一个问题：为什么不回到MSR？我和人们聊了一会儿，但无法摆脱两个严重的障碍。首先，我在一家我所做的研究无法实际应用的公司感到不舒服。当我在 MAI 时，我无法将创新投入使用（甚至无法认真考虑），因此 MSR 的成功前景似乎很小。第二个问题是，我担心 MSR 的基本原则被打破了：做好工作，好事就会发生。据我所知，我们做得很好，但在未经同意的情况下被重组了。不幸的是，如果看到这种事情继续发生，我不会感到惊讶，直到