Edge0-145B：您自己的计算机上的前沿人工智能功能

今天，我们开源 Edge0-145B 和 Edge0-120B 以及我们的统一推理框架和部署工具。 Edge0-145B是世界上第一个开源的设备端人工智能模型，拥有1450亿个参数。它为您自己的计算机带来了可与前沿云模型相媲美的编码、推理和代理功能。设备上的人工智能长期以来一直迫使我们在模型能力和硬件运行能力之间进行权衡。较大的模型需要更多的内存、带宽和功率；较小的模型可能难以完成复杂的工作。将工作转移到云端会增加模型提供商的费用、数据处理限制以及对连接的依赖。此版本通过四种方式解决了这些限制： Edge0-145B 的限制 大型模型很难在个人硬件上运行。 145B 模型在兼容的笔记本电脑上本地运行，据报告峰值内存为 29GB，解码速度超过 80 个令牌/秒。小型设备模型可能无法完成要求较高的任务。编码、推理和指令跟踪结果与特定的前沿云模型具有竞争力，如下比较所示。一个有用的助手需要完成工作，而不仅仅是回答问题。该模型可以为 3D 场景、游戏、硬件程序和 PCB 设计等项目规划、编写和运行代码、调试错误并直观地检查结果。云工作流程会带来经常性费用、敏感数据限制和网络依赖性。本地推理不会产生相应的云模型代币或 API 费用；数据可以保留在计算机上，核心功能可以离线工作。硬件和电力仍然要花钱。我们将发布完整的堆栈，以便开发人员可以重现结果、评估或微调模型，并将其集成到自己的产品中。获取模型权重、探索推理框架或尝试 Edge0 应用程序。我们如何使 100B+ 参数 AI 在个人计算机上运行 Edge0-145B 笔记本电脑性能：内存、速度和功耗 Edge0-145B 使 1450 亿个参数的模型可在个人笔记本电脑上使用。有用的本地模型必须适合内存，及时处理提示，生成速度足够快以供使用，并控制功耗。它还需要维持更长的任务。要求 报告的 Edge0-145B 结果 它能实现什么 内存 29GB 峰值内存 在兼容的个人笔记本电脑（例如 MacBook Pro）上运行，无需服务器。提示处理 1,100+ 令牌/秒预填充 在生成开始之前处理长提示，包括数十页代码。生成 80+ 令牌/秒解码 生成速度比人读取的速度快。功率 大约 120W 典型功率 在报告的设置中维持运行而不会节流。长任务 128K–256K 上下文 在长输入上保持基本相同的速度，支持扩展工作。我们早期发布的 Edge0-35B 手机报告峰值内存低于 2.5GB。在 iPhone 18 Pro Max 上，Edge0-35B 使用大约 2.5GB 内存每秒提供 37+ 令牌。 Edge0-145B 的参数数量大约是 Edge0-145B 的四倍；其笔记本电脑对比显示 80+ tokens/s 和 28GB 峰值内存。这些测量适用于不同的型号和硬件。设备上模型随时间的变化。该图表涵盖来自 14 个实验室的 67 个至少具有 1B 参数的开放模型，适用于手机、笔记本电脑和 AI PC。相同大小的基础、指令和推理变体计数一次；每条线都跟踪实验室最大的模型，包括 2025 年 7 月之前的版本。实心点标志着新高，空心点标志着其他版本。 40B 以下为对数刻度，40B 以上为线性刻度。苹果被排除在外，因为它的重量没有公布。来源：供应商公告和型号卡。为什么设备上模型一直保持较小的状态在 2026 年 9 月之前，内存限制使大多数设备上模型的参数低于 10B。Apple Intelligence 的设备上基础模型大约有 3B 参数，而 Google 的 Gemini Nano 有 1.8B 和 3.25B 版本。即使是 7B 型号也可能消耗大约 4GB 内存。较大的模型面临着内存墙。模型权重占用存储空间，必须在生成过程中读取，与操作系统和其他应用程序竞争有限的内存和带宽。即使是高度压缩的 35B 型号也可能需要大约 20GB 的内存，远远超过手机所能提供的内存。计算、带宽和功率产生了相互竞争的限制。较大的模型提供了更多的功能，但内存容量、生成速度和电池寿命受到限制。缩小模型有助于它们适应，但通常会牺牲功能。仅靠隐私并不能弥合这一差距。苹果智能保护用户数据，但苹果承认其设备上模型并不是为需要一般世界知识的代理应用程序而设计的。人们普遍认为设备上的智能无法与云相媲美。 Edge0 的底层：四层模型和推理设计 我们将 Edge0-145B 及其推理引擎设计在一起，以减少导致大型模型难以在本地运行的内存和数据移动。钍