首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

Cerebras 分类推理

2026-11-18 1 阅读 约6分钟阅读 emschwartz
分享:
字号:
2026 年 11 月 17 日 Cerebras 推出分类推理 我们已经部署了带有 GPU 的 Cerebras Wafer Scale Engine,以大规模交付闪电般快速的代币 世界渴望超快的代币。 2026 年,Cerebras 看到了对快速推理的无限需求,无论是在我们的推理云上还是通过我们的合作伙伴。为了满足需求,我们开始开发分类推理:GPU 处理提示处理(预填充),Cerebras 系统处理输出生成(解码)。该解决方案现已投入生产,在相同的超快 Cerebras 速度下,每兆瓦的代币数量增加了五倍。我们现在可以通过 Cerebras Inference Cloud 提供更多超快代币以满足市场需求。基础设施合作伙伴还可以利用 Cerebras 分解解决方案在自己的数据中心实现更多超快代币。除了我们最近宣布的 CS-4、大规模的制造以及计划的 700MW 数据中心容量之外,分类推理将使 Cerebras 和合作伙伴能够在 2027 年及以后提供更多超快代币服务。在本博客中,我们将介绍: 对更超快推理能力的需求 为什么 Cerebras 在解码 Cerebras 分类推理生成结果方面具有优势 Cerebras 为基础设施合作伙伴提供分类推理 对更快速推理能力的需求 Muse、Copilot 和 Codex 等代理应用程序正在快速扩展,需要高度交互的推理来保持用户参与。为了满足这些应用程序在功率受限的环境中不断增长的需求,我们的行业必须提供显着更高的每兆瓦推理能力,并且响应速度必须使这些应用程序有用。人工智能推理需求与数据中心容量 0× 5× 10× 15× 20× 25× 2026 2027 2028 2029 2030 自 2026 年以来的增长 24× 人工智能推理需求 2.2× 数据中心容量 资料来源:高盛研究,“人工智能代理预测将随着使用增加技术现金流飙升”,2026 年 5 月 20 日;高盛数据中心容量估算,据 Investing.com 2026 年 11 月 6 日报道。这就是 Cerebras 投资分解的原因。将用于快速处理的预填充加速器与用于生成响应的 Cerebras 系统配对,可提高每兆瓦的令牌吞吐量,同时保持 Cerebras 的超快生成速度。对于推理提供商来说,这意味着服务客户的能力更强,并且在相同的功率预算下具有更大的收入潜力。代币数量价格($/M 代币) 分解 聚合分解速度 溢价 收入潜力增加 为什么 Cerebras 在解码方面具有优势 推理请求有两个主要阶段。提示处理(称为预填充)处理输入并生成中间模型状态。响应生成(称为解码)使用该状态来生成输出令牌。分割推理工作负载的方法有很多,包括草稿-目标和注意力-FFN 等,但当目标是高度交互式推理时,将预填充与解码分开具有独特的优势。更高的生成速度 → GPU 聚合服务规范/基础草案模型提出,目标验证注意力 - FFN 注意力和 FFN 分开预填充 - 解码 GPU 预填充 + Cerebras 解码 SLOWER FASTER 解码是自回归的。这意味着模型一次生成一个令牌,使用每个生成的令牌作为输入来生成下一个令牌。每一步都意味着再次从内存中读取模型数据,因此内存带宽非常重要。在超快推理领域,以 SRAM 为中心的芯片具有优势,因为它们可以将数据保留在芯片上并更快地读取。 Cerebras 将其提升至晶圆级,在单个芯片上拥有数十 GB 的 SRAM 和每秒数十 PB 的内存带宽,是典型 GB300 GPU 的 SRAM 容量的 350 倍和内存带宽的 5,400 倍。这使得 Cerebras 系统能够直接在芯片上容纳更多并发请求和模型层,从而使 CS-3、CS-4 和 CS-5 能够以极具吸引力的吞吐量实现超快速度。为了说明而减慢 · 比例缩放 GPU 权重从片外 HBM HBM HBM HBM HBM 计算权重 读取下一个令牌 1 个令牌 每个 CEREBRAS WSE 权重位于片上 SRAM 中的计算旁边 SRAM 计算每个区块的权重 读取下一个令牌 11 个令牌 每个新令牌都需要每个权重,因此最快的芯片是Cerebras 分类推理生成结果将针对超快解码进行了优化的 Cerebras 系统与非常适合预填充计算需求的加速器(例如 AMD Instinct GPU)配对,可以大规模交付大量超快推理。在 Cerebras 推理云上的生产部署中,AMD Instinct GPU 处理提示,Cerebras CS-3 系统生成响应。将即时处理转移到 GPU 使 Cerebras 系统能够将其服务能力用于响应生成。在我们测量的生产部署中,这种组合的每兆瓦吞吐量是仅 CS-3 配置的 5 倍,并且令牌生成速度没有损失
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱