Together Compiler：AI 推理的持续编译

arXiv:2611.14681v1 发布类型：新 摘要：当今的人工智能工作负载正在快速变化：新模型发布更加频繁，模型架构日益多样化，流量分布频繁变化。 Together AI 面临的挑战是针对这些不断变化的工作负载进行持续优化。将部署编译为优化的前向传递是一项非常适合代理爬山的挑战。由于测量吞吐量和保真度之间的权衡，现有系统难以持续编译。许多系统使用代理通过使用离线基准的推理前向传递来优化各个内核，但由于专家混合 (MoE) 等原语中的数据依赖行为，计时保真度较低。另一方面，系统使用代理直接优化端到端引擎，但会遇到引擎启动时间缓慢的问题。为了应对这些挑战，我们构建了 Together Compiler (TKCC)，这是第一个真正为 AI 推理优化而设计的连续代理循环。为了解决吞吐量与保真度的权衡，我们建议：（1）分层持久引擎，将引擎启动开销与前向传递计算分离； (2) 用于选择优化过程的并行配置的成本模型。我们还对代理上下文管理进行了广泛的消融，并提出了我们对在生产中部署 TKCC 的见解。在 Llama 1B 主力工作负载上，TKCC 的性能比高度优化的手写 Megakernel 高出 1.7 倍，在跨硬件平台上的最新前沿模型（Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash）上，TKCC 的性能比最佳开源引擎高出高达 2.6 倍。 TKCC 还在批量大小 1 时设置了最先进的性能，在 M3.1 闪存上达到 1111 TPS，在 DeepSeek v4.1 闪存上达到 1205 TPS。最后，TKCC 推广了超越前沿的语言模型推理。 TKCC 为我们的生产群中的数万亿代币提供服务。