让Token生产更高效：异构混推的关键技术演进与创新实践

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 让Token生产更高效：异构混推的关键技术演进与创新实践 量子位的朋友们 2026-09-23 17:56:53 来源： 量子位 商汤大装置异构混推创新实践与技术演进 Token经济加速爆发，算力需求发生结构性反转，推理需求已取代训练，成为算力增长主引擎。 随之而来的，是AI基础设施面临的全新命题与挑战：当Token调用量迈向千倍级增长，推理系统如何承接持续攀升的需求？如何通过异构算力实现高效、稳定的Token生产？ 在近日举办的“2026全球AI芯片峰会·Token工厂异构混训混推技术研讨会”上，商汤大装置资深技术专家罗伟以《Token工厂：以异构算力构建新一代Al基础设施》为主题发表演讲，深入剖析规模化推理面临的系统挑战，并分享 商汤大装置在异构推理架构、模型适配及关键技术演进等方面的实践与探索 。 01行业挑战：Agent时代，推理负载瓶颈贯穿整套系统 Agent时代的负载特征，和传统单轮对话的推理需求有明显不同。 首先是长上下文，带来了输入计算和KV Cache占用的持续增长；其次是连续多轮的对话，意味着前缀复用和热点不断变化；再者是突发与长尾需求多，意味着流量和长度的分布会持续波动。 罗伟表示，面对这些变化，商汤大装置的底层逻辑已经转向“以Token、状态与时延预算为中心”，所有设计都围绕Token的生产效率、交付质量与单位成本，进行资源的组织和利用。 这一以Token为中心的系统设计，也支撑商汤大装置持续提升规模化Token生产与服务能力。如今，商汤大装置的日均Token服务量，已经从年初2月的0.46万亿，增长至8月4.5万亿。 02创新实践：横向串资源、纵向拉效率，系统级提高Token产能 如何把单点效率组织成系统级Token产能？罗伟分享了商汤大装置的两条主线：“横向编排”与“纵向优化”。两条主线最终指向共同目标：模型质量达标、SLO达标、有效吞吐提升、单位产能成本下降。 横向串资源：让不同算力各展所长 所谓“横向编排”，目的是资源协同，让平台知道哪些模型、哪些版本能运行在哪些算力上，哪些Prefill与Decode组合能做KV Cache交接，当前请求应该进入哪条路径，负载变化时如何自动调整。 针对不同品牌、不同规格的算力，商汤大装置构建了统一的资源画像，覆盖计算吞吐、KV Cache的容量、有效带宽、模型兼容性等，让不同算力进入同一个编排视角。 在此基础上，平台对推理请求进行全生命周期管控。从准入配对、Prefill执行、KV Cache状态交接，到Decode接管，每一个环节都有标准化的协同机制，保障服务稳定性。 “我们不会把某一类芯片永久固定为P节点或D节点。”罗伟强调，平台会根据模型、批量、上下文长度的瓶颈变化，动态调整不同芯片的角色分工，实现更高的可用性、灵活的组合和配比。 纵向拉效率：让整条路径性能最大化 在横向打通资源的同时，商汤大装置持续深化“模型×引擎×芯片”三层纵向优化，从模型适配到芯片运行时，充分释放整条执行路径的性能。 其中，在模型层，针对权重量化、显存预算进行精细化调优，平衡精度与吞吐；在引擎层，针对Attention、GEMM等核心算子进行并行优化；在芯片层，深度适配编译、访存调度与内存管理。而所有优化结果都会在真实负载中进行系统验证，规避单点效率的瓶颈。 03技术演进：从动态池化到模块拆分，持续提升Token生产效率 在成熟实践的基础上，罗伟进一步分享了异构协同走向更高效率、更高灵活性的两大关键技术演进方向。 技术演进方向一：从固定P/D到动态资源池 在资源调度层面，商汤大装置正在从固定P/D配比走向动态资源池化。不同业务、不同时间段的输入输出长度和流量热点不断变化，静态P/D组合容易造成局部排队和资源错配。 为此，商汤大装置分别构建Prefill Pool和Decode Pool，根据实时负载、KV Cache状态及节点健康度，动态完成请求路由和P/D资源匹配。当长输入导致Prefill压力升高时，系统可动态增加P节点；当长输出推高Decode负载时，则增加D节点，甚至通过角色切换实现P/D节点灵活转换，让资源跟着负载动态调整，在保障SLA的同时提升整体算力利用效率。 技术演进方向二：从P/D走向模块级资源池 面向未来多模态、MoE模型的发展，传统按P/D两阶段划分资源的方式将显现瓶颈。商汤大装置的架构演进方向，是进一步走向模块级资源池化：将Encoder、Attention、FFN、视觉编码等不同模块拆分为独立资源池，各自按负载特点弹性扩缩容，让资源匹配更精准、利用率更高。 演讲最后，罗伟表示，面向未来，作为“最懂大模型的AI基础设施”，商汤大装置将持续推动产品与技术迭代，与生态伙伴共同加速AI基础设施持续升级，推动普惠AI，智造美好未来。 本文由商汤科技提供，量子位获授权转载，观点归原作者所有。 版权所有，未经授权不得以任何形式转载及使用，违者必究。 token 商汤科技 量子位的朋友们 联想亮相阿里云栖大会：联想天禧AI把超级组织落地到端侧 2026-09-23 汇智智能发布Hellome：国内首个FDE直连智能体服务平台，把AI交付周期压进“周” 2026-09-23 达卯科技完成新一轮融资，算电协同核心软件层“稀缺标的” 2026-09-23 它石智航顶尖团队引领中国具身智能率先迈入规模化落地阶段 2026-09-23 扫码分享至朋友圈 相关阅读 商汤善惠烧卖购机器人小店上海“开业”，让机器人真正落地线下零售 打造“一人多面”的具身智能便利店 量子位 2026-05-12 具身智能 商汤科技 业界最高！商汤大装置SenseCore原生AI云平台获信通院5A卓越级认证 业界首个 十三 2026-02-03 信通院 商汤科技 大装置 吴恩达ChatGPT课爆火：AI放弃了倒写单词，但理解了整个世界 甚至出现了token文学…… 明敏 2023-06-03 ChatGPT OpenAI token 吴恩达 大模型 商汤被传推迟IPO计划：转战私募寻求10亿美元新融资；回应：无具体上市时间及地点 十三 2020-03-20 IPO 商汤科技 从GPU到Token：AI基础设施竞争逻辑重构 商汤大装置已实践三年 量子位 2026-04-22 商汤科技 大装置 Meta新研究：字节模型蒸馏后，天花板破了 henry 2026-09-15 Meta token 蒸馏 热门文章 从“会回答”到“会办事”，vivo如何解AI手机这道题？ 2026-09-17 刚刚，唐杰发布智谱RSI首个成果 2026-09-17 刚刚，Claude Code大重构！内部3万Agent管理技术免费开放 2026-09-18 央企做了个通用Agent，直接杀进IDC实测前三！ 2026-09-17 AGI最难一战，竟在医院！中国AI登上Science，医生不怕失业还催着上线 2026-09-18