太初元碁洪源：异构计算能力将成为未来AI算力基础设施的重要方向｜AIGC2026

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 太初元碁洪源：异构计算能力将成为未来AI算力基础设施的重要方向｜AIGC2026 梦瑶 2026-05-20 21:08:51 来源： 量子位 AI产业正在进入新一轮高强度算力周期 编辑部 整理自 AIGC2026 量子位 | 公众号 QbitAI 2026年，AI产业正在进入新一轮高强度算力周期。 随着Agentic AI、代码助手、智能办公等应用加速落地，AI正在从Demo走向真实任务，Token也随之成为AI时代最核心的资源消耗单位。 因此，算力能否支撑更高频、更复杂的AI应用，正在成为产业下一阶段能否继续向前的关键问题。在 太初元碁首席产品官、高级副总裁洪源 看来： 在Token经济加速到来的背景下，AI算力需要更好地向上兼容框架、模型与应用，为大模型训练、推理和行业落地提供更稳定、高效、易用的基础支撑。 伴随大模型能力跃迁和AI应用快速增加，Token调用需求正在持续释放，国产算力也迎来了新的发展机遇。 这意味着，未来算力将不再只是模型训练背后的基础资源，而会贯穿从模型研发、应用部署到行业场景落地的全链路，成为Token智能时代最关键的新型基础设施。 在本次 量子位AIGC2026 上，洪源围绕国产算力、Token应用、Agentic AI计算效率等关键词，分享了自己对国产AI算力建设的看法。 为了完整体现洪源的思考，在不改变原意的基础上，量子位对演讲内容进行了编辑整理，希望能给你带来更多启发。 AIGC2026是由量子位主办的行业峰会，近20位产业代表与会讨论。线下参会观众超千人，线上直播观众近400万，获得了主流媒体的广泛关注与报道。 核心观点梳理 随着Agentic AI、行业大模型和智能应用进入真实业务场景，AI计算正在从「生成内容」走向「生成任务」，对算力系统的稳定性、效率和协同能力提出更高要求，未来需要解决的是多种计算单元之间相互配合、协同调度，以及降低等待和通信成本的问题。 国产AI算力迎来新的发展机会，但真正的突破点不只在单点性能，更在大规模集群服务能力、计算效率和生态易用性。 大模型训练与推理正在走向万卡乃至更大规模集群，算力厂商需要从硬件、互联、软件、调度、运维等全链条提升系统能力。 Agent任务执行过程中，CPU调度、GPU计算、通信和数据处理等环节需要高效协同，异构计算能力将成为未来AI算力基础设施的重要方向。 未来AI算力将像Token经济中的「制氧机」，持续支撑模型、应用和行业场景运行。 以下为洪源演讲全文： Token经济加速到来，国产AI算力迎来新机遇 从2022年底ChatGPT发布以来，整个大模型行业的迭代速度明显加快，尤其今年以来，主流大模型的更新频次进一步提升。 对于算力厂商来说，这意味着我们需要持续围绕主流大模型做适配和优化。 从模型数量、训练数据规模、所需算力规模，到模型本身的参数规模，都可以看到非常明显的增长趋势。 在这一背景下，今年行业也越来越频繁地谈到Token经济，随着大语言模型调用量快速增长， Token正在成为AI时代非常核心的消耗单位，尤其是国产模型相关调用量，也在持续提升。 从OpenRouter相关数据预测来看，从2025年到2026年，再到2030年，整体Token调用量预测会出现大幅增长。 增幅将达到212倍，可以预见，未来无论是C端应用，还是B端行业应用，都会带来更大规模的Token消耗。 伴随Token调用快速增加，AI应用市场也在快速增长，越来越多应用正在走向真实场景，办公、代码、医疗、教育、能源、电力等行业都在加速引入AI能力。 这也意味着， 底层算力基础设施必须支撑更高频、更复杂、更大规模的AI调用需求。 在这个过程中，算力效率提升会进一步释放需求，生产效率提高之后，应用场景会变多，调用频次会变高，最终带来的反而是算力需求的持续增加。 从IDC以及国内一些调研机构的数据来看，到2030年，全球算力规模预计会以每年60%的速度增长，其中90%以上将是智能算力。 对于国产AI算力而言，这是一轮非常重要的发展机会，大模型能力不断增强，Token需求快速释放，行业应用加速落地，都在推动国产算力走向更广阔的产业场景。 大模型进入任务时代，AI算力需要解决三大关键问题 当然，在新的机会面前，国产AI算力也需要解决一些关键问题，整体来看，我认为主要有三个方面。 第一个问题，是 大规模集群的服务能力 。 现在大模型训练和推理对集群规模的要求越来越高，动辄就是万卡，甚至更大规模的集群，在这样的大规模系统中，如何保证训练效率、系统稳定性、成本控制和可靠性，是算力企业必须解决的问题。 第二个问题，是 计算效率 。 在Agent任务执行过程中，用户输入一个任务后，系统需要进行任务规划、工具调用、多轮执行和结果反馈。在这个过程中，GPU真正用于计算的时间可能只占整体的10%左右，大量时间会消耗在CPU调度、通信、数据处理等环节。 CPU更多承担串行计算和调度任务，GPU更擅长并行计算， 未来AI算力系统需要更好地发挥CPU和GPU等不同计算单元的协同效率 ，让整个任务执行链路更加高效。 第三个问题，是 生态问题 。 对于国产算力企业来说，芯片设计本身只是第一步，真正决定用户能不能用起来、开发者愿不愿意用、模型和应用能不能快速迁移的，是背后的软件生态。 国产算力要服务好Token经济，就必须为开发者和行业客户提供更好用、更易用的生态能力，无论是底层开发者，还是上层模型厂商、应用厂商，都需要更顺畅地完成模型迁移、训练、微调和推理部署。 AI算力的发展已经不能单一堆性能、堆算力。 尤其在Agentic AI快速发展的背景下，AI计算正在从生成内容走向生成任务，这对算力系统提出了新的要求，未来AI算力需要解决异构协同、高效可用和生态适配等系统性问题。 当AI计算从「生成内容」走向「生成任务」，异构协同会变得越来越重要，未来需要解决的是多种计算单元之间相互配合、协同调度，以及降低等待和通信成本的问题。 从超算积累到生态适配，打造AI产业「制氧机」 针对这些问题，太初元碁也在持续进行探索和实践。 首先，在 大规模集群 方面，我们有高性能计算领域长期的技术积累，特别是面对大规模并行计算任务，往往涉及10万核甚至数十万核级别的协同计算，这些经验为我们今天做AI算力集群提供了重要基础。 其次，在 异构计算 方面，我们从芯片设计层面做了相关布局。 我们在核心芯片设计中包含不同计算模块，比如面向通用计算的模块、数据处理核心，以及面向并行计算的模块。这些不同计算单元通过片上网络进行连接，从而提升CPU、GPU等不同计算单元之间的协同效率。 这类架构设计，主要是为了适应未来AI任务越来越复杂的趋势，让AI应用不再只是单一模型推理，而会涉及任务拆解、工具调用、数据处理、多轮交互和结果反馈。面对这种任务链路，底层算力系统必须具备更强的协同能力。 此外，在 生态方面 ，我们也认为这是非常重要的一环。 从底层能力来看，我们提供了自研编