首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

模型刚接进业务,CEO又要换新:红帽如何接住企业AI落地难题?

摘要

“刚选定模型、完成平台搭建,业务流程也已经接入。但没过几天,市场上又出现一个表现更好的模型,CEO转头就问CIO:能不能也试试?”红帽全球副总裁兼大中华区总裁曹衡康(Victor Tsao)提到了企业落地AI时经常遇到的一个困境。 对企业来说,换模型并不像个人更换一个聊天工具那么简单。模型背后还连接着GPU适配、推理服务、数据接口和业务流程,前一套系统刚刚跑顺,新模型就来了,企业既不想错过技术进步...

Service 刚选定模型 完成平台搭建 业务流程也已经接入 但没过几天 市场上又出现一个表现更好的模型 CEO转头就问CIO 能不能也试试 红帽全球副总裁兼大中华区总裁曹衡康 Victor
2026-11-19 1 阅读 约10分钟阅读 褚杏娟
分享:
字号:
“刚选定模型、完成平台搭建,业务流程也已经接入。但没过几天,市场上又出现一个表现更好的模型,CEO转头就问CIO:能不能也试试?”红帽全球副总裁兼大中华区总裁曹衡康(Victor Tsao)提到了企业落地AI时经常遇到的一个困境。 对企业来说,换模型并不像个人更换一个聊天工具那么简单。模型背后还连接着GPU适配、推理服务、数据接口和业务流程,前一套系统刚刚跑顺,新模型就来了,企业既不想错过技术进步,也不愿意为此重新搭建整套环境。 Agent的出现又带来了另一层压力。当智能体开始接入企业内部系统,能够访问什么数据、执行哪些操作,就成了必须明确的问题。如果缺乏有效的权限约束,Agent为了完成任务,甚至可能直接删除生产数据库。 模型迭代越来越快,企业需要保持技术选择的灵活性;Agent能力越来越强,企业又必须确保其行为可控。这些变化正在推动企业AI基础设施从模型部署和算力供给,进一步走向推理效率、资源管理和运行治理。 红帽近几个月的产品布局也围绕这些问题展开:从GPU调度和Token生产,到Agent权限管理,再到软件漏洞发现与修复,试图解决AI从试点走向生产环境时遇到的实际困难。 底座不能频繁重建,总账单需要控制 模型厂商之间的竞争,正在让企业IT部门面临新的选择难题。 企业如果把业务流程深度绑定在某个模型和运行环境上,就很难及时享受到新技术带来的收益。模型换代还会牵动底层硬件、推理框架和应用接口,之前的投入也未必能够直接复用。 曹衡康认为,企业CIO真正关心的不只是哪个模型最好,而是当前选择的平台能否适应持续变化的技术环境。过去,红帽将这一思路概括为“四个Any”:任意加速器、任意云、任意模型和任意智能体。 红帽希望延续Linux和OpenShift的路径,将开源技术转化为企业可以长期使用的商业化平台。底层硬件和模型可以变化,但企业不必每次都重新建设整个运行环境。据红帽介绍,目前其平台支持20多个开源模型、合计700多个版本。在加速器方面,除了NVIDIA、Intel和AMD,也已经支持国产GPU厂商沐曦,并继续推进其他国产算力产品的适配。 随着企业对算力的管理需求增加,这种开放性也开始从硬件层向推理服务延伸。 红帽大中华区方案架构部总经理王慧慧(Aella Wang)提到,红帽早期将相关场景称为GPU as a Service,即通过统一平台管理不同品牌的GPU,让企业按需使用。随着推理需求增长,客户开始更多地谈Token工厂:将GPU资源集中起来,通过模型和推理引擎生产Token,再将其作为服务提供给不同业务部门。再往上一层,则是Model as a Service,由企业IT部门统一提供模型服务,业务部门根据自身需求选择模型,而不必分别搭建运行环境。 这背后是企业AI成本结构的一次变化。 曹衡康指出,过去一年,单位Token价格虽然持续下降,但企业的总账单不一定减少。随着思考模型和Agent普及,一项任务可能需要多轮推理、工具调用和结果验证,Token消耗量也随之增加。单价下降,并不意味着总支出同步下降。 这也是红帽提出企业不能只做Token消费者,还应该考虑成为Token生产者的原因。对于已经投入大量GPU资源的企业,可以通过自建推理平台提高算力利用率,减少对外部API的长期依赖。 不过,自建Token工厂并非天然更便宜。它需要相对稳定的业务负载、合理的GPU利用率、专业的运维团队,以及持续的模型优化能力。如果算力长期闲置,折旧、电力和维护成本反而可能高于直接调用商业API。企业真正需要比较的,不是单个Token的价格,而是完成一项有效任务的综合成本。 红帽在推理基础设施上的布局,正是围绕这一问题展开。其深度参与的vLLM已经成为开源模型推理领域的重要项目。与此同时,红帽还推动分布式推理项目llm-d,希望进一步解决大规模GPU集群中的资源调度和推理效率问题。 10月20日,llm-d发布1.0版本。相比此前主要关注推理性能和集群调度,这次更新进一步补齐了生产环境所需要的多租户资源管理、请求优先级调度、高可用和滚动升级能力,并增加了面向Agent工作流的会话感知路由,让多轮请求尽可能复用已有上下文缓存,减少重复计算。 IBM Research的一项基准测试展示了其规模化能力:通过llm-d部署约7530亿参数的模型,在并行Agent工作负载下,最多支持3000个并发编码Agent,峰值输出吞吐超过每分钟660万Token。按照测试采用的云资源租赁价格估算,单位Token成本比同等商业API低5至10倍。 这类优化的价值不仅在于提高吞吐量,也在于让GPU资源能够承载更多并发任务,降低高负载下的推理成本。 在中国市场,红帽还与趋境科技共建推理AI创新实验室AI推理技术联合创新实验室。双方的分工是,红帽提供vLLM推理框架和标准化平台,趋境科技负责不同模型、加速卡和平台环境下的具体优化,包括KV Cache处理等技术实现。双方希望将成熟成果进一步回馈开源社区。 Agent真正难的不是开发,而是权限 推理效率解决的是AI能否以合理成本运行,Agent进入企业工作流后,另一个问题随之出现:企业敢不敢让它真正执行操作? 王慧慧认为,当前智能体开发本身已经不是很高的门槛,开发人员经过几个小时培训,就可能搭建一个能够完成特定任务的Agent。真正复杂的是权限管理和治理。 当Agent开始承担IT运维工作,它可能修改服务器配置、关闭机器、执行脚本,甚至删除数据库。一旦操作超出预期,影响的就不再是一段错误回答,而可能是企业真实运行的业务系统。红帽将这一方向称为Agent AIOps,即通过智能体承担企业内部的IT运维工作。 类似的风险也出现在AI辅助软件开发中。AI生成代码之后,可以进入自动化开发流程,但并不意味着可以跳过审核。无论代码由人还是AI生成,都需要经过相应检查,尤其是AI生成的代码,仍需要必要的审核环节,才能进入最终合并流程。 这意味着,企业需要管理的不只是模型本身,还包括Agent的实际执行行为:它能调用哪些工具、访问哪些数据,哪些操作可以自主完成,哪些必须经过人工确认。 Red Hat AI 3.5进一步加入模型安全评估、Agent开发模板、工具调用防护和可观测性能力。其中,EvalHub可以帮助企业对模型和Agent开展安全评估,NeMo Guardrails则用于约束模型和Agent的行为。平台还增加了按用户统计Token消耗的能力,帮助企业追踪不同团队的资源使用情况。 红帽与CIO时代联合发布的《2026中国企业级AI实践调研分析年度报告》也反映了应用速度与治理能力之间的落差:接近70%的受访企业正在推进Agent应用,但正式治理框架覆盖率还不到15%。 对于企业来说,Agent的权限不能只靠一条提示词约束,还需要身份认证、工具访问控制、操作审计和人工审批等机制共同发挥作用。尤其涉及生产数据库、核心业务系统等高风险资源时,企业必须明确自主执行的范围,并保留必要的人工控制。 AI发现漏洞更快,企业修复跟得上吗? Agent治理之外,AI还在改变软件安全的攻防节奏。AI工具加快了漏洞发现,也可能帮助攻击者将多个看似无关的低危漏洞组合起来,形成更复杂的攻击路径。 对于企业而言,发现漏
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱