Salesforce 和 Nvidia 的新推理模型是人工智能实验室应该担心的一切

名为 Koa 的新人工智能模型是 Salesforce 本周在其大型 Dreamforce 技术会议上发布的最重要公告之一。 Koa 是该公司的第一个推理模型，基于 Nvidia 的开放权重 Nemotron 模型构建。两家公司共同对 Koa 进行后期培训，使其在销售、营销和客户支持相关任务方面表现出色。 Koa 是一个光辉的例子，说明了企业界对人工智能的需求与前沿实验室所提供的东西是如何背道而驰的。专有人工智能实验室宁愿让企业将文件、代码、提示和反馈直接上传到他们的模型和代理中，并为此花费数百万美元。但通过该模型，Salesforce 正在为其企业客户提供： 一种封闭边界模型的开放式替代方案 一种经过训练来执行特定工作任务（而不是解决不可能的数学问题）的模型 一种没有摄取任何实际客户数据的模型，因此不会将其泄露给其他人 一种有助于减少人工智能支出的模型，因为它使用更少的代币来完成相同的工作 一种可以根据需要自动通过人工智能“网关”进行路由的模型，以及一种遵循 Salesforce 中嵌入的所有客户数据要求和安全性的模型Koa 将作为 Salesforce 在 Agentforce 平台中提供的其他模型的替代方案，客户可以在该平台上构建代理来处理死记硬背的任务，例如回答客户服务问题或安排预约。 Salesforce AI 执行副总裁 Jayesh Govindarajan 告诉 TechCrunch：“我们已经构建了许多小型特定于任务的语言模型，这些模型是 Agentforce 产品组合的一部分。” “但推理一直是我们依赖前沿模型提供商的事情。直到现在。”在 Koa 之前，如果代理需要通过长时间运行或多步骤的任务进行推理，这些提示将通过 Agentforce 的 AI 网关（决定哪个模型处理哪个请求的系统）路由到 Claude 或 ChatGPT 等前沿模型。 “我们以前没有这样做的原因之一是训练我们自己的企业级前沿模型——我们一直想这么做——但挑战始终是缺乏预训练的基础模型。在 Nemotron 出现之前，没有可用的美国主权预训练模型，一、二，这是最先进的，三，有明确的数据来源。我们不知道 Qwen 训练的是什么，”Govindarajan 说，指的是流行的中国模型阿里巴巴出品的开放权重模型。对这样的模型进行后期训练意味着将其从通用系统转变为精通销售和客户支持知识的系统，为此，Salesforce 和 Nvidia 没有使用来自 Salesforce 客户的任何实际数据。相反，他们制作了模仿客户模式的合成数据。 “我们实际上模拟了一个由客户服务专业人员角色组成的客户服务环境，包括致电客户服务中心的愤怒客户，一直到试图达成交易的销售专业人员，”Govindarajan 描述道。 Koa 旨在更好地完成 Salesforce 客户希望代理完成的工作任务，并且比将这些相同的任务发送给 Claude 或 ChatGPT 更便宜，就烧毁的代币而言。 Nvidia 企业生成人工智能软件副总裁 Kari Ann Briski 向 TechCrunch 表示，借助 Nemotron，“我们拥有独特的推理架构，可以提高令牌效率”。 “这是你需要具备的三重因素：主权人工智能、第一个代币的时间、有效的推理，这一切都是代币经济的。”然而，Salesforce 并没有完全放弃 Anthropic 或 OpenAI。它刚刚宣布与 Anthropic 合作，名为 Claudeforce，允许公司使用 Claude 作为他们的人工智能界面，而他们的数据保留在 Salesforce 的记录系统中，并受到其基础设施的保护。