Nvidia Nemotron 3.5 Lightning 和 NeMo Switchyard

随着人工智能从聊天机器人转向自主代理，开放模型正在满足市场需求，以完全控制人工智能的运行位置以及部署和发展方式。今天，NVIDIA 正在通过 Nemotron 3.5 Lightning 扩展其 Nemotron 3 型号系列，这是同类产品中针对长时间运行的代理 AI 工作负载效率最高的型号。该版本是 Nemotron 3 Nano 的后续版本，体现了 NVIDIA 不断改进开放模型以提高准确性和速度的承诺。 Nemotron 3.5 Lightning 是一个拥有 300 亿参数的专家混合模型，专为大型多代理系统中的专门任务而构建，有助于创建更智能、更高效的代理应用程序。此外，NVIDIA 还发布了 NeMo Switchyard，这是一个开源库，用于在流行的代理工具中进行智能路由。企业可以根据自己的具体需求使用它来构建路由器。部署后，NeMo Switchyard 可以智能地将每个请求定向到最有能力、最适合该工作的模型，跨越开发人员自己的开放、专有和 NVIDIA 模型组合，而无需开发人员重写其应用程序。 Nemotron 3.5 Lightning 和 NeMo Switchyard 可以更好地控制人工智能在 PC、工作站、数据中心和云中的部署方式、运行位置以及运行效率。 Nemotron 3.5 Lightning 在专为大容量代理工作流程而构建的小型、可定制开放模型中提供前沿水平的智能。永远在线的代理需要一个模型系统现代代理系统——永远在线的代理——越来越多地作为模型系统或模型集合来运行，不同的模型专门用于不同的任务。 NVIDIA Nemotron 开放模型专为此架构而设计。 Nemotron 3 Ultra 或 GPT-5.6 等前沿推理模型可以规划和编排工作流程，而 Nemotron 3.5 Lightning 等较小的专用模型可以执行有针对性的任务，例如代码审查、工具使用、安全警报监控和回答计费问题。使用 Nemotron 3.5 Lightning 为大批量专业任务提供支持 NVIDIA Nemotron 3.5 Lightning 是一款完全可定制的开放模型，专为为始终在线代理提供支持的大批量任务而构建。它是在 Nemotron 联盟的贡献下开发的，该联盟的成员提供了评估方法、推理软件和数据集来帮助推进模型。该模型的输出速度提高了 4 倍，与同类其他模型相比，代理任务完成速度提高了 30%。由于 Nemotron 3.5 Lightning 具有开放性和可定制性，因此可以使用 NVIDIA NeMo 在组织自己的域数据、工具和工作流程上轻松进行后期训练，以提高专门任务的准确性。 PinchBench 基准测试表明，与同类其他型号相比，Nemotron 3.5 Lightning 能够更快地完成代理任务，并且具有前沿水平的准确性。各行业的人工智能领导者正在为其工作负载定制 Nemotron 3.5 Lightning，包括用于网络安全的 CrowdStrike、用于法律服务的 Harvey with Trajectory 以及用于代码审查的 CodeRabbit with Baseten，从而帮助提高特定领域代理任务的准确性。此外，Lila Sciences 正在帮助提高物理和生命科学领域代理任务的推理能力，Fastino Labs 定制了该模型，并看到软件开发、金融和医疗保健工作负载的领先准确性。企业定制了 Nemotron 3.5 Lightning，以在代理工作流程中实现专业任务的领先准确性。 Nemotron 3.5 Lightning 还使组织能够控制隐私和部署。它可以在本地 AI 系统（包括 NVIDIA RTX PC、NVIDIA DGX Spark、NVIDIA DGX Station 和 NVIDIA Jetson）上运行，以帮助用户最大限度地利用现有基础设施投资，或针对企业用例跨边缘 AI 设备、NVIDIA RTX PRO 工作站、数据中心和云环境进行扩展。 Nemotron 3.5 Lightning 可以在本地或本地运行，以执行需要快速响应的大批量、专业任务。此外，与每一次 Nemotron 发布一样，NVIDIA 会在许可许可的范围内发布尽可能多的训练数据和技术，以便对其他模型进行可追溯、审核和训练。除了 Lightning，NVIDIA 还发布了 Nemotron-RL-Agentic-Terminal-Pivot，这是一个代理强化学习数据集，用于对其编码代理功能进行后训练。通过模型路由实现更高效的人工智能应用程序 有些模型更适合编码，有些模型更适合推理，有些模型更适合轻量级任务，有些模型经过优化可以在本地运行，以提高隐私性和效率。如果客户依赖一种默认模式，他们可能会超支或失去质量；如果他们手动管理路由，那么集成工作就会减慢部署速度。 NVIDIA NeMo Switchyard 是一个用于 AI 代理的开源模型路由库。该技术会根据特定需求，自动为座席工作流程的每个步骤提示最有能力、最高效的模型。阿让