StartLux 的 27B 本地模型在中国官方代理基准测试中排名第二，在关键任务上与更大的竞争对手相媲美

NextFin 新闻 — 紧凑的本土模型在中国官方对代理商绩效的评估中取得了优异的成绩。据多家科技媒体综合中国信息通信研究院人工智能研究所的报告显示，上海元电星汇科技（StartLux）研发的StartLux-V1.0-27B-Preview在Trusted AI Large Model Benchmark的MCP专项测试中综合得分为39.25，获得第二名。该评估涵盖六项专门任务——位置导航、网络搜索、浏览器自动化、财务分析、代码存储库管理和 3D 设计——以及总体评估。它检查了多工具协调、复杂任务执行以及与现实环境的交互，部分借鉴了开源 MCP-Universe 框架。报告比较中列出的模型包括 DeepSeek-V4-Pro（引用为 1.6 万亿个参数）、DeepSeek-V4-Flash-0731（引用为 2840 亿个）、Step-3.7-Flash（引用为 1980 亿个）、相同大小的 Qwen-3.6-27B 以及一个标识为 AgentCPM-Explore 的 40 亿参数条目。据二级报道称，StartLux 的 270 亿参数系统领先于 2840 亿参数的 DeepSeek Flash 模型和 1980 亿参数的 Step 模型。与 Qwen-3.6-27B 相比，它有 5.34 分的优势。在各个类别中，它在位置导航方面排名第一，并在浏览器自动化和财务分析方面与规模大得多的 DeepSeek-V4-Pro 并列或领先。 StartLux表示，该模型从Qwen3.6-27B基础开始，并接受了有针对性的后期训练。该公司将该过程描述为依赖于“人工智能-训练-人工智能”或自动研究循环，系统在其中设计实验、评估结果并迭代地完善策略。 27B预览版是国内第一个以这种方式训练的本地代理模型。该模型设计用于在消费级个人计算机上运行。 StartLux表示计划在今年晚些时候发布第一代本地智能解决方案，并继续进行额外的培训工作，包括探索替代架构。报告的排名是在人们对在设备上保存数据和推理的模型越来越感兴趣的情况下得出的。 Google、Meta 和 NVIDIA 均发布了大约 300 亿个参数范围的开放或开放权重模型，旨在用于本地或边缘部署。一旦基础能力突破了实际门槛，许多用户和组织就会更加看重数据局部性、可控成本和定制能力，而不是纯粹的规模。 CAICT MCP 评估中使用的代理式测试与这种转变特别相关。简单的对话准确性不再满足全部要求。实际用途越​​来越依赖于调用工具、跨步骤维护状态以及在不断变化的环境中操作的能力。原则上，在此类任务上表现良好的紧凑模型可以在无需更大系统的基础设施需求的情况下提供价值。报告的分数是否会在独立复制和更广泛的测试下保持不变仍然悬而未决。单一基准结果始终是临时的。消费者硬件的真实延迟、较长会话的稳健性以及周围软件堆栈的质量至少与标题排名一样重要。尽管如此，CAICT 报告中总结的数字提供了一个具体的数据点：在官方评估框架下，一个包含 270 亿个参数的本地模型在一组多工具代理任务上已经匹配或超过了更大的系统。 StartLux 将本地部署视为一种妥协，而不是一种妥协，而是最明确地解决隐私、成本控制和定制问题的设置。下一个测试将是实验室排名是否转化为可靠的日常性能，以及计划的本地解决方案是否吸引迄今为止依赖云服务的开发人员和组织。这一事件凸显了该领域的悄然重新平衡。规模仍然很重要，但它不再是有用性的唯一决定因素。使计算接近数据和用户的模型开始在对实际代理最重要的任务上表现出竞争力。如果这种变化持续下去，将重塑部署的经济性和组织选择运行的系统类型。