智能AI
morning
超越能力基准：从生产事件元数据中学习 LLM 云服务的操作指纹
摘要
arXiv:2608.26332v1 Announce Type: new Abstract: Managed LLM services are now part of real production systems, but model selection and service planning still rely heavily on capability benchmarks that ...
and
model
operational
LLM
OpEmbed
support
services
production
for
learning
2026-08-28
1 阅读
约1分钟阅读
Meiwei Zhang, Eduardo Miranda, Bruce Baynes, Suvigya Jain, Wanlong Chen, Tao He, Sergey Borodavkin
字号:
arXiv:2608.26332v1 公告类型：新 摘要：托管 LLM 服务现已成为实际生产系统的一部分，但模型选择和服务规划仍然严重依赖于能力基准，而这些基准很少揭示部署后的操作行为。我们提出了操作嵌入（OpEmbed），这是一个框架，用于从结构化的、隐私保护的支持案例元数据中学习 LLM 云服务的紧凑操作指纹，而无需使用案例文本。 OpEmbed 将模型时间窗口聚合到八通道操作签名中，并通过时间对比学习、跨视图重建和代数正则化来学习低维表示。 OpEmbed 在 Google Cloud 的 26 个月内对涵盖 7 个 LLM 系列的 33,000 多个生产支持案例进行了评估，恢复了可解释的系列和版本级结构，改进了非学习基线的留一模型操作预测，在有限的早期窗口数据下仍然有用，并支持跨模型故障类型转移。我们报告了从构建和评估该工具用于模型启动、支持准备情况评估和运营监控中吸取的实际经验教训。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱