法学硕士服务的一年：工作负载演变、缓存和负载平衡

摘要

arXiv:2608.13573v1 Announce Type: new Abstract: Large Language Model (LLM) serving has become a critical cloud workload, and realistic traces are essential for motivating and benchmarking serving syst...

and serving production LLM workload the studies how models workloads

2026-08-17 1 阅读约1分钟阅读 William Nixon, Jon Durbin, Florian Standhartinger, Haryadi S. Gunawi, Juncheng Yang

arXiv:2608.13573v1 公告类型：新摘要：大型语言模型 (LLM) 服务已成为关键的云工作负载，真实的跟踪对于激励和基准测试服务系统至关重要。然而，现有的法学硕士服务工作量研究在规模和范围上仍然有限。他们经常观察较短的时间段，并且对用户如何与生产中的模型交互提供有限的可见性。因此，他们没有完全捕获 LLM 服务工作负载如何随时间演变，或者用户模型交互如何塑造生产流量。在这项工作中，我们通过全局特征和对 Chutes 一年生产跟踪的纵向研究，进一步了解了现实世界的 LLM 服务工作负载。与之前的研究不同，我们的跟踪捕获了许多模型和用户的完整生产行为，包括流行模型和长尾模型。我们从聚合、时间、模型级和用户级角度分析工作负载，揭示通常隐藏在聚合视图后面的工作负载演变和用户模型结构。为了支持未来的研究，我们将随论文发布完整的一年跟踪数据，从而能够在不依赖采样或综合生成的工作负载的情况下对生产行为进行下游研究。

订阅66必读