缓存到缓存：大型语言模型之间的直接语义通信

[提交于 2025 年 10 月 3 日 ( v1 )，最后修订于 2026 年 3 月 2 日（本版本，v2）] 标题：缓存到缓存：大型语言模型之间的直接语义通信 查看标题为“缓存到缓存：大型语言模型之间的直接语义通信”的论文的 PDF，作者为 Tianyu Fu 和其他 6 位作者 查看 PDF HTML（实验） 摘要：多 LLM 系统利用多种大型语言的互补优势模型，实现单一模型无法实现的性能和效率提升。在现有设计中，LLM 通过文本进行通信，迫使内部表示转换为输出标记序列。这个过程既丢失了丰富的语义信息，又导致了逐个令牌的生成延迟。出于这些限制，我们不禁要问：法学硕士能否进行超越文本的交流？ Oracle实验表明，丰富KV-Cache语义可以在不增加缓存大小的情况下提高响应质量，支持KV-Cache作为模型间通信的有效媒介。因此，我们提出了缓存到缓存（C2C），这是 LLM 之间直接语义通信的新范例。 C2C 使用神经网络将源模型的 KV 缓存与目标模型的 KV 缓存进行投影和融合，以实现直接语义传输。可学习的门控机制选择从缓存通信中受益的目标层。与文本通信相比，C2C 利用了两种模型的深层、专业语义，同时避免了显式的中间文本生成。实验表明，C2C 的平均准确率比单个模型高 6.4-14.2%。它的性能进一步优于文本通信范例约 3.1-5.4%，同时延迟平均加快 2.5 倍。我们的代码可在此 https URL 获取。提交历史来自：Tianyu Fu [ 查看电子邮件 ] [v1] 2025 年 10 月 3 日星期五 17:52:32 UTC (484 KB) [v2] 2026 年 3 月 2 日星期一 19:24:02 UTC (546 KB)