Octopus：一个大脑，多个分支，用于潜在 KV 多智能体强化学习

arXiv:2611.06956v1 公告类型：新 摘要：多代理 LLM 系统通过生成具有隔离上下文窗口的子代理来并行探索，而单代理系统将每个搜索和验证步骤附加到一个增长的轨迹中。然而，现有的多代理框架跨分支复制前缀 KV 缓存，通过重新预填充文本摘要来交换结果，并在强化学习 (RL) 期间压平或删除跨分支依赖关系。我们引入了 Octopus，一种单模型多代理 RL 框架，其中所有线程共享一个主干，并通过五个原语（fork、read_thread、wait_threads、rewind、commit）在 KV 状态的 GPU 驻留有向无环图（DAG）上进行协调。 Octopus 结合了三种共同设计的机制：（1）零复制基数分叉，它在共享物理 KV 页面上以 $\mathcal{O}(1)$ 光标视图的形式生成分支； (2) Attention-Only KV Mounting，将同级线程的终端 KV 块直接挂载到全注意力层中，同时绕过线性循环状态（Gated DeltaNet / Mamba-2），将任务劫持减少 $21\times$（$57.9\% \to 2.7\%$），同时在零额外 KV 分配的情况下保留 $92.2\%$ 的全文互信息； (3) 一个打包的 DAG-GRPO 训练器，它将所有情节分支打包到一个块稀疏注意力通道中，并通过留一分支边际奖励分配反事实分支信用。在 Qwen3.5-4B 上使用 GRPO 在稀疏 BM25 语料库上进行端到端训练，Octopus 在 BrowseComp-Plus 上达到 $49.6\%$ 准确率（在 143K 上下文中比单代理 GRPO 提高 $+17.5$ 点，在文本摘要多代理 RL 上提高 $+12.5$ 点），在 OpenResearcher 上达到 $51.2\%$ 准确率，优于密集检索代理最多增加 250 倍，同时训练吞吐量增加 3.3 倍，峰值 KV 内存减少 2.8 倍。