Oyster-II：大型语言模型中用于建设性安全调整的强化学习

arXiv:2607.02914v1 公告类型：新 摘要：大型语言模型 (LLM) 在不同的应用程序中展示了卓越的功能，但同时确保其安全性、有用性和可信性仍然是一个持续的挑战。传统的面向拒绝的对齐策略可以减少有害内容的生成，但系统性地无法满足合法的用户需求，通常会隐瞒可以安全且建设性地解决敏感查询的潜在意图的信息。基于 Oyster-I 开创的建设性安全范式，超越了全面拒绝，转向深思熟虑的、面向响应的安全一致性，我们确定了其基于监督微调 (SFT) 的方案的两个关键局限性：对分布外场景的安全泛化不足，以及我们称之为安全思想链 (CoT) 过度泛化的现象，其中以安全为导向的推理模式过度应用于良性查询，降低了帮助性和用户体验。为了解决这些局限性，我们提出了Oyster-II，一种基于强化学习（RL）的构造性安全对齐框架，采用零强化学习范式与多阶段强化学习策略相结合。通过广泛的基准评估，Oyster-II在安全维度上全面超越了Qwen3-14B及其前身Oyster-I，实现了与Qwen3-Max和Qwen3.5-397B相当的跨尺度性能。