法学硕士忘记网络防御的学习：关于方法、挑战和新威胁的调查

arXiv:2607.16227v1 公告类型：新 摘要：法学硕士越来越多地部署在医疗保健、金融、教育和决策支持等安全关键系统中，但他们无法忘记，从而造成了严重的网络安全、隐私和安全风险。敏感的个人信息、受版权保护的材料、危险领域知识和记忆的训练数据在部署后很长时间内仍然编码在数十亿个参数中，使得模型容易受到提取、越狱攻击、成员推理和监管不合规的影响。现实世界中的事件，从聊天机器人重新生成私人信息到捏造的法律引文，产生直接的法律和财务成本，将问题置于新兴威胁领域的中心，而不是猜测领域。由于在修订后的语料库上重新训练数十亿参数的模型在计算上是不可行的，而且由于 LLM 中的知识是分布在参数之间并纠缠在一起的，而不是本地化到可识别的单元，因此 LLM 遗忘已成为主要的网络防御响应，旨在从经过训练的模型中删除或抑制目标知识，而无需重新训练，也不会侵蚀模型应该知道的知识。然而，一个核心问题仍未解决。当前的方法是否真正删除了知识，或者它们只是阻止模型在普通提示条件下表达知识？这项调查通过安全性、鲁棒性和可验证遗忘的角度来研究法学硕士的遗忘，主要关注基于梯度的方法，这些方法由于与现有训练流程的兼容性以及对十亿参数模型的可扩展性而在该领域占据主导地位。