IWIBench：评估无梯度模型驱动的权重内注射

arXiv:2611.08647v1 公告类型：新 摘要：权重内注入让一个模型可以通过直接编辑权重来改变另一个模型的行为，无需渐变。此类编辑的范围从改变词汇关联到强制输出格式或更新事实知识。尽管人们对这些方法越来越感兴趣，但还没有系统的方法来评估模型的执行效果。我们引入了 IWIBench，它衡量大型编辑器模型修改较小目标模型（通常是 Gemma 3 4B IT）权重的能力，以实现十个经典文本编辑目标之一，同时保留其其他功能。编辑者仅限于四种用于读取和写入权重的工具，具有有限的张量访问权限以及用于生成和检查部署的固定预算。验证器在干净的环境中应用每个建议的补丁，并将编辑后的模型与未修改的目标进行比较。评估前沿封闭权重模型和开放权重模型揭示了跨模型和跨任务的能力的巨大差异。少数模型，尤其是 Astra 和 GPT-6.1 Sol，表现远远领先于其他模型。这种能力的新近性（例如，在 GPT-5.6 Sol 中几乎不明显），加上定性分析，表明它是通过最近的训练获得的。任务也有很大差异：结构化响应抵制每一次尝试，答案长度控制只能产生一个成功的解决方案，而别名获取和重新编码被证明是最适合的。一个任务系列的成功与其他任务系列的成功相关性较差，这表明能力边界较早且不均匀。我们讨论了编辑们反复采用的策略，并总结了体重注射作为一种新兴但已经有效的无梯度行为矫正方法的前景。