智能AI
morning
测试时持续学习的特定于绑定的重新学习节省
摘要
arXiv:2610.22381v1 Announce Type: new Abstract: When a fact becomes harder to elicit from a language model, has the model lost it, or has it merely become less accessible? Parameter-updating test-time...
the
learning
relearning
advantage
slot
matched
LEARNED
receives
CONTROL
model
2026-10-19
1 阅读
约1分钟阅读
Zhe Zhou
字号:
arXiv:2610.22381v1 公告类型：新 摘要：当事实变得更难从语言模型中得出时，模型是否丢失了它，或者只是变得更难以访问？参数更新测试时持续学习代理通常通过当前输出精度来评估；我们询问该测量是否反映了先前的经验如何影响以后的更新。我们测试学习特定的事实绑定是否会产生超出熟悉其实体、答案词汇、格式或查询槽的后期重新学习优势。在 Qwen2.5-1.5B 中，我们比较三个匹配的、平衡的历史：LEARNED 接收正确的绑定，CONTROL 接收没有它的匹配曝光，而 WRONG 在同一槽中接收竞争的关系有效答案。经过相同的免排练连续微调流后，LEARNED 在预先指定的部分遗忘检查点比 CONTROL 更快地重新获取目标。 WRONG 与 CONTROL 相比没有显示出任何积极优势，而它与 LEARNED 的比较提供了槽匹配的佐证，但可能受到竞争对手的干扰。在对测量的再学习前行为进行调整后，优势仍然是积极的。在使用未配对的从未见过的池的二次描述性转换中，先前的学习将恢复所需的优化器更新减少了约 18%。因此，当前行为的准确性可能会低估先前获得的经验的持久影响。代码可在 https://github.com/zhezhou1106/relearning- savings 获取
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱