智能AI
morning
Check Token:LLM推理中的实时自验证和精确截断
2026-11-17
1 阅读
约1分钟阅读
Fei Ding, Yongkang Zhang, Yuhao Liao, Zijian Zeng, Huiming Yang
字号:
arXiv:2611.18564v1 公告类型:新 摘要:ECC 内存为每 64 个数据位嵌入 8 个奇偶校验位,并在每次读取时自动检测和纠正错误。奇偶校验位不携带数据,仅保护完整性,开销约为 12.5%。然而大型语言模型的推理链缺乏这种内置的自我验证:一旦发生错误,它就会沿着链传播,而现有的方法只能在生成完成后进行外部验证。我们提出了检查令牌,首次为语言模型生成流建立内置自验证:在词汇表中添加功能标记,模型在任意位置输出即可触发自检查(分析、本地化、截断、重写)。检查令牌不携带推理内容(触发后丢弃),仅保障推理正确性,直接对应ECC奇偶校验位的作用,同样开销也只有~13%。投机分叉进一步消除了误报延迟,分段奖励使触发时间端到端可学习。实验(Qwen3-32B / Qwen3-Next)表明,检查令牌在 HMMT25 上以 1.13 倍的开销实现了 +10.8 pp 的改进,令牌效率是 Best-of-8 的 88 倍,并且精确截断优势随着链长度单调增加。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱