PhantomFill：当表单需要答案时，语言模型会发明一个答案

arXiv:2607.20492v1 公告类型：新 摘要：生产中的语言模型不写散文。它们填写表单：JSON 字段、函数参数、提取模板。我们证明这种形式本身会引起幻觉。我们向十三个模型询问关于相同输入的相同问题，并且仅更改答案格式。输入的构建是为了让问题无法得到回答：一篇病毒式帖子显示 12,400 个赞，但没有可见的回复，一张支持票，其电话从未被转录。在自由文本中，GPT-5.5 诚实地回答了。 98%的情况下都说没有回复数据。给定情绪所需的 JSON 字段，同一模型有 40 次发明答案，其中有 40 次是这样的。它捏造了从未见过的人群的情绪，并引用了从未听说过的客户的观点。该模式具有强大的力量。所需字段将 13 个模型中的 10 个模型的制造率提高到 100%。明确的“证据不足”选项只能拯救边界：所有九个开放权重模型都忽略它。直接指令（不推断情绪）被六个模型中的四个模型所覆盖。阻力并不随规模而来：在单一模型系列中，最小的模型拒绝，中型模型制造，最大的模型再次拒绝。格式压力下的诚实是一种没有人衡量的培训结果。捏造的内容准确地隐藏了不可能对冲的地方：在必需的枚举和最小计数数组中，以及不适合免责声明的字段。我们发布了 PhantomFill，这是一个具有确定性评分和两个可报告数字的基准：强制制造率和逃逸利用率。我们测试的修复是一行模式。我们衡量的失败无处不在。