格式敏感性指数：LLM 基准测试中令牌控制的提示包装器稳健性和模式合规性

arXiv:2607.09665v1 公告类型：新 摘要：提示包装器通常仅在格式上有所不同，但它们可以改变模型分数，足以推翻排行榜结论。我们在令牌控制协议下研究这种方差，并引入两个补充指标：格式敏感度指数（FSI）（由包装器选择引起的准确度范围）和可解析性敏感度指数（PSI）（答案可解析性的相应范围）。在涵盖 7 个 QA 任务、5 个包装器系列和 4 个从 7B 到 72B 参数的指令模型的 140,000 个 OpenRouter 代中，我们发现模型之间的平均 FSI 变化超过 30 倍，这在很大程度上是由合规性失败造成的。固定效应回归表明，即使在控制任务、模型和包装器之后，可解析性仍然是准确度的有力预测因素。我们认为，没有包装器方差和合规性的报告准确性在统计上是脆弱的，并且我们为基准测试和结构化输出部署提供了实用的建议。