用于事件预测的语言模型和先验的能力门控池

arXiv:2609.12101v1 公告类型：新 摘要：在混合预测中，语言模型通常是多个可用信号之一。系统可能已经有了市场、人群或统计预测，并且必须决定模型是添加有用的信息还是应该被忽略。因此，相关目标不是独立模型的准确性，而是相对能力，定义为模型超出可用外部预测的边际值。在 Brier 损失下，我们描述了模型分歧何时可以改善外部预测，并通过使用特定领域权重而不是全局池化权重获得收益。然后，我们引入一个能力门，它根据已解决的结果估计领域级源权重，将不确定的估计缩小到全局权重，并重新校准汇总预测。在 2,357 个已解决的二元问题和五种语言模型中，门将主要外部基线从 0.0771 Brier 提高到 0.0732 Brier，并且显着优于全局预测组合。在泄漏控制下以及针对池结构化集之前的泄漏安全时间序列（在 FRED 上有单独的证据），增益仍然显着。相比之下，该门对官方 ForecastBench 市场子集没有显着改善，它在很大程度上遵循市场。在四个 Qwen 模型中，言语信心并不能可靠地识别模型何时优于外部预测，而结果估计能力支持更好的弃权决策。这些结果为基于测量边际值的选择性模型使用提供了实用方法。