后续事件准确性看不到的内容：急诊科轨迹模拟器的闭环评估

arXiv:2609.31635v1 公告类型：新 摘要：临床轨迹模型通常通过观察历史的下一事件准确性来评估。模拟则不同：模型必须以自己生成的事件为条件，从而允许错误复合。尽管这个问题在序列建模中众所周知，但尚未针对临床轨迹模拟器进行系统量化。我们开发了 EDSim-Bench，使用 425,028 个 MIMIC-IV-ED 支架来评估这种故障模式，并在 MC-MED 上进行外部复制，并发布评估协议和评分代码。从保留的访问前缀开始，模型生成每次访问的剩余部分，并以仅训练的 3 阶 n 元语法作为参考基线，对终止、事件组成、时间安排、条件保真度和占用率预测进行评估。尽管下一事件的准确度在 0.001 以内，但三种神经架构在推出时的表现却截然不同。在种子中，一种 Transformer 配方的终止得分为 0.43 至 0.96，n 元语法的散度为 4.2 至 137 倍；没有经过前缀训练的神经模型在终止或事件组合时接近 n 元语法。推理时间干预改善了终止，但没有共同恢复成分和时间。监督每个符合条件的序列位置而不是仅监督最终前缀位置与 Transformer、GRU 和 LSTM 模型的一到两个数量级的较低散度相关，并且该模式在模型缩放、时间移位和外部站点评估下持续存在。然而，即使是最好的模型，产生的访问时间也只有观察到的一半左右，并且模型排名在占用预测（与床位管理相关的下游数量）上发生了逆转。这些结果表明，下一事件的准确性不足以评估临床轨迹模拟器并激励跨种子、推出标准和下游任务的闭环评估。