国家重要吗？评估零次慢性肾病筛查中大型语言模型的地理敏感性

arXiv:2611.08507v1 公告类型：新 摘要：大型语言模型 (LLM) 显示出强大的零样本推理能力，但它们对提示上下文的敏感性引发了有关部署可靠性的问题。本研究调查了提示中嵌入的地理背景是否会影响基于法学硕士的慢性肾脏病 (CKD) 筛查，而与患者特征的任何变化无关。使用来自孟加拉国的基于社区的 CKD 数据集（284 名参与者，其中 112 名 CKD 和 172 名非 CKD），我们系统地改变了 25 个全球背景下的国家属性，同时保持所有临床输入不变，并评估了两个开放权重法学硕士（Qwen3 8B 和 Mistral 7B）。实验在 156 名参与者的共同正确子集上进行，这两个模型都为他们生成了正确的基线预测。结果表明，非 CKD 预测在不同地理环境中高度稳定，两个模型在几乎所有环境下都保持一致的非 CKD 预测。相比之下，CKD 阳性预测要敏感得多。对于 Qwen3，不同国家/地区的 CKD 预测从基线 65 下降至低至 50，而 Mistral 显示较小但不可忽略的变化。国家背景并未根据已知的流行病学或医疗保健相似性进行分组；相反，分组似乎反映了国家代币在每个模型中的内部表示方式。这些发现表明，尽管患者输入相同，但地理标记可以系统地改变临床筛查结果，这对在不同的医疗保健环境中部署基于法学硕士的决策支持具有影响。