退伍军人心理健康危机严重性解读：法学硕士比人类专家更同意吗？

arXiv:2611.10048v1 公告类型：新 摘要：大型语言模型 (LLM) 提供了一种可扩展的方法来注释心理健康和危机相关的社交媒体内容，但其在安全关键任务中的可靠性仍不清楚。本研究根据八位退伍军人主题专家 (SME) 的注释，评估了基于法学硕士的退伍军人相关社交媒体帖子的危机严重性注释。我们使用 149 条推文和 5 个严重性类别，评估了 8 个提示变体中的 15 个开源法学硕士和 10 个专有法学硕士，检查注释性能、模型间一致性、提示敏感性和高严重性危机检测。人类审阅者表现出序数一致性高于名义一致性（{\alpha} = 0.494），表明相邻严重性级别之间经常出现分歧。相比之下，选定的法学硕士表现出更高的模型间一致性，在基线提示下序数一致性 ({\alpha}) 达到 0.8336。与开源模型相比，专有模型通常与专家注释具有更好的一致性，并且稳定性更高。 GPT-5.6-Terra 取得了最佳的整体性能，而开源 Qwen2.5-7B 在识别具有自杀意念的急性危机案例方面表现出最强的性能。然而，较高的模型一致性并不一定与人类判断一致或对罕见的高严重性案例的可靠检测相对应。标签翻转演示实验还揭示了模型特定的对误导性上下文示例的敏感性，而解释性演示并没有始终如一地提高性能。总体而言，法学硕士有望成为专家注释的可扩展补充，但在用于高风险的心理健康应用之前需要仔细评估。