在大型语言模型中追踪心理测量推理

arXiv:2611.12937v1 公告类型：新 摘要：大型语言模型是否在内部代表心理结构，或者它们仅生成类似于心理测量结构的输出？我们使用来自两个系列（Llama 3 和 Qwen 2.5、0.5B-14B、基础和指令）的 14 个模型变体的跨角色范例来解决这个问题。根据真实个体（N = 272 名台湾大学生）在一种心理量表上的反应，模型可以预测其他六种量表上的反应。在行为层面，较大的变异会复制并放大人类的跨尺度相关性；在校正测量衰减的七尺度人类相关性后，放大仍然存在。然后我们检查这种结构是否在内部得到反映。对比方向分析发现，在较大的指令变体中，几何结构与人类基质对齐，但在该测定下，基本变体几乎没有对齐。在模型中，几何强度与行为放大相关（r = 0.68，p = 0.008；部分 r = 0.69 控制对数大小）。为了将内部结构与输出行为联系起来，匹配的激活探测范式表明探测斜率的变化小于行为斜率的变化（1.38-1.77 vs 0.52-1.53​​）。综合控制表明，山脊探测可以使这些斜坡膨胀；从另一个分析中减去基于可靠性代理的基线后，调整后的斜率仍然与行为相关（r = 0.88）。我们将测得的探头行为间隙读数衰减称为“测量的探头行为间隙读数衰减”。这些结果在测试的测定下建立了可解码性和几何对齐，但没有表明测量的方向介导了跨角色答案。