功能组知识在说出之前就已在语言模型中结构化

arXiv:2611.03684v1 公告类型：新 摘要：语言模型是化学和材料科学代理的推理核心，它们必须在计划合成或提出材料之前解释分子结构。然而他们的输出只显示了他们所说的，而不是他们所知道的。给出诸如“1-氟丁烷 (CCCCF) 中的主要官能团是”之类的提示，小型通用模型可能会回答“炔基”而不是烷基氟。仅凭输出无法判断模型是否未能识别氟，或者识别了氟但没有说出这一点。我们通过阅读涵盖 92 个分子和 20 个功能组的五个开源模型的内部表示来解决这个问题。即使没有化学训练，模型也会按化学家族组织功能组，并将化学差异编码为一致的方向。从硫醚 ($\mathrm{R{-}S{-}R'}$) 到硫醇 ($\mathrm{R{-}SH}$) 的转变，添加到醚 ($\mathrm{R{-}O{-}R'}$) 中，得到最接近的醇 ($\mathrm{R{-}OH}$)。这种结构突然出现在中间层，其中表示从跟踪提示的措辞转变为跟踪功能组。基本模型仅在 58.5% 的提示中命名了正确的官能团，这是五个提示中最低的，但它对官能团家族进行了编码并保留了具有化学意义的模式。它的错误大多是没有回答而不是错误的答案。功能组知识在说出之前就已在模型中结构化。化学微调对其进行了重新组织，使官能团而不是提示措辞主导了表示。这些结果表明，仅通过输出来评估化学语言模型可能会低估它们编码的化学信息。表示分析可以区分知识的缺乏和未能表达知识，这在选择或调整化学试剂模型时很重要。