在微调的大型语言模型中解耦内部表征变化和因果重要性

摘要

arXiv:2609.21113v1 Announce Type: new Abstract: Fine-tuning has emerged as a widely adopted approach for adapting LLMs to a variety of downstream tasks. However, how it reshapes their internal mechani...

tasks task components the tuning identified EAP how fine and

2026-09-21 1 阅读约1分钟阅读 Lingfang Li, Procheta Sen, Shubham Das, Danushka Bollegala

arXiv:2609.21113v1 公告类型：新摘要：微调已成为使法学硕士适应各种下游任务的广泛采用的方法。然而，人们对它如何重塑其内部机制仍知之甚少。为了解决这个问题，我们研究了微调如何改变 LLM 中的内部表示，包括注意力模式和分层激活，并检查这些变化是否与 EAP 识别的任务相关组件（例如，注意力头和逻辑级激活）相关，从而驱动任务性能。我们发现 EAP 识别的组件集中在特定层内，表明模型如何内化特定任务行为的功能本地化程度。值得注意的是，这些组件跨层的分布在很大程度上与微调期间经历最实质性表征变化的层不相关。此外，我们观察到，如果任务本质上不同（例如分类任务与生成任务），则跨任务的 EAP 识别组件的重叠不会转化为跨任务性能转移。更具体地说，当两个任务在其 EAP 识别的组件中表现出高度重叠时，对一项任务进行微调可能会导致另一项任务的性能下降。

订阅66必读