变压器几何观测站 TGO-IV：发育拓扑观测站

摘要

arXiv:2608.09997v1 Announce Type: new Abstract: Transformers have had a profound impact on the world of language processing and computer vision. As efforts to answer the million-dollar question of ``H...

the representations and layers Transformer evolution across representation point topological

2026-08-12 1 阅读约1分钟阅读 Kaustubh Kapil, Kishor P. Upla

arXiv:2608.09997v1 公告类型：新摘要：变形金刚对语言处理和计算机视觉领域产生了深远的影响。随着回答“Transformer 如何学习？”这一耗资数百万美元的问题的努力不断增加，现有的可解释性研究主要分析孤立层或整个网络的表示，而跨 Transformer 层的单个表示及其流形的发展演变仍未得到充分探索。通过这项工作，我们的目标是提供表示点云跨层变换时表示的演变的全面分析；从而尝试隔离层或建立一种趋势，更接近于证明原始输入表示如何以及何时演变。因此，Transformer Geometry Observatory-TGO-IV 引入了一个拓扑框架，通过持久同调的视角来分析 Transformer 表示的演变，TGO-IV 不是单独研究局部几何属性，而是从令牌级表示点云中构建 Vietoris--Rips 单纯形复合体，并研究其跨 Transformer 层的持久拓扑特征的演变。持久图、条形码图、贝蒂曲线、持久景观、瓶颈距离和 Wasserstein 距离，能够全面分析表示点云的全局拓扑在整个前向传递过程中的发展情况。

订阅66必读