开源推荐
morning
GitHub 热门项目：变压器调试器
摘要
GitHub项目：transformer-debugger 仓库地址：https://github。
https
com
the
and
for
2026-05-14
1 阅读
GitHub Trending
GitHub 项目：transformer-debugger
仓库地址：https://github.com/openai/transformer-debugger
星级：4113 | 作者：openai
项目描述：暂无描述
===================================================
自述文件内容：
# 变压器调试器
Transformer Debugger (TDB)是OpenAI的[Superalignment]开发的工具
团队](https://openai.com/blog/introducing-superalignment) 的目标是
支持对小语言模型的特定行为的调查。该工具结合了
[自动解释性](https://openai.com/research/language-models-can-explain-neurons-in-language-models)
使用[稀疏自动编码器](https://transformer- Circuits.pub/2023/monosemantic-features)的技术。
TDB 能够在需要编写代码之前进行快速探索，并能够干预
前向传递并查看它如何影响特定行为。它可以用来回答这样的问题，
“为什么模型在这个提示中输出标记 A 而不是标记 B？”或“为什么注意力会集中在
H 会注意令牌 T 的提示吗？”它通过识别特定的组件（神经元、
注意力头、自动编码器潜伏）对行为有贡献，自动显示
生成对导致这些组件最强烈激活的原因的解释，并进行追踪
组件之间的连接有助于发现电路。
这些视频概述了 TDB，并展示了如何使用它来调查[间接对象
GPT-2小中的识别](https://arxiv.org/abs/2211.00593):
- [简介](https://www.loom.com/share/721244075f12439496db5d53439d2f84?sid=8445200e-c49e-4028-8b8e-3ea8d361dec0)
- [神经元查看器页面](https://www.loom.com/share/21b601b8494b40c49b8dc7bfd1dc6829?sid=ee23c00a-9ede-4249-b9d7-c2ba15993556)
- [示例：调查域名转移头，第 1 部分](https://www.loom.com/share/3478057cec484a1b85471585fef10811?sid=b9c3be4b-7117-405a-8d31-0f9e541dcfb6)
- [示例：调查域名转移头，第 2 部分](https://www.loom.com/share/6bd8c6bde84b42a98f9a26a969d4a3ad?sid=4a09ac29-58a2-433e-b55d-762414d9a7fa)
## 发布内容是什么？
- [Neuron 查看器](neuron_viewer/README.md)：一个 React 应用程序，它托管 TDB 以及包含有关各个模型组件（MLP 神经元、注意力头和两者的自动编码器潜伏）的信息的页面。
- [激活服务器](neuron_explainer/activation_server/README.md)：对主题模型进行推理以为TDB提供数据的后端服务器。它还从公共 Azure 存储桶读取数据并提供数据。
- [模型](neuron_explainer/models/README.md)：一个用于 GPT-2 模型及其自动编码器的简单推理库，带有用于获取激活的钩子。
- [整理的激活数据集](datasets.md)：MLP 神经元、注意力头和自动编码器潜伏的顶级激活数据集示例。
## 设置
请按照以下步骤安装存储库。 您首先需要 python/pip 以及 node/npm。
虽然可选，但我们建议您使用虚拟环境或等效环境：
````嘘
# 如果您已经在 venv 中，请将其停用。
停用
# 创建一个新的 venv.
python -m venv ~/.virtualenvs/transformer-debugger
# 激活新的 venv。
源〜/.virtualenvs/transformer-debugger/bin/activate
````
设置好环境后，请按照