智能AI
morning
不透明串行深度的操作化
2026-11-16
1 阅读
约1分钟阅读
Nathan Sheffield, Alek Westover, Lukas Finnveden, Alexa Pan, Julian Stastny, Ryan Greenblatt
字号:
arXiv:2611.17495v1 公告类型:新 摘要:思想链 (CoT) 目前是监督 AI 模型的宝贵工具,但一些架构转变可能会显着降低 CoT 的可监控性。我们操作了一个衡量标准,作为模型可以执行的非语言串行认知量的代理,作为不透明串行深度概念的具体实例:粗略地说,是通过模型计算的最长路径的长度,该路径不通过可解释的瓶颈。我们的主要贡献是针对什么是瓶颈制定了特定标准。我们将自然语言根(NL-rooted)节点定义为在产生人类可理解的输出之前从预训练中初始化的节点,其输出空间没有扩展到超出先前的范围,并且其输出模型没有被修改为解释为不同类型的数据。通过构建,可以在训练之前仅根据架构、训练配方和部署配置来判定所得到的度量(NLS 深度),并且对普通的训练后(例如提示、蒸馏和 RL)不敏感。我们发现,在开放权重模型中,NLS 深度与层数密切相关(有一些例外),并且近年来增长缓慢。在标准变压器的持续扩展下,它可能会缓慢增长,而全带宽变压器等潜在推理架构可能会大幅增加它。我们研究 NLS 深度如何应用于一系列现有和提议的架构,讨论替代操作,并给出一个限制 Gemma3-1B 深度的工作示例。我们认为人工智能开发人员应该跟踪和报告其模型的 NLS 深度,作为对 CoT 可监控性直接测量的补充。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱