GitHub 热门项目：TinyRecursiveModels

GitHub 项目：TinyRecursiveModels 仓库地址：https://github.com/SamsungSAILMontreal/TinyRecursiveModels 星级：6502 | 作者：SamsungSAIL蒙特利尔 项目描述：暂无描述 =================================================== 自述文件内容： **更新：由于提交到此存储库的许多自动生成的和不相关的问题（现已删除）以及我们正确维护此存储库的能力有限，我们必须临时存档（只读）此存储库和其他几个存储库。** # 少即是多：微型网络的递归推理 这是论文的代码库：“Less is More：Recursive Reasoning with Tiny Networks”。 TRM 是一种递归推理方法，使用微型 7M 参数神经网络在 ARC-AGI-1 上取得了 45% 的成绩，在 ARC-AGI-2 上取得了 8% 的惊人成绩。 [论文](https://arxiv.org/abs/2510.04871) ### 动机 微小递归模型 (TRM) 是一种递归推理模型，利用 700 万参数的微型神经网络，在 ARC-AGI-1 上取得了 45% 的成绩，在 ARC-AGI-2 上取得了 8% 的惊人成绩。认为必须依赖一些大公司花费数百万美元训练的大规模基础模型才能在艰巨的任务上取得成功的想法是一个陷阱。目前，人们过于关注利用法学硕士，而不是设计和拓展新的方向。通过递归推理，事实证明“少即是多”：您并不总是需要增大模型大小才能使模型推理和解决难题。一个从头开始预训练的微型模型，不断自我递归并随着时间的推移更新其答案，可以在不花费太多的情况下取得很多成果。 这项工作是在我了解到最近创新的层次推理模型（HRM）之后完成的。我很惊讶使用小模型的方法可以在像 ARC-AGI 竞赛这样的艰巨任务上表现得如此出色（在通常只有大型语言模型可以竞争的情况下达到 40% 的准确率）。但我一直认为它太复杂了，过于依赖关于人脑的生物学论证，而这个递归推理过程可以大大简化和改进。微小递归模型（TRM）将递归推理简化到其核心本质，它最终与人脑无关，不需要任何数学（定点）定理，也不需要任何层次结构。 ### TRM 的工作原理

微型递归模型 (TRM) 通过微型网络递归地改进其预测答案 y。它从嵌入输入问题 x 和初始嵌入答案 y 以及潜在 z 开始。对于最多 K 个改进步骤，它会尝试改进其答案 y。它通过 i) 给定问题 x、当前答案 y 和当前潜在 z（递归推理）递归更新其潜在 z 的 n 倍，然后 ii) 给定当前答案 y 和当前潜在 z 更新其答案 y。这种递归过程允许模型以参数极其高效的方式逐步改进其答案（可能解决先前答案中的任何错误），同时最大限度地减少过度拟合。 ### 要求 安装应该需要几分钟。对于 Sudoku-Extreme 上的最小实验 (p