GitHub 热门项目：awesome-o1

GitHub 项目：awesome-o1 仓库地址：https://github.com/srush/awesome-o1 星级：1215 | 作者：srush 项目描述：围绕o1的论文参考书目和调查 =================================================== 自述文件内容： # 真棒-o1 这是推测与以下内容相关的论文参考书目 OpenAI 的 [o1](https://openai.com/index/learning-to-reason-with-llms/)。 ## 视频 https://youtu.be/6PEJ96k1kiw [o1 教程幻灯片](https://srush.github.io/awesome-o1/o1-tutorial.pdf) ------------------------------------------------------------------------------------------------ > 我们的大规模强化学习算法教会模型如何 > 以高度的方式运用其思想链进行富有成效的思考 > 数据高效的培训流程。我们发现，性能 > o1 通过更多的强化学习（训练时间 > 计算）并花费更多时间思考（测试时计算）。的 > 扩展此方法的限制与其他方法有很大不同 > LLM 预培训，我们正在继续调查它们。 …… > 类似于人类在做出反应之前可能会思考很长时间 > 这是一个难题，o1 在尝试解决问题时使用了一系列的思路 > 解决问题。通过强化学习，o1 学会磨练自己的能力 > 思想链并完善其使用的策略。它学会了 > 认识并改正错误。它学会了分解棘手的事情 > 进入更简单的步骤。它学会尝试不同的方法 > 当前的无法正常工作。这个过程极大地改善了 > 模型的推理能力。为了说明这一飞跃，我们 > 展示o1-preview在几个难点上的思路链 > 以下问题。 ------------------------------------------------------------------------------------------------ ## 我们想要实际工作什么？ - **自我一致性** ([X. Wang et al. 2022](#ref-Wang2022-px)) LLM 输出的多数投票有所改善。 - **便签本** ([Nye et al. 2021](#ref-Nye2021-bx)) / **思想链**（[Wei et al. 2022](#ref-Wei2022-uj)）不会 如果法学硕士能够自言自语并变得更好，那会很酷吗？ - **思想树**（[Yao et al. 2023](#ref-Yao2023-nw)）不是吗 如果你能把它缩放成一棵树，那会很酷吗？ ## 为什么这可能？ - **AlphaGo** ([Silver et al. 2016](#ref-Silver2016-ag)) 量化 自对弈训练与测试搜索的价值 - **AlphaZero** ([Silver et al. 2017](#ref-Silver2017-bn)) 显示 引导自我轨迹的训练可以推广/扩展 - **Libratus** ([N. Brown and Sandholm 2017](#ref-Brown2017-of)) 扑克 通过缩放搜索构建的机器人 - **棋盘游戏的缩放法则** ([Jones 2021](#ref-Jones2021-di)) 在受控环境中比较训练/测试 FLOP 的干净实验 设置 - **诺姆讲座**（[Paul G. Allen 学校 2024](#ref-Paul-G-Allen-School2024-da)) 诺姆·布朗 (Noam Brown) 的演讲 搜索的力量 ## 推理可以成为可验证的游戏吗？ - **WebGPT** ([Nakano et al. 2021](#ref-Nakano2021-iz)) 表明 针对 r 的测试时间拒绝采样