GitHub 热门项目：HRM

GitHub 项目：人力资源管理 仓库地址：https://github.com/sapientinc/HRM 星级：12464 | 作者：sapientinc 项目描述：层次推理模型正式发布 =================================================== 自述文件内容： # 层次推理模型  推理，即设计和执行复杂的以目标为导向的行动序列的过程，仍然是人工智能中的一个关键挑战。 当前的大型语言模型（LLM）主要采用思想链（CoT）技术，该技术存在任务分解脆弱、数据需求广泛和高延迟的问题。受人脑分层和多时间尺度处理的启发，我们提出了分层推理模型（HRM），这是一种新颖的循环架构，可以在保持训练稳定性和效率的同时获得显着的计算深度。 HRM 通过两个相互依赖的循环模块在一次前向传递中执行顺序推理任务，无需明确监督中间过程：一个高级模块负责缓慢、抽象的规划，一个低级模块处理快速、详细的计算。只需 2700 万个参数，HRM 仅使用 1000 个训练样本即可在复杂推理任务上实现卓越性能。该模型无需预训练或 CoT 数据即可运行，但在复杂的数独谜题和大型迷宫中的最佳路径查找等具有挑战性的任务中实现了近乎完美的性能。 此外，HRM 在抽象和推理语料库（ARC）（衡量通用人工智能能力的关键基准）上的上下文窗口明显优于更大的模型。 这些结果强调了人力资源管理作为通用计算和通用推理系统的变革性进步的潜力。 阅读我们的论文：[https://arxiv.org/abs/2506.21734](https://arxiv.org/abs/2506.21734) **加入我们的 Discord 社区：[https://discord.gg/sapient](https://discord.gg/sapient)** ## 快速入门指南? ### 先决条件⚙️ 确保 PyTorch 和 CUDA 已安装。该存储库需要构建 CUDA 扩展。如果不存在，请运行以下命令： ````bash # 安装CUDA 12.6 CUDA_URL=https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run wget -q --show-progress --progress=bar:force:noscroll -O cuda_installer.run $CUDA_URL sudo sh cuda_installer.run --silent --toolkit --override 导出 CUDA_HOME=/usr/local/cuda-12.6 # 安装带有 CUDA 12.6 的 PyTorch PYTORCH_INDEX_URL=https://download.pytorch.org/whl/cu126 pip3 安装 torch torchvision torchaudio --index-url $PYTORCH_INDEX_URL # 用于构建扩展的附加包 pip3安装打包忍者轮setuptools setuptools-scm ```` 然后安装FlashAttention。对于 Hopper GPU，安装 FlashAttention 3 ````bash git克隆git@github.com:Dao-AILab/flash-attention.git cd flash-attention/漏斗 python setup.py 安装 ```` 对于 Ampere 或更早版本的 GPU，请安装 FlashAttention 2 ````bash pip3 安装 flash-attn ```` ## 安装 Python 依赖项 ? ````bash pip install -r 要求.txt ```` ## W&B 整合? 本项目使用[权重和偏差](https://wandb.ai/)进行实验