小团队也能预训练！普罗2B：RTX5090训练成本不到5090美元

新智元报道 训不起2.8T的K3，玩够了124M的nanoGPT，想试试 十亿参数、万亿token的预训练 ，门槛有多高？ 这类模型被广泛使用，例如经典的Qwen系列（Qwen2-1.5B，Qwen2.5-1.5B，Qwen3-1.7B……）。 不过Qwen系列尽管开源了权重，却未完整公开预训练配方。而OLMo、SmolLM等进一步开源了数据和训练细节，但复现依然昂贵：据估计，即使只有十亿级参数，复现OLMoE-1B/7B和SmolLM3-3B所需要的算力成本分别约为 20万美元和71.9万美元 。 对于普通实验室，知道「怎么训」还不够，还得真正「训得起」。我们需要一套 低成本、可复现的「穷人版」预训练方案 。 Puro-2B 全流程开源的「穷人版」预训练方案 围绕这个问题，清华大学陈文光教授与吕凯风教授团队联合推出全流程开源的 Puro-2B（普罗-2B）， 开源了训练数据、训练框架、训练配置和模型权重。 论文Figure 3 | Puro-2B「穷人版」训练流程 他们在消费级显卡RTX 5090的计算集群上，从头训练了约20亿参数的模型，最多使用了1.4万亿token。 在覆盖15项任务的综合性评测中，基于这套方案， 以约4400美元的预训练计算成本，模型在15项任务平均指标上超过Qwen2-1.5B 。 6900美元成本的最佳版本，平均性能接近Qwen2.5-1.5B 。相比其他开源方案，Puro-2B显著降低了训练成本。 论文链接：https://arxiv.org/pdf/2608.27370 开源材料合集：https://huggingface.co/collections/thu-pacman/puro-2b 模型与中间检查点 ：https://huggingface.co/collections/thu-pacman/puro-2b 训练数据 与配比 ：https://huggingface.co/datasets/thu-pacman/Puro-2B 训练代码 ：https://github.com/thu-pacman/Puro-Megatron 数据处理代码 ：h ttps://github.com/thu-pacman/Kaiyuan-Spark 论文Figure1｜模型性能与复现成本 如果预算再少一些，能训练模型到什么水平？他们进一步拟合了 成本—性能经验曲线（Puro Cost Scaling Law） ，用来估计不同预算下的模型能训出的水平。 他们从同一个第一阶段训练的检查点出发，调整第二阶段均匀数据配方的训练预算，来拟合平均性能得分与总成本的关系。 这条针对Puro训练方案的经验曲线，让研究者能够在正式训练之前，估计不同预算成本所能达到的能力水平，并结合需求调整训练方案，而不需要复现最长的模型训练过程。 论文Figure 2b｜Puro Cost Scaling Law 这套低成本方案，来自 从硬件选择、低精度训练、优化器改进、高质量数据利用效率、数据选择这五个部分的协同设计。 单位成本，更高算力 相比于其他开源的训练方案，Puro-2B团队从更基础、更底层、更贴近实际的问题出发： 同样的预算能买到多少算力？ 按论文采用的GPU租赁价格计算，他们发现，RTX 5090的BF16峰值算力/美元约为H200的 2.77倍。这意味着单位成本，RTX5090能比广泛使用的数据中心卡获得更多算力， 同时RTX5090作为消费级显卡还兼顾了硬件的可获取性。 论文Table2简化｜不同显卡的计算价格比值的统计与对比 但RTX5090只有32GB显存，也没有NVLink，不能直接照搬数据中心GPU的训练配置。 Puro-2B团队通过驱动和系统配置调整，在节点内启用PCIe P2P通信，将GPU间单向带宽从31.5 GB/s 提升到 56GB/s ，通信延迟从14.3µ s降低到 0.4µs ； 节点间启用GPU Direct RDMA，让24卡AllReduce总线带宽从8.87 GB/s 提升到 19.93GB/s 。 Puro的训练策略也针对十亿级参数规模的计算负载与RTX5090的硬件特点，进行优化：他们采用数据并行与流水线并行组合，避免通信频繁的张量并行； 通过重新分配流水线各阶段的计算量，调整微批次大小，并按显存占用情况均衡放置优化器状态，平衡不同节点的显存负载。 通过上述优化， 综合MFU能超过70% ，消费卡的性价比通过这些工程适配与系统优化转化为训练成本的优势。 有了更划算的算力，下一步是提高计算精度效率。 FP8发挥RTX 5090的低精度效率优势 RTX 5090的Blackwell架构还为FP8训练提供了基础。他们沿用DeepSeek-V3的细粒度分块量化思路，将主要线性层的矩阵乘法放在FP8路径上，同时让数值敏感操作和训练状态保留BF16或FP32精度。 FP8会带来一定精度损失。为判断是否划算，他们通过不同模型规模的对照实验（Scaling ladder），来验证了FP8训练带来的净效率收益。 通过五个模型规模的实验对照，他们发现，相比BF16，FP8的验证损失高出约 0.0031—0.0039 ，但差距较小且跨规模稳定。 与此同时，FP8的训练吞吐效率得到 1.36倍 提升；把精度损失折算为达到相同损失所需的额外计算后，据估计仍有约 1.34倍净效率收益 。 论文Figure 10b｜FP8的损失差距与质量校正后的效率 从普通学习率到有效学习率 确定了计算精度后，如何设计优化器和学习率会影响每步更新的效果。优化器决定了每一步的更新方向，学习率决定了每一步的更新步长。 他们采用了新兴的MuonH优化器：在Muon基础上将权重的更新量做归一化处理，并在权重更新后，将权重投影回固定半径，从而同时控制更新范数和权重范数。 这样一来，衡量更新量相对权重尺度的 有效学习率（Effective LR, ELR）， 就能被显式预设，而不随权重尺度在训练过程中的变化而间接漂移。 论文Figure 4｜MuonH原理示意图以及与Muon的对照 他们的关键观察来自一组对照实验：用普通Muon不做固定半径的权重投影，只通过动态调整学习率，使训练过程的ELR轨迹与MuonH对齐，则损失曲线便几乎重合。 这说明，实际中MuonH的优势不能仅归因于范数约束 ，有效学习率ELR的变化过程才是理解超球优化有效性的重要线索 。 综合论文Figure 5与Figure 15｜ELR对齐实验的解释与对照 进一步比较发现，在weight decay对权重范数约束不足时，普通Muon优化器的ELR在前期下降更快，损失也更早降低；MuonH则保留更平缓的衰减，在后期表现更好。 这让他们把注意力从「用哪个优化器」，转向「如何设计更合理的有效学习率调度（ELR schedule）」。 随后，他们针对训练的衰减阶段占比对峰值学习率和训练数据量进行消融。结果显示，较高的峰值学习率和更长的训练周期，通常更需要较长的衰减过程。 因此，他们在训练第一阶段采用不依赖预设终点的 power schedule ，支持持续训练；第二阶段采用 长线性衰减 ，为最终的损失收敛留出空间。 基于Scaling Ladd