LoRA Speedrun – 微调技术的公共挂钟排行榜

LoRA Speedrun 🏁 在单个 L40S 上，LoRA 在 GSM8K 上将 Qwen2.5-1.5B 微调到 ≥ 57% 的速度有多快？这是用于微调的 modded-nanogpt：冻结任务、冻结硬件和挂钟记录的公共排行榜。每条记录在计数之前都会在相同的硬件上使用新鲜种子独立重新运行 3 次。尝试和验证都是免费的：官方计时在 Modal L40S 沙箱上运行，Modal 的免费每月计算积分涵盖全部运行 - 因此任何人都可以竞争，任何人都可以使用一个命令重新验证任何记录。排行榜当前记录：@Saivineeth147 的 6m 05s — 序列打包 + 仅完成损失掩蔽，2 个时期。与 #0 相同的 LoRA 配置；速度提高约 2 倍，精度更高。 # 日期 作者 训练时间 GSM8K Δ 技术 0 2026-07-18 @Saivineeth147 11m 57s 59.4% — 基线：所有线性层上的普通 LoRA r=16，3 个时期，余弦 LR。没有任何技巧。 （报告）1 2026-07-18 @Saivineeth147 6m 05s 61.1% −49% 序列打包 + 仅完成损失掩蔽，2 个时期。与 #0 相同的 LoRA 配置；速度提高约 2 倍，精度更高。 （报告）带有验证报告的完整历史记录：records/RECORDS.md 任务（冻结） 基础模型 Qwen/Qwen2.5-1.5B（基础，不是指令）— 冻结 训练数据 GSM8K 训练分割（7,473 个示例）— 唯一允许的数据 GSM8K 测试目标 ≥ 57.0% 精确匹配（0 次、贪婪、严格 #### N 提取） 硬件 1× NVIDIA L40S（48） GB) — 模态沙箱，网络阻塞的训练运行的公制挂钟时间。越低越好。约束 基础重量冻结；仅 PEFT 适配器，≤ 30M 可训练参数机器可读规范：spec.yaml。完整规则：TASK.md。您可以控制其他一切：LoRA 排名和放置、量化、学习率计划、序列打包、数据子集选择和排序、自定义内核、何时停止。如果您可以通过 1,000 个精心挑选的示例，进行 90 秒的训练。 LoRA/QLoRA 存在的原因是大多数现实世界的微调实际上是如何发生的，并且技术空间爆炸了——DoRA、rsLoRA、PiSSA、LoRA+、NEFTune、Unsloth 内核、排名自适应方法——但这些想法在公共场合相互竞争，并不存在对抗性、势均力敌的竞技场。论文报告了不同模型、数据和硬件的数据；没有什么是可比的。 nanoGPT speedrun 修复了预训练的这个问题，并产生了真正的科学（Muon 就是从中诞生的）。此存储库对参数高效的微调执行相同的操作：一项冻结任务、一个 GPU、挂钟时间、所需的收据。快速入门官方-硬件运行（免费）。创建一个 Modal 帐户，然后： git clone https://github.com/Saivineeth147/lora-speedrun && cd lora-speedrun pip install modal pyyaml && modal setup # 一次性浏览器身份验证 pythonharness/modal_verify.py --prefetch # 一次性：在卷中缓存模型 + 数据 # 在确切规格的硬件上对基线进行一次评估尝试： pythonharness/modal_verify.py --submission submissions/000-baseline --runs 1 # 完整记录式验证（3个新鲜种子，全部必须通过）： pythonharness/modal_verify.py --submissionsubmissions/000-baseline --runs 3 本地迭代（可选）。任何 24 GB 以上的卡都运行快速实验的基线 - bash script/setup_gpu.sh ，然后 pythonharness/run_submission.pysubmissions/000-baseline --runs 1 。当地时间不是官方时间；排行榜时钟是 Modal L40S。然后复制提交/TEMPLATE/，使其更快，并打开 PR。请参阅 CONTRIBUTING.md 。如何验证记录 真实的验证，从日志重播（种子 463953844，时间压缩）：训练 → 完整性 + 适配器审核 → 评估 → 3 种子判决。您可以使用训练脚本、配置、注释和自我报告的数字打开 PR。 CI 对其进行静态验证，自动 Claude 安全屏幕会审查差异（渗透尝试、网络使用、线束篡改、测试集接触）并公开发布其发现。维护人员审查代码，然后评论/验证 - 这会在规范 L40S 上的网络阻塞 Modal 沙箱中使用新鲜种子重新运行您的提交 3 倍。所有 3 次运行都必须清除目标；官方时间是平均值。线束审核适配器参数计数并重新验证模型/数据内容哈希（防篡改），验证报告发布在 PR 上并提交记录/验证/并带有接受/拒绝推理。完整协议、标题和威胁模型：JUDGING.md · SECURITY.md。迄今为止尚未有人提出的想法：序列打包+仅完成掩码（记录＃1）。 1-epoch 激进 LR 计划 · 数据修剪（训练最难的 2k 个示例？） · 块对角线/varlen 打包注意力 · QLoRA NF4 与 bf16 权衡 · rsLoRA / DoRA / PiSSA init · LoRA+（A/B 的非对称 LR） · NEFTune 噪声 · 课程排序 · 排名/位置搜索（仅 MLP 与仅注意） · torch.compile · Unsloth内核 · 狮虎内核 · 融合交叉熵 · 更智能的短跑热身 声称一，击败 6m 05s，让你的名字出现在黑板上。常见问题 为什么选择Qwen2.5-1.5B？难道不是经过数学预训练的吗？可能，就像每个现代基础模型一样。它