失败与实际工作：人工智能效率评估中复制的重要性

arXiv:2608.14550v1 发布类型：新 摘要：由于模型规模庞大、能源需求高和环境成本高，人工智能效率最近成为学术界和工业界关注的焦点。虽然报告浮点运算 (FLOP) 是评估计算成本的传统方法，但 FLOP 和执行时间之间的关系并不简单，因为具有相同数量 FLOP 的层可能不具有相同的执行时间，因为某些操作比其他操作更容易并行化。本文着手复制一项研究中的原始实验，该研究提出了 $\alpha-FLOPs$ 估计公式，以验证结果是否仍然适用于更新、更强大的硬件。在复制过程中，我们发现了原始研究提供的复制材料的局限性，包括缺乏特定的依赖细节和回归数据的透明度。我们的结果验证了这样的论点：原始 FLOP 本身并不是执行时间的适当度量，因为空间维度仍然比内核维度更容易并行化。然而，细粒度的测量表明，这种关系比以前显示的要简单得多，较新的硬件在执行时间上表现出不稳定性和不连续性，包括跳跃和振荡，而 $\alpha-FLOPs$ 公式通常会低估这些。最终，这项工作验证了原始研究的实证结果，但在应用 $\alpha-FLOPs$ 估计时显示出负面结果。我们还强调了对依赖于硬件的效率评估研究的完整和准确的复制包的迫切需要，并为我们的实施提供了完整的复制包以促进进一步的研究。