智能AI
morning
使用以数据为中心的并行训练可变长序列
摘要
arXiv:2608.07524v1 Announce Type: new Abstract: Training deep learning models on variable long sequences poses significant computational challenges. Existing methods force a difficult trade-off betwee...
and
for
this
new
models
variable
long
sequences
significant
methods
2026-08-11
1 阅读
约1分钟阅读
Geng Zhang, Xuanlei Zhao, Kai Wang, Yang You
字号:
arXiv:2608.07524v1 公告类型：新 摘要：在可变长序列上训练深度学习模型带来了重大的计算挑战。现有方法迫使我们在效率和易用性之间进行艰难的权衡。简单的方法使用静态配置，导致工作负载不平衡，效率低下，而复杂的方法会带来显着的复杂性和新模型的代码更改。为了打破这种权衡，我们引入了以数据为中心的并行（DCP）。它的核心原则是让数据本身驱动运行时。它通过根据每个批次的序列长度动态调整直接运行时设置（例如并行大小、梯度累积、重新计算）来实现这一点。实证结果表明，我们的方法在 32 个 H200 GPU 上实现了高达 2.88$\times$ 的加速。专为通用化而设计，只需 10 行代码即可集成到任何模型中。我们预计这种简单而有效的方法将作为一个强大的基线，并促进未来可变长序列分布式训练的进步。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱