Whisper-Medusa 架构：左 - Medusa-Linear：每个 Medusa 头由带有残差连接的单个线性层组成，后面是 共享词汇投影层（用链符号表示）。右 - 美杜莎块：所有美杜莎头共享的 Whisper 解码器块，如下 由单个线性层和每个头的残差连接组成，然后将输出传递到共享词汇投影层（由链表示） 符号） --------- ## 培训和评估详情 我们的两种 Whisper Medusa 架构均基于具有 10 个 Medusa 头的 Whisper 大型模型。 他们接受了 LibriSpeech 数据集的训练来执行音频转录。 美杜莎头针对英语进行了优化，因此为了获得最佳性能和速度改进， 请仅使用英文音频。 平均而言，与 Whisper vanilla 相比，Whisper Medusa 的生成速度快了 1.5 倍 平均 WER（分别为 4.1% 和 4%）。 Medusa-Block 的 WER 和 CER 介于 Whisper vanilla 和微调 Whisper 之间，由于其依赖于未调整的基础 Whisper 头，因此更接近 Whisper vanilla。 Medusa-Linear 模型比 Medusa-Block 提供更好的加速，但由于微调而显示出一些 WER 和 CER 下降。 正如其评估过程所示，带有辅助模型的 Whisper 实现了最佳的加速性能，同时保持了与普通 Whisper 类似的结果。然而，它需要同时维护原始模型和辅助模型，这构成了挑战，并且添加另一种语言需要对 Distil-Whisper 模型进行全面训练。
WER、CER