在 MacBook Air 上转录一小时的音频大约需要 13 秒

Embedding Gemma Transcribe Google 的 EmbeddingGemma 2 是一个嵌入模型。我们将其转变为语音转文本模型：在基本 MacBook Air 上，大约 13 秒即可播放一小时的音频，完全在设备上。嵌入模型可以转录语音吗？ EmbeddingGemma 2 是一种多模态嵌入模型：文本、图像、音频和视频位于一个共享空间中。大声说出一个单词，其声音会接近书面单词。所以我们尝试直接从那个空间中读取单词。工作原理 EmbeddingGemma 2 的音频编码器保持原样。小读者将每个短音频片段移动到模型的文本空间中。约 229,000 个英语单词中最接近的获胜，切片成为转录本。一个微小的额外模型添加了标点符号和大写字母。只有读者接受过培训：在 8×H100 上进行两小时内的公开许可英语演讲。基本模型从未接受过语音转文本训练。多快？模型在 Mac 上运行速度 Embedding Gemma Transcribe 神经引擎 基础 M3 MacBook Air，8 GB 288× 1 小时，12.6 秒 IBM Granite Speech 5.0 TurboCTC GPU (MLX) 基础 M3 MacBook Air，8 GB ~150× 1 小时，25.7 秒 NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) 神经引擎 M4 Pro 156× NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) 神经引擎 M5 Pro 335× Phonon-2，Parakeet v3 微调 (FluidAudio) 神经引擎 M5 Pro 480× × 实时：每秒处理音频的秒数。第 1-2 行：我们在同一台 M3 MacBook Air 上进行的测试。第 3-5 行：FluidAudio 针对更大、更新的 Mac 和不同音频发布的基准测试。一个粗略的指南，而不是同类排名。目前的情况 目前，其单词错误率约为 5%，而领先的语音模型的错误率为 2-3%。我们相信，训练有素的读者可以缩小这一差距；这是下一次迭代。使用它放入音频文件，或按住右侧选项，说出并释放以听写到任何应用程序。它在 Mac 的神经引擎上运行；您的音频永远不会离开机器。