Apple 的新 SpeechAnalyzer API，以 Whisper 及其前身为基准

结果，Apple 的新 SpeechAnalyzer 是我们测试过的最准确的设备上语音引擎。它在 LibriSpeech 的干净和嘈杂的一半上击败了我们发布的所有 Whisper 型号，包括 Whisper Small，同时运行速度大约是 Small 的三倍。它所取代的 API SFSpeechRecognizer 在干净语音方面排名垫底：甚至落后于 40MB 模型 Whisper Tiny。引擎测试-清理 WER 测试-其他 WER 模型大小 Apple SpeechAnalyzer (iOS/macOS 26) 2.12% 4.56% 系统 Whisper Small (WhisperKit CoreML) 3.74% 7.95% ~460MB Whisper Base 5.42% 12.51% ~140MB Whisper Tiny 7.88% 17.04% ~40MB Apple SFSpeechRecognizer（旧版） 9.02% 16.25% 系统 越低越好：WER 是单词错误率，即引擎替换、删除或发明的单词的百分比。 LibriSpeech test-clean 是 2,620 句干净朗读的语音； test-other 是 2,939 个更难、更吵闹的话语。每个引擎都在 Apple M2 Pro（32GB，macOS 26.5.1）上完全在设备上运行。 Apple SpeechAnalyzer 2.12% Whisper Small 3.74% Whisper Base 5.42% Whisper Tiny 7.88% SFSpeechRecognizer（旧版） 9.02% 为什么我们运行这个 在 iOS 26 和 macOS 26 中，Apple 用新的 API、SpeechAnalyzer 和 SpeechTranscriber 取代了 SFSpeechRecognizer。它没有公布任何一项的准确度数据。因此，每个决定是否迁移的开发人员，以及每个将 Apple 内置识别功能与 Whisper 进行比较的人，都在猜测。我们在 Inscribe（一个私有的设备上 AI 工作区）中并排提供 Apple 引擎和三个 Whisper 模型，这使我们处于一个不寻常的位置：我们可以在同一台机器上通过相同的生产代码路径和相同的音频运行所有五个模型。所以我们做到了。您应该迁移 SFSpeechRecognizer 吗？是的。这是数据中最清晰的结果。新的 API 将相同音频的单词错误率降低了 3.5 至 4 倍：干净语音的单词错误率从 9.02% 降低到 2.12%，嘈杂语音的单词错误率从 16.25% 降低到 4.56%。无需权衡准确性；新的 API 在我们测量的所有地方都胜出，并且它会生成标点符号、大小写文本，而旧引擎的输出则更加粗糙。换句话说：使用旧版 API 转录的长达一小时的会议包含的错误单词数量大约是通过 SpeechAnalyzer 转录的同一会议的四倍。如果您的应用程序仍然使用 SFSpeechRecognizer 来执行比语音命令更长的操作，则仅就准确性而言，迁移就值得。 SpeechAnalyzer 与 Whisper 更令人惊讶的结果：Apple 的新引擎还击败了 Whisper Small（我们推出的最大型号），在两个方面都以相当大的优势，每秒音频计算时间约为 Whisper Small 的三分之一。对于英语，在 Apple 硬件上，内置引擎现在是我们可以衡量的最强大的设备选项。 Whisper 有两个真正的优势。它涵盖了更多的语言（SpeechTranscriber 支持大约 30 种语言环境），并且可以在任何地方运行，而不仅仅是在 OS 26 的 Apple 平台上。但对于当前 iPhone 或 Mac 上的英语转录来说，Whisper 成为自动准确性选择的时代已经结束。我们根据这个结果改变了我们自己的产品：Inscribe 的 Auto 引擎现在更喜欢 SpeechAnalyzer 来支持它所支持的语言，而 Whisper 则更喜欢支持其他所有语言。发布一个基准并在您自己的默认设置中忽略它将是一种奇怪的诚实。速度 所有五个引擎的运行速度都比实时快：在 M2 Pro 上大约为 12 倍到 40 倍，这意味着在设备上大约需要 1.5 到 5 分钟即可转录一小时的音频。 SpeechAnalyzer 的每秒音频速度比 Whisper Small 快约 3 倍，同时在准确性方面优于 Whisper Small。我们故意不打印每个引擎的精确计时表：精确度运行与开发工作量共享机器，这不会影响 WER，但会增加计时的噪音。我们将使用专用空闲运行的计时来更新此页面。方法论，以及为什么你可以检查它 来自销售其中一款发动机的公司的基准应该受到怀疑。我们有两个针对这种怀疑而设计的房产。 Whisper 专栏可根据 OpenAI 自己的数据进行重现。我们使用 LibriSpeech 正是因为 OpenAI 在其上发布了 Whisper 的 WER。如果我们的安全带正确测量了 Whisper，我们的数字应该落在他们的数字上。在所有六项测量中，他们确实如此： 引擎/拆分 我们的 OpenAI 发布了 Delta Whisper Tiny，测试干净 7.88% 7.6% +0.28 Whisper Base，测试干净 5.42% 5.0% +0.42 Whisper Small，测试干净 3.74% 3.4% +0.34 Whisper Tiny，测试其他 17.04% 16.9% +0.14 Whisper Base，测试其他 12.51% 12.4% +0.11 Whisper Small，测试其他 7.95% 7.6% +0.35 小而一致的正偏移（稍微严格的文本标准化器加上 CoreML 量化）就是诚实再现的样子；随机误差会在两个方向上分散。由于 Apple 专栏由相同的语料库、标准化器和评分器生成，因此其他人无法检查的数字继承了任何人都可以检查的数字的验证。原始记录是公开的两个苹果引擎的每个每个话语假设都可以在下面下载，旁边是参考文本和每个utt