BlackHalo logo
Published on

苹果新语音API基准测试:SpeechAnalyzer 超越 Whisper

Authors
  • Name
    get-inscribe
    get-inscribe.com
苹果设备上的语音识别API基准测试结果对比图
头图来源: Wikimedia Commons(请在文件页查看原作者与许可条款)

苹果新语音 API 基准测试:SpeechAnalyzer 超越 Whisper

近日,一项由 AI 应用 Inscribe 发布的独立基准测试,对苹果在 iOS/macOS 26 中推出的新 SpeechAnalyzer API 进行了全面评估。测试结果显示,SpeechAnalyzer 在英语语音识别准确率上不仅大幅超越其前身 SFSpeechRecognizer,甚至击败了 OpenAI 的 Whisper Small 模型,同时运行速度更快。

测试结果概览

测试使用了 LibriSpeech 语料库的 test-clean(2620 段清晰语音)和 test-other(2939 段含噪语音)两个子集,所有引擎均在 Apple M2 Pro 设备上本地运行。词错误率(WER)越低越好。

  • Apple SpeechAnalyzer:test-clean WER 2.12%,test-other WER 4.56%
  • Whisper Small:test-clean WER 3.74%,test-other WER 7.95%
  • Whisper Base:test-clean WER 5.42%,test-other WER 12.51%
  • Whisper Tiny:test-clean WER 7.88%,test-other WER 17.04%
  • Apple SFSpeechRecognizer(旧版):test-clean WER 9.02%,test-other WER 16.25%

SpeechAnalyzer 在清晰和含噪语音上均优于所有测试的 Whisper 模型,且运行速度约为 Whisper Small 的三倍。旧版 SFSpeechRecognizer 表现最差,甚至落后于最小的 Whisper Tiny 模型。

为何进行这项测试

苹果在 iOS/macOS 26 中用 SpeechAnalyzer 和 SpeechTranscriber 取代了 SFSpeechRecognizer,但未公布任何准确率数据。开发者只能自行猜测是否应该迁移。Inscribe 作为同时集成苹果引擎和 Whisper 模型的 AI 工作台,具备在相同硬件和代码路径下进行对比测试的独特条件。

是否应迁移至新 API?

答案是肯定的。新 API 在相同音频上将词错误率降低了 3.5 到 4 倍:清晰语音从 9.02% 降至 2.12%,含噪语音从 16.25% 降至 4.56%。新 API 在所有测试场景中均胜出,且输出带标点和大小写的文本,而旧引擎的输出则较为粗糙。对于任何使用语音识别超过简单命令的应用,迁移都值得。

SpeechAnalyzer 与 Whisper 的对比

更令人惊讶的是,苹果新引擎在准确率上以明显优势击败了 Whisper Small,同时计算时间仅为后者的三分之一。在苹果硬件上,内置引擎已成为英语语音识别的最佳本地选项。

Whisper 仍有两个优势:支持更多语言(SpeechTranscriber 仅支持约 30 种语言),且可在非苹果平台上运行。但对于当前 iPhone 或 Mac 上的英语转录,Whisper 不再是准确率的自动首选。Inscribe 已据此调整产品默认设置。

速度表现

所有引擎均远快于实时:在 M2 Pro 上速度约为 12 到 40 倍,即一小时音频可在 1.5 到 5 分钟内完成本地转录。SpeechAnalyzer 在准确率更高的同时,速度约为 Whisper Small 的三倍。

测试方法与可验证性

测试方法设计严谨,确保结果可信。

  • Whisper 结果可复现:测试使用 LibriSpeech 语料库,因为 OpenAI 已公布 Whisper 在该语料上的 WER。测试结果与 OpenAI 数据高度吻合,偏差极小且方向一致,表明测试流程正确。
  • 原始转录公开:所有 5559 条语音的苹果引擎转录结果均已公开下载,允许他人自行重新评分验证。

测试细节

  • 所有引擎使用与 Inscribe 产品完全相同的代码路径,而非实验室环境。
  • 文本归一化处理:统一大小写、标点、数字和缩写,避免因格式差异影响评分。
  • 采用语料库级 WER(总错误数除以总参考词数),避免短语句权重过高。
  • 强制本地运行,拒绝云端回退,确保公平比较。
  • 失败计入:引擎无输出时按 100% WER 计算,测试中仅发生一次。

测试中的意外发现

基准测试还发现了一个产品 bug:Inscribe 的苹果引擎文件导入功能未调用 finalizeAndFinishThroughEndOfInput() 方法,导致转录结果无法返回,导入过程永久挂起。该 bug 因产品默认使用 Whisper 而未被发现,现已修复。

局限性

  • 仅测试英语:LibriSpeech 为英语朗读语音,不涉及 Whisper 支持的 100 多种语言。
  • 朗读语音而非会议语音:含口音、远场和多说话人场景的测试是下一步计划。
  • 单机测试:使用 M2 Pro 和 macOS 26.5.1,准确率应可迁移至其他 Apple Silicon 设备,速度会因芯片而异。
  • Whisper 使用 WhisperKit CoreML 量化版本,与参考 GPU 实现可能有细微差异。

对用户的意义

对于使用当前 iPhone 或 Mac 的用户,英语语音转录的最佳本地引擎已内置于操作系统中,且隐私保护不再是妥协。Inscribe 正是使用这些引擎:在支持的语言上使用 SpeechAnalyzer,其他语言使用 Whisper,全部本地运行,不上传数据。

基准测试并非独立于产品,而是产品决策的依据。

原标题:Apple's new SpeechAnalyzer API, benchmarked against Whisper and its predecessor。 HN 原始发布时间:2026年7月14日星期二。当前记录为 555 分、232 条评论。

阅读原文 · 查看 HN 讨论