- Published on
Whistle:16.9MB的语音转文本模型,在CPU上实现11毫秒首词延迟
- Authors
- Name
- gmays
- cactuscompute.com
模型概述
Whistle 是一个开源的语音识别模型,体积仅 16.9 MB,可在移动设备、可穿戴设备、机器人、智能家居、汽车和微控制器上运行。它基于与 Needle 相同的 C++ 引擎,无需任何依赖,直接加载到 CPU 上运行。Whistle 支持七种语言的转录,包括英语、德语、法语、西班牙语、意大利语、荷兰语和波兰语。模型在首次按下麦克风时下载,音频数据始终保留在设备本地,不会上传到云端。
三大核心功能
Whistle 在设备端完成三项任务:
- 转录:接受 16 kHz 单声道音频,最长 30 秒,支持七种语言,可自动检测语言或手动指定。
- 词级时间戳:为每个单词提供开始时间、结束时间和置信度,这些信息从解码器的注意力机制中对齐得到。
- 语音嵌入:输出编码器的每一帧(每 80 毫秒一行),无需解码文本,可用于下游任务。
模型架构
前端处理
输入音频为 16 kHz 单声道,最长 30 秒(480,000 个采样点)。通过 25 毫秒窗口、10 毫秒步长的短时傅里叶变换提取 80 个对数梅尔滤波器组,频率范围限制在 250–3500 Hz,并进行每通道归一化。30 秒音频产生 3,000 帧。随后经过一个卷积 stem(128 通道,核大小 9),将帧数三次减半,最终得到 375 帧,每帧对应 80 毫秒。后续所有阶段均以此速率运行,嵌入输出每帧一行。
编码器
编码器由 8 个 Simple Attention 块组成,每个块包含 4 个 mHC 残差通道和一个 Monarch Hadamard MLP(替代前馈网络),与 Needle 使用的块相同。注意力机制是非因果的,即 3 秒处的帧可以关注 12 秒处的帧。
解码器
解码器由 8 个 Laddered Simple Attention 块组成,宽度为 512,8 个查询头对应 2 个键值头,查询和键维度为 48,值维度为 64。每个块在 Q、K、V 上应用 3 抽头因果卷积,并在第 3 层和第 7 层使用 engram 查找(18,432 个槽位)。这是 Needle 的块列表,但层数不同。每个解码器层通过门控交叉注意力读取编码器输出:x ← x + σ(g) · softmax(q̂ K̂ᵀ/√d) V,其中门控参数 g 每层独立学习,K 和 V 来自当前音频片段。这些投影在音频片段到达时一次性计算(375 帧 × 8 层),并在整个解码过程中保持不变。因此,5 个波束只需 5 个短转录缓存,而不是对音频进行 5 次处理。
解码策略
使用 5 个波束,评分基于长度归一化的对数概率。支持关键词偏置:通过 Aho-Corasick 自动机在波束中扫描用户指定的短语,并在自动机前进时提升其对数概率。转录最多 320 个 token。词汇表包含 8,192 个文本片段和 7 个语言 token(每种语言一个),因此检测到的语言以 token 形式输出,而非额外返回。
解码器支持阶梯式深度选择:从 2 层到 8 层的每个深度都作为独立模型训练,通过 --audio-depth 参数在加载时选择。编码器始终运行全部 8 个块,不会被裁剪。
静音检测
引擎在解码器启动前测量音频片段的响度范围。若低于阈值,则返回空转录和空语言,不进入波束搜索。
性能基准
Whistle 与 Whisper base(145.3 MB)和 Moonshine tiny v2(41.9 MB)进行了对比。测试在 Apple M4 Pro CPU 上进行,10 秒音频。
- 词错误率(WER):Whistle 在 LibriSpeech test-clean、test-other、SPGISpeech、Earnings-22 和 FLEURS 平均上优于其他模型;Whisper base 在 TED-LIUM、AMI 和 MLS 平均上略优。
- 模型大小:Whistle 16.9 MB,Whisper base 145.3 MB,Moonshine tiny v2 41.9 MB。
- 首词延迟:Whistle 11.1 毫秒,Whisper base 73.2 毫秒,Moonshine tiny v2 22.8 毫秒。Whistle 的延迟随音频长度变化:5 秒音频为 5.9 毫秒,10 秒为 11.1 毫秒,30 秒为 36.3 毫秒。Whisper 将每个输入填充到 30 秒,因此首词延迟固定。
- 解码速度:Whistle 1,319 token/秒,Whisper base 266 token/秒,Moonshine tiny v2 262 token/秒。
所有 WER 使用 Whisper 标准化器评分。Whistle 的测试集包含 86,174 个话语,且通过音频校验和与说话人 ID 验证,确保测试音频未出现在训练或验证数据中。
单一引擎,三种加载方式
needle_load 可加载任意 .cact 文件,因此同一个二进制文件可处理语音、文本或两者:
- 仅语音:
needle --model whistle.cact --audio clip.wav - 仅文本:
needle --model needle3.cact --tools tools.json --prompt "turn off the kitchen lights" - 语音+工具调用:
needle --model needle3.cact --model whistle.cact --tools tools.json --audio clip.wav
在第三种情况下,needle_complete 直接处理音频片段:引擎先转录,然后根据转录结果调用工具,返回一个 JSON 对象,包含函数调用和语音字段(前缀 audio_)。调用者无需处理转录文本。
快速上手
安装:pip install cactus-needle
使用:
import needle
print(needle.transcribe("clip.wav")["text"])
# 输出:turn off the kitchen lights
只需 16 kHz WAV 或原始采样点即可运行,无需额外依赖。其他采样率或麦克风捕获需要安装 [mic] 扩展(添加 soxr 和 sounddevice)。每个调用返回文本、语言、首词延迟(毫秒)和解码速度(token/秒)。可选参数包括 word_timestamps=True(返回每个单词的时间戳和概率)、keywords=["Siobhan", "Krzysztof"](提升这些短语的对数概率)、language="de"(强制语言而非检测)。
needle.Whistle() 作为对象提供相同的模型,可用于 embed(audio) 或加载微调后的 .cact 文件。
命令行工具:needle whistle playground 从麦克风转录并显示在终端;needle whistle compare 对同一音频片段并排运行 Whistle、Whisper 和 Moonshine 并显示耗时。
部署
引擎预编译支持 17 个目标平台,包括 macOS、Linux、Android、iOS、watchOS、Windows on ARM、RISC-V、MIPS、浏览器和 WASI 组件。每个文件夹包含 needle 二进制文件、libneedle.a 和 needle.h,可加载任何 .cact 文件。
下载示例:needle download macos-arm64
运行:./macos-arm64/needle --model whistle.cact --audio clip.wav --audio-word-timestamps
C API 包含 needle_load、needle_transcribe 和 needle_embed。引擎不读取环境变量,所有行为通过编译默认值或显式标志控制。
模型权重托管在 Hugging Face,引擎和平台文件夹位于 Cactus-Compute/needle3,源代码在 GitHub 上。
原标题:Whistle: Speech to Text in 16.9 MB。 HN 原始发布时间:2026年10月9日星期五。当前记录为 922 分、176 条评论。