首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

重建我的本地语音助手管道

摘要

I wrote an article a couple of months ago describing how I rebuilt my old voice assistant pipeline in Platypush . And I wrote earlier articles describing my journey through self-hosted voice assistant...

the assistant local and openai cloud integration article voice pipeline
2026-11-20 1 阅读 约7分钟阅读 todsacerdoti
分享:
字号:
几个月前我写了一篇文章,描述了如何在 Platypush 中重建旧的语音助手管道。我之前写过一些文章,描述了我通过自托管语音助手的旅程 - 2024 年(使用 Picovoice)、2020 年(深入研究旧版 Assistant.google 集成、现已不复存在的 Assistant.alexa 集成、现已不复存在的 Snowboy 集成、现已不复存在的 DeepSpeech 集成和 Picovoice)以及 2019 年描述 Google Assistant 集成的原始文章。几个月来,我使用最新文章中描述的语音管道作为我的主要驱动程序,但在习惯了商业语音助手的稳健性后,我对自托管管道的高误报/负率以及它在检测语音开始/结束方面缺乏稳健性感到不满意,特别是在嘈杂的环境和使用廉价麦克风的情况下。经过一番实验后,我决定交换和微调一些部分,经过几天的尝试,结果足以让我写一篇关于它的短文。生成的管道为: 热词检测 - Assistant.microwakeword(本地) 语音转文本 - Assistant.openai(云) - Assistant.vosk(本地) 生成响应 - openai(云或本地) 文本转语音 - tts.openai(云) - tts.piper(本地) 热词检测 - Assistant.microwakeword(本地) 语音转文本 - Assistant.openai(云) - Assistant.vosk(本地) 生成响应 - openai(云或本地)文本转语音 - tts.openai(云) - tts.piper(本地)唤醒词检测:一个新的assistant.microwakeword插件直到最近我使用了assistant.openwakeword,它包装了openWakeWord。它有效,但该项目已经沉寂了一段时间,其所有预训练模型都是 2023 年的 v0.1 文件,大部分是针对合成语音进行训练的。在实践中,我同时收到误报(在背景噪音下触发的热词)和漏报(除非我靠近麦克风,否则不会检测到热词)。我通过 pymicro-wakeword Python 绑定在 microWakeWord 之上添加了一个新插件 Assistant.microwakeword 。 microWakeWord 是 ESPHome 和 Home Assistant Voice 使用的引擎,其模型得到积极维护,并且内置模型(okay_nabu、hey_jarvis、hey_mycroft、alexa)随软件包一起提供 - 无需下载。当前的官方模型在 ESPHome micro-wake-word-models 存储库下提供。还支持自定义模型:将 microWakeWord JSON 清单(及其 .tflite 模型)拖放到插件的模型目录中并按名称引用它。该插件公开与assistant.openwakeword相同的API(相同的 models 、 detector_threshold 、 frame_duration 、 Patient_frames 、 input_device 、 input_volume 参数、相同的 list_models 操作、相同的 HotwordDetectedEvent ),因此切换只需更改配置以指向新插件:assistant.microwakeword : models : - alexa 一些设计说明:如果没有显式的 detector_threshold ,每个模型都会使用probability_cutoff 来自其自己的清单(alexa 为 0.9),这是模型验证的值。模型已经在滑动窗口上平滑了输出,因此与 openwakeword 不同,这里的 Patient_frames 默认为 0。音频线程从不直接接触 TFLite 模型:它将帧(和重置标记)排队到主线程,因为 MicroWakeWord.reset() 会重新加载解释器并且并发调用不安全。与 Assistant.openwakeword 一样,该插件在另一个助手插件开始对话时释放音频设备,并在对话结束时重新获取它。语音转文本:assistant.openai,具有更好的耳朵assistant.openai在对话开始时录制音频并通过Whisper进行转录。棘手的部分始终是语音结束检测:了解用户何时结束讲话。之前的实现使用了来自 WebRTC VAD 的每帧布尔值,任何分类为语音的单帧都会重置静音计时器。即使有一点背景噪音,短语也只会在达到最大对话持续时间时结束。音频预处理层( AudioPreprocessor ,由 STT 集成共享)已被重新设计: Silero VAD 作为主要后端(通过 onnxruntime ,不需要 PyTorch ),并以 WebRTC VAD 和基于 RMS 的普通检测器作为后备。要了解 Silero VAD 与其他语音活动检测解决方案相比的性能,请查看富有洞察力的文章“一个语音检测器统治所有”。 Silero 模型在首次使用时下载到 Platypush workdir 并进行校验和验证:assistant.openai : # auto = silero -> webrtc -> energy,具体取决于安装的内容 vad_backend : auto Hysteresis + 滑动窗口 : 帧变成高于 VAD 阈值的语音并保持语音直到其分数下降一定幅度,并且每帧决策通过 0.5 秒窗口内的多数投票来平滑。单个噪声突发
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱