GitHub 项目:Zonos
仓库地址:https://github.com/Zyphra/Zonos
星级:7204 | 作者:Zyphra
项目描述:Zonos-v0.1 是一种领先的开放式文本转语音模型,经过超过 20 万小时的各种多语言语音训练,其表现力和质量与顶级 TTS 提供商相当,甚至超越。
===================================================
自述文件内容:
# Zonos-v0.1
---
Zonos-v0.1 是一种领先的开放式文本转语音模型,经过超过 20 万小时的各种多语言语音训练,其表现力和质量可与顶级 TTS 提供商媲美甚至超越。
当给定说话者嵌入或音频前缀时,我们的模型可以根据文本提示生成高度自然的语音,并且当给定仅几秒钟的参考剪辑时,可以准确地执行语音克隆。调节设置还可以对语速、音高变化、音频质量以及快乐、恐惧、悲伤和愤怒等情绪进行精细控制。该模型以 44kHz 原生输出语音。
##### 有关更多详细信息和语音示例,请查看我们的博客[此处](https://www.zyphra.com/post/beta-release-of-zonos-v0-1)
##### 我们还有一个托管版本,位于 [playground.zyphra.com/audio](https://playground.zyphra.com/audio)
---
Zonos 遵循简单的架构:通过 eSpeak 进行文本规范化和音位化,然后通过变压器或混合主干进行 DAC 令牌预测。该架构的概述如下所示。
---
## 用法
###Python
````蟒蛇
进口火炬
导入火炬音频
从 zonos.model 导入 Zonos
从 zonos.conditioning 导入 make_cond_dict
从 zonos.utils 导入 DEFAULT_DEVICE 作为设备
# model = Zonos.from_pretrained("Zyphra/Zonos-v0.1-hybrid", device=device)
model = Zonos.from_pretrained("Zyphra/Zonos-v0.1-transformer", device=device)
wav, 采样率 = torchaudio.load("assets/exampleaudio.mp3")
扬声器= model.make_speaker_embedding(wav,采样率)
cond_dict = make_cond_dict(text="你好,世界!",speaker=speaker,language="en-us")
条件 = model.prepare_conditioning(cond_dict)
代码 = model.generate(条件)
wavs = model.autoencoder.decode(codes).cpu()
torchaudio.save("sample.wav", wavs[0], model.autoencoder.sampling_rate)
````
### Gradio接口(推荐)
````bash
uv运行gradio_interface.py
# python gradio_interface.py
````
这应该在项目根目录中生成一个“sample.wav”文件。
_对于重复采样,我们强烈建议使用 gradio 接口,因为最小示例需要在每次运行时加载模型。_
## 特点
- 具有语音克隆功能的零样本 TTS:输入所需的文本和 10-30 秒的说话人样本以生成高质量的 TTS 输出
- 音频前缀输入:添加文本和音频前缀