开源推荐
morning
GitHub 热门项目:index-tts
摘要
GitHub项目:index-tts 仓库地址:https://github。
the
IndexTTS
and
speech
index
2026-05-18
1 阅读
GitHub Trending
GitHub 项目:index-tts
仓库地址:https://github.com/index-tts/index-tts
星级:20601 | 作者:index-tts
项目描述:工业级可控高效的零样本文本转语音系统
===================================================
自述文件内容:
## 存储库历史记录已重置。请删除您的本地副本并重新克隆。
## (仓库历史已重置。请删除本地副本并重新克隆。)
## ?? IndexTTS2 ??
[](资产/IndexTTS2_banner.png)
### 摘要
现有的自回归大规模文本转语音(TTS)模型在语音自然度方面具有优势,但其逐个令牌的生成机制使得难以精确控制合成语音的持续时间。这对于需要严格视听同步的应用(例如视频配音)来说成为一个重大限制。
本文介绍了 IndexTTS2,它提出了一种新颖、通用且自回归模型友好的语音持续时间控制方法。
该方法支持两种生成模式:一种是明确指定生成token的数量,以精确控制语音时长;另一种是明确指定生成token的数量,以精确控制语音时长。另一个以自回归方式自由生成语音,无需指定标记的数量,同时忠实地再现输入提示的韵律特征。
此外,IndexTTS2实现了情感表达和说话者身份之间的解离,实现了对音色和情感的独立控制。在零样本设置下,模型可以准确地重建目标音色(来自音色提示),同时完美地再现指定的情绪基调(来自风格提示)。
为了提高高度情绪化表达中的语音清晰度,我们结合了 GPT 潜在表示并设计了一种新颖的三阶段训练范例来提高稳定性