GitHub 热门项目：VoiceCraft

GitHub 项目：VoiceCraft 仓库地址：https://github.com/jasonppy/VoiceCraft 星级：8484 | 作者：jasonppy 项目描述：零次语音编辑和文本转语音 =================================================== 自述文件内容： # VoiceCraft：零次语音编辑和文本转语音 [](https://arxiv.org/pdf/2403.16973.pdf) [](https://huggingface.co/spaces/pyp1/VoiceCraft_gradio) [](https://colab.research.google.com/drive/1IOjpglQyMTO2C3Y94LD9FY0Ocn-RJRg6?usp=sharing) [](https://replicate.com/cjwbw/voicecraft) [](https://youtu.be/eikybOi8iwU) [](https://jasonppy.github.io/VoiceCraft_web/) ### 太长了；博士 VoiceCraft 是一种代币填充神经编解码器语言模型，可在包括有声读物、互联网视频和播客在内的野外数据上实现**语音编辑**和**零样本文本转语音 (TTS)** 的最先进性能。 要克隆或编辑看不见的声音，VoiceCraft 只需要几秒钟的参考。 ## 如何运行推理 有三种方法（除了在 Colab 中运行 Gradio 之外）： 1. Google Colab 中比 Gradio UI 更灵活的推理。请参阅[快速入门 Colab](#quickstart-colab) 2.与码头工人。请参阅[快速启动 docker](#quickstart-docker) 3.没有码头工人。请参阅[环境设置](#environment-setup)。如果选择此选项，您还可以在本地运行 gradio 4. 作为一个独立的脚本，您可以轻松集成到其他项目中。 请参阅[快速启动命令行](#quickstart-command-line)。 当您位于 docker 映像内或已安装所有依赖项时，请签出 [`inference_tts.ipynb`](./inference_tts.ipynb)。 如果你想进行模型开发，例如训练/微调，我建议遵循[环境设置](#environment-setup)和[训练](#training)。 ## 新闻 :star: 03/15/2025：将推理采样从 topp=1 更改为 topk=40 大幅提高编辑和 TTS 性能 :star: 04/22/2024: 330M/830M TTS 增强模型已在[此处](https://huggingface.co/pyp1) 上架，通过 [`gradio_app.py`](./gradio_app.py) 或 [`inference_tts.ipynb`](./inference_tts.ipynb) 加载它们！复制演示已经完成，感谢[@chenxwh](https://github.com/chenxwh)！ :star: 04/11/2024：VoiceCraft Gradio 现已在 HuggingFace Spaces 上可用 [此处](https://huggingface.co/spaces/pyp1/VoiceCraft_gradio)！主要感谢 [@zuev-stepan](https://github.com/zuev-stepan)、[@Sewlell](https://github.com/Sewlell)、[@pgsoar](https://github.com/pgosar) [@Ph0rk0z](https://github.com/Ph0rk0z)。 :star: 04/05/2024：我在 gigaspeech 和 1/5 的 librilight 上使用 TTS 目标对 giga330M 进行了微调。权重在[此处](https://huggingface.co/pyp1/VoiceCraft/tree/main)。确保最大提示 + 生成长度 <= 16 秒（由于我们的计算有限，我们不得不在训练中丢弃超过 16 秒的话语