开源推荐
morning
GitHub 热门项目：BayLing-Speech
摘要
GitHub项目：BayLing-Speech 仓库地址：https://github.com/BayLing-Models/BayLing-Speech Stars：3145 | 作者：BayLing-Models 项目描述：LLaMA-Omni is a low-latency and high-quality end-to-end speech interaction model built...
https
speech
Omni
github
com
LLaMA
badge
and
Llama
img
2026-08-21
1 阅读
约8分钟阅读
GitHub Trending
字号:
GitHub 项目：BayLing-Speech
仓库地址：https://github.com/BayLing-Models/BayLing-Speech
星级：3145 | 作者：BayLing-Models
项目描述：LLaMA-Omni是一个基于Llama-3.1-8B-Instruct构建的低延迟、高质量的端到端语音交互模型，旨在实现GPT-4o级别的语音能力。
===================================================
自述文件内容：
# 🦙🎧 LLaMA-Omni：与大型语言模型的无缝语音交互
> **作者：[方庆凯](https://fangqingkai.github.io/)、[郭寿涛](https://scholar.google.com/itations?hl=en&user=XwHtPyAAAAAJ)、[周岩](https://zhouyan19.github.io/zhouyan/)、[Zhengrui马](https://scholar.google.com.hk/itations?user=dUgq6tEAAAAJ)、[张少雷](https://zhangshaolei1998.github.io/)、[杨峰*](https://people.ucas.edu.cn/~yangfeng?language=en)**
[](https://arxiv.org/abs/2409.06666)
[](https://github.com/ictnlp/LLaMA-Omni)
[](https://huggingface.co/ICTNLP/Llama-3.1-8B-Omni)
[](https://huggingface.co/datasets/ICTNLP/Multiturn-Speech-Conversations)
[](https://modelscope.cn/models/ICTNLP/Llama-3.1-8B-Omni)
[](https://www.wisemodel.cn/models/ICT_NLP/Llama-3.1-8B-Omni/)
[](https://replicate.com/ictnlp/llama-omni)
LLaMA-Omni 是基于 Llama-3.1-8B-Instruct 构建的语音语言模型。它支持低延迟和高质量的语音交互，根据语音指令同时生成文本和语音响应。
## 🔥 新闻
- [25/05] LLaMA-Omni 2在ACL 2025主会议上被接受！
- [25/05] InstructS2S-200K 的改进版本可在 [此链接](https://huggingface.co/datasets/ICTNLP/Multiturn-Speech-Conversations) 上公开获取。我们将其扩展到多轮对话，并使输入语音音色多样化。抱歉让您久等了！
- [25/04] 我们发布了[LLaMA-Omni2](https://github.com/ictnlp/LLaMA-Omni2)，一系列参数范围从0.5B到32B的语音语言模型，提供了改进的响应质量和语音生成质量。
- [25/01] LLaMA-Omni 在 ICLR 2025 上被接受！新加坡见！
## 💡 亮点
- 💪 **基于 Llama-3.1-8B-Instruct 构建，确保高质量的响应。**
- 🚀 **低延迟语音交互，延迟低至 226ms。**
- 🎧 **同时生成文本和语音响应。**
- ♻️ **仅使用 4 个 GPU 在不到 3 天的时间内完成训练。**
https://github.com/user-attachments/assets/2b097af8-47d7-494f-b3b3-6be17ca0247a
## 安装
1. 克隆此存储库。
````外壳
git 克隆 https://github.com/ictnlp/LLaMA-Omni
cd LLaMA-Omni
````
2. 安装软件包。
````外壳
conda 创建-n llama-omni python=3.10
conda 激活 llama-omni
pip安装pip==24.0
pip install -e 。
````
3.安装`fairseq`。
````外壳
git 克隆 https://github.com/pytorch/fairseq
光盘公平序列
pip install -e 。 --无构建