GitHub 热门项目：SoundMind

GitHub 项目：SoundMind 仓库地址：https://github.com/xid32/SoundMind 星级：1113 | 作者：xid32 项目描述：我们引入了音频逻辑推理（ALR）数据集，该数据集由 6,446 个文本音频注释样本组成，专为复杂推理任务而设计。在此资源的基础上，我们提出了 SoundMind，这是一种基于规则的强化学习 (RL) 算法，旨在赋予音频语言模型 (ALM) 深度双模推理能力。 =================================================== 自述文件内容： # SoundMind：音频语言模型的 RL 激励逻辑推理 [EMNLP 2025 主会议（口头）] [](https://github.com/xid32/SoundMind/blob/main/LICENSE) [](https://arxiv.org/abs/2506.12935) [](https://huggingface.co/datasets/SoundMind-RL/SoundMindDataset) [](https://www.dropbox.com/scl/fi/irtbrnmk5e0ecvv8fyrum/audio_dataset.zip?rlkey=p1ebkt9h1bkyjsq3fo2bp667v&st=gxr542e2&dl=0) 该存储库是 *SoundMind：音频语言模型的 RL 激励逻辑推理* (EMNLP 2025) 的官方实现。我们推出 **SoundMind-RL**，这是一种新颖的基于规则的强化学习框架，可为大规模音频语言模型提供跨音频和文本模式的高级逻辑推理能力。为了实现此类训练，我们构建了 **SoundMind 数据集**，这是一个音频逻辑推理 (ALR) 基准，包含 6,446 个高质量样本，并以音频和文本形式注释了思维链推理。

## 数据集下载 要下载我们的数据集，请访问此链接：[Hugging Face](https://huggingface.co/datasets/SoundMind-RL/SoundMindDataset)。 或者，您也可以从 [Dropbox](https://www.dropbox.com/scl/fi/irtbrnmk5e0ecvv8fyrum/audio_dataset.zip?rlkey=p1ebkt9h1bkyjsq3fo2bp667v&st=gxr542e2&dl=0) 下载它。 运行以下命令： ````bash wget -c "https://www.dropbox.com/scl/fi/irtbrnmk5e0ecvv8fyrum/audio_dataset.zip?rlkey=p1ebkt9h1bkyjsq3fo2bp667v&st=gxr542e2&dl=1" -O audio_dataset.zip ```` 该数据集包含训练、测试和验证拆分，以及存储为 JSON 文件的相应文本描述和元数据。所有注释文件都位于此 GitHub 中的“dataset-annotation-json”文件夹中。 ## 要求 ### 推荐硬件 8 个 NVIDIA H800 80GB 或 8 个 NVIDIA H100 80GB GPU。 ### 代码库和兼容性 我们的代码库基于 [verl](https://github.com/volcengine/verl)。如果您已经熟悉 [verl](https://github.com/volcengine/verl)，您应该能够快速开始使用此存储库。 ### 环境设置（推荐：Anaconda） - **Python**：版本 >= 3.9 - **CUDA**：版本 >= 12.1 为了训练和推理引擎能够利用更好更快的硬件支持，需要 CUDA/cuDNN 和其他依赖项，并且某些依赖项在安装其他包时很容易被覆盖。 我们需要安装以下先决条件： - **CUDA**：版本 >= 12.4 - **cuDNN**：版本 >= 9.8.0 ````bash # 将目录更改为您喜欢的任何位置，不建议在 verl 源代码目录中 wget https://developer.download.nvidia.com/compute/cudnn/9.8