GitHub 热门项目：BLIP3o

GitHub 项目：BLIP3o 仓库地址：https://github.com/JiuhaiChen/BLIP3o 星级：1667 | 作者：陈久海 项目描述：BLIP3o系列正式实施 =================================================== 自述文件内容： #🌌BLIP3-o BLIP3-o 是一种统一的多模态模型，它将自回归模型的推理和指令遵循能力与扩散模型的生成能力相结合。与之前扩散 VAE 特征或原始像素的工作不同，BLIP3-o 扩散了语义丰富的**CLIP 图像特征**，为图像理解和生成提供了强大而高效的架构。 ## 📖 [Arxiv](http://arxiv.org/abs/2505.09568) ## ✨ 亮点 - **完全开源：** - **预训练数据：** [2700 万个详细字幕](https://huggingface.co/datasets/BLIP3o/BLIP3o-Pretrain-Long-Caption)、[500 万个简短字幕](https://huggingface.co/datasets/BLIP3o/BLIP3o-Pretrain-Short-Caption)、[400 万个JourneyDB](https://huggingface.co/datasets/BLIP3o/BLIP3o-Pretrain-JourneyDB) - **指令调优数据：** [60 k GPT-4o 精炼指令调优数据](https://huggingface.co/datasets/BLIP3o/BLIP3o-60k) - **模型权重：** [4 B](https://huggingface.co/BLIP3o/BLIP3o-Model-4B) [8 B](https://huggingface.co/BLIP3o/BLIP3o-Model-8B) - **培训代码** - **统一架构：**用于图像理解和生成。 - **CLIP 特征扩散：** 直接扩散语义视觉特征，以实现更强的对齐和性能。 - **最先进的性能：**跨越广泛的图像理解和生成基准。 ## 更新 - [2025/05/29] 🔥 查看新分支 [Qwen3-Siglip2](https://github.com/JiuhaiChen/BLIP3o/tree/Qwen3-Siglip2)，它支持 SigLIP2 作为图像理解视觉编码器和 Qwen3 作为 AR 主干，具有灵活的训练策略（顺序训练或联合训练）用于图像理解和生成。 - [2025/05/22] 🔥 图像理解和生成的评估，请查看文件夹[eval](https://github.com/JiuhaiChen/BLIP3o/tree/main/eval)。 - [2025/05/20] 🔥 如果您有任何疑问欢迎与我们讨论。 不和谐：https://discord.gg/SsVYdV84bw 或微信

- [2025/05/19] 🔥 我们知道这是一个庞大的代码库，我们分享了其[代码结构]的高级概述(https://github.com/JiuhaiChen/BLIP3o/issues/11#issuecomment-2891930000)，如果您遇到任何问题，请随时提出问题。 - [2025/05/16] 🔥 我们发布了包含 2400 万张带有详细标题的图像 [BLIP3o Pretrain Long Caption](https://huggingface.co/datasets/BLIP3o/BLIP3o-Pretrain-Long-Caption) 和 500 万张带有短标题的图像 [BLIP3o Pretrain Short] 的数据集标题](https://huggingface.co/datasets/BLIP3o/BLIP3o-Pretrain-Short-Caption)。所有图像及其标题都被压缩到 tar 存档中，**无需单独的图像 URL 下载或手动解压缩**。 - [2025/05/16] 🔥 我们重新组织并清理了存储库，以确保代码库清晰、结构良好。请尝试一下训练和推理脚本，如果遇到任何问题，请随时留下问题。