GitHub 热门项目：MGM

GitHub 项目：米高梅 仓库地址：https://github.com/JIA-Lab-research/MGM 星级：3324 | 作者：JIA实验室研究 项目描述：“Mini-Gemini：挖掘多模态视觉语言模型的潜力”官方仓库 =================================================== 自述文件内容： # “Mini-Gemini：挖掘多模态视觉语言模型的潜力”的官方仓库 该框架支持一系列从 2B 到 34B 的密集和 MoE 大型语言模型 (LLM)，同时进行图像理解、推理和生成。我们基于 LLaVA 构建此存储库。 ## 发布 - [05/03] ? 我们支持基于 LLaMA3 的模型！欢迎尝试[这里](https://huggingface.co/collections/YanweiLi/mgm-6603c50b9b43d044171d0854)。 - [04/15] ? [拥抱脸部演示](https://huggingface.co/spaces/wcy1122/MGM) 上线。是13B-HD版本，欢迎观看和尝试。 - [03/28] ? 小双子来了！我们发布了[论文](https://arxiv.org/pdf/2403.18814.pdf)、[演示](http://103.170.5.190:7860/)、[代码](https://github.com/dvlab-research/MGM)、 [模型](https://huggingface.co/collections/YanweiLi/mgm-6603c50b9b43d044171d0854')和[数据](https://huggingface.co/collections/YanweiLi/mgm-data-660463ea895a01d8f367624e)！ ## 内容 - [演示](#demo) - [安装](#install) - [型号](#model) - [准备](#准备) - [火车](#train) - [评价](#evaluation) - [示例](#examples) - [引文](#引文) - [致谢](#致谢) - [许可证](#license) ## 演示 我们在本节中提供了一些精选示例。更多示例可以在我们的[项目页面](https://mini-gemini.github.io/)中找到。欢迎尝试我们的在线[演示](http://103.170.5.190:7860/)！ ## 安装 请按照以下说明安装所需的软件包。 注意：如果您想使用2B版本，请确保安装最新版本的Transformers（>=4.38.0）。 1.克隆这个存储库 ````bash git 克隆 https://github.com/dvlab-research/MGM.git ```` 2. 安装包 ````bash conda 创建-n mgm python=3.10 -y conda 激活 mgm 米高梅唱片公司 pip install --upgrade pip # 启用 PEP 660 支持 pip install -e 。 ```` 3. 为训练案例安装额外的包 ````bash pip 安装忍者 pip install flash-attn --no-build-isolation ```` ## 型号 该框架在概念上很简单：利用双视觉编码器来提供低分辨率视觉嵌入和高分辨率候选； 帕特克