GitHub 热门项目：ml-4m

GitHub 项目：ml-4m 仓库地址：https://github.com/apple/ml-4m 星级：1794 | 作者：苹果 项目描述：4M：大规模多模态掩模建模 =================================================== 自述文件内容： # 4M：大规模多模态掩模建模 *用于训练任意多模式基础模型的框架。
可扩展。开源。跨越数十种模式和任务。* 洛桑联邦理工学院 - 苹果 [`网站`](https://4m.epfl.ch) | [`BibTeX`](#引用) | [`? 演示`](https://huggingface.co/spaces/EPFL-VILAB/4M) 官方实施和预训练模型： [**4M：大规模多模态掩模建模**](https://arxiv.org/abs/2312.06647)，NeurIPS 2023 (Spotlight)
*[David Mizrahi](https://dmizrahi.com/)\*、[Roman Bachmann](https://roman-bachmann.github.io/)\*、[Oğuzhan Fatih Kar](https://ofkar.github.io/)、[Teresa Yeo](https://aserety.github.io/)、[高明飞](https://fly6464.github.io/)、[Afshin Dehghan](https://www.afshindehghan.com/)、[Amir Zamir](https://vilab.epfl.ch/zamir/)* [**4M-21：适用于数十种任务和模式的任意视觉模型**](https://arxiv.org/abs/2406.09406)，NeurIPS 2024
*[Roman Bachmann](https://roman-bachmann.github.io/)\*、[Oğuzhan Fatih Kar](https://ofkar.github.io/)\*、[David Mizrahi](https://dmizrahi.com/)\*、[Ali Garjani](https://garjania.github.io/)、[高明飞](https://fly6464.github.io/)、[David Griffiths](https://www.dgriffiths.uk/)、[Jiaming Hu](https://scholar.google.com/itations?user=vm3imKsAAAAJ&hl=en)、[Afshin Dehghan](https://www.afshindehghan.com/)、[Amir Zamir](https://vilab.epfl.ch/zamir/)*
  4M 是一个用于训练“任意到任意”基础模型的框架，使用标记化和掩蔽来扩展到多种不同的模式。使用 4M 训练的模型可以执行广泛的视觉任务，可以很好地迁移到看不见的任务和模式，并且是灵活且可操纵的多模式生成模型。我们正在发布“4M：大规模多模态掩蔽建模”（此处表示为 4M-7）以及“4M-21：用于数十种任务和模态的任意视觉模型”（此处表示为 4M-21）的代码和模型。 ## 目录 - [用法](#用法) - [安装](#安装) - [入门](#getting-started) - [数据](#数据) - [标记化](#标记化) - [4M 训练](#4m-训练) - [一代](#一代) - [模型动物园](#model-zoo) - [4M 模型](#4m-模型) - [4M 文本到图像专家模型](#4m-text-to-image-specialist-models) - [4M超分辨率模型](#4m-super-resolution-models) - [分词器](#tokenizers) - [许可证](#license) - [引文](#引文) ## 用法 ### 安装 1. 克隆此存储库并导航到根目录： ```` git 克隆 https://github.com/apple/ml-4m cd ml-4m ```` 2.创建新的conda环境，然后安装包及其依赖项： ```` conda 创建-n fourm python=3.9 -y 康达激活福尔姆 pip install --upgrade pip # 启用 PEP 660 支持 pip install -e 。 ```` 3. 通过在 Python 中运行以下命令来验证 CUDA 在 PyTorch 中是否可用