GitHub 热门项目：jepa

GitHub 项目：jepa 仓库地址：https://github.com/facebookresearch/jepa 星级：4026 | 作者：facebookresearch 项目描述：V-JEPA 自监督视频学习的 PyTorch 代码和模型。 =================================================== 自述文件内容： # V-JEPA：视频联合嵌入预测架构 _视频联合嵌入预测架构_的官方 PyTorch 代码库，V-JEPA，一种从视频中自我监督学习视觉表示的方法。 **[元人工智能研究，FAIR](https://ai.facebook.com/research/)** Adrien Bardes、Quentin Garrido、Jean Ponce、Xinlei Chen、Michael Rabbat、Yann LeCun、Mahmoud Assran*、Nicolas Ballas* [\[博客\]](https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/) [\[论文\]](https://ai.meta.com/research/publications/revisiting-feature-prediction-for-learning-visual-representations-from-video/) [\[Yannic Kilcher 的视频\]](https://www.youtube.com/watch?v=7UkJPwz_N_0) V-JEPA 模型通过被动观看 VideoMix2M 数据集中的视频像素进行训练，并生成在下游视频和图像任务上表现良好的多功能视觉表示，而无需调整模型参数；例如，使用冻结的骨干网和仅轻量级的特定于任务的注意力探针。 ## 方法 V-JEPA 预训练仅基于无监督的特征预测目标，并且不利用预训练的图像编码器、文本、负例、人工注释或像素级重建。       ## 可视化 与具有像素解码器的生成方法相反，V-JEPA 有一个在潜在空间中进行预测的预测器。 我们训练一个条件扩散模型来将 V-JEPA 特征空间预测解码为可解释的像素；预训练的 V-JEPA 编码器和预测器网络在此过程中保持冻结状态。 解码器仅输入针对视频缺失区域预测的表示，并且无法访问视频的未屏蔽区域。 V-JEPA 特征预测确实是有根据的，并且与视频的未屏蔽区域表现出时空一致性。

## 模型动物园 #### 预训练模型 <表> 型号 补丁大小 分辨率 迭代 批量大小 数据