GitHub 热门项目：Everlyn-1

GitHub 项目：Everlyn-1 仓库地址：https://github.com/Everlyn-Labs/Everlyn-1 星级：2892 | 作者：Everlyn 实验室 项目描述：第一个开放的自回归基础视频人工智能模型。 =================================================== 自述文件内容： 访问我们的网站：[Everlyn.ai](https://www.everlyn.ai) ## ? 研究概述 我们最新的开源研究围绕三个关键组成部分。首先，我们引入了一种新的视频压缩和标记化方法，旨在提高质量和性能。接下来，我们介绍高效自回归模型的框架。最后，我们分享我们在多模态理解方面的进展，重点是减少大语言模型中的幻觉。 ### 1. [矢量量化的分布匹配](https://github.com/Openlyn/Wasserstein-VQ) 我们解决自回归视频模型矢量量化不稳定和低效的挑战。通过采用基于 **Wasserstein 距离** 的新颖分布匹配方法，我们显着提高了码本利用率并减少了量化误差。这种方法可以使生成视频任务的训练更加稳定并提高性能。 ### 2. [EfficientARV：用于图像和视频生成的高效自回归模型](https://github.com/Openlyn/EfficientARV) EfficientARV 旨在创建一个高效的自回归模型，用于联合生成图像和视频。该项目探索了多种条件生成任务，例如图像动画、修复、外绘、视频预测和视频插值。此外，它的目标是将这些生成功能集成到多模态大型语言模型（MLLM）中，以实现更具交互性和更强大的人工智能系统。 ### 3. [ANTRP：干预锚定代币 - MLLM 的解码策略](https://github.com/Openlyn/ANTRP) 最后，我们专注于通过解决幻觉问题来改进多模态大语言模型（MLLM）。 ANTRP 不会惩罚摘要标记，而是干预查询键参数方差，从而在不增加推理时间的情况下减少幻觉。我们提出了**动态令牌传播机制（TAME）**，它动态调整注意力权重的特征谱方差，以减轻“锚”令牌的过度传播。大量实验表明，特征谱和幻觉之间存在很强的相关性，TAME 显着减少了各种 MLLM 中的幻觉物体。 --- 在 Everlyn，我们不断开发人工智能，突破视频生成的可能性界限，将无限视频人工智能的梦想变成现实。