助焊剂3

返回博客模型研究 FLUX 3 - 现实世界模型：将多模态流模型作为视觉智能的支柱。 FLUX 3 现已推出抢先体验版。 FLUX 3 是我们新的多模式基础模型。它在统一的架构中共同学习图像、视频和音频，因为它需要学习的不是这些孤立的元素中的任何一个。相反，模型必须学习世界的表示：物体如何结合在一起、物体如何移动以及事件如何发声。没有任何一种单一模式可以提供完整的描述。每一个都是同一底层现实的投影，由不同的传感器捕获，每个传感器在这个过程中都会丢失一些信息。图像捕捉特定时间点的空间结构和关系。视频还原了时间的维度，揭示了时间动态和物理定律。音频揭示了仅靠视觉无法检测到的机械现象和声学之间的因果关系。语言将这些感知与目标、抽象和指令联系起来。向其中学习，你就会得到一个很好的预测模型。立即向他们所有人学习，他们的相互制约告诉你更多：声音必须与影响相匹配，运动必须服从质量，未来必须遵循过去。这些模式不再是分离的，而是开始成为一个潜在现实的证据。 FLUX 3 是我们第一个完全基于该原则构建的模型，也是我们开发现实世界视觉智能使命的一个检查点：在物理和数字环境中感知、预测和行动的模型。内容创建和物理人工智能的早期结果表明这是正确的道路。 FLUX 3：一种型号，多种功能。 FLUX 3 基于 Self-Flow 构建，这是我们在同一底层架构中有效协调多模式生成和理解的方法。基于这种方法，我们显着扩展了计算和数据资源，以同时跨视频、图像和音频训练 FLUX 3。自流与流量匹配 (FM)。左：每种模态的生成误差（Fréchet 距离），每个都标准化为 FM = 100（越低越好）。右图：通过微调，四个任务组的平均操作任务成功率（越高越好）。功能和早期评估因此，FLUX 3 能够混合模式并联合生成图像和视频+音频；无论是纯文本提示还是提供图像和视频等输入参考时。我们在下面重点介绍该模型的一些关键功能。 Video FLUX 3 可以在一次生成中创建高度多样化的视频，音频长度可达 20 秒。其核心功能包括以下内容（所有输出都带有本机音频生成）： 文本到视频生成。图像到视频的生成，要么从起始帧（“动画”）继续，要么使用图像作为视觉参考。从参考剪辑生成视频到视频，将源视频的中心元素（例如相同的角色）携带到新的场景或上下文中。从输入视频和音频生成视频音频延续。关键帧到视频的生成，用于定义时刻之间的受控过渡。多语言对话。广泛的视觉风格和宽高比，远远超出了传统的电影输出。将单个剪辑代理链接成更长的多镜头序列。高风格多样性——FLUX 3 Video 可以轻松处理从偷拍摄像机镜头到动画和电影的各种风格。强大的排版生成和动画设计。为了进行下面的初步分析，我们生成了 720p 的 10 秒文本转视频剪辑（带音频）。评估尚处于早期阶段，我们期望进一步改进由于模型及其周围的工具仍在开发中，这些结果是初步的，我们期望在早期访问阶段得到进一步的改进。在早期评估中，FLUX 3 在高达 69% 的比较中优于 Grok Imagine Video，Kling v3 Pro 为 60%，Happy Horse v1 为 59%，Happy Horse 1.1 为 57%，Seedance 2.0 和 Gemini Omni Flash 为 52%。 FLUX 3 在 77% 的比较中优于 Runway Gen-4.5，在 93% 的比较中优于 Luma Ray 3.2。虽然仍处于开发阶段，但 FLUX 3 Video 在捕捉人类面部表情、将声音与物理事件关联以及多语言功能方面已经特别强大。此外，这些功能可以组合起来创建持续几分钟的序列，其中视觉参考有助于确保角色在所有场景中保持一致。 FLUX 3 Video 现已在此处提供抢先体验。 Image FLUX 3 可以合成和编辑各种风格、长宽比和分辨率的图像。在训练中期进行的初步评估中，FLUX 3 已经显示出相对于早期版本的 FLUX 的显着改进：其处理复杂提示和文本生成的能力显着提高。该模型产生多种输出风格