从「预测未来」到「理解世界」：Tadpole与一种新的科学基础模型思路

过去几年，“基础模型” 已经彻底改变了自然语言处理和计算机视觉。一个很自然的问题随之出现： 物理世界是否也能拥有类似的基础模型？ 天气变化、空气流动、材料变形乃至电磁现象，背后都存在复杂的物理规律。传统科学机器学习往往针对一个问题训练一个模型：换一种物理系统、换一个空间尺度，甚至换几个变量，模型可能都需要重新训练。基础模型则试图改变这种模式：先从大量不同的物理数据中学习通用表示，再快速迁移到新的问题。 但当研究对象来到真正的 三维物理世界 时，事情就没有那么简单了。三维模拟产生的数据通常极其庞大。一次高分辨率流体模拟就可能占据大量存储空间，而训练基础模型需要的数据规模更是惊人。与此同时，不同物理系统拥有不同数量的变量、空间分辨率和演化规律，让同一个模型学习真正可迁移的知识并不容易。 Tadpole 正是在这样的背景下提出的。 论文标题：Tadpole: Autoencoders as Foundation Models for 3D PDEs with Online Learning 论文连接：https://arxiv.org/abs/2605.15284 Github 代码：https://github.com/tum-pbs/tadpole 不先学 “未来”，而是先学 “世界长什么样” 很多物理基础模型采用一种直观的训练方式：给定过去的状态，让模型预测未来。 这很像语言模型中的 “预测下一个词”。模型如果能够见过足够多的物理演化过程，或许就能逐渐掌握其中共同的规律。 Tadpole 却选择了一条不同的路线。它首先被训练成一个 自编码器 ：看到某一时刻的三维物理场之后，先将数据压缩到一个更紧凑的潜在空间，再尝试恢复原始数据。换句话说，Tadpole 在预训练阶段首先学习的不是： “下一秒会发生什么？” 而是： “这些复杂的三维物理状态，本质上长什么样？” 这种区别非常重要。 一个物理状态未来如何变化，往往取决于具体的方程、边界条件和物理参数。同样的当前状态，在不同系统中可能走向完全不同的未来，因此直接学习动力学本身是一个高度复杂的任务。而重建关注的是物理场自身的空间结构。由于物理系统通常具有较强的空间相关性和连续性，自编码器可以先学习这些更加通用的特征，再把这些知识迁移到具体任务。从这个角度看，Tadpole 的思路有些像教一个模型认识世界： 与其一开始就要求它预测世界下一秒会发生什么，不如先让它理解这个世界由哪些结构 组成。 202 TB 数据，却不需要 202 TB 硬盘 三维物理基础模型还有一个现实得多的问题： 数据实在太大了。 传统方式通常需要提前运行大量数值模拟，把结果保存到磁盘，再在训练时反复读取。但到了三维高分辨率问题，这种方式很快就会遇到两个瓶颈：一是存储空间，二是数据读取速度。 Tadpole 并没有把所有训练数据提前保存下来，而是采用了 在线学习（online learning, 图 1a） 。训练过程中，GPU 上的数值求解器不断实时产生新的物理数据，这些数据随后直接被送入模型训练，而不是先形成一个巨大的静态数据集。为了避免模拟速度拖慢神经网络训练，作者还设计了多级缓存机制，让数据生成、通信和模型训练能够并行进行。最终，Tadpole 的预训练过程累计使用了相当于约 202 TB 的训练数据，却无需在本地保存这样一个庞大的数据集。更有意思的是，这样做并不仅仅是在节省硬盘。在作者使用的高速 SSD 环境中，在线训练相比预先生成数据的离线方案仍然获得了约 1.8 倍的整体速度提升 ；而在数据读取带宽更受限制的高性能计算环境中，这种优势会更加明显。这意味着，数据不再一定是一个 “提前准备好的固定资源”，而可以变成训练过程中 源源不断生成的东西 。 图 1：Tadpole 的整体框架。左侧展示在线预训练流程：GPU 求解器持续生成三维物理数据，经过预处理和缓存后用于自编码训练；右侧展示预训练模型如何迁移到重建、动力学预测和生成建模等不同任务。 同一个模型，面对完全不同的三维世界 现实中的三维物理数据并没有统一尺寸。有的系统只有几个变量，有的可能包含十几个变量；有的数据只有几十个网格点，有的空间分辨率却可能达到 10243。 Tadpole 的解决办法，是把复杂的三维数据拆成一个个局部区域进行学习。预训练时，不同的物理变量首先被拆开，然后从三维空间中随机裁剪局部区域作为训练样本。这样，不同变量数量、不同空间尺寸的数据就可以被统一到同一个训练框架中。而到了推理阶段，模型又可以根据实际数据调整处理区域的大小，因此能够适应明显不同于预训练阶段的空间尺度。 图 2：Tadpole-B 在多种未参与预训练的三维物理系统上的零样本重建结果，包括各向同性湍流、湍流通道流、过渡边界层以及磁流体力学等，其中最高空间分辨率达到 10243。 在实验中，Tadpole 的测试数据不仅来自不同的物理问题，而且很多分辨率远高于模型预训练时所看到的数据。实验还呈现出两个很清楚的趋势：模型越大，零样本重建能力越好；预训练过程中接触的物理系统越丰富，面对新问题时的泛化能力也越强。换句话说，Tadpole 学到的并不仅仅是某一个模拟任务的技巧，而更接近于一种可以迁移的三维物理表示。 一个只学过 “重建” 的模型，为什么还能预测未来？ 这里自然会出现一个问题：既然 Tadpole 在预训练时只学习如何重建当前状态，它怎么预测物理系统未来的变化？为了解决这个问题，作者进一步提出了 Tadpole-DFT (图 1b)。它并不会把已经训练好的模型推倒重来，而是在已有表示之上增加少量新的学习能力。首先，一个轻量级子网络会在潜在空间中学习不同物理变量之间的相互作用和时间变化；其次，模型重新引入 skip connection，把精细的空间信息直接传递给解码器；最后，通过 LoRA 只微调少量参数，而不是重新训练整个网络。这种设计的目标很明确： 尽可能保留模型在预训练阶段已经学到的知识，再逐步教会它理解 “时间”。 图 3：Tadpole 在三维动力学预测任务上的表现。通过 Tadpole-DFT，预训练模型可以用较少的可训练参数适配复杂的三维湍流预测任务，并与多种现有物理基础模型进行比较。 在多个三维湍流预测实验中，Tadpole 展现出了有竞争力的性能。特别是在湍流边界层任务上，一些 Tadpole 模型在可训练参数远少于大型基线的情况下仍取得了较低的预测误差。实验同时显示，相比简单地对整个预训练模型进行全参数微调，专门设计的 Tadpole-DFT 能更有效地利用已经学习到的表示。 不只是预测，它甚至还能 “创造” 新的物理场 Tadpole 学到的潜在空间还有另一个用途： 生成新的三维物理数据。 作者在这个压缩后的潜在空间中进一步训练了一个生成模型，让模型首先生成新的潜在表示，再通过 Tadpole 的解码器将其还原成完整的三维流场。这样做最大的好处，是不必直接在极其庞大的三维网格上进行生成建模，而是在紧凑得多的表示空间中完成主要计算。在三维湍流生成实验中，基于微调后 Tadpole 构建的生成模型在多项统计指标上取得了很好的结果。于是，同一个预训练模型开始表现出一种很有意思的 “多功能性”：它可以压缩和重建