两年内把GPT-6的智能装进手机！我们已经抵达端侧智能的「撞线前夜」

编辑｜冷猫 上世纪 40 年代，计算机还是占据一整个房间的庞然大物。它们体积庞大、造价高昂，只有少数科研机构和大型组织能够使用。那时，计算是一种昂贵而稀缺的资源。 但直到今天，仅仅是普通人手里的 iPhone，单位体积里的计算能力都已提高了数十亿倍。那时的人不会想到，全世界大部分的计算都在每个人的桌上和口袋里完成。 历史是个圈，智能的发展也一样。 从 GPT 掀起大模型浪潮开始，能够被用户感知的「智能」就集中在少数科技巨头的数据中心里，运行在云端。而大模型诞生伊始的我们，也没有料到仅仅数年后， 一个超越了 GPT-4V 级别智能的模型， 能够流畅 运行在手机上 。 端侧智能的多次降临。横轴是时间，纵轴是参数量。颜色代表模型表现，红色表示性能较强，蓝色表示较弱。 近期， 面壁智能联合 OpenBMB 社区开源了 MiniCPM-V 4.7 。其中的 35B-A3B 版本，是一个 350 亿参数的 MoE 多模态模型，在手机上只占约 3GB 内存，在最新的 iPhone 18 Pro Max 上速度已经超过每秒 30 个 token 。 让我们来看看，一个打开了飞行模式的 iPad，运行 MiniCPM-V 4.7-35B-A3B 端侧模型，执行多模态任务的实机录屏表现。 作为完全本机运行的 35B 参数模型，表现真的很惊艳。回答准确的同时，输出速度依旧可观，保持在一个体感流畅，但也不至于让人眼花缭乱的速度。多模态能力也很强劲，对手写的数学解题也能够准确识别。 MiniCPM 真的从当年的「小钢炮」进化成了端侧运行的能力全面的性能猛兽。 「从 2024 年开始，我们就说要做端侧智能，当时它还是一个远景。到了今天，这个远景已经变成了近景。」面壁智能联合创始人、首席科学家刘知远说。 这款模型背后，是 面壁智能多模态大模型实验室。实验室由面壁智能联席首席科学家、清华大学人工智能学院助理教授姚远领衔。 在 MiniCPM-V 4.7 到来后，姚远认为，我们已经来到了 「端侧智能的撞线前夜」 ，而端侧智能的未来，会更加不可思议。 「2 年内 GPT-6 （级别的智能）到手机上，我们觉得是没什么问题的」。 端侧智能的「三驾马车」： 模型、硬件与 Infra MiniCPM-V 4.7 35B-A3B 是 全球首个可在端侧无损、流畅运行的开源 MoE 多模态大模型 。而 1B 版本则延续 MiniCPM-V 4.6 的路线，主打入门级设备和端侧智能普惠。 前者负责摸高。在官方公布的 34 项基准测评中，35B-A3B 在通用视觉、数学推理、OCR 与图表理解、长视频等任务上 领先 Qwen3.6-35B-A3B，也超过了 Qwen 27B 和 Gemma-4 31B 。这一代模型的智能水平，「超过 2023 年的云端旗舰 GPT-4V，应该是大家都能认同的」。 后者负责铺开。1B 版本在 OCR、图表推理和多图理解上占优于 Qwen3.5-0.8B，以及更大一些的 LFM2.5-VL 1.6B 和 Gemma-4 ，千元级手机也能流畅运行。 对于内存、算力和功耗都受到严格限制的端侧设备来说，模型有多强固然重要，但更关键的是，能用多小的代价获得多强的智能，也就是 更高的「能力密度」 。MiniCPM-V 4.7 的两个版本，都在各自的参数规模上推动了多模态模型的 「性能 — 效率帕累托前沿」 。 MiniCPM-V 4.7 的优异表现，也让我们得以重新审视端侧智能的进步的驱动力。端侧智能的发展离不开三个关键因素： 模型、硬件和基础设施（Infra），是推动端侧智能发展的「三驾马车」。 模型：把智能密度逼向物理极限 模型这一侧，面壁智能的主线始终是智能密度。 端侧对密度的要求格外苛刻。 人脑的功耗约 20 瓦 ，一台 8 卡 AI 服务器满载要超过 1 万瓦，手机日常只有几瓦的预算，跑一个 20 瓦的程序，用不了多久就会发烫掉电。 「自然早已证明，智能可以极其高效。」 所以，对于一个端侧多模态大模型而言，最重要的是「看、想、学」，用更少的计算看清世界，用更少的步骤想清问题，用更低的成本学会新本事。 「看」是最贵的一环。MiniCPM-V 系列的视觉压缩也一代比一代来得早。3D-Resampler 把连续 6 帧视频一起压缩，只用 64 个 token，压缩率达到 96 倍；这一代沿用的 LLaVA-UHD v4，把压缩提前到视觉编码器内部，编码计算量减少 55.8%，并支持 4 倍和 16 倍两档压缩率按需切换。 「想」靠后训练。从人工逐句纠错的 RLHF-V，到让开源模型逐条核对的 RLAIF-V，再到用模型自身置信度作为奖励、不需要判卷器的 RLPR，奖励越来越便宜，模型也能用更短的推理时间答对更难的题。「奖励能走多远，推理就能走多远。」 「学」解决的是遗忘。微调前先让模型回答一批通用问题，把高质量回答混进新任务数据一起训练，新任务能学会，旧能力也不丢，在 4 个开源模型上遗忘减少了 80% 到 99%。 硬件：出厂即定的预算 面壁团队定位清晰，模型和 Infra 坚持自研，芯片交给合作伙伴。 硬件决定了端侧智能的算力预算，也决定了模型和 Infra 能发挥多大作用。 云端的算力、内存和带宽可以按需扩容，而端侧设备一旦出厂，资源就基本固定了。眼下，存储芯片价格持续上涨，在部分手机的物料成本中已占到三到五成，12GB 内存也逐渐成为 AI 手机的及格线。 内存越贵，如何用更少的资源运行更强的模型，就越有价值。 不过，硬件本身也正在迎来变化。姚远提到，受芯片研发周期影响，2026 年之前，许多手机 NPU 仍主要针对 CNN、RNN 等早期架构优化。而新一代芯片开始原生支持 Transformer 的自注意力计算，有望进一步释放端侧模型的性能。 围绕硬件生态，面壁也在持续扩大合作网络。MiniCPM-V 4.7 发布当天，便完成了对 AMD、Apple、Arm、Intel、NVIDIA、瑞芯微、后摩智能等平台的适配，并通过众智 FlagOS 软件栈支持华为、海光、昆仑芯、摩尔线程、沐曦等国产 AI 芯片。此外，面壁还与高通、联发科技、紫光展锐、爱芯元智等厂商展开了深度协同。 Infra：有多少内存，并不等于有多少智能 这次最受关注的，是第三驾马车。 2024 年，面壁把 8B 模型放上 iPad；2025 年，把 4B 模型放上 iPhone。如果端侧一直跑稠密模型，设备有多少可用内存，就只能装多大的模型、提供多少智能。 「难道有多少内存，就代表有多少智能吗？如果是这样，端侧模型能力的上界就被内存上限堵住了。」而要突破这一上限的方式，正是 Infra 层。 Infra 要做的，就是在有限的资源中找到最优分配方式。 MiniCPM-V 4.7 的核心解法叫 前瞻专家调度（Lookahead Expert Scheduling，LES） 。 以 35B-A3B 为例，即便采用较激进的 4 比特量化，模型权重仍有约 15GB，远超手机的可用内存。 但手机还有容量大得多的闪存。MoE 模型的参数分散在不同专家中，每生成一个 token，每层只需激活少数专家。如果把专家权重存放在闪存中，需要时再加载到内存，就能将内存峰