3G内存跑35B多模态，端侧AI迎来历史拐点

过去，想让手机跑 35B 级多模态大模型，几乎等于让一台 16GB 设备装下 4 倍于自身内存的模型。行业默认答案是压缩、裁剪，或者把任务交给云端。

近日，面壁智能联合 OpenBMB 社区正式发布并开源端侧多模态系列最新模型——MiniCPM-V 4.7。这次更新同时推出 35B-A3B 和 1B 两个版本，一个冲击端侧能力上限，一个拉低多模态智能的普惠门槛。其中 MiniCPM-V 4.7 35B-A3B 版本是全球首个可在端侧无损、流畅运行的开源 MoE 多模。

350 亿参数，3GB 内存，手机平板畅跑。这不是实验室演示，而是开源可用的现实。它标志着端侧多模态大模型，正式进入「大参数、小内存、无损运行」的新阶段。

端侧AI的不可能三角，LES调度破局

端侧大模型长期面临一个「不可能三角」：大参数、小内存、无损流畅，三者难以兼得。参数越大，越依赖云端；内存越小，越要牺牲精度；速度越快，越容易掉能力。

MiniCPM-V4.7 35B-A3B 的完整权重约 65.6GiB，是主流 16GB 设备全部内存的 4 倍多。按传统思路，这根本不可能在手机、平板上运行。面壁智能的做法不是把模型硬塞进内存，而是通过 MoE 混合专家架构和前瞻专家调度方案 LES，让模型不必全部加载：大部分专家存放在固态硬盘中，用到时再读入，实现「边算边读」。

但「边算边读」说起来容易，做起来难。传统 MoE 模型在端侧运行时，最大瓶颈不是算力，而是等待。每一层要调用哪些专家，必须等上一层算完才能确定，读盘也只能从这时开始。结果是每生成一个 token，每一层都要停下来等一次读盘，速度被严重拖慢。

LES（Lookahead Expert Scheduling，前瞻专家调度）的核心突破，在于利用了一个关键规律：模型内部信息逐层累加，相邻两层的输入高度相似；而路由模块选择专家，本质上是给所有专家打分后取前几名，输入的轻微变化通常不会打乱名次。

基于这一特点，LES 把当前层的路由输入特征直接送入下一层的路由模块，在计算当前层的同时，提前预测下一层将要使用的专家，并由后台线程提前把它们从闪存读入内存。等到下一层开始计算时，大部分所需专家已经就绪——读取时间被尽量压进计算过程里。简单说，模型在算当前层时，顺手把下一层要用的专家从硬盘搬到内存，等下一层开始时，大部分已经就位。

LES 还调整了层内专家的计算顺序：实际路由选中且已经加载到位的专家先算，其余所需专家同步加载。通过让计算与读取尽可能并行，进一步减少加载等待和 GPU 空闲时间。

更关键的是，LES 的预判只决定「提前搬谁、先算谁」，不决定「最终用谁」。每个 token 实际调用哪些专家，仍由模型原有的路由模块根据真实输入选定；未被预判到的所需专家，也会正常加载并参与计算。因此，开启 LES 后，模型输出与关闭时完全一致，提速不以精度损失为代价。

据官方测试，这套方法无需额外训练模型，多数场景下能提前备好超过 80% 的所需专家，生成速度平均提升约 5 倍。最终，在 iPad Pro M4 16GB 上生成速度达到 17+ token/s，在 iPhone 18 Pro Max 上达到 20+ token/s，仅用约 3GB 内存。

这意味着，端侧 AI 可以具备完整的大模型能力，这不是简单的模型压缩或功能堆叠，而是存储、计算与调度协同的系统级优化。

加载更轻、输出更快，能力不打折

LES 解决了「提前搬」的问题，MiniCPM-V4.7 还从权重大小和存储方式入手，让专家加载本身更轻、更快。

一方面，把权重精度按层调低，减少体积和传输量；另一方面，把同一个专家的参数连续存放，让硬盘一次读齐，不用来回跳。两项优化共同降低了专家加载对端侧存储容量与带宽的需求，与预取和计算调度配合，进一步压缩加载等待时间。

那么，这套方案是否以能力为代价？从测评看，并没有。35B-A3B 在通用视觉、STEM、OCR/图表、长视频等核心任务上表现突出，在 34 项权威基准测评中全面领先同档的 Qwen3.6-35B-A3B，甚至超越更大体量的 Qwen27B、Gemma-4 31B，实现看图、读文档、做题、看视频样样精通。与此同时，1B 版本同步开源，MMBench 83.17、OCRBench 86.10，领先同档 Qwen3.5-0.8B，让入门级设备也能搭载高质量多模态能力。一端是能力上限，一端是普惠下限，两个版本同时刷新了端侧多模态的「性能—效率帕累托前沿」。

全链路效率也没有拖后腿。输入端延续并升级了 ViT 内提前压缩技术，支持 4 倍/16 倍混合视觉 token 压缩：4 倍模式保留更多画面细节，适合文档解析；16 倍模式显存占用更少、首响更快、功耗更低，适合实时交互，且开启后 MMBench、OCRBench、OmniDocBench 等关键分数基本保持不变。输出端则采用 DSpark 投机解码，由轻量草稿模块先提出多个候选 token，再由主模型一次性并行验证，每个最终输出 token 都经过主模型确认，回答质量不受影响；在 iPad Pro M4 16GB 上，代码调试、语法纠错、科学解释、逻辑推理、数学计算等任务生成速度平均提升 1.17 倍。

对端侧模型而言，真正的「性能」不只是跑分高，而是从视觉输入到 token 输出，整条链路都能在有限内存和算力下保持能力、降低等待。加载优化、测评成绩和全链路效率，共同说明一件事：MiniCPM-V4.7 不是「能跑就行」的端侧模型，而是在有限内存和算力下，把完整能力从加载到输出跑通了——加载更轻、输出更快，能力不打折。

AI能力走向「终端原生」

MiniCPM-V4.7 35B-A3B 在端侧无损运行，影响的不只是「手机能跑多大模型」，而是 AI 能力在整个计算体系中的位置。手机、平板、PC、汽车、机器人、边缘设备，都将因此获得前所未有的多模态能力。过去需要联网、上传数据、等待云端返回的 AI 功能，现在可以在本地瞬间完成。隐私安全、实时响应、极低成本——大模型能力不再只由云端提供，每个人都能在本地设备上拥有强大的多模态 AI 能力。

生态方面，MiniCPM-V 4.7 已完成与 Intel、瑞芯微、AMD、ARM、后摩智能、NVIDIA、Apple 等厂商的 Day-0 级适配，并通过 FlagOS 完成海光信息、沐曦股份、摩尔线程、昆仑芯、华为、天数智芯、平头哥、曦望智能、清微智能、此芯科技（ARM）等多款 AI 芯片与端侧芯片的 Day-0 级适配。软件侧同步支持 llama.cpp、Ollama、MLX、vLLM、SGLang 等主流推理框架，并开源官方微调代码。这不是一家公司的独角戏，而是整个端侧 AI 生态的集体跃迁：开源开放让全球开发者都能在终端设备上构建下一代 AI 应用，推动行业标准形成，加速 AI 普惠进程。

对面壁智能而言，大模型的未来不只在于参数规模，更在于效率：用更少的参数承载更强的智能，用更少的算力完成更复杂的任务，模型才能离开数据中心，走进每个人手中的设备。

MiniCPM-V4.7 的开源，不只是一次模型更新，更是端侧 AI 思路的一次转向——从「把模型压小」转向「用系统级效率打破内存墙」。当 35B 级多模态模型能以约 3GB 内存运行，AI 能力正走向「端云协同、终端原生」，端侧 AI 的普惠时代，已然开启。