iPhone断网也能跑35B大模型！仅占3G内存

面壁智能与OpenBMB正式开源MiniCPM-V 4.7，包含35B-A3B和1B两个版本。其中35B-A3B是MiniCPM-V系列首个MoE模型，总参数35B，每次推理仅激活3B，约3G内存即可在iOS、安卓设备流畅运行；1B版本实际参数1.3B，主打极小体积，OCR、数学和视频理解在同尺寸模型中属第一梯队。

实测显示，在断网状态下，iPhone 17 Pro Max上的35B模型不到1分钟即可识别拿破仑行军图中的最低气温标注，判断日期为1812年12月6日，并按1列氏度等于1.25摄氏度换算出零下37.5摄氏度。优化后解码速度从每秒约2个Token提升至8-12个Token，仅占3G内存时可达每秒13个Token以上。iPad M4上运行同一题目也给出相同答案。

性能方面，35B-A3B在MMBench获91.72、MMStar 80.67，MMMU和MathVista分别为80.22和88.00，Video-MME和LongVideoBench为76.40和68.90。OmniDocBench v1.6上得分94.24，领先其他四个模型12分以上。视觉压缩开到16倍后，MMBench仅从91.72降至90.87，OCRBench从91.20降至90.40。纯文本能力上，CMMLU达90.21，τ2-Bench为84.65，均为表内最高。据悉，这是首个能在端侧流畅运行且不牺牲性能的开源MoE模型。

实际应用中，35B-A3B可断网处理家庭用电调查表，完成电器耗电排序、账单解释比例及省电方案计算；1B版本能在手机本地将论文页面转为Markdown，还原标题、段落、表格及LaTeX公式。API测试中，模型能准确整理超市小票并核对账目，还能正确判断复杂停车规则。

技术层面，35B-A3B虽总参数35B，但每token仅约3B参与计算。由于手机内存无法容纳全部专家，团队采用前瞻专家调度（LES），利用相邻层输入特征相似的特点，在当前层计算时预测下一层所需专家并提前加载，测试中可提前备好超80%所需专家，无需额外训练。计算顺序也调整为已加载专家先算，其余同步加载。权重方面采用逐层混合精度量化并重组为连续存储，减少读取量。在16GB内存iPad Pro M4上，该方案综合提升解码速度5倍。团队还训练了DSpark草稿模型并接入llama.cpp等框架，在M5 Mac上解码速度平均再提升17%。视觉侧沿用LLaVA-UHD v4的ViT早期压缩技术，支持4倍和16倍压缩切换。

针对微调后通用能力退步问题，面壁推出自回放微调：微调前让模型回答覆盖原有能力的问题，筛选高质量回答混入新任务训练数据，无需修改模型结构或损失函数，回放数据可重复使用。