两年内把GPT-6的智能装进手机!我们已经抵达端侧智能的「撞线前夜」

两年内把GPT-6的智能装进手机!我们已经抵达端侧智能的「撞线前夜」

AI 资讯 来源:新闻/公众号 发布时间:2026-11-10 18:23:14 预计阅读 5 分钟

上世纪40年代,计算机占据整个房间,计算是昂贵稀缺的资源。如今普通人手里的iPhone,单位体积计算能力已提高数十亿倍。从GPT掀起大模型浪潮开始,用户感知的智能集中在科技巨头云端数据中心。但仅仅数年后,超越GPT-4V级别智能的模型已能流畅运行在手机上。

近期,面壁智能联合OpenBMB社区开源MiniCPM-V 4.7。其中35B-A3B版本是350亿参数的MoE多模态模型,在手机上仅占约3GB内存,在最新iPhone 18 Pro Max上速度超过每秒30个token。实机录屏显示,打开飞行模式的iPad运行该模型执行多模态任务表现惊艳,回答准确、输出速度流畅,手写数学解题也能准确识别。MiniCPM从当年的“小钢炮”进化为端侧性能猛兽。

两年内把GPT-6的智能装进手机!我们已经抵达端侧智能的「撞线前夜」

面壁智能联合创始人、首席科学家刘知远表示,2024年做端侧智能时还是远景,如今已变成近景。该模型背后是面壁智能多模态大模型实验室,由联席首席科学家、清华大学人工智能学院助理教授姚远领衔。姚远认为已来到“端侧智能的撞线前夜”,并称“2年内GPT-6级别的智能到手机上没什么问题”。

MiniCPM-V 4.7 35B-A3B是全球首个可在端侧无损、流畅运行的开源MoE多模态大模型;1B版本主打入门级设备和端侧智能普惠。官方34项基准测评中,35B-A3B在通用视觉、数学推理、OCR与图表理解、长视频等任务上领先Qwen3.6-35B-A3B,超过Qwen 27B和Gemma-4 31B,智能水平超过2023年云端旗舰GPT-4V。1B版本在OCR、图表推理和多图理解上优于Qwen3.5-0.8B等,千元级手机也能流畅运行。两个版本均在各自参数规模上推动多模态模型“性能—效率帕累托前沿”。

两年内把GPT-6的智能装进手机!我们已经抵达端侧智能的「撞线前夜」

端侧智能发展依赖模型、硬件和Infra“三驾马车”。模型侧,面壁主线是智能密度,聚焦“看、想、学”:3D-Resampler将连续6帧视频压缩至64个token,压缩率96倍;LLaVA-UHD v4把压缩提前到视觉编码器内部,编码计算量减少55.8%,支持4倍和16倍压缩率切换。后训练从RLHF-V、RLAIF-V到RLPR,奖励越来越便宜。微调时混入通用问题高质量回答,在4个开源模型上遗忘减少80%到99%。

硬件决定算力预算,出厂即固定。存储芯片涨价,12GB内存渐成AI手机及格线。2026年前许多手机NPU仍针对CNN、RNN优化,新一代芯片开始原生支持Transformer自注意力计算。MiniCPM-V 4.7发布当天完成对AMD、Apple、Arm、Intel、NVIDIA、瑞芯微、后摩智能等平台适配,并通过众智FlagOS支持华为、海光、昆仑芯、摩尔线程、沐曦等国产芯片,还与高通、联发科技、紫光展锐、爱芯元智深度协同。

两年内把GPT-6的智能装进手机!我们已经抵达端侧智能的「撞线前夜」

Infra层核心解法是前瞻专家调度(LES)。35B-A3B即使4比特量化,权重仍约15GB,远超手机内存。MoE模型每生成一个token每层只激活少数专家,将专家权重存于闪存、需要时加载,可将内存峰值控制在约3GB。LES利用Transformer残差结构,相邻层隐藏状态变化较小、专家选择较稳定,在当前层计算时提前预测下一层所需专家并后台加载,只改变加载时机、不改变专家选择,不损失精度。配合权重存储优化、混合精度量化和DSpark投机解码,35B-A3B发布时已实现iPhone 17 Pro Max上超13 token/s、iPad Pro M4上超17 token/s,iPhone 18 Pro Max上超20 token/s;LES 2.0将速度提升至30 token/s以上,内存仍约3GB,精度损失几乎可忽略。

姚远认为三驾马车需协同进化:模型提供智能,硬件提供算力,Infra让两者更好匹配。硬件飞轮一直转但芯片周期数年;模型飞轮2024年加速,智能密度约每3.5个月翻一番;Infra飞轮启动最晚却转得最快。三者进步可相互放大,若各自持续进步,收益以乘积叠加,整体可能获五到六倍以上增益;进一步协同设计有望超七到八倍。但姚远强调模型始终决定智能能力边界。

标签: AI 资讯 AI

更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...

2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...

2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业

Claude 开始「整顿」会议室,建议国内大厂抄作业

「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...

2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...

2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...

2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...

2026-11-20 19:59:42
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部