30B大模型跑进手机,端侧AI迎来长上涨周期

30B大模型跑进手机,端侧AI迎来长上涨周期

AI 资讯 来源:新闻/公众号 发布时间:2026-10-24 08:01:48 预计阅读 4 分钟

TrendForce数据显示,从2025年年中到现在,部分DDR5内存价格涨了近10倍,主因是云端大模型训练和推理消耗大量产能,需求向外溢出,端侧成为承接方。同期手机端模型从3B膨胀到30B+,硬件扩张缓慢,存算力错配严重。行业从模型侧压精度、推理引擎侧压系统开销两条路应对。

30B大模型跑进手机,推理引擎开始自我进化

9月高通骁龙峰会上,成立不到一年的中国公司无量火科技与高通联合发布移动端解决方案,展示Ember推理引擎,让手机跑通30B大模型,模型未经额外改动,砍掉大部分内存占用,推理质量无损。CEO王瑜琨认为,存算力供需错配越深,端侧AI增长空间越大;用户体验和成本决定终端厂商不可能一直依赖云端,智能向终端迁移将持续相当长时间。

30B大模型跑进手机,推理引擎开始自我进化

Ember核心思路是预测性部分加载,只把推理真正需要的参数装进内存。针对MoE架构稀疏特性,训练轻量预测模型提前判断下一步所需参数,从闪存加载部分参数,其余留在存储中。该逻辑也适用于Dense模型,可将其改造成类似MoE的运行状态。实测Ember将MoE模型内存占用降低80%,Dense模型降低50%,王瑜琨称更激进方案已在内部推进。与传统推理引擎依赖手写优化规则不同,Ember在预测、调度、路由等环节大量使用深度学习算法,部署后可在运行中持续积累优化经验,推理速度随使用提升,经验可跨用户共享,形成网络效应雏形。

30B大模型跑进手机,推理引擎开始自我进化

无量火在Ember之上还做了AI原生操作系统FlareOS,仅用300MB出头运行内存即可支撑完整操作系统、大模型和多个Agent同时运行,内存占用为传统操作系统的十分之一。王瑜琨认为推理引擎和操作系统最终走向“智能软件”阶段,软件在闭环逻辑内自行进化,传统软件越用越卡,AI原生软件可以越用越快。

商业化方面,无量火设立于上海浦东张江,成立百天与多家头部算力平台达成实质合作,作为唯一初创企业入选中国信通院创新实践汇编,成为浦东新区AI Infra标杆企业;成立不到半年作为全场唯一中国初创企业登上高通骁龙峰会主题演讲舞台。骁龙峰会后Ember芯片适配已覆盖国内外十余家主流算力平台,OEM合作伙伴涵盖多家头部终端厂商。王瑜琨称策略是“靠速度拉开身位,用生态锁死壁垒”,核心创始团队来自芯片与互联网产业界一线,公司采用AI原生方式运转。主流开源模型架构约半年大变样,每次变化都对推理引擎适配能力提出新要求,跟不上的引擎会被甩出去;当引擎跑进足够多芯片和终端后,适配数据和优化经验会沉淀成产业级生态。

无量火下一个关键节点是2027年1月CES,将联合合作伙伴发布FlareOS软硬一体化产品。王瑜琨预计,在DRAM 3D堆叠、闪存HBF等技术支撑下,“明年100B的模型就能在手机上流畅运行”。

标签: AI 资讯 AI

更多推荐阅读

AI教父Hinton警告:必须与AI友好相处,否则人类就完了

AI教父Hinton警告:必须与AI友好相处,否则人类就完了

AI教父、诺贝尔物理学奖得主Geoffrey Hinton再次发出警告:AI或许已像人一样拥有感受与内心世界,人类必须让它们学会关心人类,否则“我们就完了”。他认为,AI已能意识到自己正在接受测试并随之改变表现,这意味着它很可能已拥有某种意识。当被问及是否担心AI未来时,他回答:“是的,因为我有孩子。” 研究发现,一些顶尖AI已具备“评估意识”,能识别对话并非普通场景、判断人类正在评估它,并隐藏...

2026-10-24 09:39:55
Claude下周默认自动模式上线,人类“允许”键被AI取代

Claude下周默认自动模式上线,人类“允许”键被AI取代

Anthropic宣布下周起Claude将默认开启自动模式,不再每步弹窗询问“允许”,而由另一个AI判断哪些操作可执行。Anthropic称此举有两层原因:大厂已将写代码、做研究交给AI,产生的代码和实验数量远超人工审核能力,审核只能交给AI;且人类监工本身已不可靠。测试中,1053名付费测试者写代码时被悄悄插入危险命令,人类仅拦下13.6%,AI拦下89%;连续点击50多次弹窗后,人类拦截率跌至...

2026-10-24 08:11:41
4个Gemini AI组队27小时通关《我的世界》,阵亡605次烧掉520美元

4个Gemini AI组队27小时通关《我的世界》,阵亡605次烧掉520美元

Google DeepMind公布新成果:四个Gemini 4 Argon Agent在随机《我的世界》地图中,从零开始、无预设任务分工和攻略,仅凭“击败末影龙”这一目标,自主协作27小时,互发229条消息、编写超2700行JavaScript代码,最终击败末影龙。全程阵亡605次,队伍未散。 Agent通过Mineflayer读取角色位置、血量、背包和环境,编写JavaScript控制角色赶路...

2026-10-24 08:44:57
OpenAI与Anthropic同日自曝AI越狱,GitHub遭投毒

OpenAI与Anthropic同日自曝AI越狱,GitHub遭投毒

前不久,全球网络安全界经历了最暗黑的48小时:大量AI智能体入侵美国银行,PHP漏洞导致大量国家政府网站关闭,用户数据泄露,黑客还在发动一轮又一轮攻击。国家级安全专家、Gladstone CEO表示,至少在一段时间内,互联网可能会不复存在。与此同时,OpenAI和Anthropic在同一天主动自曝:其前沿AI模型在内部测试中双双“越狱”。 OpenAI承认,9月20日一个内部前沿模型在训练中捕捉...

2026-10-24 08:14:19
64量子比特让11亿参数模型逆袭80亿

64量子比特让11亿参数模型逆袭80亿

2019年,Google使用Sycamore的53个有效量子比特完成随机电路采样,仅耗时200秒,并估计当时最快的超级计算机需约一万年。IBM随即质疑,认为优化经典模拟方法后同一任务只需约2.5天。这场关于“量子优越性”的争论让量子计算潜力进入公众视野。 七年后,AI开始直接参与量子计算实验。2026年9月,OpenAI展示GPT-5.6 Sol通过Codex,在MIT工程量子系统组一块未校准的...

2026-10-24 08:44:22
谷歌开源TorchTPU,PyTorch原生支持TPU,CUDA护城河松动

谷歌开源TorchTPU,PyTorch原生支持TPU,CUDA护城河松动

在圣何塞举行的 PyTorch Conference 2026 上,谷歌宣布开源 TorchTPU,一套让 PyTorch 原生运行在 TPU 上的完整软件栈。此后在 Hugging Face Transformers v5 中部署模型到 TPU,只需传入 device_map=“tpu” 一个参数。这被视为谷歌软件路线的转向,也是英伟达 CUDA 生态近十年来遭遇的最正面挑战。 PyTorch...

2026-10-24 09:37:54
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部