25GB笔记本硬跑744B大模型,SSD当显存GitHub狂揽32k星

25GB笔记本硬跑744B大模型,SSD当显存GitHub狂揽32k星

AI 资讯 来源:新闻/公众号 发布时间:2026-09-26 13:18:22 预计阅读 4 分钟

GitHub上最火热的大模型开源推理框架Colibrì已获32k Star。它纯C实现、零引擎依赖,采用分层推理思路,让普通笔记本无需GPU即可运行超大MoE模型。

其核心逻辑是:内存装不下就不全装。模型暂时用不到的部分放在SSD,推理需要哪个专家再现场读取。GLM-5.2经int4处理后约372GB权重,可在最低16GB、推荐24GB RAM的机器上运行,GPU并非必需。作者最初开发机仅12核CPU+25GB RAM。

笔记本跑7000亿参数GLM!无GPU也行? SSD当显存用火爆GitHub

Colibrì已覆盖9个模型家族,从GLM-5.2/5.3、DeepSeek V4 Flash、Qwen,到975B的Inkling及2.8T参数的Kimi K3。后者需约1.6TB硬盘,但RAM要求仅32GB起步。

这得益于MoE架构。以GLM-5.2为例,总参数744B,但每token仅激活约40B。Colibrì将模型拆为常驻和临时调用两部分:Attention、Embedding、共享专家等Dense部分约17B参数,int4后仅占约9.9GB,常驻RAM;19456个路由专家int4后仍占约370GB,全部放NVMe SSD。生成token时,Router先选所需专家,未命中缓存才从SSD临时读取,算完一层再处理下一层。作者将其类比为针对模型权重的JIT。

笔记本跑7000亿参数GLM!无GPU也行? SSD当显存用火爆GitHub

为避免每token都读SSD,Colibrì将VRAM、RAM和NVMe SSD组织成分层内存系统:越常用专家住得越近。已驻VRAM或RAM的直接计算;近期用过的尽量留RAM缓存;不常用的留SSD。它加入LRU缓存,记录专家使用次数,高频专家获更高缓存优先级。相邻层专家路由相关性明显,提前一层预测可预测性达71.6%,当前层计算时后台可预读下一层专家,重叠计算与I/O。若有两块SSD,可放置第二份模型副本分摊读取。

这套思路被称为AI memory multitiering。关键原则是:专家放在哪里只决定速度,不改变模型本身,Router选择和权重精度完全相同。

笔记本跑7000亿参数GLM!无GPU也行? SSD当显存用火爆GitHub

实测中,128GB RAM纯CPU桌面机速度约1.8 token/s;6张RTX 5090让全部专家常驻高速存储层,解码速度达5.8~6.8 token/s。

使用上,需几百KB的Colibrì程序及约372GB模型。已提供Linux、macOS、Windows预编译版本,源码编译仅需gcc或clang配合OpenMP。项目提供预转换GLM-5.2 int4模型,一条coli chat即可对话。Web Dashboard可实时查看Token速度、阶段耗时及各层专家分布,“Brain”页面可视化全部19456个专家。

目前支持九个模型,每个模型单独一套C适配文件,底层IO、缓存、tokenizer等公共组件复用同一核心。小尺寸有Qwen3.8-Flash-Next、Qwen3.6和OLMoE;DeepSeek V4 Flash为284B;GLM-5.2/5.3为744B;GLM-5.3-Flash为321B;Inkling为975B;Kimi K3为2.8T总参数、104B激活参数,权重需约1.6TB存储,RAM 32GB+即可起跑,不强制GPU。

项目地址:https://github.com/JustVugg/colibri

标签: AI 资讯 AI

更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...

2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...

2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业

Claude 开始「整顿」会议室,建议国内大厂抄作业

「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...

2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...

2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...

2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...

2026-11-20 19:59:42
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部