25GB笔记本硬跑744B大模型，SSD当显存GitHub狂揽32k星

GitHub上最火热的大模型开源推理框架Colibrì已获32k Star。它纯C实现、零引擎依赖，采用分层推理思路，让普通笔记本无需GPU即可运行超大MoE模型。

其核心逻辑是：内存装不下就不全装。模型暂时用不到的部分放在SSD，推理需要哪个专家再现场读取。GLM-5.2经int4处理后约372GB权重，可在最低16GB、推荐24GB RAM的机器上运行，GPU并非必需。作者最初开发机仅12核CPU+25GB RAM。

Colibrì已覆盖9个模型家族，从GLM-5.2/5.3、DeepSeek V4 Flash、Qwen，到975B的Inkling及2.8T参数的Kimi K3。后者需约1.6TB硬盘，但RAM要求仅32GB起步。

这得益于MoE架构。以GLM-5.2为例，总参数744B，但每token仅激活约40B。Colibrì将模型拆为常驻和临时调用两部分：Attention、Embedding、共享专家等Dense部分约17B参数，int4后仅占约9.9GB，常驻RAM；19456个路由专家int4后仍占约370GB，全部放NVMe SSD。生成token时，Router先选所需专家，未命中缓存才从SSD临时读取，算完一层再处理下一层。作者将其类比为针对模型权重的JIT。

为避免每token都读SSD，Colibrì将VRAM、RAM和NVMe SSD组织成分层内存系统：越常用专家住得越近。已驻VRAM或RAM的直接计算；近期用过的尽量留RAM缓存；不常用的留SSD。它加入LRU缓存，记录专家使用次数，高频专家获更高缓存优先级。相邻层专家路由相关性明显，提前一层预测可预测性达71.6%，当前层计算时后台可预读下一层专家，重叠计算与I/O。若有两块SSD，可放置第二份模型副本分摊读取。

这套思路被称为AI memory multitiering。关键原则是：专家放在哪里只决定速度，不改变模型本身，Router选择和权重精度完全相同。

实测中，128GB RAM纯CPU桌面机速度约1.8 token/s；6张RTX 5090让全部专家常驻高速存储层，解码速度达5.8～6.8 token/s。

使用上，需几百KB的Colibrì程序及约372GB模型。已提供Linux、macOS、Windows预编译版本，源码编译仅需gcc或clang配合OpenMP。项目提供预转换GLM-5.2 int4模型，一条coli chat即可对话。Web Dashboard可实时查看Token速度、阶段耗时及各层专家分布，“Brain”页面可视化全部19456个专家。

目前支持九个模型，每个模型单独一套C适配文件，底层IO、缓存、tokenizer等公共组件复用同一核心。小尺寸有Qwen3.8-Flash-Next、Qwen3.6和OLMoE；DeepSeek V4 Flash为284B；GLM-5.2/5.3为744B；GLM-5.3-Flash为321B；Inkling为975B；Kimi K3为2.8T总参数、104B激活参数，权重需约1.6TB存储，RAM 32GB+即可起跑，不强制GPU。

项目地址：https://github.com/JustVugg/colibri