对话港理工秦浩桐：AI大模型压到极限之后

在秦浩桐看来，AI越强，值得研究的问题就越多。AI聊天模型刚出现时，人们拿它聊天、解答困惑，后来发现它能写代码、处理任务，又开始希望它替自己把事情办完。模型能力在长，人们的要求也在长，原来没想到的用途一旦变得可能，马上就会暴露出一批新难题。因此，当有人觉得AI已难找到“无人区”，秦浩桐的判断相反：“处处都是无人区。”一个问题解决后很快变成基础知识，大家习以为常，容易忘记它也曾困住人。可模型刚能触及一个新任务，和真正把任务做好，往往还隔着很远。

秦浩桐在北航完成本科和博士学习，并曾在苏黎世联邦理工学院开展学术访问和博士后研究，如今是香港理工大学电子计算学系助理教授。研究环境几经变化，他始终关注AI效率问题：使用一个模型要花多少钱、发出指令后要等多久、怎样在有限资源下尽可能保留模型能力。过去做模型压缩，他更多考虑节省存储空间和计算资源，后来发现速度还会影响机器能否把现实世界的事情做好。他关心的始终是，模型有了能力之后，怎样才能让人们真正用好它。

最早是在了解企业招聘需求时，他发现很多公司都有模型压缩需求，后来进入实验室正式踏入该方向。深入研究后他意识到，AI除了性能要变强，更要让大家用得起、等得起。调用模型的成本高低、发出指令后多久能拿到结果，都是产业非常关心的问题，而压缩技术刚好和这些问题紧密相关。另外，这个方向的知识具备持续积累的价值。AI上层应用迭代飞快，但底层计算逻辑相对稳定。从多层感知机、卷积神经网络到注意力机制，绝大多数模型都依托矩阵运算，再依托硬件架构和指令集实现。大模型兴起后自然会针对它展开研究，但追根溯源，它依旧建立在这些共通的计算基础之上。

类似的质疑几乎一直伴随着他的研究。做二值神经网络时有，后来转向大模型、生成模型研究依旧会遇到。他现在并不觉得这一定是坏事。很多有价值的研究在诞生之初很难充分展现实用价值，科研本身要做的一件事就是直面质疑，再想办法攻克难题。当然，不被认可不等于研究就有价值。他会给自己找一个实在的“锚点”：对于压缩和加速技术，可以先测算清楚在极限条件下究竟能带来多大效率提升。比如二值神经网络一直很难恢复性能，但它在资源受限场景下的加速优势有据可依。只要确认这一点，就清楚一旦把性能优化到可用水平能带来什么收益。之后和企业合作也看到不少落地路径：一项技术未必能立刻适配所有场景，但可以先落地到刚需场景里，先产生价值。

这或许和高校的科研定位有关。在需要大规模资源投入和工程迭代的方向上，企业往往具有优势，而高校的重要职责之一是持续探索价值尚未被充分认识的基础问题。对他们团队而言，极限压缩就是这样的研究方向，希望去研究更贴近压缩本质的问题。

在判断还有没有无人区时，人们往往只盯着当下已经落地的成果。但更强的AI诞生之后，新需求会不断涌现，这些新需求又会暴露出现有模型的短板。比如AI对话模型刚出来时，不少人觉得它和早年的语音助手、聊天软件没有本质差别，只是模型更强、理解能力更好。等到它能做的事越来越多，大家又开始期待AI智能体在数字环境里帮自己处理各类任务。当一个新需求出现时，往往只是模型刚刚触碰到这个能力边界，想要真正稳定、完整地满足需求，中间还有很长的路要走，这里面就会源源不断产生新的研究课题。反过来，一个问题一旦被解决，很快就会成为行业共识、基础知识，大家不再把它当成难题，就容易觉得没有值得深挖的内容。但新能力、新需求永远在不断出现。

在发表于ICML 2024的BiLLM研究中，他们团队把预训练大语言模型的平均权重位宽压到了约1.08比特。2023年启动该项目时，大模型开始受到广泛关注，他们做量化的团队也很快把重心转向大模型。他当时关心两件事：压缩之后如何提升模型精度；在现有技术框架下模型到底能被压缩到多极致。BiLLM主要围绕第二个问题展开，想试一试能不能把预训练模型的平均权重位宽压到接近1比特。这里有一个前提：希望直接处理现成模型，而不是从头训练，因为在看重效率的落地场景里，重新完整训练一个模型成本太高。这种在模型训练结束之后再做量化的方式，叫做训练后量化。难点在于，原本用高精度数值表示的权重直接压缩到只有两种取值状态，模型内部的表征会发生剧烈变化。用当时已有的方法处理，模型输出质量严重下降，难以生成连贯、有效的内容。他们通过一系列优化手段，让它在极低位宽下依旧可以推理运行，保留一部分语言能力。当时也有大厂团队从训练阶段就探索低位宽模型，可以验证充分训练之后这类模型能达到怎样的能力上限。而他们探索的是另一条路线：面对一个已经训练好的成品模型，用当时可行的方案把压缩推向极限。

真实产品未必需要压到这么极端。他们也做大量面向工业落地的工作，优先保证模型性能。做产品时通常会组合多种压缩方案，在精度和运行效率之间找到合适平衡点。极限压缩有一个独特优势：问题边界更容易界定。1比特只有两种取值，4比特对应16种，8比特对应256种。取值状态变少之后，更容易把问题抽象成数学问题，借助优化理论去拆解、解决。从极限场景得到的结论，后续又可以迁移到其他位宽，或是多种压缩方案的组合优化里。比如之前有工业界团队提出，尽管已经做了大量