Qwen4未发先火：27B架构细节意外曝光GitHub

Qwen4尚未发布，但一份已合并的开源推理内核代码PR率先透露了架构线索。该PR来自英特尔GPU推理加速仓库analytics-zoo/vllm-xpu-kernels，名为“Enable Qwen3.8-flash-next 8 cards fp8 & int4 and optimize qwen4-27b”，开发者hzjane在标题中直接写出“qwen4-27b”，并公开了与模型张量尺寸、注意力计算、残差结构、量化精度及推理解码相关的实现。芯片与底层算子适配是模型发布前必经环节，硬件厂商通常提前数月拿到模型结构进行kernel开发，此次工程协同痕迹被未经脱敏推到公开分支。

llama.cpp社区开发者顺线索逆向分析，还原出更多细节：Qwen4-27B延续Qwen3.8-27B的Dense稠密架构，同时引入Qwen3.8-Flash-Next的四路残差流、稀疏注意力等新设计，前馈网络中间维度可能有所缩减。Qwen3.8-Flash-Next于今年8月发布，被官方定义为Qwen4架构预览，是125B参数、每Token激活约6B参数的MoE稀疏模型。可推测阿里正把下一代架构创新同时应用于大型MoE和中等规模Dense模型。

该PR编号#22，已被合并，包含10次代码提交、56个文件变更，明确Qwen4-27B底层推理适配方案：针对Dense提供TP2 FP8、TP1/TP2 INT4的SYCL/SYCL-TLA内核，覆盖双设备FP8推理及单、双设备INT4量化路径。按每参数4bit粗略计算，27B模型权重理论约需13.5GB存储，不含KV Cache等开销。PR还包含8张Intel B70加速卡下的测试记录：Qwen4 TP2 FP8配置下，32K输入首Token延迟从约37.41秒缩短至21.84秒，降幅约42%；INT4配置也有接近幅度改善。PR注明目前没有Qwen4的QSA权重，尚未完成基于真实权重的完整端到端验证，QSA与MTP组合也未启用。

llama.cpp开发者adambenhassen将Qwen4-27B与Qwen3.8-27B逐项比较：两代均为27B Dense路线，隐藏层维度同为5120，部分GDN和注意力配置基本一致，但Qwen4出现四路Hyper-Connections、Sigmoid输出门控和QSA稀疏注意力等设计。四路残差将传统单路残差扩展为四路，通过门控改善层间信息流动；GDN利用固定大小状态压缩历史信息；QSA筛选重要上下文减少注意力计算。升级重点不在扩大参数规模，而在改善信息传递与长上下文计算效率。四路残差改变内部信息传递结构，现有针对qwen3_5的推理实现已无法直接加载Qwen4-27B，部分推测解码辅助模型也可能需重新训练。社区分析主要基于推理内核代码，没有正式模型配置和权重，仍无法判断最终完整架构。接近千问团队的人士透露，按以往节奏27B规模模型通常较晚发布。

一个月前云栖大会上，阿里CEO吴泳铭介绍算力与基础设施规划，新任Qwen LLM项目负责人刘大一恒首次亮相主论坛，最重要信息是：基于新一代架构的Qwen4已进入训练阶段，后续Qwen4.5、Qwen5等计划向5万亿至10万亿参数规模扩展。