权重驻留芯片内，国产LPU推理架构剑指2000 Tokens/s

寒序科技今日正式公布uHBM®与uLPU™推理计算架构，为国产AI推理芯片带来一种全新思路：不再执着于把权重数据更快地搬向计算单元，而是让权重直接“住”在计算发生的地方。通过将Persistent MRAM与矩阵向量计算集成在同一颗Compute-Memory Die内，实现权重驻留与片内计算，直击大模型Decode阶段反复读取巨量权重所引发的带宽、功耗与延迟瓶颈。

这一架构的核心理念，源于对大模型推理特性的深刻洞察。在生成式AI的Decode阶段，模型需要反复读取全部权重，而传统架构中权重存储与计算分离，数据搬运成为性能与能耗的最大瓶颈。寒序的反其道而行之，让权重常驻于计算单元附近，大幅减少数据移动，从而在原理上绕开了带宽墙。

首代架构：片内带宽24TB/s，端云双形态

首代uHBM®架构的In-Die Read Bandwidth设计值为24 TB/s，这一指标描述的是Die内部权重读取能力，与行业常见的HBM外部接口带宽口径不同，具体性能仍待硅片实测。uLPU™产品路线从单颗Die延伸至端侧与云端：端侧形态uLPU™ Edge将四颗uHBM®与NPU集成，NPU负责Prefill、Attention等动态部分，FFN/GEMV留在uHBM®内执行；云端形态uLPU™ Cloud将四颗uHBM®与uIO Die组合，通过UCIe实现Scale-Up，并规划16个uLPU™组成2U Tray，进而扩展至Rack级系统。

这种端云协同的设计，既满足了端侧对低功耗、低延迟的严苛要求，也为云端大规模部署提供了可扩展的路径。NPU与uHBM®的分工，让动态计算与静态权重各得其所，优化了整体计算效率。

面向具身智能：4B模型目标超2000 Tokens/s

针对具身智能模型，寒序提出面向4B多模态主干Decode的工程目标为超过2,000 Tokens/s。该数字为特定条件下的目标值，不等同于完整模型或控制频率。这一目标若实现，将显著提升具身智能系统的实时响应能力，为机器人、自动驾驶等场景提供更强的算力支撑。

寒序科技成立于2023年8月，2024年初获北京市科委立项。其高带宽推理验证芯片SpinPU-ED01已完成流片与第三方检测，集成120个MRAM Bank，实测片上访存带宽密度达0.105 TB/(mm²·s)，并完成端到端推理与24小时稳定运行。2026年3月，公司提交两项高带宽推理发明专利申请，并于6月陆续公开。这些进展表明，寒序的技术路线已从理论走向硅片验证，为后续工程化奠定了基础。

量产前夜：聚焦工程实现，广纳贤才

目前，首代完整工程产品处于流片前收敛阶段。未来两年，寒序将聚焦工程实现与量产，包括流片、软件栈、系统研发及客户验证。公司同步启动全球核心研发人才招募，方向涵盖SoC架构、AI编译器、互联技术、先进封装及系统研发等，支持北京、上海、深圳、横琴多地协同。

从架构公布到验证芯片落地，寒序科技正以“权重驻留”这一差异化路径，尝试破解大模型推理的能效难题。尽管首代产品的实际性能仍需硅片实测检验，但其技术方向已为国产AI芯片提供了一种值得关注的解题思路。未来两年，工程化与量产能力将成为检验这一创新架构成色的试金石。