阶跃星辰开源Step 5,华为1024卡超节点点亮

阶跃星辰开源Step 5,华为1024卡超节点点亮

AI 资讯 来源:新闻/公众号 发布时间:2026-10-16 08:57:24 预计阅读 4 分钟

2026年10月15日,阶跃星辰正式开源新一代旗舰模型Step 5 Preview,在AI编程、软件工程、专业知识工作、金融等任务上达到前沿水平。昇腾基于vLLM推理引擎实现0Day支持,并围绕模型架构与硬件特性实现高效推理优化。同日,首套1024卡Atlas 950 SuperPoD液冷超节点点亮,为Step系列大模型提供算力服务,性能持平海外先进算力。

Step 5 Preview采用稀疏MoE架构,总参数量600B,每Token激活27B参数,支持1M Token上下文窗口和图像、视频多模态输入,在软件工程、Agent、专业工作和金融等方向取得有竞争力表现。模型采用全新Sparse Attention结构,先通过Indexer选择Token,再在选中范围内计算Self Attention;为解决Index计算瓶颈,以Region(8个Token)为单位压缩Indexer Key,兼顾效率与性能。

全球领先!千卡超节点算力巨无霸,成功点亮

昇腾Atlas 950 SuperPoD液冷超节点基于灵衢高速互联架构与超节点技术体系打造,是业界规模最大的1024卡超节点产品,可提供1 EFLOPS FP8、2 EFLOPS FP4算力,适配万亿参数大模型推理。其具备256TB全局统一内存编址能力、NPU卡间TB级互联带宽、时延低至3μs,突破传统集群通信瓶颈,实现集群算力高效释放与稳定运行。

昇腾基于vLLM Ascend推理引擎,围绕Step 5 Preview架构与950超节点硬件特性协同构建推理优化方案,覆盖Ascend C与Triton融合算子、多流并行、计算空泡优化、MTP投机解码、NPU Graph图执行等,打通模型、算子与推理框架优化链路。

全球领先!千卡超节点算力巨无霸,成功点亮

算子优化方面,针对稀疏注意力、模型连接结构与混合专家网络,结合CANN与Triton实现高效执行:IndexerLogits与SparseAttn Ascend C算子支持原生FP8计算,融合Token打分与TopK、Sort筛选,使用成对Region搬移提升带宽,借助Vector单元SIMD能力替代Scalar运算;Triton融合Kernel加速Norm、Indexer key压缩等关键算子,通过AutoTune自动寻优Tiling大小,使能SIMT能力;MoE专家路由优化围绕Hash TopK专家选择,优化路由前处理与精度传递,减少跨层重复操作;MXFP8量化通过重新量化权重为MXFP8格式,在精度几乎无损下发挥硬件算力。

通信优化方面,950超节点同时利用FullMesh+CLOS通信,最大化Allreduce、Allgather、ReduceScatter等通信原语性能;Dispatch Server级去重减少跨服务器重复传输,同一Token被多个专家选中且位于同一远端服务器时,先发送主副本再在服务器内分发;Combine通过双缓冲实现Reduce与通信回传重叠,两个输出缓冲区交替使用,减少归并与回传等待。

框架优化方面,MoE序列并行降低冗余计算和通信;Vector/Cube/通信多流并行通过多流调度组织计算与访存交叠,减少串行等待和计算空泡;NPU Graph图执行优化将解码阶段计算纳入图执行,结合持久化缓冲区和输出复用,减少重复调度、临时分配与数据拷贝;多Token预测优化与Tiling下沉适配MTP机制,消除主模型与草稿模型、每步推理间断流,减少Device空泡;Prefill Indexer Key压缩阶段Slot预分配将动态搜索改为预分配,消除层间冗余操作。

用户及开发者可访问vLLM Ascend链接获取Step 5 Preview昇腾量化版本推理部署指导。文中性能比例来自对应算子或局部链路的专项对比测试,实际收益随硬件配置与业务负载变化。

标签: AI 资讯 AI

更多推荐阅读

被称“最无聊机器人”的Dyna,靠叠衣服找到机器人Scaling Law

被称“最无聊机器人”的Dyna,靠叠衣服找到机器人Scaling Law

《纽约邮报》曾称Dyna Robotics为“全世界最无聊的机器人”,而公司创始人认为这是“对一家机器人公司最高的赞美”。Dyna-1主攻叠毛巾、叠衣服;新发布的Dyna-2让机器人Taku进入洗衣房,完成放脏衣服、操作洗衣机、取出送烘干机、折叠放架等流程。联合创始人Jason Ma表示,机器人真正开始工作本就应是“无聊”的,真实部署是衡量机器人的“唯一评估”;机器人不能落地,不是因为没有腿或手,...

2026-10-20 09:48:01
前剪映负责人做视频Agent获千万美元融资

前剪映负责人做视频Agent获千万美元融资

视频Agent赛道出现新玩家Pexo,与采用画布工作流的产品不同,Pexo将剪辑和视频整合在产品中,支持用自然语言对话创作视频。公司已获千万美元天使轮融资,此前于2025年10月获得数百万美元投资。创始人廖谦曾任生数科技产品副总裁、Vidu产品负责人,也曾在腾讯、字节跳动任职,从技术研发转向AI产品与商业化,先后从0到1搭建火山引擎智能创作云,并在剪映/CapCut发起海外AI内容平台Pippit...

2026-10-20 09:26:14
DeepSeek搜索卷起来后,前负责人创业做全网捞人

DeepSeek搜索卷起来后,前负责人创业做全网捞人

近日,DeepSeek开放了自研网页搜索接口,披露该引擎每天处理全球数亿次请求,已收录千亿级网页,正将搜索能力开放给更多开发者。 在搜索对象中,人物信息最为特殊,难点在于把零散线索拼到同一个人身上。Simplex AI创始人张博曾任DeepSeek-VL项目负责人,其团队推出的Lev8主要面向GTM,人物搜索是流程起点。用户用自然语言描述目标,系统即寻找符合条件的对象,结合公开资料判断匹配度,生...

2026-10-20 08:09:15
蚂蚁领投!清华系AI创企熵简科技完成C轮融资

蚂蚁领投!清华系AI创企熵简科技完成C轮融资

智东西10月19日消息,北京AI金融创企熵简科技宣布完成C轮融资,由蚂蚁集团领投,东方国信与乔贝资本跟投。融资后,蚂蚁集团将与熵简科技在AI金融智能体研发、AI金融垂域模型训练等领域展开深度合作。 熵简科技成立于2017年,主要依托大数据、云计算、人工智能等技术,打造全资产、全流程的端到端智能资产管理平台。公司名称源自热力学第二定律中度量系统混沌程度的“熵”,“熵简”寓意通过AI降低金融投研的复...

2026-10-20 09:26:26
Anthropic预言奇点已至:2030年美国GDP或飙至44万亿美元

Anthropic预言奇点已至:2030年美国GDP或飙至44万亿美元

在曼谷举行的国际货币基金组织佩尔·雅各布森讲座上,Anthropic联合创始人Jack Clark提出判断称“奇点已经到来”,即技术进步速度已甩开人类理解和跟进的能力。他预测,在奇点驱动下,到2030年美国GDP将升至44万亿美元。按常规推演,该数字为33.5万亿美元,奇点带来15.4%的额外GDP,平均每年约6%的GDP增长;到2030年前后,累积生产率提升与资本积累将把美国年化经济增长率推高至...

2026-10-20 08:36:21
港科大CMU联手开源新模型:KV Cache砍掉99%,单卡吞吐飙6倍

港科大CMU联手开源新模型:KV Cache砍掉99%,单卡吞吐飙6倍

谷歌一篇论文提到KV Cache至少能压缩6倍,曾引发美光等存储芯片巨头股价下跌。几个月后,岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B,对KV Cache的处理更进一步:上下文从4K扩展到256K,KV Cache占用始终固定在72MiB,相比源模型减少99.1%。一张80GB显卡可同时跑512路长推理,输出吞吐达12124 tokens/s,是源模型的6.42倍...

2026-10-20 23:25:26
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部