中国语音AI斩获多项全球第一
地铁急刹,金属尖叫,广播响起「请乘客注意扶稳」,人群骚动、孩子哭声、对讲机杂音一层层涌上来。你甚至能感觉到车厢在晃。这不是电影原声带,整段声音是用一句 prompt,AI 一次性生成的。
再来听一首歌。先是一段清唱,没有伴奏。然后 AI 接手,一句提示词——「一首温暖柔和的 City Pop 男声歌曲,带一点爵士和轻摇滚的感觉,氛围朦胧浪漫」——模型直接在这段清唱基础上,补齐了编曲、和声、节奏和完整制作。从干巴巴的清唱,到一首有呼吸感的完整歌曲。你能听出来这是 AI 做的吗?

过去两年,语音 AI 赛道非常热闹。Suno 刚发布 v6 系列,OpenAI 的 GPT-Realtime-2 把实时语音推理拉到 GPT-5 级别,Google 把 Gemini Live 推到 70+ 语言流式翻译。但几乎所有玩家都在比单项:语音合成比谁更像真人,语音识别比谁更准,音乐生成比谁更好听,实时对话比谁更快。然而现实中的语音需求从来不是孤立的点。一条短视频声音制作,需要配音、音效、背景音乐,可能还要先转文字做理解;Voice Agent 要跑起来,识别、生成、实时交互、推理、工具调用得同时在线;音乐创作者可能先有一段清唱,需要 AI 补上编曲和制作。这些对应的不是单个模型,而是一组能力。
这正是行业正在发生的结构性变化:当单点能力逐渐拉平,决定竞争力上限的,是谁能把理解、生成、交互和创作连成完整体系。

9 月 15 日,阶跃星辰放出 StepAudio 3 系列五款模型:TTS、Gen、Realtime、ASR 和 Music,覆盖「听、说、理解、交互、创作」全链路。这在国内音频大模型领域,是第一家以完整矩阵形态同时推出的。它反映出阶跃的判断:单项能力竞赛的窗口期正在关闭,全栈体系化能力开始成为真正的壁垒。
第三方榜单先给了答案——三个全球第一。Artificial Analysis Conversational Dynamics 榜单,StepAudio 3 Realtime 以 98.9% 综合得分全球第一,测的是对话节奏感:什么时候该接话,什么时候该等,用户插一句是想打断还是附和。Speech Reasoning 榜单,它以 99.7% 的语音推理准确率位列全球第一,考的是模型能否直接「听」懂音频并完成复杂推理,而非先转文字再想。非流式语音识别准确性榜单,StepAudio 3 ASR 的 WER 仅 1.7%,并列全球第一,意味着差不多 60 个词才错一个,接近专业速记员水准。

语音模型的基础能力正在快速成熟,但「识别准确」「声音自然」「响应够快」已不足以构成完整体验。真正拉开差距的,是模型能否接近真实人类交流:听懂语境、自然表达,并在持续对话中完成理解、回应和行动。
StepAudio 3 TTS 从「声音自然」走向「表达自然」。多数 TTS 已能把声音做得很像真人,但像的是「播音员」,字正腔圆,完美得不像在说话。真实交流是「呃」、是「就是那个」、是说到一半改口、是突然笑出来又收住。StepAudio 3 TTS 能还原笑声、迟疑、结巴、改口等副语言特征,把「音色像不像」推进到「说话方式像不像」。前代 StepAudio 2.5 TTS 已在 Artificial Analysis Speech Arena 拿下国产第一、全球前三。
StepAudio 3 ASR 从「听清」走向「听懂」。传统 ASR 只依赖声学信息,容易把「骁龙8至尊版」转成「小龙八至尊版」。StepAudio 3 ASR 把高精度声学建模和大语言模型语境理解结合,识别时调用语言模型知识辅助判断。方言、口音、中英混说、耳语、快语速、唱歌和有背景音乐的场景都能处理,长音频支持端到端完整理解。实测中,用 StepAudio 3 Gen 生成机场背景音,再让 ASR 去听,40 秒音频里「MU 5127」「C17」「C31」「18 点 45 分」等字母数字混排信息一个没错。AI 生成的声音能被 AI 准确听回来,说明两端质量都立得住。当 ASR 从转写工具进化为语音理解基础设施,产业价值完全不同。
StepAudio 3 Realtime 从「能打断」走向「边聊边想边做」。全双工、打断、低延迟已是桌面赌注,真正拉开差距的是模型能否在持续对话中同时处理理解、回应、推理和行动。它的做法是推理与语音生成并行,工具调用和长任务异步执行,不阻塞当前对话,任务完成后自然接回上下文,同时能感知语气、情绪、副语言和环境声音。实测中,一分钟内连续改口四次,每次掐在 AI 刚开口时打断,从人出声到 AI 闭嘴几乎即时,没有念完半句话的尴尬尾巴;停下后不重启话头,只确认变化的那一条;把「直达」说成「直飞」也能理解;整段下来没有擅自「预订」,规则守得很稳。
更多推荐阅读

世界模型首次指导芯片设计!700TOPS算力99%可用
以智驾模型知名的Momenta,出现在成立仅两年多的芯片公司新芯航途(XHEART)首次公开亮相中,首款芯片Day 0适配。两家公司无直接股权隶属关系,Momenta创始团队成员曹旭东、夏炎通过控股股东间接持股,属“姐妹公司”。新芯航途首款量产产品X7已在上汽大众新车上量产,此次发布的是X7 Ultra。 X7 Ultra算力700 TOPS,官方更强调两项指标:量化模型输出与FP32基准模型相...
2026-11-01 09:42:40
百度智能云为产业智能体打造新底座
智能体规模正快速扩张。IDC预测,到2030年全球活跃Agent数量将达22.16亿个,年复合增长率139%。国家数据局披露,今年3月我国日均Token调用量已超140万亿,较2024年初增长1000多倍;中国信通院监测显示,到今年6月已达500万亿。智能体已走出概念演示,开始承接大量真实任务。 除通用智能体外,产业智能体直接进入社区治理、工厂车间、园区和门店等业务现场。10月29日,百度智能云...
2026-11-01 09:34:25
LibTV接入WorkBuddy:聊天就能做视频了
海面挂着巨大的奶茶茶包,隔壁有人拿长吸管偷吸奶茶。强哥掏出海水过滤器,推着三轮车奔向金色宫殿,到了才发现高级避难所还有一堆收费项目。《疯狂水世界》的荒诞剧情让人印象深刻。小编一时兴起,想照着《拼好袋》短剧复刻一遍,把抖音视频链接丢给WorkBuddy,让它自己下载原片。刚好LibTV正式接入腾讯WorkBuddy,两边生态已打通,索性让它继续负责制作:根据原片整理分镜,再调用LibTV生成图片和视...
2026-11-01 08:41:58
a16z复盘:86%风投交易涌向AI,万亿美元盛宴才刚开始
模型能做什么与实际被如何使用之间的差距,正是应用层令人兴奋的原因。AI工具支出排名前1%的企业,其支出中位数约为前10%的八倍。对于创始人主导的公司,创始人本身就是资产类别。 本文整理自a16z播客《AI, Infrastructure, and the Next Investment Cycle》,David George、Sarah Wang、Alex Immerman与Santiago R...
2026-11-01 09:17:49
DeepSeek开源超级智能体架构,把操作系统调度思想搬进Agent
10月31日晚间,DeepSeek Harness团队公布自主Agent探索成果——Super-agent底层架构,并开源原型。该成果并非新产品,而是将计算机系统中的调度、缓存、存算分离、看门狗等经典思想引入Agent架构的新思路。 Super-agent可理解为一个持续在线、能并行处理多任务、主动找活干、出问题能自恢复的Agent。团队提出其四个基础特征:连续(用户可在IM、GitHub等界面...
2026-11-01 08:16:43
Claude Code新规:不再帮用户复刻现有游戏
10 月 30 日,X 用户 Chasm 发帖称,Anthropic 的 AI 编程工具 Claude Code 在 10 月 27 日前后被服务器端推送新规则:Claude 可以帮用户做原创游戏,但不再帮人复刻某款特定现有游戏,哪怕用户改名或声称“原创”。帖子浏览量很快超过 200 万,Anthropic 已确认此事。 新规则原文为:可以构建原创游戏、某一类型的游戏,以及基于用户自有设计和素材...
2026-11-01 23:20:45