全模态模型Qwen3.8-Omni-Flash发布,主打音视频Agent能力
今天,新一代原生全模态模型Qwen3.8-Omni-Flash正式上线。该模型旨在提升真实生产力场景中的Agent能力,推动全模态模型从“理解全模态内容”走向“规划任务、调用工具并完成创作”。在具备编程、文本知识工作和GUI操作等通用Agentic能力基础上,进一步拓展了以音视频为核心的Agentic应用,在视频剪辑、音乐视频创作、影视制作与解说、音视频转图文摘要和音视频对话等工作流中取得显著效果。

模型支持文本、图像、音频和视频输入,以及1M长上下文,现已上线千问AI平台。在保持与同尺寸文本模型相当文本能力的同时,全模态能力显著提升。在累计30项评测上,相比上一代Qwen3.5-Omni-Plus,平均得分提升超过26%。在音视频Agent、Coding和长程任务方面,WildClawBench-MM提升36.5分,AgenticVBench提升22.3分,UniClawBench取得69.6分。基础能力方面,LongAudioSpan提升8.3分,OmniVideoBench提升9.6分,OmniCap-IF的CSR/ISR分别提升8.5/14.1分,AliMeeting的DER/cpWER从88.11/89.61降至3.35/17.18。通过扩展数据、上下文与Agentic Environment,音视频能力接近Gemini 3.8 Flash,音频能力整体超过Gemini 3.8 Flash。API每小时音频输入价格降幅超过98%,每小时音视频输入价格降幅超过93%。

音视频是Agent走向真实生产力场景的重要载体,但也带来长音视频存储、传输与多轮推理成本高昂、现有Agent Harness框架缺乏原生支持等挑战。为此,我们扩展了Qwen-MM-Plugins,为长音视频按需感知、工具调用与工作流执行提供支持;同时开源Qwen-Live Harness,为实时、持续的全模态交互提供原生运行环境。

长音视频理解方面,模型实现全新升级:从按需描述、Agentic主动取证,到理解并推进会议任务,再到生成以视频为中心的深度研究报告。可控音视频Caption支持自由指定描述对象、时间范围、信息粒度与输出格式。Agentic长音视频理解从问题出发,自主决定看什么、听什么,通过由粗到细的多轮取证定位关键信息。OmniVideoBench实验表明,Agentic Understanding将准确率从63.4提升至67.8,Token消耗从145,736降至79,117,降幅约45.7%。
长会议场景中,模型具备多说话人音画协同识别能力,原生支持最长一小时音视频输入,端到端完成说话人切分、内容转录与身份对应,可生成会议纪要与待办事项,分析项目风险,并结合Agent与工具调用发送邮件、整理任务甚至直接编码。通过音视频开展深度研究时,模型能结合用户需求与视频内容,检索多模态资料,生成以视频为中心、图文并茂的研究报告。
音视频生产与编辑方面,Music2MV可精准理解歌曲结构、节奏、情绪等,输出带时间戳的句级歌词,结合Qwen-MM-Plugins贯穿音乐理解、创意规划与成片质检。视频翻译Agent只需一句话描述需求,即可完成区分角色的台词识别、口语化翻译、角色克隆配音、音轨重混与成片质检。电影解说Agent只需提供影片并描述需求,即可完成长视频全模态理解、关键情节提炼、解说规划、配音配乐、剪辑渲染与成片质检,并智能穿插原声对白与解说配音。
此外,我们尝试将Qwen3.8-Omni-Flash推进到模型研发本身,探索“大模型负责研发、小模型面向业务”的新范式。例如,要求其在12小时内提升Qwen2.5-Omni-3B的四川话识别能力并交付可用模型,它自主选定评测集、完成基线测试,听取语音样本诊断问题,构建针对性训练数据,在连续4轮实验中累计构建了3,413条……
更多推荐阅读

卡帕西两小时用Claude复刻YouTube,打造专属推荐流
周五晚11点,Karpathy打开YouTube想找视频,首页却全是夸张封面和看过多次的老话题。次日他打开Claude,仅用两小时、以Claude Opus 5.5的Medium推理强度,做出了一个YouTube风格网站HackerTube(hackertube.org)。网站复刻了YouTube网页布局:左侧导航栏显示点赞、历史、稍后再看,右侧推荐流保留封面大小、发布时间和播放量。他的提示词只有...
2026-11-02 09:11:07
AI影视创作进入自动挡:AniShort推出本地智能工作台
视频制作进入自动挡。今年以来,AI影视剧的发展速度明显加快。8月底,国内首部AIGC长剧《后西游记》登陆湖南卫视和芒果TV,截至9月5日,正片播放次数已达1.5亿次。10月23日,100分钟的AI院线电影《三星堆:未来往事》正式上映,制作团队累计生成超过120万张素材图片,并对影片进行了上百次修改。与此同时,剧集产量快速增加,如何让剧本、分镜、视频生成及后期剪辑顺畅衔接,成为创作者需要解决的问题。...
2026-11-02 08:25:00
全双工实时交互系统MOSS-Live发布,多项指标排名第一
过去几年,AI 语音技术从语音识别到语音合成进步明显,与 AI 进行语音交流已不新鲜。但真正当作《Her》中的 Samantha 来聊,问题很快暴露:AI 常搞不清何时该说话、何时该闭嘴。用户未说完它可能抢答,随口应一声「嗯」被误判为打断,聊到一半让它查资料,对话又陷入等待。AI 越来越像人在「说话」,却还不擅长真正实时自然地「对话」。这不仅涉及语音识别与生成,更涉及 AI 能否在持续交流中理解语...
2026-11-02 09:21:35
字节前员工弃千万营收,带博士团队做“Agent闲鱼”
“个人Agent创业窗口期就到春节前。”放着千万年营收的业务不要,30多岁的北大硕士吴泽栋带着三名博士,切入最拥挤的个人Agent赛道。他曾在百度做产品,在TikTok负责美区与巴西增长。上一段AI心理创业产品Seein跑出近70万用户和千万级人民币年营收,去年底他把业务交给联创,重新打造Loopa。 国内超级App生态在前,吴泽栋绕开国内直接切入美国市场,让AI跨越各类App,替用户完成机酒预...
2026-11-02 09:37:59
00后清北创始人开源AI视频工具20天斩获2.3万Star
“你要不要上车?”最近,AI应用赛道杀出一匹黑马Hypit.ai,号称能“一键复刻爆款视频”,开源一个月GitHub Star数冲到2.3万。一条用Hypit做的视频给商家带来40倍ROAS;有硅谷创业者用Hypit做完launch video后,直接辞掉月薪1500美金的剪辑师。 Hypit创始团队是两位00后——北大本科、清华辍学的陈昱东Alvin和清华计算机系毕业的金群琳Kashorin。...
2026-11-02 08:24:32
县城老板70万买AI系统被坑惨,供应商跑路老板气到住院
王航在陕西一座五线小城,就职于一家不足百人的软件公司。今年8月起,老板先后投入约70万元,引入一套号称能获客、做客服、做招聘、辅助决策的AI系统。部署完成后,账号接连被封,工资数据泄露,老员工陆续离职,最后连供应商都跑了,老板一度气到住院。 公司主要服务政企客户,每月有20多个稳定客户,净利40多万。老板六十多岁,连电脑都不太会操作,却是全公司AI焦虑最严重的人,常往工作群转发OPC、AI员工、...
2026-11-02 09:06:28