国产开源多模态决策模型Intern-Decision发布,速度超Jev两到三倍

国产开源多模态决策模型Intern-Decision发布,速度超Jev两到三倍

AI 资讯 来源:新闻/公众号 发布时间:2026-09-29 11:00:20 预计阅读 6 分钟

对于现有AI智能体,能否在有限候选方案里快速、准确地给出决策,直接影响任务完成情况。TypeSafe的Jev让模型面对给定选项直接给出结构化决策,把“快速选择”变成可被程序调用的能力。但要让这种“直觉”进入真实场景,模型还必须看懂图像和不断变化的界面。

上海人工智能实验室研究团队构建了多模态决策SOTA模型Intern-Decision,性能超越Jev和目前所有相关开源模型,探索结合视觉理解与指令遵循,让模型快速作出判断,同时兼顾决策效果。

比Jev快2-3倍的国产开源模型来了:Intern-Decision拿下多模态决策SOTA

Intern-Decision将决策建模为“自回归式掩码语言任务”,充分利用现有LLM的Next-Token Prediction能力,达到一步Prefilling即可获得全部问题结果。团队还构建了面向实时结构化决策的数据体系,从决策场景中抽象出多类结构化任务,定向构造高难度决策样本并融合公开语料,使模型既能学习通用快速分类,也能学习真实业务和复杂文本中的决策边界。

在RTX4090上的推理速度测试显示,Intern-Decision相较Jev有2-3倍效率提升,4B模型端到端推理时延可缩短至每query 45ms以下,0.8B和2B推理效率基本一致,可达每秒约30次推理,几乎可在绝大多数场景实现“实时”决策。

比Jev快2-3倍的国产开源模型来了:Intern-Decision拿下多模态决策SOTA

大模型在决策任务中,输出正确选项只是第一步。对于医疗判断、风险控制、智能客服和安全审核等场景,系统还需知道自身有多大把握,能否在不确定时给出合理概率分布。Intern-Decision对模型进行了温度校准,整体Brier从0.628降至0.550,ECE从0.213降至0.089。在JevBench-hard上的可靠性分析显示,校准前模型在高置信度区域存在明显偏差,校准后置信度与真实准确率之间的偏差明显减小。团队还构建了专用选项概率分布评测集,覆盖直接随机性、混合分布、条件概率、观测偏差、概率谜题和序列过程六类场景,并为每道题提供精确参考分布。结果显示,校准后整体Brier和ECE均优于Jev的0.595/0.130。以“三门问题”为例,校准后的概率分布更接近真实值。

在Jevbench-hard的111道题上,Intern-Decision独立作答准确率达73.87%(82/111)。这款4B模型部署在单张RTX4090上,平均每次判断仅需44.16ms,完成整套任务只需4.90秒。如果根据置信度将拿不准的42道题交给Atria-Dawn-Preview处理,最终准确率升至87.39%(97/111),整套任务总耗时估算为140.16秒。相比之下,全部交给Atria的准确率为89.19%(99/111),实测总耗时300.03秒。接管方案仅少答对两道题,却将总耗时缩短约53.3%。这正是大小模型协作的价值:追求速度时让小模型快速作答;需要更高精度时,通过置信度把不确定问题交给大模型,用额外时间换取更可靠判断。

比Jev快2-3倍的国产开源模型来了:Intern-Decision拿下多模态决策SOTA

游戏任务要求模型将视觉感知与动作选择结合。Intern-Decision可直接读取游戏画面并做出相关动作,例如在贪吃蛇中寻找食物、避开自身,在接水果时区分水果与炸弹,在超级马里奥中选择移动和跳跃,并在两个第一人称游戏任务中寻找生命补给或射击来袭敌人。五个演示覆盖二维网格、横版平台和第一人称三维场景,展示了将画面理解转化为连续交互行为的能力。团队还发现模型在游戏中出现探索性行为,比如Doom的Health Gathering场景中,角色触墙后会晃动镜头尝试发现新目标。

验证码任务要求模型将视觉感知、指令理解与交互决策结合。Intern-Decision直接读取界面截图,根据自然语言描述寻找目标,并通过离散鼠标移动与点击完成任务。四个演示记录了模型自主完成任务的完整成功轨迹,全程无人工接管或纠偏。

网页操作要求模型在持续变化的界面中反复判断下一步动作。这里采用大小模型协同方式:大模型负责理解整体目标、拆解阶段任务并结合跨页面信息提供指导;Intern-Decision负责高频局部决策,根据当前页面在点击、滚动、返回和结束等候选动作中快速选择。每次操作后系统重新读取页面状态,再进入下一轮判断。三个Demo展示了该协作方式在真实公开网页中的应用:Hugging Face上从官方Atria模型集合中找到标准checkpoint并核对架构与默认推理配置;GitHub上从搜索结果识别Atria官方仓库,进入Issues并定位包含422与502/503异常的API可靠性报告;PyTorch上沿官方文档查找scaled_dot_product_attention的dropout使用风险,并追踪到对应版本源码实现。这些任务覆盖模型集成检查、API问题排查和技术资料核验等常见工作。

团队本次开源0.8B、2B和4B三款多模态决策模型,目前Intern-Decision系列模型已在Hugging Face开源,代码和样例存放在GitHub。

标签: AI 资讯 AI

更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线

过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...

2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成

英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...

2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业

Claude 开始「整顿」会议室,建议国内大厂抄作业

「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...

2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作

游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...

2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno

Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...

2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提

我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...

2026-11-20 19:59:42
订阅
关注

扫码关注公众号「60秒看懂AI」

扫码关注公众号 60秒看懂AI

微信搜索「60秒看懂AI」也可关注

顶部