多模态新突破:商汤U1开源,连续图文生成告别拼接
近日,APPSO发布了对商汤最新开源多模态模型SenseNova U1的实测。这个模型最大的看点,是实现了行业首创的连续图文生成——不再需要外部工具把图片和文字拼接起来,而是由同一个模型连贯输出图文内容。在信息图生成上,它也达到了开源模型中的SOTA水平,并支持本地部署与Agent调用。这意味着多模态生成正在从“拼接”走向“原生”。
开源即硬核:两个版本,权重全放

SenseNova U1是商汤最新开源的多模态模型,属于Lite系列,提供两个参数版本。8B版本全称SenseNova-U1-8B-MoT,面向边缘设备;A3B版本全称SenseNova-U1-A3B-MoT,总参数38B,激活参数3B,推理成本更低。目前模型权重已在Hugging Face和GitHub开放下载,开发者可自行获取。
连续图文生成如何工作?

简单说,输入指令后,模型会先写一段文字、再画一张对应的图,如此交替,形成完整的图文叙事。APPSO在测试中让它创作绘本故事:小熊经历四季的情节,文字与插画连续生成,画风保持一致。类似的测试还包括发型设计、游戏角色设计,以及牛油果变成盆栽的创意表达。这些任务过去通常要拼接多个模型才能完成,现在一个模型就足够了。这种能力的意义在于,它把过去需要多个模型协作才能完成的“图文编写”任务,压缩成了一个模型的一次推理。
信息图:一句话出一张图

信息图是SenseNova U1的重点场景。测试中,只需一句话生成“DeepSeek V4信息图”,模型就会联网搜索获取信息,再输出一张图文混排的整图;直接发送链接,同样能生成信息图。更复杂的例子包括电子烟3D拆解科普、武汉三鲜豆皮制作步骤、防晒霜SPF/PA值挑选指南,以及AI大模型工作原理图。营销场景里,它能生成上海旅行信息图;办公场景里,五页会议纪要可以被压缩成一屏总结图。它还能生成品牌风格参考图,给出配色、排版、氛围关键词,并具备数据可视化的能力。从这些例子看,信息图已经能从模板拼图走向复杂内容的自动组织。
原生架构与Agent生态

支撑这些能力的,是行业首创的NEO-unify原生架构。它让多模态理解与生成高效统一,视觉接口近似无损,直接输入图像分块,不经过预训练编码器压缩,文本与视觉训练端到端打通。在图像理解、图像生成和视觉推理基准测试中,SenseNova U1达到同量级开源模型SOTA,多项指标媲美Nano Banana等闭源模型,同时消耗token更少、生成效率更高。这意味着在同等效果下,U1的运行成本更低,更适合实际生产环境。
商汤还在GitHub开源了面向Agent运行时的AIGC技能库SenseNova-Skills,可接入OpenClaw、Hermes等Agent平台一键调用。这意味着U1不仅能本地运行,还能成为智能体的“图文工具箱”,让Agent真正具备边想边画的能力。
从绘本到信息图,SenseNova U1展示了一条新路:多模态模型不必靠拼接,也能做好“图文并茂”。随着权重和技能库双双开源,开发者和创作者可以在本地或Agent工作流中,把这套能力变成自己的生产力。
更多推荐阅读

被称“最无聊机器人”的Dyna,靠叠衣服找到机器人Scaling Law
《纽约邮报》曾称Dyna Robotics为“全世界最无聊的机器人”,而公司创始人认为这是“对一家机器人公司最高的赞美”。Dyna-1主攻叠毛巾、叠衣服;新发布的Dyna-2让机器人Taku进入洗衣房,完成放脏衣服、操作洗衣机、取出送烘干机、折叠放架等流程。联合创始人Jason Ma表示,机器人真正开始工作本就应是“无聊”的,真实部署是衡量机器人的“唯一评估”;机器人不能落地,不是因为没有腿或手,...
2026-10-20 09:48:01
前剪映负责人做视频Agent获千万美元融资
视频Agent赛道出现新玩家Pexo,与采用画布工作流的产品不同,Pexo将剪辑和视频整合在产品中,支持用自然语言对话创作视频。公司已获千万美元天使轮融资,此前于2025年10月获得数百万美元投资。创始人廖谦曾任生数科技产品副总裁、Vidu产品负责人,也曾在腾讯、字节跳动任职,从技术研发转向AI产品与商业化,先后从0到1搭建火山引擎智能创作云,并在剪映/CapCut发起海外AI内容平台Pippit...
2026-10-20 09:26:14
DeepSeek搜索卷起来后,前负责人创业做全网捞人
近日,DeepSeek开放了自研网页搜索接口,披露该引擎每天处理全球数亿次请求,已收录千亿级网页,正将搜索能力开放给更多开发者。 在搜索对象中,人物信息最为特殊,难点在于把零散线索拼到同一个人身上。Simplex AI创始人张博曾任DeepSeek-VL项目负责人,其团队推出的Lev8主要面向GTM,人物搜索是流程起点。用户用自然语言描述目标,系统即寻找符合条件的对象,结合公开资料判断匹配度,生...
2026-10-20 08:09:15
蚂蚁领投!清华系AI创企熵简科技完成C轮融资
智东西10月19日消息,北京AI金融创企熵简科技宣布完成C轮融资,由蚂蚁集团领投,东方国信与乔贝资本跟投。融资后,蚂蚁集团将与熵简科技在AI金融智能体研发、AI金融垂域模型训练等领域展开深度合作。 熵简科技成立于2017年,主要依托大数据、云计算、人工智能等技术,打造全资产、全流程的端到端智能资产管理平台。公司名称源自热力学第二定律中度量系统混沌程度的“熵”,“熵简”寓意通过AI降低金融投研的复...
2026-10-20 09:26:26
Anthropic预言奇点已至:2030年美国GDP或飙至44万亿美元
在曼谷举行的国际货币基金组织佩尔·雅各布森讲座上,Anthropic联合创始人Jack Clark提出判断称“奇点已经到来”,即技术进步速度已甩开人类理解和跟进的能力。他预测,在奇点驱动下,到2030年美国GDP将升至44万亿美元。按常规推演,该数字为33.5万亿美元,奇点带来15.4%的额外GDP,平均每年约6%的GDP增长;到2030年前后,累积生产率提升与资本积累将把美国年化经济增长率推高至...
2026-10-20 08:36:21
港科大CMU联手开源新模型:KV Cache砍掉99%,单卡吞吐飙6倍
谷歌一篇论文提到KV Cache至少能压缩6倍,曾引发美光等存储芯片巨头股价下跌。几个月后,岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B,对KV Cache的处理更进一步:上下文从4K扩展到256K,KV Cache占用始终固定在72MiB,相比源模型减少99.1%。一张80GB显卡可同时跑512路长推理,输出吞吐达12124 tokens/s,是源模型的6.42倍...
2026-10-20 23:25:26