Agent干活谁兜底?6个AI安全项目正盯上这门生意
AI 能真正干活之后,一门新的生意随之出现:给 Agent 兜底。Agent 正从读取文件、调用工具走向主动执行,根据上下文自行判断下一步。能力边界外扩的同时,AI 掌握了更多上下文,也获得更高执行权限。对部署 Agent 的企业而言,问题随之而来:它有没有做错?插件和 MCP 是否安全?哪些操作可自主执行?技术防线失效后损失由谁承担?围绕这些问题,一条控制 Agent 风险的产业链正在形成,从上线前测试,到运行中监控、权限与攻击防护,再到认证、审计和保险。以下 6 个项目分别解决其中一环。

Raindrop 专门发现 Agent 运行故障,尤其是“看起来执行成功、实际办错事”的问题。Agent 答应发提醒却没执行,系统可能毫无报错。Raindrop 把模型回复、工具调用和执行过程串起来,寻找遗漏任务、错误操作和行为异常,并归类反复出现的问题。开发者可用本地工具 Workshop 查看轨迹、复现问题、验证修复。2026 年 9 月 17 日,其 Simulations 扩大早期访问,支持更换模型、修改提示词或增加工具后,用真实任务记录和测试用例重跑,观察是否引入新故障,将产品从上线后发现错误延伸到上线前检查风险。公司成立于 2023 年,参加 Y Combinator W24,联合创始人 Zubin Koticha、Alexis Gauba 此前创办 Opyn,Ben Hylak 曾在苹果人机交互团队参与 visionOS。团队早期做过 AI 产品分析工具 Dawn,后转向 AI 故障监控。公司已完成 CRV 领投的 A 轮融资,累计融资 5000 万美元。客户 Tolan 用它发现遗漏用户信息、未发提醒等问题,调整检索和存储方案后,相关记忆问题减少 27.8%;Speak 将新对话 Agent 接入监控,通过日常问题报告寻找测试未覆盖的真实场景。其价值在于让团队持续知道 Agent 哪里做错、修复是否有效,但 Simulations 能在上线前发现多少问题仍待观察。

AIR Security 围绕 Agent 的插件、Skills、MCP 和外部信息建立防护,防止 Agent 接触第三方工具与内容时被利用。AIR 将外部组件和信息视为新的软件供应链:企业批准一个 Agent 后,它可能继续安装插件、连接 MCP 服务器、读取网页和内部文档,这些材料可能携带恶意指令或在更新后引入风险。AIR Filter 通过依赖分析、静态检查和沙箱运行检查插件与扩展;AIR Control 管理企业使用了哪些 Agent、组件和权限;AIR Defend 在运行阶段发现风险并响应。2026 年 9 月 17 日,AIR 公布 Plugin4Shell 研究,分析 AI 编程工具插件机制中的版本固定绕过问题:使用者以为插件已锁定可信版本,实现缺陷仍可能让系统取得并执行另一版本。联合创始人 Yair Saban 和 Niv Hoffman 均有以色列 Unit 8200 进攻性网络安全背景。团队早期研发自动寻找和利用漏洞的系统 MOAK,后将相关能力用于 Agent 供应链防护。公司成立于 2026 年 2 月,9 月 1 日公开亮相,已获 5000 万美元融资,主要投资方包括 Sequoia Capital 和 Greenoaks。企业可决定给 Agent 什么权限,却很难提前审查它未来接触的所有内容;即使只用已获批权限,Agent 也可能受外部信息影响在权限内做错操作。AIR 的切入点是在第三方工具和信息影响 Agent 前尽量识别危险并持续跟踪变化,但其降低攻击成功率、误报率及对正常任务的影响仍待验证。

Arcjet 在 Agent 真正执行操作前检查业务规则。客服 Agent 理解退款要求,不代表有权退还任意金额。Arcjet 盯的是 Agent 准备采取的具体动作是否符合企业权限和业务规定。开发者可为具体操作设规则,如邮件只能发给批准收件人、退款不得超过上限、网页访问工具只能连可信地址。Arcjet 在动作执行前返回判断,由应用阻止、请求人工批准或向 Agent 解释原因,并记录操作参数、身份和策略判断以便追查。Arcjet 最初提供嵌入应用代码的安全工具,处理恶意机器人、请求限流和应用攻击。2026 年 4 月推出 Arcjet Guards,将检查扩展到 Agent 工具调用和工作流步骤;9 月 17 日发布 Agent Runtime Security,将运行观察、规则执行和审计记录结合。公司成立于 2023 年,创始人 David Mytton 曾于 2009 年创办 Server Density,2018 年出售给 StackPath。2025 年 10 月,Arcjet 完成 830 万美元 A 轮融资,累计 1200 万美元,由 Plural 和 Ott Kaukver 领投,a16z、Seedcamp 参与。其应用安全工具已用于超过 500 个生产应用。判断提示词是否恶意与判断退款是否越权需要不同信息,后者必须结合金额、身份、数据范围等业务事实。将条件写成可执行规则,企业就能在操作前检查、事后追查。印尼 Gorontalo 地区财政机构表示,接入后恶意自动化流量造成的服务中断得到控制,运维负担降低。新 Agent 产品能否准确拦截越权、规则维护负担及延迟影响仍待观察。
腾讯 AI-Infra-Guard 通过开源扫描和模拟测试,帮助开发者提前发现 AI 系统漏洞及 Agent 可能越权场景。该项目由腾讯朱雀实验室开源,早期以 AI
更多推荐阅读

智谱ZCode被指偷传代码遭企业追责
9月20日,ZCode“静默上传代码”风波从技术质疑升级为企业追责。太原承明科技向ZCode运营方北京智谱华章发出函件,称ZCode未经充分告知和授权上传其数据资产及商业秘密,要求就数据删除、流向、操作日志、责任主体及可能的数据出境等问题整改,并于10月10日前书面答复,同时保留索赔、投诉和诉讼权利。 承明科技称,取证发现上传并非偶发代码片段传输,而是自动、批量触发的完整归档,可能涉及源代码、系...
2026-09-20
阶跃Step 5 Preview实测:国产大模型前三,重新杀回主桌
9 月的大模型战场竞争激烈,各家不仅比拼榜单排名,还要比拼真实任务中的实战能力。模型能否处理复杂任务、满足即时需求、支撑大规模调用,并进入手机、汽车等终端,正成为衡量基模公司的行业金线。 阶跃星辰发布新一代开源旗舰基础模型 Step 5 Preview。在全球权威的 Artificial Analysis Intelligence Index 中,Step 5 Preview 取得 44 分,位...
2026-09-20
哑巴AI三天引爆硅谷,14万开发者抢测
9月16日,ChatGPT核心发明人之一、InstructGPT论文第四作者Diogo Almeida连发长推,直指行业走偏,并推出新模型Jev。Jev不写文章不陪聊,只接收混乱数据,70毫秒内返回带概率的判断,输出token永久免费。发布仅三天,它就被Vercel、Cloudflare和LangChain等主流平台集成;不到36小时,14万名开发者涌入内测,用例已达数百个。有人用它做Mac语音助...
2026-09-20
AI圈双节无休:全球基模决战提前打响
中秋和国庆13天假期,可能成为今年AI圈最忙最炸的两周,“基模决战周”即将到来。硅谷暗流涌动,国内厂商也卡在假期前密集憋大招。 OpenAI月初刚发布GPT-6 Astra,已拿下约13%企业AI支出,Anthropic的Claude Fable约为8%。硅谷方面,Anthropic、谷歌、马斯克的Grok几乎都有新动作。 Anthropic的Claude 5.2箭在弦上。路透社爆料称Anth...
2026-09-20
机器鸭5天卖1万台,深圳团队谈AI硬件创业
一只叫 Microduck 的机器鸭在 X 上刷屏。它由 Hugging Face 旗下 Pollen Robotics 设计,售价 399 美元,高峰期平均每 4 秒卖出一台,5 天预售突破 1 万台,订单额超 500 万美元,交付已排到明年。它会走路、踢球、滑轮滑,摔倒能自己爬起来。对普通用户是可爱玩具,对开发者是可训练、修改和二次开发的机器人平台。 把鸭子从原型变成实物的是深圳公司 See...
2026-09-20
24岁首席科学家转身具身智能,对话深朴智能王家伟
本周「十字路口」嘉宾王家伟是 24 岁的深朴智能首席科学家。中科大少年班、MSRA、DeepSeek、字节 Seed——这条路直通大模型最前沿,但毕业时他转身走向具身。他想离开的不是大模型,而是只能跟随既定计划的状态。他说「风浪越大,鱼越贵」——具身路线、评估和产品都还没有共识,风险更高,却给了年轻研究者定义问题的空间。 播客从 GPT-6 Astra 出发,讨论「OpenAI 会不会降维打击具...
2026-09-20