Agent干活谁兜底?6个AI安全项目正盯上这门生意
AI 能真正干活之后,一门新的生意随之出现:给 Agent 兜底。Agent 正从读取文件、调用工具走向主动执行,根据上下文自行判断下一步。能力边界外扩的同时,AI 掌握了更多上下文,也获得更高执行权限。对部署 Agent 的企业而言,问题随之而来:它有没有做错?插件和 MCP 是否安全?哪些操作可自主执行?技术防线失效后损失由谁承担?围绕这些问题,一条控制 Agent 风险的产业链正在形成,从上线前测试,到运行中监控、权限与攻击防护,再到认证、审计和保险。以下 6 个项目分别解决其中一环。

Raindrop 专门发现 Agent 运行故障,尤其是“看起来执行成功、实际办错事”的问题。Agent 答应发提醒却没执行,系统可能毫无报错。Raindrop 把模型回复、工具调用和执行过程串起来,寻找遗漏任务、错误操作和行为异常,并归类反复出现的问题。开发者可用本地工具 Workshop 查看轨迹、复现问题、验证修复。2026 年 9 月 17 日,其 Simulations 扩大早期访问,支持更换模型、修改提示词或增加工具后,用真实任务记录和测试用例重跑,观察是否引入新故障,将产品从上线后发现错误延伸到上线前检查风险。公司成立于 2023 年,参加 Y Combinator W24,联合创始人 Zubin Koticha、Alexis Gauba 此前创办 Opyn,Ben Hylak 曾在苹果人机交互团队参与 visionOS。团队早期做过 AI 产品分析工具 Dawn,后转向 AI 故障监控。公司已完成 CRV 领投的 A 轮融资,累计融资 5000 万美元。客户 Tolan 用它发现遗漏用户信息、未发提醒等问题,调整检索和存储方案后,相关记忆问题减少 27.8%;Speak 将新对话 Agent 接入监控,通过日常问题报告寻找测试未覆盖的真实场景。其价值在于让团队持续知道 Agent 哪里做错、修复是否有效,但 Simulations 能在上线前发现多少问题仍待观察。

AIR Security 围绕 Agent 的插件、Skills、MCP 和外部信息建立防护,防止 Agent 接触第三方工具与内容时被利用。AIR 将外部组件和信息视为新的软件供应链:企业批准一个 Agent 后,它可能继续安装插件、连接 MCP 服务器、读取网页和内部文档,这些材料可能携带恶意指令或在更新后引入风险。AIR Filter 通过依赖分析、静态检查和沙箱运行检查插件与扩展;AIR Control 管理企业使用了哪些 Agent、组件和权限;AIR Defend 在运行阶段发现风险并响应。2026 年 9 月 17 日,AIR 公布 Plugin4Shell 研究,分析 AI 编程工具插件机制中的版本固定绕过问题:使用者以为插件已锁定可信版本,实现缺陷仍可能让系统取得并执行另一版本。联合创始人 Yair Saban 和 Niv Hoffman 均有以色列 Unit 8200 进攻性网络安全背景。团队早期研发自动寻找和利用漏洞的系统 MOAK,后将相关能力用于 Agent 供应链防护。公司成立于 2026 年 2 月,9 月 1 日公开亮相,已获 5000 万美元融资,主要投资方包括 Sequoia Capital 和 Greenoaks。企业可决定给 Agent 什么权限,却很难提前审查它未来接触的所有内容;即使只用已获批权限,Agent 也可能受外部信息影响在权限内做错操作。AIR 的切入点是在第三方工具和信息影响 Agent 前尽量识别危险并持续跟踪变化,但其降低攻击成功率、误报率及对正常任务的影响仍待验证。

Arcjet 在 Agent 真正执行操作前检查业务规则。客服 Agent 理解退款要求,不代表有权退还任意金额。Arcjet 盯的是 Agent 准备采取的具体动作是否符合企业权限和业务规定。开发者可为具体操作设规则,如邮件只能发给批准收件人、退款不得超过上限、网页访问工具只能连可信地址。Arcjet 在动作执行前返回判断,由应用阻止、请求人工批准或向 Agent 解释原因,并记录操作参数、身份和策略判断以便追查。Arcjet 最初提供嵌入应用代码的安全工具,处理恶意机器人、请求限流和应用攻击。2026 年 4 月推出 Arcjet Guards,将检查扩展到 Agent 工具调用和工作流步骤;9 月 17 日发布 Agent Runtime Security,将运行观察、规则执行和审计记录结合。公司成立于 2023 年,创始人 David Mytton 曾于 2009 年创办 Server Density,2018 年出售给 StackPath。2025 年 10 月,Arcjet 完成 830 万美元 A 轮融资,累计 1200 万美元,由 Plural 和 Ott Kaukver 领投,a16z、Seedcamp 参与。其应用安全工具已用于超过 500 个生产应用。判断提示词是否恶意与判断退款是否越权需要不同信息,后者必须结合金额、身份、数据范围等业务事实。将条件写成可执行规则,企业就能在操作前检查、事后追查。印尼 Gorontalo 地区财政机构表示,接入后恶意自动化流量造成的服务中断得到控制,运维负担降低。新 Agent 产品能否准确拦截越权、规则维护负担及延迟影响仍待观察。
腾讯 AI-Infra-Guard 通过开源扫描和模拟测试,帮助开发者提前发现 AI 系统漏洞及 Agent 可能越权场景。该项目由腾讯朱雀实验室开源,早期以 AI
更多推荐阅读

前 Manus 成员创业:Personal Agent 要从 Context 走向 Performance
海外前沿探索正在尝试回答Personal Agent如何成为真正有效的个人助手。Meta发布Muse,希望让Agent持续帮助用户推进日常任务和长期目标;Instinct让用户通过发消息、打电话的方式,把订票、采购和安排生活交给个人助手。Town、Hark、Underdog将持续记忆、跨工具协作和任务执行结合,了解用户的项目、关系和优先级,记住此前发生过什么,再据此提出建议、采取行动。a16z投资...
2026-11-04 19:59:47
国产端侧600T算力将至,黄仁勋的小黄鸭训练能在本地跑了
近年来,AI算力赛道持续升温。英伟达在柏林GTC大会上展示机器鸭Microduck,黄仁勋称其在RTX Spark上诞生、云端超级计算机训练、数字孪生中学习。近日,天数智芯在上海举办“从模型到世界”媒体开放日,这是其今年1月登陆港股以来首次系统性展示产品全貌。现场展示了通过3D打印和手工组装的“手搓版”Microduck,表演走路、打盹、起身等动作。与英伟达依赖云端算力不同,天数智芯的小黄鸭在一台...
2026-11-04 19:44:09
哈佛最年轻华人教授尹希离开OpenAI,仅待5个月
哈佛史上最年轻的华人正教授、斯隆奖和物理学新视野奖得主、弦理论领域明星学者尹希,官宣离开OpenAI。从今年5月底传出加盟消息到如今亲自宣布离开,前后仅半年。他在个人推特中表示,这是一段非常棒的旅程,不过打算提前下车,去探索新的方向。这是他的第一份企业工作,他特别感谢Alex Lupsasca和Boris Alexeev帮助自己适应工作,也感谢Dan Roberts的支持。至于下一站,尹希尚未透露...
2026-11-04 19:20:39
OpenAI发布AGI新标准LifeVal,影响全球80亿人
OpenAI今日推出AGI新基准LifeVal,宣称AGI正式从“考场”走向“生活”。该基准价值1.7万亿美元,若全球80亿人用上此级别AGI将受影响。与此同时,GPT-6.2 Astra实测在网上流传,奥特曼发推称“人们应永远掌控未来,不应将未来控制权拱手让给超级智能”。 LifeVal是全球首个“个性化代理消费者任务”基准,不测做题只测“办事”。OpenAI参考美国劳工统计局及25国时间使用...
2026-11-04 18:25:49
OpenAI神秘双模型闪现API又撤回,GPT-6.2 Astra真要来了?
OpenAI下一代模型GPT-6.2 Astra发布在即。Codex负责人Tibo以“Le GPT Fat”暗示新模型将至,随后OpenAI官方API列表短暂出现两个未公开模型ID——rc-ada-or-vm和rc-ada-sh-vm,几分钟后被撤下,期间调用者均遇503容量受限错误。同日,OpenAI官博发布硬件工程长文,披露一个未发布的“内部新模型”,起步跑分即超过GPT-6 Astra最高档...
2026-11-04 18:22:14
DeepSeek Harness再发新版:优化代码审查与手机端体验
智东西11月4日报道,DeepSeek Harness更新GitHub仓库,推出v0.2.2-alpha.3预发布版本,围绕代码审查、自动化任务管理、SDK和插件生态进行扩展。此前一天DeepSeek出现网页及API服务部分中断,网友猜测新模型将至。 代码审查方面,新增实验性“变更请求与工作树”统一入口,用户可通过可搜索文件树查看本地代码和PR差异,逐个文件查看修改内容,选中代码片段添加评论后交...
2026-11-04 17:46:57