管住AI，成了一门新生意

文 | 定焦One（dingjiaoone），作者 | 李梦冉，编辑 | 魏佳 AI越来越能干，也越来越容易“闯祸”。 7月，OpenAI在内部网络安全能力测试中发生了一次罕见事故。OpenAI随后披露，一款内部研究模型和GPT-5.6 Sol在降低安全限制的测试环境下绕过隔离措施，获得互联网访问权限，并进一步入侵Hugging Face系统。部分Agent在数十台服务器上执行代码，其中一台服务器被获取root权限。 几天后，英国人工智能安全研究所（AISI）在受控测试中发现，Anthropic和OpenAI的Agent出现了多次未授权行为；122次测试中有10次出现共19项未授权行为，其中Anthropic Agent占17项，包括创建虚假网络身份、生成旨在诱骗人类批准的恶意代码等。 失控、瘫痪、劫持事件接连发生，AI事故开始密集进入公众视野。 过去的Chatbot即便犯错，最常见的后果不过是“说错话”。但进入Agent时代，AI开始连接邮箱、代码库、数据库和各种企业软件，甚至能够自主调用工具、执行任务，如何“管住AI”也开始成为一门生意。 前不久，黄仁勋在旧金山举行的高盛Communacopia+科技大会上表示：“网络安全很可能成为AI下一个重要的应用场景。”Gartner预计，全球“Securing AI”市场规模将从2026年的28.35亿美元增至2027年的47.83亿美元，同比增长68.7%，2028年进一步接近77亿美元。IDC预测，中国人工智能安全收入的市场规模2030年预计达到340.3亿元人民币，2025-2030年复合增速50.5%。 模型厂商自身也开始建立更制度化的事故披露机制。9月16日，OpenAI首次推出模型“对齐失效”报告框架，希望将过去相对零散的安全事件披露，变成持续的跟踪、调查和公开机制，并提出未来与行业、标准机构和监管部门共同探索更统一的披露标准。 海外已经出现一批专门围绕AI Security创业的公司，从给大模型做安全评测、寻找漏洞，到给Agent加上权限控制、运行监控和安全防护，资本也开始涌入这一赛道。与此同时，大型科技和安全公司也开始通过投资、收购等方式提前卡位。但在中国情况有所不同，大模型和Agent创业潮已经持续数年，真正以“AI安全”为核心业务的创业公司仍不算多。 市场上没人会怀疑AI安全的重要性，现实情况是，风险客观存在，钱却还没完全来。这种落差背后，是技术、市场、资本和监管的多重博弈。 01.AI越能干，越需要“上锁” AI安全并不是一个新问题，但Agent正在改变这道题的难度。 2022年底ChatGPT横空出世，在最初的一两年里，人们对AI安全的认知，基本停留在“别让AI乱说话”。 早期大模型的风险虽然不少，但大多集中在输出端，包含如幻觉（模型一本正经地胡说八道）、违法违规内容（生成暴力、色情或歧视性信息）、越狱（用户通过精心设计的提示词绕过模型的安全护栏）、隐私泄露（训练数据或用户输入中的敏感信息被模型意外输出）等。这些风险的核心特征类似，模型只输出信息，不执行操作。 但Agent的出现改变了这一点。 当AI从聊天框走出来，开始接入企业内部的数据库、邮箱、代码库和各种软件，它面对的不再只是“什么能说、什么不能说”，还有“什么能看、什么能改、什么能做”。 其中最关键的变量是权限。AI安全初创公司红豆叶科技创始人刘雁向「定焦One」表示，现阶段企业对AI安全比较敏感的问题之一就是数据泄露。Agent权限一旦开放过高，就可能接触甚至带走企业内部数据，而相关防护目前仍不完善。 而且，风险不一定来自AI主动作恶。Agent工程师蒋工告诉「定焦One」，在实际开发中，模型偶尔会出现删除文件、数据库等情况。现阶段，这类问题通常可以通过权限控制、数据恢复等工程方式兜底，但如果未来AI获得更高权限，能够操作支付、交易等系统，同样一次误操作的代价可能完全不同。 如果把一套AI安全系统拆开看，它做的事情大致可以理解为给AI设置四道关卡。 第一道是“体检”，在模型或Agent正式投入使用之前，通过安全评测、红队测试等方式寻找漏洞；第二道是“安检”，AI运行起来后，对它接收和输出的信息进行实时检查，尽量在风险进入企业系统之前把它拦下来。 第三道也是Agent时代越来越重要的一道：“上锁”。企业需要回答，这个Agent是谁？它可以读取哪些文件？可以调用哪些API？能不能修改数据库？哪些操作可以自主完成，哪些必须经过人的确认？比如，AI可以帮用户完成下单等任务，但到了支付、输入密码等关键环节，最终确认仍应该交还给人。 最后一道则是“监控”。如果AI真的做错了事，企业至少需要知道它访问了什么数据、调用了什么工具、执行了哪些操作，并在异常出现时及时预警、阻断和追溯。刘雁介绍，红豆叶正在开发的AIS二级安全监管系统，就是希望在系统运行超过设定阈值时进行预警。 从Chatbot时代到现在的Agent时代，AI能干的活儿越来越多，相应的，一次错误能够造成的损失也就越高，一条围绕AI的新安全链条也由此出现。 02.三类玩家，各有优劣 AI安全的生意，已经有人先跑起来了。 8月，AI安全公司Obsidian Security完成8500万美元D轮融资，估值达到11亿美元，这家公司正在做的事情之一，就是监控进入企业软件的AI Agent，防止其不当访问源代码、客户记录等敏感数据；9月初，美国AI安全公司HiddenLayer宣布完成1亿美元B轮融资，投资方包括摩根士丹利、微软旗下M12等机构，该公司重点投入的方向之一，就是Agent运行时的安全。 更能说明变化的是收入。HiddenLayer联合创始人兼CEO Chris Sestito透露，过去一年公司年度经常性收入（ARR）增长超过10倍，达到数千万美元量级，超过九成增长来自新客户。金融服务和大型科技公司是其主要客户。 到了国内，这门生意虽然还未达到这个热度，但玩家也不算少，大致可以分成三类： 第一类是模型厂商，如阿里、百度、字节、腾讯、DeepSeek。 蒋工称，模型厂商会做安全，但首先服务于自身模型和产品，而不是独立对外出售的第三方安全产品。他解释，对任何一个场景加安全限制，“都有可能导致其他的功能发生退化”，所以模型厂商在加安全场景时要很谨慎。 这个逻辑其实不难理解，模型厂商的核心商业模式还是卖模型能力，API调用、云服务、行业解决方案。如果模型动不动就输出违规内容、被用户轻易越狱，客户肯定不敢用。所以模型厂商会做内容审核、拒答机制、对齐微调，但这些是产品的底线要求，不是独立的生意。 刘雁对此有一个判断：模型厂商自己开发的安全能力，只能适用于自己开发的层面，比如豆包的安全能力只保护豆包，DeepSeek的安全能力只保护DeepSeek。企业如果用多个模型、或者自研模型，模型厂商自带的安全能力就覆盖不了了。 这恰恰为第三方安全公司留出了空间。 第二类是传统安全公司，如360、奇安信、深信服、天融信等。这些企业在传统网络安全时代就已经是头部玩家，它们手握政企客户的安全预算，有成熟的销售渠道和客户关系。AI兴起后，它们也开始把原来的安全能力向大模型和Agent延伸。 这背后不只有技术迭代，也有寻找新增量的现实压力。ID