点击右上角
微信好友
朋友圈

请使用浏览器分享功能进行分享

“去年大家还在怀疑,AI能不能干好漏洞挖掘的活儿;今年,AI漏洞挖掘已经把安全人员逼到了墙角。”在ISC.AI 2026大会期间,360集团首席科学家、集团高级副总裁潘剑锋在接受采访时这样形容AI给网络安全行业带来的变化。
在他看来,这并非安全人员的淘汰危机,而是整个行业加速升级的信号,并针对智能体的天然安全短板,提出了“驾驭AI不确定性”的全新安全治理范式。
AI天生具备不确定性
潘剑锋认为,传统安全面临的挑战,并不只是攻击手段增多、攻击速度加快,更深层的原因是计算逻辑发生了变化。
传统软件建立在确定性计算之上,人把不确定的世界抽象、建模为确定的计算,这是人适应机器。但大模型出现之后,计算从确定走向了不确定,模型能够直接处理模糊、开放、充满变化的真实世界任务,机器可以理解人类意图、反过来去适应人了。
这种不确定性赋予了AI推理、创造和处理复杂任务的能力,也成为智能体新型安全风险的根源。即便输入相同的任务,智能体也可能产生不同的理解、推理路径和行动结果。
潘剑锋将这种不确定性分为一体两面。
一面来自外部。攻击者不再需要直接下达明显的恶意指令,而可以把恶意意图隐藏在用户输入、系统提示、工具返回等内容中。人未必能看出其中的危险,大模型却可能“读懂”隐藏指令,进而实现模型注入、指令覆盖等。
另一面来自内部。大模型依赖统计规律生成结果,不具备对现实世界的完整、稳定认知,因此无法彻底避免幻觉,比如编造不存在的实体、对事件顺序和持续时间的认知错误等。同时,当智能体开始连续推理、调用工具,甚至与其他智能体协同工作时,一个看似微小的判断错误,可能沿着任务链不断传递和放大。过去,AI产生幻觉,可能只是“答错一道题”;今天,拥有系统权限和工具调用能力的智能体一旦判断错误,可能直接执行错误操作。
因此,潘剑锋认为,智能体时代的安全目标需要从“防御确定威胁”,转向“管控不确定性”。
不会AI的安全公司或先出局
对于未来的市场格局,潘剑锋判断,智能体安全将成为每个智能体的标配基础设施。
但这一市场不会被一家厂商完全垄断。“它可能更像手机行业,几家大型厂商占据主要市场,同时不同细分领域仍然存在大量专业化空间。”
他同时强调,AI厂商并不会因为模型能力增强,就直接取代安全公司。安全仍然是一个高度垂直、依赖攻防经验和行业知识的专业领域。但AI的发展,已经开始重新划定安全行业的门槛。
从识别确定威胁,到驾驭AI的不确定性,智能体安全的竞争已不只是增加一款产品,而是谁能率先建立一套与智能体能力相匹配的安全体系。(文/刘吉东)
