点击右上角
微信好友
朋友圈

请使用浏览器分享功能进行分享

【网络强国·百人谈】
当前,人工智能正从“会回答问题”走向“能调用工具、能规划路径、能自主行动”,智能体加速进入企业生产经营的各个环节。从“资源与边界”到“任务与行动”,安全防护的对象更多、粒度更细、程度更深,企业如何既推进智能体应用、又守住安全底线,让大模型真正从“能用”迈向“敢用、好用”,成为业界关注的焦点。
在第一届中国网络空间安全大会(CCSC2026)期间,中国网络空间安全学会常务理事、天融信科技集团董事长兼CEO李雪莹接受光明网采访,围绕智能体应用中的安全风险、企业智能体安全防护体系建设、大模型从“能用”迈向“敢用、好用”等话题,分享了她的观察与思考。

中国网络空间安全学会常务理事、天融信科技集团董事长兼CEO李雪莹
智能体安全尚存三大风险——
目标任务被改变、权限被滥用、信任被传递
智能体使用过程中可能存在哪些安全风险?李雪莹认为,在智能体的使用过程中,主要有三大类风险:第一类是目标任务被改变。我们在使用智能体时,输入的对话、邮件、数据中可能夹带着恶意内容,它们进入上下文以后会把长期记忆污染,最后被真实地执行、落地。这个过程在用户看来是正常的,但实际上执行的结果已经和原本的任务目标不一样了。
第二类是权限被滥用。智能体在运行当中会“继承”用户交给它的凭证和权限,如果在授权时没有充分遵循最小权限原则,一旦这个智能体被恶意攻击,或者被误用,它就可能借助这些合法权限去做越权的操作;如果这个链条当中没有加入人工审核,就可能造成重大的风险和影响。
第三类是信任被传递。智能体调用的模型如果掺杂了恶意模型,或者调用工具来源不明,甚至已经被植入恶意代码,信任就被错误地传递给了这些恶意的模型和工具,由此在使用中带来新的风险。
除此之外,还有两类衍生风险:一类是数据泄露。智能体的使用是多智能体交互的,交互过程当中,不管是因为权限的问题还是信任传递的问题,都可能造成过度的信息传递,超出原本应该传递的内容,造成隐私和敏感数据的不当泄露。另一类是风险的级联传播。智能体涉及的面比较多,使用当中可能跨层级传递,比如,一个业务智能体一旦出现风险,与它关联的业务都可能受到相应影响。
针对这些风险,对企业来讲,有三类工作要做:第一类,原本成熟、一直在用的安全能力依然有效,我们不仅要把传统的安全风险管控好,这些能力有很多也可以直接复用到智能体和大模型上,这一类要完整地用起来。第二类,要针对大模型和智能体新增的安全问题,对应增加相应的安全手段,比如,在智能体访问中遵循最小权限原则,做到一次一授权、过程可记录可回溯。第三类,防护体系要分层,关键操作由人来把关,风险看得见、控得住,AI就可以放心用。
大模型从“能用”迈向“敢用”——
做到对象可管、权限可控、行为可断、数据可追
面对大模型从“能用”迈向“敢用、好用”的关键阶段,李雪莹认为,构建企业智能体安全防护体系,要做到“对象是可管的,权限是可控的,行为是可断的,数据是可追的”。
具体来讲,“对象可管”,就是要能够看到所有非法的和未知的智能体,并且能够对它进行识别,对恶意进行阻断;“权限可控”,就是对所有合法的智能体,进行合理授权,包括最小化授权,最好是动态授权;“行为可断”,就是对于智能体所有的操作行为,要能够可见、可识别,一旦发现有问题,能够及时熔断和回滚;“数据可追”就是对于数据的所有操作,要能够审计、能够追溯。
要做到上述这几点,需要解决三个问题:一是在面向智能体的安全能力上,解决“看不全、看不清、看不细、管不深”这四个能力缺口;二是使用智能体之后,整个管控要从资源层面延伸到任务和行动链层面,也就是说,一个智能体,任务是什么、任务怎么规划、过程当中怎么授权、操作了哪些数据、取得了什么样的结果,对一整条链条要进行完整管控;三是大模型和智能体应用之后,要保护的对象变得更多了,部署的安全手段和层次也增加了,要解决的就是把这些能力放到一个统一的控制面上管控,实现整个安全能力的完整闭环。
策划:李政葳 拍摄:刘雨灏 撰文:刘雨灏 制作:支海娟
