点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:如何给聊天机器人设护栏引发热议
首页> 网安频道> 数字安全 > 正文

如何给聊天机器人设护栏引发热议

来源:科技日报2026-05-15 19:25

  原标题:AI惹上刑事调查,如何给聊天机器人设护栏引发热议

  今年4月底,美国佛罗里达州总检察长詹姆斯·乌斯迈尔宣布,州级检察官办公室已对人工智能(AI)公司OpenAI及其聊天机器人ChatGPT启动刑事调查,焦点在于ChatGPT是否在去年4月佛罗里达州立大学一起惨烈的校园枪击案中充当了“帮凶”。对此,OpenAI称,公司正与当局合作,ChatGPT不应对这起可怕的罪行负责。

  英国《自然》网站在近日的报道中指出,尽管OpenAI目前尚未受到任何指控,但这项调查直指AI公司面前的一道核心难题:为什么打造一个契合人类法律、道德和价值观的聊天机器人竟如此艰难?

  澳大利亚麦格理大学大语言模型联盟研究员乌斯曼·纳西姆认为,不管佛罗里达州的调查是否会给OpenAI招致法律后果,但会促使各家公司证明自身安全措施是否有效。与此同时,科学家也在全力以赴,试图将人类价值观“编码”进AI模型,即实现人机价值对齐,以助其既有用又安全。

  安全措施尚显薄弱

  近年来,人们对大语言模型聊天机器人输出危险乃至非法建议的忧虑与日俱增,从怂恿自杀、炮制非法内容到财经欺诈,不一而足。可眼下,AI系统的安全防线依然脆弱。

  纳西姆透露,当前聊天机器人的安全标准基本由各公司自行定夺,外部监督少之又少。许多公司坦承问题所在,也表态已采取安全措施阻止输出可能诱发危险行为的建议,但一些研究人员呼吁应引入独立的安全检测。

  目前,一些公司采取的一项防护手段是内容过滤器,其能让AI工具拒绝回应含有特定敏感词的请求。不过,澳大利亚新南威尔士大学AI研究员托比·沃尔什指出,用户完全可以绕过这个坎。他们只需重新组织提问方式,把不良意图包装成假设或虚构情境,AI工具便很难从看似无害的请求里甄别出危险的端倪。

  纳西姆补充说,包括内容过滤、行为训练和政策规则在内的许多安全措施,说到底还是一种外部控制,而非系统对道德或意图真真切切地领悟。这些手段并非全然无用,但也并不完美,执着的用户仍能找到破绽钻空子。

  安全与实用不易兼得

  聊天机器人为啥总不能规规矩矩守法?部分症结在于,那些驱动最热门聊天机器人的大语言模型,其学习方式是“依样画葫芦”,而非遵循一套明晰的规则。

  这些大语言模型在海量互联网文本上接受训练。当用户提问或给出提示词时,模型便会预测最有可能依次出现的词汇序列。沃尔什认为,这种设计让这些大语言模型几乎什么都能回应,成为“万事通”,但反过来,要想给那些不该说的话设下牢靠的护栏,也就变得倍加困难。

  纳西姆强调,大语言模型给出的答案,只是一种模式拼凑,它们并不真正理解话语的含义或后果。

  沃尔什回顾道,科研人员曾试图教AI系统遵循规则。上世纪五六十年代风靡一时的符号AI,便是教计算机恪守规则。但澳大利亚阿德莱德大学AI研究员西蒙·卢西直言,这套办法应付不了大规模的现实世界问题,因为开发者根本无法编写足够多的规则来囊括所有情形。

  沃尔什建议,想让现有大语言模型更安全,可借助基于人类反馈的强化学习。具体而言,人类评估模型的输出,并手把手引导它形成更可取的回答,但这套做法极耗资源,成本高昂。

  另一种思路,是从训练AI模型最初的数据集里剔除有害信息,可研究表明,这招未必总奏效。沃尔什说,对科技公司而言,人工梳理如此庞大的数据集,花费同样惊人。他还强调,在安全与实用之间,必须拿捏好分寸。如果给系统戴上过紧的枷锁,它也就失去了用武之地。

  底层算法亟待重新考量

  纳西姆表示,投身“人机对齐”研究的科学家,正放眼比内容检测器更宽广的视野,致力于开发能精准识别整段对话中有害意图的系统,而不只是孤立地标记某个问题。

  卢西透露,一些科学家还在打造“神经符号AI”。它将老派符号AI与神经网络方法融于一身,这类模型在计算机编程和数学领域已崭露头角,一旦输出不灵光,大语言模型就能立即获得反馈并据此改进。可在伦理和法律领域,这种立竿见影的反馈并不容易实现,因为它来得太慢,而且过程中可能已经造成了伤害。

  卢西还指出,眼下多家公司正尝试砸巨资去获取并管理更多数据来优化系统,也雇佣更多人提供更优质的反馈。但他强调,AI研究者需要重新审视大语言模型的底层算法,才能构建起真正能够体悟人类伦理与法律的AI系统。(记者 刘霞) 

[ 责编:张晨昊 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 寻童心 备高考

  • 山东曹县:发展芦笋产业 赋能乡村振兴

独家策划

推荐阅读
江苏省如皋市城南街道新庄社区,民警向老年群体细致讲解假币识别与流通防范知识
2026-05-15 15:05
初夏时节,成群的黑尾鸥盘旋飞舞,与游客热情互动,为初夏时节滨海之旅增添了无限乐趣。荣成市素有"中国黑尾鸥之乡"的美誉
2026-05-15 14:57
山西省运城市盐湖区南城办西姚村连片麦田里麦浪滚滚,满目金黄。饱满麦穗随风摇曳,金黄麦浪与远山、蓝天相映,勾勒出一幅丰收在望的田园画卷
2026-05-15 14:54
位于广西桂林市阳朔县白沙镇五里店村的燕子湖,清澈的河流与喀斯特群山、现代村庄、阡陌纵横田园、景区古建筑相映成景,绘就一幅如诗如画的夏日乡村画卷
2026-05-15 14:53
时下,"四大怀药"主产区的铁棍山药进入出苗至甩蔓期,农民忙着搭架引蔓、中耕除草、肥水管理、病虫防控、剔苗整枝,田间地头一派繁忙景象
2026-05-15 14:38