点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:人工智能为何会“胡编乱造”?
首页> 网安频道> 网安科普 > 正文

人工智能为何会“胡编乱造”?

来源:参考消息2025-10-30 20:57

  据西班牙《趣味》月刊网站10月8日报道,生成式人工智能(AI)的发展伴随着一个棘手的问题:它能以惊人的自信编造事实。最新研究揭示了语言模型制造虚假数据的原因及其潜在风险。

  近年来,生成式人工智能以富有创造力的回答、流畅的文本甚至堪比专家的诊断结果震惊世界。但伴随这项技术腾飞的却是一个令人不安的现象:所谓的“人工智能幻觉”——那些与可验证事实不符却被人工智能自信满满表达出来的回答。问题在于机器无法区分真实与合理。

  检验答案

  最新研究给出了一个简单而有力解释。语言模型并非为说真话而设计,而是为了预测序列中的下一个词。也就是说,它们的回答经过训练听起来令人信服,但未必准确。研究人员将其定义为训练目标与用户期望之间的错位:我们寻求可靠的信息,却得到听起来不错实则错误的内容。

  因此,当模型面对非常具体、鲜见或需要最新数据的问题时,更倾向于用虚构内容填补空白。对毫无防备的用户而言,事实与幻觉的界限可能难以辨别。人工智能并非故意说谎,只是像即兴讲述者那样填补空白。

  鉴于问题的严重性,科学界设计了实验来检验答案的真实性。其中最常被引用的实验是TruthfulQA数据集,这套问题集能检测人工智能是否陷入流行误区,或重复网络常见错误。实验表明,模型回答得越自信,用户就越容易相信错误信息。

  其他方法如SelfCheckGPT则提倡模型自我验证:要求模型对同一问题给出多个答案,再相互比对。如果自相矛盾,则很可能是幻觉所致。这种方法无需访问外部数据库,对需要实时响应的系统颇具吸引力。

  此外,最新研究将幻觉分为不同类型:从纯粹虚构的内容到将真实数据与微妙的虚假信息混杂的案例。科学界不再止步于揭露问题,而是将其作为复杂可测量的现象进行剖析。

  减少幻觉

  为减少幻觉现象,研究人员建议将模型与可验证的外部来源(如数据库或搜索引擎)建立连接。这种被称为检索增强生成(RAG)的方法迫使人工智能基于具体文献而非凭空杜撰来构建答案。挑战不再仅限于生成文本,更需提供佐证依据。

  RA-DIT系统就是一个先进范例,它能同步训练模型与内部搜索引擎,从而提升引用精度。研究表明,该技术能有效减少医学、法律等专业领域中的虚构内容,而这些领域中任何错误都可能造成严重后果。

  然而,并非一切都依赖数据库。另一种有前景的方法是验证链(CoVe):人工智能先撰写回答,再规划验证问题,最后根据验证结果重写文本。这种自我修正过程表明,即使是自动化系统也需要在发布前“复查两遍”。

  除验证功能外,部分实验还教会人工智能使用外部工具(如计算器或翻译器)来避免虚构结果。Toolformer项目证明模型可学会在检测到特定需求时调用这些资源。

  研究的结论很清晰:没有工具的人工智能可能富有创造力,但配备工具后将更可靠。

  其他团队正在探索实时检测技术。如果系统识别出其回答随样本变化或缺乏依据,可选择不作答或向用户发出警告。其理念很简单:诚实的“不知道”胜过华丽的谎言。

  设计问题

  最后,问题设计至关重要。要求引用依据、限定回答范围、奖励“无信息”诚实回答的明确指令能有效降低幻觉发生频率。人机互动仍是驯服人工智能想象力的关键。

  尽管技术解决方案发展迅速,但另一端依然是我们人类自身。公众必须认识到,人工智能做的更多是“补充”而非“回答”,这是至关重要的一点。对流畅文本的盲目信任可能带来危险。

  专家建议采用类似新闻业的核查习惯:对过于完美的内容保持警惕,追溯信息来源,与其他参考资料比对,并在可能的情况下通过官方文件验证。

  人工智能可以是起点,但绝非搜索的终点。本质上,这场辩论映射出更深层的议题:我们如何与看似人性化却非人类的技术共存。正如我们学会识别社交媒体上的谣言,现在也该培养对机器的批判性眼光。关键不在于停止使用,而在于学会在恰当时机保持警惕。

  机器不会做梦,但有时却像在做梦。我们日常使用的人工智能系统常会产生出人意料的回应,这些回应有时荒诞不经,有时近乎谎言。这些错误既是系统的缺陷,也折射出其算法的复杂性。

  假如我们认定人工智能无懈可击,就不会创造出如此之多的科幻故事。几乎所有科幻作品都基于相同前提:人工智能逻辑严密、客观可靠,直到它们失控的那一刻。毕竟,若没有展现不可预测行为的人工智能,作家几乎无故事可写。然而,这种绝佳的创作素材如果发生在现实世界,很可能演变成令人头疼的难题。或者说,它早已成为令人头疼的难题,因为事实上,这一切正在发生。(编译/刘丽菲)

[ 责编:张晨昊 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平会见日本首相高市早苗

  • 习近平会见泰国总理阿努廷

独家策划

推荐阅读
为庆祝新疆维吾尔自治区成立70周年,“异元汽车杯”首届新疆国际摄影大赛9月28日正式启动。
2025-09-29 14:31
2025年4月10日,安徽省芜湖市无为市昆山镇三公山茶叶种植基地,千亩高山野生杜鹃在翠绿的茶园之间绚丽绽放,美轮美奂,美不胜收
2025-04-10 15:13
2025年4月1日,北京怀柔慕田峪长城内外山花盛开,美丽的春花把古长城打扮的多姿多娇,犹如春天里一幅壮美的风景画
2025-04-02 15:44
2025年4月1日,船舶航行在安徽省合肥市庐江县境内的引江济淮航道上,标志着菜子湖湿地候鸟越冬季禁航结束,菜(子湖)巢(湖)线恢复通航
2025-04-01 15:40
2025年3月31日,江苏苏州吴中区光福镇,太湖之滨,桃花、樱花、油菜花等竞相绽放,生态优美,春景如画
2025-04-01 15:31
用镜头记录城市更新 青岛首届“百家媒体看改变”活动圆满闭幕
2025-03-20 10:14
"昭君杯"首届全国老年合唱大赛在北京国家大剧院正式启动
2025-03-19 16:10
2025年2月25日,云南省昭通市绥江县,新市金沙江特大桥施工现场,工人正加紧施工。
2025-02-26 15:41
2025年2月7日,重庆市巫山县曲尺乡月明村一大片梅花竞相开放、灿若红霞,游客和市民前来游玩打卡,尽享春日的快乐和惬意
2025-02-08 14:52
2025年2月5日,福建省福清市石竹山风景区,一场非遗英歌舞、建瓯挑幡等非遗表演正在进行,让游客感受中华优秀传统文化魅力,丰富景区文化内涵和游览品质
2025-02-06 15:55
2025年1月20日,江西省赣州市章贡区城市中央公园内,游船与湖水、植被、高楼相互映衬,呈现出一幅冬日多彩美丽生态画卷
2025-01-20 15:30
2025年1月16日,受低温天气影响,山西省运城盐湖出现冬季独特的“硝花”景观,水面上的硝花形态各异晶莹剔透,美不胜收。
2025-01-16 15:56
一位“行者”行走在广袤的沙漠中,遮掩着绝世的面庞,一面“古镜”掩埋于厚重的沙下,刻满了时间的裂痕。
2025-01-13 17:25
2025年1月9日,重庆市酉阳土家族苗族自治县桃花源国家森林公园白雪皑皑,雪景如画
2025-01-09 15:24
关爱卡寒假公益行 助力云南各族青少年儿童梦想起航
2025-01-08 14:42
2025年1月5日,在山西太原南站开往呼和浩特东站的D4022次列车前,游客自拍合影。
2025-01-06 16:01
2024年12月8日,广西梧州岑溪市岑城镇木榔村,生态田园中阡陌纵横线条分明,冬韵如画。
2024-12-10 16:48
2024年12月10日,贵州省黔西市绿化白族彝族乡大海子村,青山环绕树木葱茏,构成一幅美丽的生态画卷。
2024-12-10 16:40
2024年12月6日,古城苏州街头,成片的银杏、红枫等树木色彩斑斓满目缤纷,成为一道迷人的风景。
2024-12-06 15:48
2024年12月6日,初冬时节,山东省青岛市即墨区灵山街道花卉种植基地的大棚里一片繁忙,种植户忙着管护花卉。
2024-12-06 15:48
加载更多