企业动态

    随着生成式人工智能深度融入我们的生产生活，“有问题问AI”已经成为不少人的习惯，但AI带给我们便利的同时，也伴随着一些问题，比如有人就发现，AI提供的内容并不那么准确，有时甚至会出现严重的错误。当AI一本正经地“胡说八道”，就是AI“幻觉”的典型表现。

    来听听奇安信人工智能公司AI专家王占一解读什么是AI“幻觉”，以及如何避免AI“幻觉”。

    近日，一位网友吐槽，自己的手机不断接到陌生电话，对方开口就问是否卖猪。起初他以为是恶作剧，后来才发现，这些电话竟然来自AI的搜索结果，他的号码被AI错误标注为某养殖场的联系方式。AI为何会产生这样的“幻觉”？这种“幻觉”能否避免呢？

    奇安信人工智能公司首席AI专家王占一介绍：AI的幻觉现在主要指的是大模型的幻觉，那就是大模型在它的生成、回答的过程中，看似生成了很多合理的、很流畅、很自然、语义语法、也没问题的回答，但是它在事实性、真实性上面是有问题的，可能比较自信，一本正经在说什么，但是其实是不对的。

    当AI一本正经地“胡说八道”时，便是“AI幻觉”的典型表现。由于AI给出的回答读着通顺、语气笃定，用户往往很难判断其真伪。那么，AI为什么会产生这种幻觉呢？

    数据层面：训练的数据有可能质量差或者数据缺失，数据的时效性不够，以及问题可能是它没有学过。

    模型机制：也是最关键的，就是模型本身的实现机制。因为它本身是一种概率模型，它依赖于前面的上文去推理下一个词，这个过程中可能就会有一些“幻觉”，是因为它去回答的时候是更加关注于怎么样更加流畅，但是它没有关注到事实性。

    推理与上下文：上下文过长，会对模型的能力提出挑战，用户的输入和指令可能也有前后矛盾的，模型可能也不知道应该选哪个，这也有可能识别错。

    专家：当前"AI幻觉"不能完全避免但可缓解

    专家告诉记者，作为平台方，“AI会产生幻觉”这件事本身，是完全可预见的，但具体何时、针对哪个问题会出现幻觉，却难以判断。不过，在当前技术条件下，AI幻觉虽无法完全消除，仍可通过预防措施来降低其发生概率。

    王占一表示，可以通过这些手段综合起来可以将幻觉尽量去降低。

    在数据层面做一些优化。

    在训练层面，通过强化学习的训练方法，让它能够更准确。

    在后面模型应用时，在里边加一些工程化的手段，让它尽量去缓解幻觉，校验可以用多个大模型或者智能体之间去相互校验。

    可以做一些类似于护栏手段，比如说输出涉及容易出幻觉的地方，这些可以做一个交叉验证，是不是别的地方也有这种足够翔实的来源。