新智元导读】大模型的幻觉问题怎么解？谷歌DeepMind：用AI来做同行评审！事实核验正确率超过人类，而且便宜20倍。
AI的同行评审来了！
一直以来，大语言模型胡说八道（幻觉）的问题最让人头疼，而近日，来自谷歌DeepMind的一项研究引发网友热议：
大模型的幻觉问题，好像被终结了？
论文地址：https://arxiv.org/pdf/2403.18802.pdf
项目地址：https://github.com/google-deepmind/long-form-factuality
在这篇工作中，研究人员介绍了一种名为 "搜索增强事实性评估器"（Search-Augmented Factuality Evaluator，SAFE）的方法。
对于LLM的长篇回答，SAFE使用其他的LLM，将答案文本分解为单个叙述，然后使用诸如RAG等方法，来确定每个叙述的准确性。
——简单来说就是：AI答题，AI判卷，AI告诉AI你这里说的不对。
真正的「同行」评审。
另外，研究还发现，相比于人工标注和判断事实准确性，使用AI不但便宜20倍，而且还更靠谱！
目前这个项目已在GitHub上开源。
长文本事实性检验
大语言模型经常胡说八道，尤其是有关开放式的提问、以及生成较长的回答时。
比如小编随手测试一下当前最流行的几个大模型。
ChatGPT：虽然我的知识储备只到2021年9月，但我敢于毫不犹豫地回答任何问题。
Claude 3：我可以谦卑且胡说八道。
为了对大模型的长篇回答进行事实性评估和基准测试，研究人员首先使用GPT-4生成LongFact，这是一个包含数千个问题的提示集，涵盖38个主题。
LongFact包含两个任务：LongFact-Concepts和LongFact-Objects，前者针对概念、后者针对实体。每个包括30个提示，每个任务各有1140个提示。
然后，使用搜索增强事实性评估器（SAFE），利用LLM将长篇回复分解为一组单独的事实，并使用多步骤推理过程来评估每个事实的准确性，包括使用网络搜索来检验。
此外，作者建议将F1分数进行扩展，提出了一种兼顾精度和召回率的聚合指标。
