A Unified Generative Framework for Retrieval and Question Answering with Large Language Models

本文是LLM系列文章,针对《UniGen: A Unified Generative Framework for Retrieval and Question
Answering with Large Language Models》的翻译。

UniGen:一个用于大型语言模型检索和问答的统一生成框架

  • 摘要
  • 引言
  • 相关工作
  • 方法
  • 实验设置
  • 实验结果
  • 结论

摘要

生成信息检索包括生成文档检索(GDR)和基础答案生成(GAR)两大任务,在信息检索和自然语言处理领域得到了广泛的关注。GDR和GAR的现有方法依赖于单独的检索和读取器模块,这阻碍了同时优化。为了克服这一点,我们提出了UniGen,这是一个用于检索和问答的统一生成框架,它将两个任务集成到一个利用大型语言模型功能的单一生成模型中。UniGen采用一个共享编码器和两个不同的解码器进行生成检索和问答。为了促进这两项任务的学习,我们引入了由大型语言模型生成的连接器,以弥合查询输入和生成目标之间以及文档标识符和答案之间的差距。此外,我们提出了一种迭代增强策略,该策略利用生成的答案和检索到的文档来迭代改进这两项任务。通过在MS MARCO和NQ数据集上的大量实验,我们展示了UniGen的有效性,展示了其在检索和问答任务中的卓越性能。

引言

相关工作

方法

实验设置

实验结果

结论

在本文中,我们提出了UniGen,一个统一的检索和问答生成框架。我们的方法同时优化了这两个任务,并使用大型语言模型生成的连接器在输入-输出和有序答案空间中建立语义连接。此外,我们的迭代增强方法被证明在增强检索和QA性能方面是有效的。通过在公共数据集上进行的广泛实验,我们证明了UniGen在检索和QA任务中的有效性。这项工作为联合学习检索和其他生成任务开辟了新的可能性。