本文是LLM系列文章,针对《UniGen: A Unified Generative Framework for Retrieval and Question
Answering with Large Language Models》的翻译。
UniGen:一个用于大型语言模型检索和问答的统一生成框架
- 摘要
- 引言
- 相关工作
- 方法
- 实验设置
- 实验结果
- 结论
摘要
生成信息检索包括生成文档检索(GDR)和基础答案生成(GAR)两大任务,在信息检索和自然语言处理领域得到了广泛的关注。GDR和GAR的现有方法依赖于单独的检索和读取器模块,这阻碍了同时优化。为了克服这一点,我们提出了UniGen,这是一个用于检索和问答的统一生成框架,它将两个任务集成到一个利用大型语言模型功能的单一生成模型中。UniGen采用一个共享编码器和两个不同的解码器进行生成检索和问答。为了促进这两项任务的学习,我们引入了由大型语言模型生成的连接器,以弥合查询输入和生成目标之间以及文档标识符和答案之间的差距。此外,我们提出了一种迭代增强策略,该策略利用生成的答案和检索到的文档来迭代改进这两项任务。通过在MS MARCO和NQ数据集上的大量实验,我们展示了UniGen的有效性,展示了其在检索和问答任务中的卓越性能。
引言
相关工作
方法
实验设置
实验结果
结论
在本文中,我们提出了UniGen,一个统一的检索和问答生成框架。我们的方法同时优化了这两个任务,并使用大型语言模型生成的连接器在输入-输出和有序答案空间中建立语义连接。此外,我们的迭代增强方法被证明在增强检索和QA性能方面是有效的。通过在公共数据集上进行的广泛实验,我们证明了UniGen在检索和QA任务中的有效性。这项工作为联合学习检索和其他生成任务开辟了新的可能性。