FlashRAG 是一个用于再现和开发检索增强生成 (RAG) 研究的 Python 工具包。工具包包括 32 个预处理的基准 RAG 数据集和 12 个最先进的 RAG 算法。
https://github.com/RUC-NLPIR/FlashRAG
https://arxiv.org/html/2405.13576v1
框架特点：
- 可扩展、可定制：包括 RAG 场景的基本组件，例如检索器、重新排序器、生成器和上下文压缩器，允许灵活组装复杂的管道流程。
- 全面的基准数据集：32 个预处理的 RAG 基准数据集的集合，用于测试和验证 RAG 模型的性能。
- 预先实现的高级 RAG 算法：具有 12 种先进的 RAG 算法并报告结果。在不同设置下轻松重现结果。
- 高效的预处理阶段：通过提供检索语料处理、检索索引构建、文档预检索等各种脚本，简化 RAG 工作流程准备。
- 优化执行：通过 vLLM、用于 LLM 推理加速的 FastChat 和用于矢量索引管理的 Faiss 等工具，提高了库的效率。
内置的先进的RAG算法及评测效果表：
MethodTypeNQ (EM)TriviaQA (EM)Hotpotqa (F1)2Wiki (F1)PopQA (F1)WebQA(EM)Specific settingNaive GenerationSequential22.655.728.433.921.718.8
Standard RAGSequential35.158.935.321.036.715.7
AAR-contriever-kiltSequential30.156.833.419.836.116.1
LongLLMLinguaSequential32.259.237.525.038.717.5Compress Ratio=0.5RECOMP-abstractiveSequential33.156.437.532.439.920.2
Selective-ContextSequential30.555.634.418.533.517.3Compress Ratio=0.5Ret-RobustSequential42.968.235.843.457.233.7Use LLAMA2-13B with trained loraSuReBranching37.153.233.420.648.124.2Use provided promptREPLUGBranching28.957.731.221.127.820.2
SKRConditional25.555.929.828.524.518.6Use infernece-time training dataSelf-RAGLoop36.438.229.625.132.721.9Use trained selfrag-llama2-7BFLARELoop22.555.828.033.920.720.2
Iter-Retgen, ITRGLoop36.860.138.321.637.918.2