【深度学习】检索增强生成 RAG

已于 2024-12-02 18:30:05 修改
阅读量898 收藏 21
点赞数 11
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 深度学习 人工智能
于 2024-12-02 18:16:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a13545564067/article/details/144063470

RAG (Retrieval-Augmented Generation) 是由 Facebook AI Research (FAIR) 提出的。具体来说，RAG 是在 2020 年的论文 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 中首次被提出的。

为什么提出 RAG？

在 NLP 中，有很多知识密集型任务（Knowledge-Intensive Tasks），如开放领域问答、知识生成等，这些任务依赖于模型掌握大量的外部知识。然而，传统的预训练生成模型（如 GPT-3、BERT）存在以下问题：

  1. 知识静态性：模型只能使用训练过程中学到的知识，更新知识需要重新训练。
  2. 参数限制：模型大小有限，不可能记住所有知识。
  3. 生成质量的限制：没有外部支持的生成模型可能会生成不准确或不相关的内容。

RAG 的目标 是解决这些问题，通过引入一个外部知识库来增强生成模型的知识能力，同时使得模型更灵活和可扩展。

RAG 的创新

  1. 检索增强生成：
    • 通过引入检索机制，模型在生成答案时可以动态查询外部知识库（如维基百科）。
  2. 端到端训练：
    • 检索模块和生成模块可以端到端地联合训练，从而优化检索和生成的整体性能。
  3. 结合生成和检索的优点：
    • 保留生成模型的语言生成能力，同时利用检索模块动态补充知识，提升生成的准确性和相关性。

RAG 的核心思想

传统生成模型（如 GPT、BERT）在回答问题时依赖于预训练数据的记忆，而 RAG 提供了一种动态查询外部知识库的能力。具体而言：

  1. 检索（Retrieval）：
    • 通过检索模型，从外部知识库（如维基百科、企业文档）中找到与输入问题最相关的文档。
  2. 生成（Generation）：
    • 将检索到的文档作为上下文输入生成模型，由生成模型（如 BART、GPT）生成答案。

这种设计使 RAG 能够动态获取外部知识，解决生成模型对训练数据依赖的问题。

RAG 的工作流程

  1. 输入问题：
    用户提供一个查询（Query），例如“Who won the Nobel Prize in Physics in 2023?”

  2. 检索阶段（Retrieval）：

    • 使用基于嵌入的检索模型（如 SentenceTransformer、BM25、Dense Retriever）从知识库中挑选最相关的文档。
    • 知识库的内容通常被预处理为嵌入向量，存储在向量数据库（如 FAISS）中。
    • 输出是检索到的文档集合（例如 5 个文档）。

  3. 生成阶段（Generation）：

    • 将检索到的文档与查询合并，作为上下文输入到生成模型中（如 BART、GPT）。
    • 模型基于上下文生成答案。

  4. 输出答案：
    最终生成的答案由生成模型直接输出。

RAG 的优点

最低0.47元/天 解锁文章

200万优质内容无限畅学
【深度学习基础】一篇搞懂什么是RAG（检索增强内容生成）？
十二月的猫
08-15 1424
有一个名为LangChain的流行开源库，它可以创建聊天机器人，其中包括用 3 行代码对任何网站/文档进行问答。这是LangChain 文档中的一个示例理解问题根据问题内容在网站/文档中检索信息将其中和问题相关的信息输出")它输出特定于 Paul Graham 文章（greatwork）的答案：注意：如果您有兴趣，可以尝试根据 Paul Graham 的文章构建的聊天机器人。第一次运行它时感觉就像纯粹的魔法。这到底是如何工作的？答案是一个称为。
深度学习-102-RAG技术之基于langchain模块构建的检索增强生成RAG系统
qq_20466211的博客
02-06 287
(1)Load文档加载器：从许多不同来源加载文档。(2)Transform文档转换器：将大型文档分割(或分块)为较小的块。(3)Embed文本嵌入模型：为文档创建嵌入，嵌入捕捉文本的语义含义，促使能够快速高效地查找其他相似的文本。(4)Store向量存储：使用嵌入数据库存储文档创建嵌入生成的数据。(5)Retrieve检索器：通过检索器在数据库中检索相关信息。
深度好文：最全的大模型 RAG 技术概览
2201_75499313的博客
01-17 9003
如果你已经熟悉检索增强生成（Retrieval Augmented Generation, RAG）的概念，请直接跳转到高级 RAG 部分。检索增强生成（Retrieval Augmented Generation, RAG）是一种技术，它通过从数据源中检索信息来辅助大语言模型（Large Language Model, LLM）生成答案。
AI大模型+RAG的综述！
m0_59235945的博客
06-24 880
本文全面回顾了当前最先进的RAG技术，包括朴素RAG、进阶RAG和模块RAG等范式，并置于LLM背景下。文章讨论了RAG过程中的核心技术，如“检索”、“生成”和“增强”，并深入探讨了它们的协同作用。此外，文章还构建了一个全面的评估框架，概述了评估目标和度量标准，并进行了比较分析，阐明了RAG的优缺点。最后，文章预测了RAG的未来发展方向，强调了解决当前挑战的潜在增强、多模式设置的扩展以及其生态系统的发展。图1 RAG技术发展科技树。
RAG是什么？一文搞懂 RAG 原理：从基础到前沿
Z987421的博客
05-13 1230
在人工智能的广阔领域中，大语言模型（LLM）的诞生，无疑成为了技术发展历程中的重要里程碑，从根本上重塑了人类与技术交互的模式。虽然这些大语言模型展现出了令人惊叹的能力，在诸多方面表现卓越，但不可否认的是，它们仍然存在一些显著的局限性，尤其是在知识的准确性和时效性方面。检索增强生成（Retrieval-Augmented Generation，简称为RAG）作为一项崭露头角的新兴技术，有效地弥补了上述不足。通过有机结合外部知识库与大语言模型的优势，RAG能够为用户提供更为准确、可靠的答案。 本文将深入剖析R
大模型系列——解读RAG
我相信......
02-04 3365
RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上，覆盖了结合网络搜索引擎和 LLM 的问答服务，到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构，但什么是RAG呢？RAG又涉及了哪些具体的技术呢？1. 什么是RAGRAG即检索增强生成，为 LLM 提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG ...
深度学习：基于MindNLP的RAG应用开发
Landy_Jay的博客
01-26 983
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合检索（Retrieval）和生成（Generation）的技术，旨在提升大语言模型（LLM）生成内容的准确性、相关性和时效性。基本思想：通过外部知识库动态检索与用户查询相关的信息，并将检索结果作为上下文输入生成模型，辅助生成更可靠的回答。与传统LLM的区别：传统LLM仅依赖预训练参数中的静态知识，而RAG能实时利用外部数据，解决模型幻觉（编造信息）和知识过时的问题。检索阶段（Retrieval）
人工智能-检索增强生成-基于BM25、BGE的检索增强生成RAG示例
11-19
在深入探讨基于BM25和BGE的检索增强生成RAG示例之前，我们首先需要了解RAG模型的基本概念，以及BM25和BGE这两种检索增强技术的原理和应用场景。RAG模型，即Retrieval-Augmented Generation模型，是一种结合了信息...
【玩转深度学习】检索增强内容生成（RAG）实战项目
十二月的猫
08-15 1438
通过第一篇文章检索增强内容生成（RAG）1·RAG及其技术的概述-CSDN博客，我们已经知道RAG技术的作用就是用来增强生成式大语言模型（GPT4.0、GPT3.5等）。而想要方便灵活的增强生成式大语言模型就需要用到LangChain框架，在LangChain框架中调用OpenAI的接口，同时结合RAG等技术来强化大语言模型，从而实现对LLM模型的强化完整运用RAG技术可以分为三个部分：1、建立索引知识库（Indexing）；2、检索索引知识库（Retrieval）；
RAG-基于Java实现的增强检索生成RAG项目-包含知识库+检索-附项目源码+流程教程-优质项目实战
10-20
随着人工智能技术的发展，增强型检索系统（Augmented Retrieval Generation，RAG）应运而生，这种系统能够利用机器学习模型，尤其是深度学习技术，将用户查询的语义信息与大量数据结合，提供更加精准和直观的搜索...
深度学习与RAG模型：理论与实践
AI天才研究院
03-08 223
1. 背景介绍 1.1 深度学习的崛起 深度学习是一种特殊的机器学习方法，它通过模拟人脑神经网络的结构和功能来实现对数据的高效处理和学习。近年来，深度学习在计算机视觉、自然语言处理、语音识别等领域取得了显著的成果，成为了人工智能领域的研究热点。 1.2
大模型rag技术，什么是RAG？大模型入门到精通，收藏这篇就够了
Python_0011的博客
10-30 5399
RAG（Retrieval-Augmented Generation）即检索增强生成，为大模型提供了从特定数据源检索到的信息，以此来修正和补充生成的答案。
RAG小结
cyz0202的博客
12-07 1374
RAG RAG做知识问答，我们所使用的语料、索引建立方式、训练方式，大致的模型参数，以及满足以上我们对GPU运算资源的需求。 需求总结 - Retriever Generator RAG 使用模型 DPR(Albert-small) mT5 DPR+mT5(fix-ctx) 相关参数 单元格 单元格 单元格 训练语料 网上问诊12万 单元格 单元格 实际占用GPU 单元格 单元格 单元格 注：fix-ctx指固定context encoder，不做更新 RAG
NeurIPS 2020|RAG：为知识密集型任务而生
ljp1919的专栏
10-10 2078
NeurIPS 2020|RAG：检索系统助攻生成器 背景 今天主要介绍一项Facebook AI Research发表于NeurIPS 2020(12月才召开，大家耐心等待哈) 的成果：RAG。 虽然NLP在过去几年中突飞猛进，从为特定任务设计定制化的框架，再到如今各种基于海里语料无监督预训练得到强大的通用模型通过微调即可应对各种不同NLP任务。这些模型充满潜力，但它们也有三个主要缺点: (1)不能轻易地扩展或修正模型的记忆 (2)预测结果的可解释性差 (3)偶尔产生“幻觉”(hallucinations
循环神经网络 中文情感分析案例
2301_76654710的博客
07-28 816
目录一、数据处理1、读取原始文件2、清洗数据3、分词4、构建词典并保存5、把每条文本编码成数字列表6、固定长度二、设置数据集、数据加载器三、构建模型结构四、配置具体模型参数与训练细节五、开始训练并保存六、模型测试（测试集）七、单条评论测试（可选）又做了一个小案例，刚好来复盘一下，是关于分析酒店评论的好坏，首先原始数据集如下：前面一列是标签，1代表好评，0代表差评，后面的是评论内容，一共有5000多条评论，下面开始：这里我总结了一下大概的步骤：读取原始文件 --> 清洗数据（去除标点符号等） --> 分词 -
深度学习G5周：Pix2Pix理论与实战
最新发布
Radiantsss的博客
07-31 402
学习了Pix2Pix算法，Pix2Pix是图像翻译必读的文章之一，核心技术有以下三点：①基于CGAN的损失函数,②基于U-Net的生成器，③基于PatchGAN的判别器。Pix2Pix虽然能在很多图像翻译任务上取得令人经验的效果，但因为它的输入是图像对，因此它得到的模型还是有偏（模型能够在与数据集近似的x的情况下得到满意的生成内容，但如果输入x与训练集偏差过大，得到结果不那么理想）的。学习每个模型的结构还是很有挑战性的，需要很长时间理解。
基于深度学习的医学图像分析：使用YOLOv5实现细胞检测
qq_74383080的博客
07-28 1973
本文介绍了使用YOLOv5实现医学图像中细胞检测的方法。文章首先阐述了医学图像分析和细胞检测的重要性及其在病理诊断、生物医学研究等领域的应用。然后详细讲解了YOLOv5的架构优势，包括高效性、灵活性和可扩展性。接着提供了完整的代码实现方案，包括环境准备、数据集加载、预训练模型迁移、模型训练与评估等步骤。通过实际案例展示了如何将YOLOv5应用于细胞检测任务，并鼓励读者尝试改进模型性能。文章为AI在医疗影像分析领域的实践应用提供了实用指导。
基于深度学习的医学图像分析：使用CycleGAN实现图像到图像的转换
qq_74383080的博客
07-29 677
本文介绍了CycleGAN在医学图像转换中的应用。文章首先阐述了医学图像分析的基本概念和图像转换在诊断、研究等方面的价值。随后详细讲解了CycleGAN的核心原理，包括其包含的两个生成器和判别器架构，以及关键的循环一致性损失机制。通过PyTorch代码示例，展示了从数据预处理、模型构建到训练评估的完整实现流程。实验证明，CycleGAN能够在不依赖配对数据的情况下实现高质量的医学图像转换。文章为医学图像处理领域的研究者提供了实用的技术参考，并鼓励读者进一步探索模型优化和应用拓展。
rag 检索增强生成
12-31
### 检索增强生成 RAG 技术原理 检索增强生成（RAG）是一种融合了检索技术和生成模型的方法，旨在通过结合外部知识库中的信息来改进自然语言处理任务的效果。具体而言，在面对特定查询时，系统会先利用检索模块从大量文档或其他形式的数据集中提取最相关的片段或条目；随后这些被选中的资料作为附加输入提供给生成组件，帮助其构建更加精准且富含背景支持的回答。 #### 工作流程概述 1. **检索阶段**：当接收到用户提出的请求后，RAG架构内的搜索引擎负责查找与之匹配度最高的若干候选答案来源。此过程可能涉及全文搜索、关键词定位或是更复杂的语义相似度计算等方式[^3]。 2. **生成阶段**：紧接着上述操作所得的结果会被传递至预训练的语言模型那里。此时后者不仅要理解原始问题本身所表达的意思，还需充分吸收由前者所提供的额外素材，并据此产出既贴合事实又具备良好流畅性的最终回复[^2]。 为了确保整个系统的高效运作以及输出质量，还需要特别关注以下几个方面： - 对于检索部分来说，采用先进的算法设计至关重要。这包括但不限于考虑如何衡量不同文本间的关联程度、怎样快速锁定目标范围等问题。实践中往往倾向于运用诸如BM25、TF-IDF这样的经典方案或者是基于深度学习框架下的新兴手段如BERT等来进行优化配置[^4]。 - 针对生成环节，则强调要让模型学会有效整合多源异构的知识表示形式——即能够把来自结构化表格记录、半结构性网页内容乃至纯叙述性描述等各种类型的有用资讯无缝衔接到一起，从而实现高质量的对话交互体验[^1]。 ```python from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration tokenizer = RagTokenizer.from_pretrained("facebook/rag-token-nq") retriever = RagRetriever.from_pretrained("facebook/rag-token-nq", index_name="exact", use_dummy_dataset=True) model = RagSequenceForGeneration.from_pretrained("facebook/rag-token-nq") input_dict = tokenizer.prepare_seq2seq_batch( "What is the capital of France?", return_tensors="pt" ) outputs = model.generate(input_ids=input_dict["input_ids"], context_input_ids=retriever(contexts=["Paris"])) print(tokenizer.batch_decode(outputs, skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值