RAG 数据工程

于 2025-09-09 14:37:07 发布
阅读量743 收藏 23
点赞数 32
CC 4.0 BY-SA版权
分类专栏： 大模型 文章标签： 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Shockang/article/details/151360352
#『AI先锋杯·14天征文挑战第5期』#

思维导图

在这里插入图片描述

课程内容

1. 课程定位与总体目标

本课程系统讲解了面向企业级检索增强生成（RAG）应用的数据工程全链路：
原始数据处理 → 文档转换 → 数据切块（Chunking）→ 父子检索（Parent-Child Retrieval）→ 评估体系与训练数据构建 → 嵌入/重排/大模型微调。
重点强调：RAG 效果 50% 以上取决于数据工程质量；避免将问题简单归因于“模型能力”。

2. 原始数据类型与统一处理目标

原始数据分两大类：

  • 非结构化：扫描 PDF、文字版 PDF、Word、Excel、PPT、网页、Markdown、图像、表格、公式、图片、语音/视频（提及但非重点）。
  • 结构化 / 半结构化：数据库（SQL）、知识图谱、业务表格（含大量缩写/编码字段）。

统一处理目标：

  1. 转换为“可检索 + 可追溯”的带元数据 Markdown（推荐）或等价文本格式。
  2. 保留文本、表格（Markdown Table）、图片链接及描述、公式（保留可解析格式）、必要结构层级。
  3. 补充 Metadata：文件 ID、来源、业务分类、Chunk 上下文关系等。

附加可选增强：

  • 构建知识图谱：仅在结构化关系强、跨实体推理价值高（如核电设备、教育知识点树）时使用；非默认必选。
  • 数据库“人类友好化”改造：字段重命名、外键展开、冗余必要可读信息、裁剪无用列。

3. 文档转换三类技术路线

3.1 Pipeline 小模型组合方案

在这里插入图片描述

流程：版式/版面结构识别 → 分类（段落/标题/表格/图/公式/水印/印章等）→ OCR → 表格结构解析/单元格合并处理 → 公式识别 → 图表解析（可转数值表）→ 版式/阅读顺序恢复 → 纠错。
代表：PP-StructureV3（PaddleOCR），MinerU 2.0 Pipeline。
优点：

  • 可 CPU 运行；组件可替换与针对性微调；定位问题粒度细。
    缺点：
  • 工程胶水代码多、调试与部署复杂；需要一定 CV/模型背景；OCR 仍有错别字。

3.2 通用 VLM（多模态大模型）方案

在这里插入图片描述

通过 Few-shot + 强基座模型直接“图 → Markdown”。
优点：

  • 识别准确率较高；支持 Few-shot 不训练提升；对复杂表格/跨模态内容友好。
    缺点：
  • 成本高、速度慢；仍需工程封装（图像抽取）；存在“主动修改文本”幻觉风险。

3.3 专用 VLM（垂类文档理解模型）

在这里插入图片描述

如 GOT-OCR 训练思路、MinerU2.0-2505-0.9B、MonkeyOCR-pro-1.2B、OCRFlux-3B、dots.ocr 等。
特点：

  • 针对文档视觉
最低0.47元/天 解锁文章

200万优质内容无限畅学
RAG工程-基于LangChain 实现 Naive RAG
wend的博客
04-19 1549
本篇文章以实现简单的第一范式 RAG-Naive RAG为目标，并最终创建并实现一个基于RAG的论文分析器的项目。
RAG 提示词工程最佳实践
AI天才研究院
04-06 1528
虽然目前网络上关于提示工程的相关资料已经多如牛毛，然而 RAG (检索增强生成) 任务中提示工程如何进行的资料相对而言却较少。不少朋友之前也热烈的讨论过 RAG 场景下提示词的运用，因此 Zen 禅与计算机程序设计艺术 特别推出 RAG 任务下的提示词实践经验系列分享。RAG 是检索增强生成（Retrieval Augmented Generation）的简称，是当前最火热的企业级LLM应用方案。
RAG 架构地基工程-Retrieval 模块的系统设计分享
热门推荐
张彦峰的博客
08-24 8万+
Retrieval-Augmented Generation（RAG）架构在大模型时代大放异彩，而其中的 Retrieval 模块往往被低估。本文系统梳理了 Retrieval 模块的关键设计点，包括数据源类型、文档切分策略、向量化与存储结构、语义检索方式，以及多文档融合机制。通过图示与表格对比，揭示不同设计选择对生成效果的深远影响，强调 Retrieval 不仅是召回，更是影响最终答案质量的“地基工程”。本文旨在为研发者构建可控、可调、可解释的 RAG 系统提供结构化参考。
检索增强生成（RAG）领域数据集综合评述
yanqianglifei的专栏
06-20 1322
本文对检索增强生成（RAG）领域的148个关键数据集进行了全面梳理、分类和深度分析。通过构建一个六大类的分层分类体系，我们系统地展示了RAG数据集从基础问答向复杂推理、多模态融合、专项应用及深度评估基准演进的全景。核心发现任务多样化：RAG的应用场景已远超开放域问答，深入到事实验证、医疗、金融等多个知识密集型领域。评估深度化：评估范式正从关注答案准确性的单一维度，转向涵盖检索质量、生成忠实度、系统鲁棒性等在内的多维立体评估。挑战持续存在。
从0到1打造企业级AI售前机器人——实战指南二：RAG工程落地之数据处理篇[特殊字符]
python12345_的博客
04-28 1157
RAG工程的内容有些多，怕大家看着太累，还是决定分成两个部分发。本文我们了解了RAG的原理、数据的处理方案、以及实战中的数据应用方案。只能进行文本回复，无法提供相关的图片、视频等能力。如果用户query不标准，问题不全，我们的知识库可能匹配不到内容。知识库中的内容仍然存在匹配错误的情况。例如：用户问A产品的价钱，我们知识库筛选出了B产品的价钱，然后回复给了用户。经典的中文二义性问题。用户的问题可以用A来回答，也可以用B来回答，怎么办？所以下一篇，我们将会完成RAG工程，来解决上述四个问题。
RAG架构的数据准备流程
Appen_China的博客
05-28 1201
虽然现成的大型语言模型 (LLM) 功能强大，但企业发现，根据其专有数据定制 LLM 可以释放更大的潜力。检索增强生成 (RAG) 已成为这种定制的主要方法之一。RAG 模型将大型语言模型强大的语言理解能力与检索组件相结合，使其能够从外部数据源收集相关信息。这使模型能够“读取”和利用企业数据来生成输出，从而产生更准确、更符合上下文的答案，并使用最新信息进行更新。有许多工具可以帮助企业构建 RAG 架构；但是，构建高性能 RAG 系统需要对架构的每个步骤进行优化。
企业级RAG系统最需要关注的6个数据工程问题
star_nwe的博客
01-03 1284
在企业级RAG（检索增强生成）系统的构建中，数据是支撑整个系统的核心，而数据的整合、准备、优化与治理，直接影响到RAG系统的架构设计、技术选择和实际效果。我们简单阐述这个六个方面对RAG系统架构与技术的影响。
RAG系统工程化
2401_89221445的博客
07-09 827
上述介绍了RAG系统工程化的步骤，不涉及具体的技术选型。最近有文章说统一化的RAG系统都是伪需求，核心是因为RAG面向的数据源与需求从不固定，也没有统一，所以期望一套RAG规范解决所有需求是不现实的，工程化各个节点里总是不断取舍，最终得到接近需求的实现方式。
AI数据技术02：RAG数据检索
gongdiwudu的专栏
10-04 7293
​ 在人工智能的动态环境中，检索增强生成（RAG）已成为游戏规则的改变者，彻底改变了我们生成文本和与文本交互的方式。RAG 使用大型语言模型（LLM） 等工具将信息检索的强大功能与自然语言生成无缝结合，为内容创建提供了一种变革性的方法。 ​
大模型面经—RAG工程实践经验总结
2401_85325726的博客
11-12 824
RAG工程如何评测？虽然RAG工程整体有很多论文、算法和方法论，但在实际使用过程中，当数据量大了RAG很容易出现不可控的问题， 本篇就针对实践过程中遇到的问题总结面经进行分享，看看能不能给大家提供一些帮助。下面是一个快捷目录。下面是答案。让被检索的内容与query之间的相关性更加紧密特别是术语更新较快且比较罕见的领域，可以针对性地进行微调。基于上下文动态调整embedding当然这只是个发论文的思路，工程落地的时候这块还是有待验证的。
基于 RAG 和大模型的工程实战:环境配置
tyler_download的专栏
11-05 463
文本给出了实现 基于 RAG 和大模型的工程环境配置
RAG知识点详细解答-数据预处理篇
charles666666的博客
04-20 1075
在RAG系统中，PDF、Word、HTML等非结构化文档是知识的主要载体。▸ NoSQL数据库：解析JSON嵌套结构（如MongoDB的BSON格式）▸ 邮件解析需分离正文/附件/签名（识别"Best regards"分界）▸ 图像分离：将图表与文本区域智能划分（如分辨率为300dpi的扫描件）▸ 版面分析：识别标题/正文/表格的坐标位置（如0.2mm精度定位）▸ 样式继承：自动继承父级样式（如二级标题继承一级标题的字体）▸ 段落提取：精准识别w:p标签包裹的文本块。
【scratch2.0少儿编程-游戏原型-动画-项目源码】角色控制猫咪MM.zip
09-13
资源说明： 1：本资料仅用作交流学习参考，请切勿用于商业用途。更多精品资源请访问 https://blog.csdn.net/ashyyyy/article/details/146464041 2：一套精品实用scratch2.0少儿编程游戏、动画源码资源，无论是入门练手还是项目复用都超实用，省去重复开发时间，让开发少走弯路！
SourceCodeSecurityAudit(源代码安全审计).zip
09-13
SourceCodeSecurityAudit(源代码安全审计).zip
chimesdkmeetings-jvm-1.4.124-javadoc.jar
09-13
chimesdkmeetings-jvm-1.4.124-javadoc.jar
对偶是个科技路撒地方就看了
最新发布
09-13
我去二区块将复何及水电费
【scratch2.0少儿编程-游戏原型-动画-项目源码】计算两个数的最大公约数.zip
09-13
资源说明： 1：本资料仅用作交流学习参考，请切勿用于商业用途。更多精品资源请访问 https://blog.csdn.net/ashyyyy/article/details/146464041 2：一套精品实用scratch2.0少儿编程游戏、动画源码资源，无论是入门练手还是项目复用都超实用，省去重复开发时间，让开发少走弯路！
【scratch2.0少儿编程-游戏原型-动画-项目源码】画图软件（不完整版）.zip
09-13
资源说明： 1：本资料仅用作交流学习参考，请切勿用于商业用途。更多精品资源请访问 https://blog.csdn.net/ashyyyy/article/details/146464041 2：一套精品实用scratch2.0少儿编程游戏、动画源码资源，无论是入门练手还是项目复用都超实用，省去重复开发时间，让开发少走弯路！
cybrid-api-organization-kotlin-0.113.122-javadoc.jar
09-13
cybrid-api-organization-kotlin-0.113.122-javadoc.jar
什么是RAG工程
05-01
### RAG 工程的定义 RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了传统检索技术和现代生成模型的技术框架。其核心理念在于利用外部知识库中的信息来增强大语言模型（LLM）的生成能力[^1]。具体来说，RAG 不仅依赖于预训练的语言模型参数，还通过实时检索相关文档并将其作为上下文输入给模型，从而提高生成内容的质量和准确性。 在实际应用中，RAG 的目标是解决纯生成模型可能存在的幻觉问题（hallucination），即生成的内容与事实不符的情况。通过引入基于真实数据的检索模块，RAG 能够显著提升生成结果的真实性和可靠性[^2]。 --- ### RAG 技术架构 #### 基本技术流程 RAG 的基本工作流可以分为以下几个部分： 1. **查询解析** 用户输入被解析为结构化形式以便后续处理。这一阶段可能会涉及自然语言理解（NLU）技术，用于提取关键意图或实体。 2. **文档检索** 使用搜索引擎或其他索引工具从大规模数据库中查找与当前请求最相关的若干篇文档片段。这些文档通常存储在一个专门构建的知识图谱或者语料库里[^1]。 3. **上下文融合** 将检索得到的结果整理成适合传递给生成模型的形式，并附加至原始提问之后形成新的输入序列[^2]。 4. **响应生成** 利用大型预训练语言模型读取上述组合后的文本串，最终输出一段连贯的回答[^1]。 #### 高级功能扩展 除了基础版本外，还有多种改进型方法进一步增强了系统的灵活性与性能表现： - **路由机制**：根据不同类型的询问自动切换对应的检索策略，比如针对特定领域采用定制化的算法[^2]。 - **自反思回路**：当初步产生的答案质量较低时触发重试逻辑——要么修改原搜索条件再次尝试获取更优匹配项；要么直接替换掉不恰当的部分再送入下一步操作链条之中[^2]。 以下是实现该架构的一个简单伪代码示例： ```python def rag_pipeline(query, retriever, generator): retrieved_docs = retriever.search(query) # 文档检索 context = " ".join(retrieved_docs) input_text = f"{query} [SEP] {context}" # 上下文拼接 response = generator.generate(input_text) # 输出生成 return response ``` --- ### 总结 综上所述，RAG 是一种创新性的混合范式，在保留传统 IR 系统优势的同时充分发挥了神经网络强大的泛化特性。对于希望打造兼具效率与精准度的信息服务类产品开发者而言，掌握这项技能无疑具有重要意义[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值