基于满血Deepseek+ERNIE-4.5+多模态RAG+多Agent协同的文旅向导

于 2025-07-31 11:01:34 发布
阅读量125 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzA4MTk3ODI2OA==&mid=2650364085&idx=1&sn=b555f61f528c59c2ca0b26943b2e2ef5&chksm=866e5a8cc2c98e19140a5cbb4f2d49a6cd3b7f863ded3f7a53c6b90c2b453683fc79c4eb2ab6&scene=126&sessionid=0

图片

向AI转型的程序员都关注公众号 机器学习AI算法工程

项目背景

在文旅数字化进程中，传统导览系统面临非结构化数据处理能力不足、跨领域知识整合困难等挑战。本项目基于PaddleOCR、ERNIE与Deepseek模型，构建支持PDF/Word/图片/表格等多种文档类型的智能处理系统，通过多Agent协同机制实现文化解读与旅游规划的精准服务。

项目立意

多模态知识融合：整合OCR文字识别、表格解析、语义分块技术，实现文旅数据的深度结构化

双域知识治理：构建文化解读（历史/非遗/建筑）与旅游攻略（路线/交通/食宿）双知识库

智能决策协同：通过多Agent协作机制实现文化专家与旅游专家的智能调度

系统架构

核心功能模块

多格式解析架构：

PDF解析：采用PDFMiner的extract_text方法，保持段落结构

图像处理：PaddleOCR配置参数use_angle_cls=True, lang="ch"提升中文识别准确率

表格处理：对CSV/Excel文件实现行列元数据注入

技术架构

Image Name

Image Name

多层知识库构建

Image Name

Image Name

问答服务

Image Name

Image Name

Image Name

本系统通过深度整合多模态数据处理与双域知识库，为无锡文旅行业打造了可扩展、高可靠、智能化的数字导览解决方案，日均处理游客咨询量提升，助力传统文旅服务向智慧化转型。

ERNIE-4.5强势来袭

实验手册

请先输入你的token

token获取

Image Name

Image Name

Image Name

Image Name

python knowledge_base_builder.py  # 多层知识库构建

Image Name

Image Name

python rag_service.py  # 启用问答服务

Image Name

Image Name

Image Name

机器学习算法AI大数据技术

 搜索公众号添加： datanlp

图片

长按图片，识别二维码

阅读过本文的人还看了以下文章：

实时语义分割ENet算法，提取书本/票据边缘

整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主

《大语言模型》PDF下载

动手学深度学习-（李沐）PyTorch版本

YOLOv9电动车头盔佩戴检测，详细讲解模型训练

TensorFlow 2.0深度学习案例实战

基于40万表格数据集TableBank，用MaskRCNN做表格检测

《基于深度学习的自然语言处理》中/英PDF

Deep Learning 中文版初版-周志华团队

【全套视频课】最全的目标检测算法系列讲解，通俗易懂！

《美团机器学习实践》_美团算法团队.pdf

《深度学习入门：基于Python的理论与实现》高清中文PDF+源码

《深度学习：基于Keras的Python实践》PDF和代码

特征提取与图像处理(第二版).pdf

python就业班学习视频，从入门到实战项目

2019最新《PyTorch自然语言处理》英、中文版PDF+源码

《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码

《深度学习之pytorch》pdf+附书源码

PyTorch深度学习快速实战入门《pytorch-handbook》

【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》

《Python数据分析与挖掘实战》PDF+完整源码

汽车行业完整知识图谱项目实战视频(全23课)

李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材

笔记、代码清晰易懂！李航《统计学习方法》最新资源全套！

《神经网络与深度学习》最新2018版中英PDF+源码

将机器学习模型部署为REST API

FashionAI服装属性标签图像识别Top1-5方案分享

重要开源！CNN-RNN-CTC 实现手写汉字识别

yolo3 检测出图像中的不规则汉字

同样是机器学习算法工程师，你的面试为什么过不了？

前海征信大数据算法：风险概率预测

【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类

VGG16迁移学习，实现医学图像识别分类工程项目

特征工程(一)

特征工程(二) :文本数据的展开、过滤和分块

特征工程(三):特征缩放,从词袋到 TF-IDF

特征工程(四): 类别特征

特征工程(五): PCA 降维

特征工程(六): 非线性特征提取和模型堆叠

特征工程(七)：图像特征提取和深度学习

如何利用全新的决策树集成级联结构gcForest做特征工程并打分？

Machine Learning Yearning 中文翻译稿

蚂蚁金服2018秋招-算法工程师（共四面）通过

全球AI挑战-场景分类的比赛源码(多模型融合)

斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）

python+flask搭建CNN在线识别手写中文网站

中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程

不断更新资源

深度学习、机器学习、数据分析、python

 搜索公众号添加： datayx  

图片

datayx
关注
「源力觉醒 创作者计划」_全方面实测文心ERNIE-4.5-VL-28B-A3B开源大模型
背锅神童的博客
07-31 619
此次百度开源的ERINE-4.5系列模型共22个，包含2个多模态大模型，4个大语言模型及其不同变体的庞大家族，其核心采用了创新的异构多模态混合专家（MoE）架构，在提升多模态理解能力的同时，实现了文本处理性能的同步增强。每个版本的模型都开源了基座（带Base）版本和后训练版本（不带Base）。本次实测以文心大模型为例，分别从语言理解方面、逻辑推理方面、知识问答方面、代码理解方面、图片识别方面评测文心大模型。
基于keras实现多标签分类（multi-label classification）
Synioe的博客
11-09 6917
首先讨论多标签分类数据集（以及如何快速构建自己的数据集）。 之后简要讨论SmallerVGGNet，我们将实现的Keras神经网络架构，并用于多标签分类。 然后我们将实施SmallerVGGNet并使用我们的多标签分类数据集对其进行训练。 最后，我们将通过在示例图像上测试我们的网络，并讨论何时适合多标签分类，包括需要注意的一些注意事项。 multi-label classificati...
多标签分类（multilabel classification ）
热门推荐
bemachine的专栏
08-30 3万+
这几天看了几篇相关的文章， 写篇文章总结一下，就像个小综述一样， 文章会很乱    1、multilabel classification的用途          多标签分类问题很常见， 比如一部电影可以同时被分为动作片和犯罪片， 一则新闻可以同时属于政治和法律，还有生物学中的基因功能预测问题， 场景识别问题，疾病诊断等。   2. 单标签分类          在传统的单标签分类中，训练
火灾火焰检测数据集和yolov4检测模型
datayx的文章
11-01 4765
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx开源1个火灾检测数据集(含标注)和预训练模型。火灾检测数据集图像2059张：包含大火...
多标签分类
weixin_34034261的博客
10-17 1212
1. 算法 多标签分类的适用场景较为常见，比如，一份歌单可能既属于标签旅行也属于标签驾车。有别于多分类分类，多标签分类中每个标签不是互斥的。多标签分类算法大概有两类流派： 采用One-vs-Rest（或其他方法）组合多个二分类基分类器； 改造经典的单分类器，比如，AdaBoost-MH与ML-KNN。 One-vs-Rest 基本思想：为每一个标签\(y_i\)构造一个二分类器，正样本为含有标...
详解深度学习中的教师-学生模型（Teacher- Student Model）
月亮不知道的博客
03-08 3万+
在知识蒸馏时，我们通常不会仅让学生模型去模仿最高概率的那个类别，而是让它学习整个教师模型的“软化”概率分布，比如通过提高温度参数（temperature scaling）来使分布更加平滑，分布中的每个类别的概率都将被赋予更高的相对重要性，即使它们不是最大概率的类别。，在一个图像分类任务中，教师模型可能是一个大型的预训练神经网络，它对输入图片计算出各类别的概率分布，如对于10类问题，不仅预测出哪个类别最有可能是正确的，还给出所有类别对应的概率值。学生模型则根据这些软标签进行学习，从而模仿教师模型的决策过程。
探索PyTorch之光：《深入浅出PyTorch —— 从模型到源码》开源宝藏指南
gitblog_00061的博客
06-08 388
探索PyTorch之光：《深入浅出PyTorch —— 从模型到源码》开源宝藏指南 PyTorchIntroduction《深入浅出 PyTorch——从模型到源码》源代码和勘误（见Issues）项目地址:https://gitcode.com/gh_mirrors/py/PyTorchIntroduction 在这个深度学习飞速发展的时代，掌握PyTorch这一强大的工具已成为众多开发者和研究...
基于ERNIE-Bot 4.0大模型与多终端无缝对接的日记小镇设计源码
09-30
基于ERNIE-Bot 4.0大模型与多终端无缝对接的日记小镇设计源码，不仅是一个技术上创新的产品，更是一个在心理健康领域有着实际应用价值的工具。通过智能化的情感分析和视觉内容生成，它能够帮助用户更好地理解自身...
基于ernie + bert-wwm-ext + roberta-large实现新馆疫情语句的文本匹配问答.zip
01-12
本解决方案中，在预测时，首先用原测试集预测一遍标签；然后将原测试集的query1和query2字段交换，再次预测一遍；...基于ernie + bert_wwm_ext + roberta_large实现新馆疫情语句的文本匹配问答.zip
基于python+Flask+Paddle-ERNIE实现的的自动派单系统源码+项目说明.zip
12-20
基于python+Flask+Paddle-ERNIE实现的的自动派单系统源码+项目说明.zip 基于fasttext的文本分类 最初的派单项目是使用fasttext实现的文本分类模型实现的一级文本分类任务。在这个任务中，没有层级分类的概念，即各...
ERNIE 4.5 模型系列正式开源，马上商用！
最新发布
weixin_44904675的博客
07-02 622
ERNIE 4.5的开源与免费商用打开了巨大的可能性。关键在于快速行动、聚焦场景、结合优势（技术+领域知识/服务）、打造闭环、持续迭代。​​ 无论是雄心勃勃的创业，还是增加收入的副业，现在都是探索和实践的最佳时机。选择一个你感兴趣且有一定认知的切入点，用ERNIE作为超级引擎，开始你的AI赋能之旅吧！祝你成功！🎉。
火焰识别，火灾检测 数据集
09-14
火焰识别，火灾检测 数据集
火焰数据集
06-25
火灾识别的部分未处理的原始数据图片，适用于火灾现场的识别与警示
知识蒸馏，需要合适的教师模型，学生模型，蒸馏数据，损失函数，训练策略，让小模型有大模型的知识
白水空空
05-10 5510
知识蒸馏是一种将知识从一个神经网络（教师）转移到另一个神经网络（学生）的技术，如需更深入地了解知识蒸馏，建议阅读[。这一过程有多种形式，可分为以下几类响应知识蒸馏： 使用 divergence 损失（即使用 KL 散度）训练输出类概率分布，使其与教师概率分布相匹配。特征知识蒸馏： 训练学生模型的内部特征，使其与教师模型的内部特征直接匹配（即：使用均方误差）。关系知识蒸馏： 训练教师模型中特征的相对分布，使之与学生模型中特征的相对分布相匹配。
学生模型、教师模型
qq_41327049的博客
09-26 1848
学生模型是一个较小、较简单的模型，旨在从另一个更复杂、性能更优的模型（即教师模型）中学习和模仿其行为或预测结果。教师模型是一个经过充分训练且表现良好的模型，它通常是一个较大、较复杂的模型，能够在特定任务上达到较高的性能水平。在学生-教师模型中，教师模型通过知识蒸馏技术将其知识和经验传递给学生模型。学习能力：学生模型通过模仿教师模型的输出或特征表示来学习，从而能够在一定程度上达到或接近教师模型的性能。学生模型学习：学生模型通过模仿教师模型的输出或特征表示来学习，并在训练过程中逐渐优化其参数和结构。
火灾检测数据集，可区分烟火火焰和烟雾，9332张图片，支持YOLO，COCO，VOC格式的标记
网易搬砖头
12-10 2179
烟火数据集，可区分火焰和烟雾，9332张图片，支持YOLO，COCO，VOC格式的标记。
Smoke-Fire-Detection Dataset：烟雾/火灾检测数据集
qq_38220914的博客
03-03 1252
其中，仅有火灾的图像有 1164 张，这些图像展示了不同规模、不同燃烧物质的火灾场景，从家庭中的小型火灾到工业场所的大型火灾，为模型学习火灾的特征提供了丰富的素材。今天，我们将深入了解一个在烟雾与火灾检测领域发挥关键作用的数据集 —— 用于 YOLO 的烟雾 - 火灾检测数据集，以及与之紧密相关的研究论文，探寻它们如何为我们的安全保驾护航。无论是白天还是夜晚，室内还是室外，不同的光照条件、环境背景下的烟雾和火灾场景都有所涵盖，为模型提供了全面的学习样本，使其能够适应各种复杂的实际应用场景。
多模态生成模型ERNIE-VILG
07-27
ERNIE-VILG（Enhanced Representation through Knowledge Integration）是一种多模态生成模型。它结合了图像和文本信息，能够同时处理视觉和语言任务。ERNIE-VILG基于ERNIE（Enhanced Representation through Knowledge Integration）模型进行扩展，加入了视觉特征的处理能力，使其能够更好地理解和生成多模态内容。 ERNIE-VILG的设计灵感来自于视觉语言预训练（Vision-Language Pretraining，VLP）任务。它通过将图像和文本对作为输入，预测视觉和语言之间的联系，从而学习到联合的多模态表示。这种联合表示可以用于多种任务，如图像描述生成、视觉问答等。 ERNIE-VILG的训练过程包括两个阶段：预训练和微调。在预训练阶段，模型通过大规模的视觉-语言数据集进行无监督学习，学习到联合的多模态表示。在微调阶段，使用有监督的多模态任务数据对模型进行微调，使其适应具体的任务。 通过结合视觉和语言信息，ERNIE-VILG能够更好地理解和生成多模态内容，具有广泛的应用前景，如图像描述生成、视觉问答等任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值