丨汀、的博客

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏链接：NLP领域知识+项目+码源+方案设计前人栽树后人乘凉，本专栏提供资料：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等项目代码整合，省去你大把时间，效率提升。 帮助你快速完成任务落地，以及科研baseline。本人后续会持续整合ML、DRL、NLP等相关领域的体系化项目课程，方便入门同学快速掌握相关知识，

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本分割、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏链接：NLP领域知识+项目+码源+方案设计前人栽树后人乘凉，本专栏提供资料：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等项目代码整合，省去你大把时间，效率提升。 帮助你快速完成任务落地，以及科研baseline。

基于BiLSTM-CRF模型的分词、词性标注、信息抽取任务的详解，侧重模型推导细化以及LAC分词实践

玩转字词句魔法：打造超强样本集的数据增强策略，句式变换揭秘同义句生成与回译在数据增强中的创新应用

自然语言处理[信息抽取]：MDERank关键词提取方法及其预训练模型----基于嵌入的无监督 KPE 方法 MDERank

自然语言处理：长文本场景下的关键词抽取实践

自然语言处理文本分割[Text segmentation]：PoNet算法使用多粒度Pooling结构替代attention的网络

NLP：长文本场景下段落分割（文本分割、Text segmentation）算法实践----一种结合自适应滑窗的文本分割序列模型

自然语言处理长文本场景下的信息结构化实践：文本分割（话题分割、段落分割、Text segmentation、TextTiling算法）标题生成两大任务

人工智能自然语言处理：抽取式文本分割（Text Segmentation）算法介绍总结，智能断句解决文本过长问题

大赛背景全国大数据与计算智能挑战赛是由国防科技大学系统工程学院大数据与决策实验室组织的年度赛事活动，旨在深入挖掘大数据应用实践中亟需破解的能力生成难题，选拔汇聚数据领域优势团队，促进大数据领域的技术创新和面向需求的成果生成，推动形成 “集智众筹、联合攻关、共享共用” 的研建用一体迭代演进创新模式。

赛事背景自 2022 年底以来，大规模语言模型在各行各业产生了广泛的应用，其中围绕学术工具开发也诞生了许多具有影响力的应用，例如 ChatPDF 等。另一方面，在 2023 年 3 月 14 日，智谱 AI 与清华大学联合发布了 ChatGLM-6B 开源模型，并在不到一个月的时间内吸引了超过 100 万人下载安装。该模型在 Hugging Face (HF) 全球大模型下载榜中连续 12 天位居第一名，在国内外的开源社区中产生了较大的影响。

AI人工智能大模型汇总：类GPT系列模型、模型中转站Auto-GPT、多模态大模型、视觉模型、自然语言模型

官方文档：GitHub - doccano/doccano: Open source annotation tool for machine learning practitioners.记的进虚拟环境！！！！！Step 1. 本地安装doccano（请勿在AI Studio内部运行，本地测试环境python=3.8）Step 2. 初始化数据库和账户（用户名和密码可替换为自定义值）Step 3. 启动doccano 启动的时候不要使用应用程序（我是开着酷狗音乐软件，这个软件占用了端

{S}的{P}为{O}”需要能够构成语义合理的短语。比如对于三元组(S, 父子, O)，关系类别为父子是没有问题的。但按照UIE当前关系类型prompt的构造方式，“S的父子为O”这个表达不是很通顺，因此P改成孩子更好，即“S的孩子为O”。在数据转换阶段，我们会自动构造用于模型训练的prompt信息。点击创建（Create）开始创建一个新的项目，填写项目名称、描述，然后选择。图中展示了实体类型标签的构建，其他类型标签的构建可参考。对于关系抽取，其P的类型设置十分重要，需要遵循以下原则。

Step 2. 关系连线，箭头方向由主体（Subject）指向客体（Object）点击创建（Create）开始创建一个新的项目，填写项目名称、描述，然后选择。目录下（图片的文件名需与上传到label studio时的命名一致）。，输入用户名和密码登录，开始使用label-studio进行标注。Step 1. 标注主体（Subject）及客体（Object）图中展示了Span实体类型标签的构建，其他类型标签的构建可参考。勾选已标注图片ID，选择导出的文件类型为。目录下，并将对应的标注图片放入。

在数据转换阶段，还需要提供标签候选信息，放在./data/label.txt文件中，每个标签占一行。例如在医疗意图分类中，标签候选为["病情诊断", "治疗方案", "病因分析", "指标解读", "就医建议", "疾病表述", "后果表述", "注意事项", "功效作用", "医疗费用", "其他"]，也可通过options参数直接进行配置。

包括属性抽取、观点抽取、属性-观点抽取、属性-情感极性抽取、属性-情感极性-观点词三元组抽取等任务。其中属性-情感极-观点词(A-S-O)三元组抽取是最常见的任务之一，下面优先讲解该任务的标注规则。创建项目之前，需要先确定标注的任务类型以及需要标注哪些内容，然后点击创建（Create）开始创建一个新的项目，填写项目名称、描述。这里需要定位属性、情感极性、观点词三类信息，在标注时，需要将属性和情感极性进行组合，形成复合标签。设定好标签后，即可开始进行标注，选择正向或负向，最后点击提交，便标注好一条数据。

强烈推荐：数据标注平台doccano----简介、安装、使用、踩坑记录_汀、的博客-CSDN博客_doccanohuggingface官网参考：数据标注平台doccano----简介、安装、使用、踩坑记录相关教程直接参考别人的：与训练模型 【Huggingface Transformers】保姆级使用教程—上 - 知乎【Huggingface Transformers】保姆级使用教程02—微调预训练模型 Fine-tuning - 知乎huggingface transformers的trainer使用指南

Label Studio 所提供的 Machine Learning Backend 提供了一个比较灵活的辅助人工标注的框架，我们通过它确实可以加快 nlp 数据的标注Label Studio 的 enterprise 版本提供了 Active Learning 的流程，不过从其描述看这个流程并不完美，尤其是 fit 部分，由于 Label Studio 低估了「Train」所花费的时间，所以每次标注都自动训练的流程可能并不会那么顺滑(会在链接时候等待一段时间)

Label Studio 所提供的 Machine Learning Backend 提供了一个比较灵活的辅助人工标注的框架，我们通过它确实可以加快 nlp 数据的标注Label Studio 的 enterprise 版本提供了 Active Learning 的流程，不过从其描述看这个流程并不完美，尤其是 fit 部分，由于 Label Studio 低估了「Train」所花费的时间，所以每次标注都自动训练的流程可能并不会那么顺滑(会在链接时候等待一段时间)

人工标注的缺点主要有以下几点：产能低：人工标注需要大量的人力物力投入，且标注速度慢，产能低，无法满足大规模标注的需求。受限条件多：人工标注受到人力、物力、时间等条件的限制，无法适应所有的标注场景，尤其是一些复杂的标注任务。易受主观因素影响：人工标注受到人为因素的影响，如标注人员的专业素养、标注态度、主观判断等，易受到人为误差的干扰，导致标注结果不准确。难以满足个性化需求：人工标注无法满足所有标注场景和个性化需求，无法精确地标注出所有的关键信息，需要使用者自行选择和判断。

https://github.com/PaddlePaddle/PaddleNLPhttps://github.com/PaddlePaddle/PaddleNLP1.安装paddle参考官网：开始使用_飞桨-源于产业实践的开源深度学习平台首先在anaconda下创建虚拟环境：conda create -n test python=3.8 #test为创建的虚拟环境名称在安装paddlepython -m pip install paddlepaddle==2.3.0 -..

NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等前人栽树后人乘凉，本专栏提供资料：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等项目代码整合，省去你大把时间，效率提升。 帮助你快速完成任务落地，以及科研baselin

1.技术背景&赛题介绍：A Labeled Chinese Dataset for Diabetes中文糖尿病标注数据集详情请见。数据集链接：瑞金医院MMC人工智能辅助构建知识数据源：知识图谱构建SPO，知识图谱构建SPO-机器学习文档类资源-CSDN下载代码链接：瑞金医院MMC人工智能辅助构建知识代码-机器学习文档类资源-CSDN下载赛题说明本次大赛旨在通过糖尿病相关的教科书、研究论文来做糖尿病文献挖掘并构建糖尿病知识图谱。参赛选手需要设计高准确率，高效的算法来..

项目链接：主要介绍：如何从物流信息中抽取想要的关键信息呢？我们首先要定义好需要抽取哪些字段。比如现在拿到一个快递单，可以作为我们的模型输入，例如“张三18625584663广东省深圳市南山区学府路东百度国际大厦”，那么序列标注模型的目的就是识别出其中的“张三”为人名（用符号 P 表示），“18625584663”为电话名（用符号 T 表示），“广东省深圳市南山区百度国际大厦”分别是 1-4 级的地址（分别用 A1~A4 表示，可以释义为省、市、区、街道）。这是一个典型的命名实体识别（Named Entit

命名实体识别是NLP中一项非常基础的任务，是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。命名实体识别的准确度，决定了下游任务的效果，是NLP中的一个基础问题。在NER任务提供了两种解决方案，一类LSTM/GRU + CRF，通过RNN类的模型来抽取底层文本的信息，而CRF(条件随机场)模型来学习底层Token之间的联系；另外一类是通过预训练模型，例如ERNIE，BERT模型，直接来预测Token的标签信息。本项目将演示如何使用PaddleNLP语义预训练模型ERNIE完成从快递单中

主动学习是指对需要标记的数据进行优先排序的过程，这样可以确定哪些数据对训练监督模型产生最大的影响。主动学习是一种学习算法可以交互式查询用户(teacher 或 oracle)，用真实标签标注新数据点的策略。主动学习的过程也被称为优化实验设计。主动学习的动机在于认识到并非所有标有标签的样本都同等重要。主动学习是一种策略/算法，是对现有模型的增强。而不是新模型架构。主动学习背后的关键思想是，如果允许机器学习算法选择它学习的数据，这样就可以用更少的训练标签实现更高的准确性。

本项目将演示如何通过五条标注样本进行模型微调，快速且准确抽取快递单中的姓名、电话、省、市、区、详细地址等内容，形成结构化信息。辅助物流行业从业者进行有效信息的提取，从而降低客户填单的成本。如何从物流信息中抽取想要的关键信息呢？我们首先要定义好需要抽取哪些字段。比如现在拿到一个快递单，可以作为我们的模型输入，例如“张三18625584663广东省深圳市南山区学府路东百度国际大厦”，那么序列标注模型的目的就是识别出其中的“张三”为人名，“18625584663”为电话名，“广东省深圳市南山区百度国际大厦”分别是

本项目将演示如何通过小样本样本进行模型微调，快速且准确抽取快递单中的目的地、出发地、时间、打车费用等内容，形成结构化信息。辅助物流行业从业者进行有效信息的提取，从而降低客户填单的成本。{“id”“昌胜远黑龙江省哈尔滨市南岗区宽桥街28号18618391296”,“relations”[{“id”“姓名”},{“id”“省份”},{“id”“城市”},{“id”“县区”},{“id”“详细地址”},{“id”“电话”}]}{“id”{“id”1,“text”.........

自动从无结构或半结构的文本中抽取出结构化信息的任务, 主要包含的任务包含了实体识别、关系抽取、事件抽取、情感分析、评论抽取等任务; 同时信息抽取涉及的领域非常广泛，信息抽取的技术需求高，下面具体展现一些示例针对以上难题，中科院软件所和百度共同提出了一个大一统诸多任务的通用信息抽取技术 UIE（Unified Structure Generation for Universal Information Extraction），发表在ACL‘22。UIE在实体、关系、事件和情感等4个信息抽取任务、13个数据集

本项目将演示如何通过小样本样本进行模型微调，完成关系抽取。马云浙江省杭州市人,阿里巴巴集团主要创始人之一。现任阿里巴巴集团主席和首席执行官,他是《福布斯》杂志创办50多年来成为封面人物的首位大陆企业家，曾获选为未来全球领袖。任正非是中国大陆的民营电信设备企业一-华为公司的创始人兼总裁。他关于企业“危机管理”的理论与实践曾在业内外产生过广泛影响。马化腾，是腾讯主要创办人之一现担任公司控股董事会主席兼首席执行官。作为深圳土生土长的企业家,他曾在深圳大学主修计算机及应用，于1993年取得深大理学士学位。.....

任务介绍本赛道由中国司法大数据研究院承办。犯罪事实实体识别是司法NLP应用中的一项核心基础任务，能为多种下游场景所复用，是案件特征提取、类案推荐等众多NLP任务的重要基础工具。本赛题要求选手使用模型抽取出犯罪事实中相关预定义实体。与传统的实体抽取不同，犯罪事实中的实体具有领域性强、分布不均衡等特性。官网：http://data.court.gov.cn/pages/laic.html数据介绍(1) 本赛题数据来源于危险驾驶罪的犯罪事实，分为有标注样本和无标注样本，供选手选择使用；

本项目讲解了基于ERNIE信息抽取技术，对属性和关系的抽取涉及多对多抽取，主要是使用可ERNIEKIT组件，整体效果非常不错，当然追求小样本学习的可以参考之前UIE项目或者去官网看看paddlenlp最新的更新，对训练和部署进行了提速。

本项目提供了基于ERNIELayout&PDFplumber-UIEX多方案学术论文信息抽取，有兴趣同学可以研究一下UIE-X。UIE-X延续UIE的思路，基于跨模态布局增强预训练模型文心ERNIE-Layout重训模型，融合文本、图像、布局等信息进行联合建模，能够深度理解多模态文档。基于Prompt思想，实现开放域信息抽取，支持零样本抽取，小样本能力领先.

目前文档级关系抽取有三个公开的学术的数据集，分别是 CDR、GDA 以及清华大学团队发布的 DocRED。CDR是生物领域的一个人工标注的一个数据集，其任务是预测化学和疾病概念之间的二元相互作用，包含了 500 多篇训练文章；（20MB）GDA也是一个生物医学领域的大规模数据集，其任务主要是预测基因和疾病概念之间的二元相互作用，由 2 万～3 万篇训练文档组成；相对而言，（568MB）DocRED是一个比较新的大规模的众包数据集。

目前文档级关系抽取有三个公开的学术的数据集，分别是 CDR、GDA 以及清华大学团队发布的 DocRED。CDR是生物领域的一个人工标注的一个数据集，其任务是预测化学和疾病概念之间的二元相互作用，包含了 500 多篇训练文章；（20MB）GDA也是一个生物医学领域的大规模数据集，其任务主要是预测基因和疾病概念之间的二元相互作用，由 2 万～3 万篇训练文档组成；相对而言，（568MB）DocRED是一个比较新的大规模的众包数据集。

模型推理耗时提升倍数UIE+faster71.23170.561+UIE Slim9.327.6本项目为UIE框架升级版本实体关系抽取，详细讲解了数据标注，以及医疗领域NER微调，同时完成基于SimpleServing的快速服务化部署，并考虑了在一些工业应用场景中对性能的要求较高，若不能有效压缩则无法实际应用。因此，将UIE模型的知识迁移到封闭域信息抽取小模型，同时使用FasterTokenizer进行文本预处理加速，整体提速7.6x倍。

小样本军事关系抽取数据集实验指标：样本量PrecisionRecallF1 Score0-shot0.646340.535350.585645-shot0.894740.850000.8717910-shot0.927930.858330.89177full-set0.920.920.92性能对比模型推理耗时提升倍数UIE+faster30.83131.751-UIE Slim5.905.23。

本示例数据集是由清华大学提供的新闻文本数据集THUCNews。THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档（2.19GB），均为UTF-8纯文本格式。我们在原始新浪新闻分类体系的基础上，重新整合划分出14个候选分类类别财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。├──data数据目录训练集数据验证集数据测试集数据b.设置文件格式和内容。c.加载自定义数据集。#方法一BERT初始化。.........