Transformer大模型实战 命名实体识别任务

最新推荐文章于 2025-04-02 19:14:34 发布
最新推荐文章于 2025-04-02 19:14:34 发布
阅读量851 收藏 30
点赞数 27
CC 4.0 BY-SA版权
分类专栏： AI大模型应用开发实战 文章标签： java python javascript kotlin golang 架构 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_76268839/article/details/144638899

Transformer, 命名实体识别, NER, 自然语言处理, NLP, 预训练模型, fine-tuning, BERT, RoBERTa, XLNet

1. 背景介绍

命名实体识别 (Named Entity Recognition, NER) 是自然语言处理 (Natural Language Processing, NLP) 中一项重要的基础任务，旨在识别文本中的实体，并将其分类到预定义的类别中，例如人名、地名、组织机构、时间、日期等。NER 在许多应用场景中发挥着关键作用，例如信息抽取、问答系统、机器翻译、文本摘要等。

随着深度学习技术的快速发展，基于 Transformer 架构的预训练语言模型 (Pretrained Language Model, PLM) 在 NER 任务上取得了显著的成果。这些模型通过在海量文本数据上进行预训练，学习了丰富的语言表示能力，可以有效地捕捉文本中的语义信息，从而提高 NER 的准确率。

2. 核心概念与联系

2.1 Transformer 架构

Transformer 架构是一种新型的序列到序列模型，其核心特点是利用自注意力机制 (Self-Attention) 来捕捉序列中的长距离依赖关系。与传统的循环神经网络 (RNN) 不同，Transformer 不需要逐个处理序列中的元素，而是可以并行处理整个序列，从而提高训练效率。

Transformer 架构主要由以下几个部分组成：

  • 编码器 (
了解本专栏 订阅专栏 解锁全文 超级会员免费看
自然语言处理之命名实体识别：Conditional Random Fields (CRF)：CRF模型训练与优化
zhubeibei168的博客
04-20 1011
条件随机场(Conditional Random Fields, CRF)是一种用于建模序列数据的统计模型，尤其适用于标注问题。在命名实体识别(NER)中，CRF能够处理序列依赖性，同时考虑全局最优解，而非局部最优。
【转】大模型微调-命名实体识别
qq_42248452的博客
07-31 534
2、Lora微调训练。
论文精读-《GPT-NER: Named Entity Recognition via Large Language Models》
qq_38146189的博客
06-25 3282
大规模语言模型（LLM）在上下文学习方面展现出卓越能力，能够通过少量示例快速适应新任务，尤其在机器翻译、问答和实体抽取等NLP领域取得显著成果。然而，LLM在NER任务上的表现仍落后于监督学习方法，因为NER的序列标记特性与LLM的文本生成形式存在差异。为此，文章提出了GPT-NER模型，它通过将NER任务转化为文本生成任务来解决这一问题，使用特殊标记来标识实体。GPT-NER还引入了自我验证策略，以减少LLM在实体识别上的过度自信倾向，有效缓解了幻觉问题。
命名实体识别Baseline模型BERT-MRC总结
热门推荐
CycloneKid的博客
11-11 1万+
BERT-MRC模型 BERT-MRC模型是目前实体识别领域的一个SOTA模型，在数据量较小的情况下效果较其他模型要更好，原因是因为BERT-MRC模型可以通过问题加入一些先验知识，减小由于数据量太小带来的问题，在实际实验中，在数据量比较小的情况下，BERT-MRC模型 的效果确实要较其他模型要更好一点。BERT-MRC模型很适合在缺乏标注数据的场景下使用。 BERT-MRC模型的理论基础 MRC机器阅读理解 给定一个文本序列X，它的长度为n，要抽取出其中的每个实体，其中实体都属于一种实体类型。假设该数据集
使用bert预训练模型微调实现命名实体识别任务
03-11
### 使用BERT预训练模型微调实现命名实体识别任务 #### 一、背景介绍与理论基础 **命名实体识别（Named Entity Recognition, NER）**是自然语言处理领域的一项关键技术，其目的是从文本中识别出具有特定意义的实体...
大语言模型在命名实体识别中的原理与实现
AI天才研究院
03-25 1454
大语言模型在命名实体识别中的原理与实现 作者：禅与计算机程序设计艺术 1. 背景介绍 命名实体识别（Named Entity Recognition，简称NER）是自然语言处理领域的一项重要任务,它旨在从非结构化文本中识别出特定类型的命名实体,如人名、地名、组织名等。这些命名实体往往携带着重要的语义信息,在信息抽取、问答系
微调大型语言模型进行命名实体识别
deephub
03-17 3212
自回归模型(像大多数llm一样)被训练来正确预测“下一个令牌”。给定我们刚刚创建的训练数据样本和微调训练设置，模型将学习预测文本所有部分的下一个标记，即任务描述、实体列表、样本示例、会话历史中硬编码的模型思维链等。这将使模型除了学习预测正确的结果外，还学习任务描述中的令牌分布。这使得我们的学习任务有点繁琐。我们对LLM进行微调的主要目标是为给定的输入字符串生成结构良好且正确的检测。因此，我们应该只计算输出字符串中令牌的损失。所以在我们的示例训练数据中，模型应该只计算以下令牌的损失Hi!
【AI大模型实战】Qwen2大模型微调入门实战-命名实体识别（NER）任务
datian1234的博客
12-25 1309
大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统NLP模型（比如Bert），来实现更高精度的NLP任务。
命名实体识别模型BERT-Bi-LSTM-CRF
u013250861的博客
05-27 7586
序列标注的命名实体识别众多方法中将CNN、RNN和BERT等深度模型与条件随机场CRF结合已经成为最主流和普遍的方法，在本篇文章中我们仅关注基于CRF的序列标注模型。[机器学习]：早期传统机器学习时代，除了利用人工规则的方法外，往往利用隐马尔科夫链HMM和条件随机场CRF进行实体标注；随着深度学习的发展，将CNN和RNN做为基本的文本特征编码器，更好的学习token或word的隐层表示，再利用CRF进行实体标签分类，Bi-LSTM-CRF是最常用和普遍的实体识别模型；[预训练模型]
中文命名实体识别：基于PyTorch的多模型中文命名实体识别
zp563987805的博客
02-29 1万+
命名实体识别作为序列标注类的典型任务，其使用场景特别广泛。本项目基于PyTorch搭建HMM、CRF、BiLSTM、BiLSTM+CRF及BERT模型，实现中文命名识别任务，部分内容参考了https://zhuanlan.zhihu.com/p/61227299，全部代码链接上可找。 数据集 数据集来源于ACL 2018Chinese NER using Lattice LSTM论文中从新浪财经收...
使用bert的预训练模型做命名实体识别NER
weixin_42280271的博客
03-23 1739
在上一篇提到了如何使用blstm-crf模型来训练本地数据集，完成命名实体提取的任务，还详细解析了代码和对应的原理。针对特定的任务，垂直的领域，可能需要使用特定数据集去训练，从而使得模型有一个很好的效果，但是在一些非特定（垂直）领域，是完全可以使用预训练好的模型来做命名实体识别任务的。下面，介绍一下如何使用开源框架，导入预训练好的bert模型来做命名实体识别。
07 大模型学习——HuggingFace命名实体任务
最新发布
weixin_54388827的博客
04-02 827
通过huggingface实现命名实体任务
NLP算法-命名实体识别
Albert_weiku的博客
10-25 8264
与自动分词、词性标注一样，命名实体识别也是自然语言处理的一个基础任务，是信息抽取、信息检索、机器翻译、问答系统等多种自然语言处理技术必不可少的组成部分。其目的是识别语料中人名、地名、组织机构名等命名实体。由于这些命名实体数量不断增加，通常不可能在词典中穷尽列出，且其构成方法具有各自的规律性，因此，通常把对这些词的识别在词汇形态处理（如汉语切分）任务中独立处理，称为命名实体识别（ Named Entities Recognition，NER ）
知识图谱 基于CRF的命名实体识别模型
王清欢的博客
04-11 1万+
基于CRF的命名实体识别模型 条件随机场 CRF ​ 条件随机场 CRF 是在已知一组输入随机变量条件的情况下，输出另一组随机变量的条件概率分布模型；其前提是假设输出随机变量构成马尔可夫随机场；条件随机场可以应用于不同类型的标注问题，例如：单个目标的标注、序列结构的标注和图结构的标注等。 ​ 在给定训练集 xxx 和对应的标记序列 yyy ，以及多个特征函数需要学习 CRF 的模型参数 λj,uk\lambda_j,u_kλj​,uk​ 和 条件概率分布 P(y∣x)P(y|x)P(y∣x) ，条件概率和模
一文详解中文实体识别模型 Lattice LSTM
zenRRan的博客
07-27 2577
每天给你送来NLP技术干货！来自：AI算法小喵写在前面今天要跟大家分享的是西湖大学张岳老师2018年发表在顶会ACL上的一篇中文实体识别论文 Lattice LSTM。论文名称：《Chinese NER Using Lattice LSTM》论文链接：https://arxiv.org/pdf/1805.02023.pdf代码地址：https:// github.com/...
探索BERT-NER：基于Transformer的命名实体识别神器
gitblog_00063的博客
03-26 838
探索BERT-NER：基于Transformer的命名实体识别神器 在自然语言处理（NLP）领域，命名实体识别（NER）是一项关键任务，它涉及到从文本中抽取具有特定意义的实体，如人名、地名和组织名等。是一个精心设计的项目，它利用了Transformer架构的预训练模型BERT来进行高效的NER任务。这篇文章将深入探讨该项目的技术细节，应用场景及其独特之处。 项目简介 BERT-NER是由开发的，它...
大模型系列：OpenAI使用技巧_在富文本上做命名实体识别（NER）
数智笔记
12-31 1914
我们定义了一组标准的NER标签，以展示各种用例。然而，对于我们特定的任务——用知识库链接丰富文本，只需要一个子集就足够了。# 定义了一个列表labels，包含了各种标签，用于对文本进行分类labels = ["person", # 人物，包括虚构的角色"fac", # 建筑物、机场、高速公路、桥梁等"org", # 组织、公司、机构等"gpe", # 地理政治实体，如国家、城市、州等"loc", # 非地理政治实体的位置"product", # 车辆、食品、服装、家电、软件、玩具等产品。
BERT+CRF中文命名实体识别实战项目
本项目基于最新的自然语言处理（NLP）技术，结合了BERT模型和CRF算法，针对中文文本数据实现了高效的命名实体识别（NER）功能。BERT（Bidirectional Encoder Representations from Transformers）是一种预训练语言...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值