Gavin老师Transformer直播课感悟 - 使用BERT进行NER案例实战

最新推荐文章于 2024-10-04 01:42:37 发布

原创

最新推荐文章于 2024-10-04 01:42:37 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#transformer #神经网络 #深度学习

本文探讨了命名实体识别（NER）技术，特别是在深度学习中的应用，重点介绍了BERT模型。BERT利用Transformer架构的双向多头注意力机制，提高了信息表达能力，常用于NER任务。文章还提及了传统算法如CRF，并讨论了如何将BERT与LSTM、CRF结合使用，以及在实际应用中如何处理数据和训练模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、BERT Fine-tuning命名实体识别（NER）

命名实体识别（Name Entity Recognition）这项技术无论是在传统经典的机器学习算法中还是在以神经网络为代表的新一代机器学习算法中都是核心技术，它在本质上来说就是信息提取(information extraction), 主要功能就是完成信息的定位和分类，信息可以是结构化和非结构化数据。举例来讲，如果有一个文本，如何从这个文本中提取信息就是NER要完成的任务，通过NER把文本中的实体抽取出来并归类到预定义好的类别。在工业实践中，譬如在医疗，教育等服务行业，如果想从用户评论中收集反馈用于改善服务质量，借助基于NER技术的人工智能处理，可以更高效地完成这项任务，并节省人工阅读的成本。在NLP领域，最重要的两件事情，一是意图识别(intent)，另外就是NER, NER类似于定量的分析，NER可以用来推荐用户想要的信息。围绕NER产生了传统的算法和现代的算法，其中传统算法的代表就是条件随机场(CRF, conditional random field), CRF涉及到了状态的管理，新一代的NER技术是以神经网络为核心的，如LSTM, BERT，其中BERT由于基于Transformer的架构，在NLP领域处于主导地位。在大多数的NER应用场景中，都是以BERT作为基石，原因是BERT的双向多头注意力机制可以带来强大的信息表达能力。CRF在信息表达方面存在不足，而信息表达是Transformer架构的核心优势，在BERT中，可以用[CLS]来表示全局的信息尤其是类别的信息，每个token就是一个向量(vector)，多个token就构成了一个矩阵，可以把BERT的输出给到CRF或者其它类似的模型，实现现代算法和传统算法的结合。