论文精读-《GPT-NER: Named Entity Recognition via Large Language Models》

杨过过儿

已于 2024-06-25 12:27:56 修改

阅读量3.2k

点赞数 43

CC 4.0 BY-SA版权

分类专栏：论文精读文章标签： gpt 语言模型人工智能

于 2024-06-25 12:10:14 首次发布

本文链接：https://blog.csdn.net/qq_38146189/article/details/139939354

论文为2023年arxiv发表的文章，将LLM应用于实体识别任务中，达到监督学习极限性能，尤其在小样本时性能更好。

原文： https://arxiv.org/abs/2304.10428

代码路径： https://github.com/ShuheWang1998/GPT-NER

GitHub - ShannonAI/mrc-for-flat-nested-ner: Code for ACL 2020 paper `A Unified MRC Framework for Named Entity Recognition`

摘要

文章介绍了GPT-NER，一种创新方法，将大规模语言模型（LLM）应用于命名实体识别（NER）任务。GPT-NER通过将序列标记转换为生成任务，并采用自我验证策略解决LLM的过度自信问题。实验显示，GPT-NER在五个标准NER数据集上达到监督学习基线性能，尤其在数据稀缺时性能更佳，证明了其在资源有限的NER应用中的有效性。

1 介绍

大规模语言模型（LLM）在上下文学习方面展现出卓越能力，能够通过少量示例快速适应新任务，尤其在机器翻译、问答和实体抽取等NLP领域取得显著成果。然而，LLM在NER任务上的表现仍落后于监督学习方法，因为NER的序列标记特性与LLM的文本生成形式存在差异。

为此，文章提出了GPT-NER模型，它通过将NER任务转化为文本生成任务来解决这一问题，使用特殊标记来标识实体。GPT-NER还引入了自我验证策略，以减少LLM在实体识别上的过度自信倾向，有效缓解了幻觉问题。实验结果表明，GPT-NER在五个NER数据集上达到了与监督基线相当的性能，并在低资源和少镜头设置中表现尤为出色，显示出在标记样本数量有限的情况下的实际应用潜力。此外，GPT-NER在达到GPT-3的令牌数量限制时性能仍未饱和，暗示了使用更宽松的令牌限制可能带来进一步提升。

2 相关工作

2.1命名实体识别

命名实体识别(NER)是一种识别文本中的关键信息并将其分类到一组预定义类别中的任务。解决NER的一种常用方法是将其表述为序列标记任务。Sarzynska-Wawer等人(2021)通过大规模预训练模型提高了每个单词的质量。Li等人(2019a,b)将NER任务制定为MRC任务，并进一步利用骰子损失来提高MRC模型的性能，Wang等人(2022)提出了GNN-SL模型，允许通用NER模型在测试时参考训练样例。