hjxu2016的博客

命名实体识别（Named Entity Recognition， 简称NER）是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。通常包括两部分：① 实体边界识别 ② 确定实体类别（人名、地名、机构名或其他）例：“小明在北京上班”实体类别实体地点北京人物小明。

本文为的视频学习笔记。

Trainer是库中提供的训练的函数，内部封装了完整的训练、评估逻辑，并集成了多种的后端，如等，搭配对训练过程中的各项参数进行配置，可以方便快捷地启动模型 单机/分布式训练使用Trainer进行模型训练对模型的输入输出是有限制的，要求模型返回元组或者的子类如果输入中提供了labels，模型要能返回loss结果，如果是元组，要求loss为元组中的第一个值。

evaluate库是一个非常简单医用的机器学习模型评估函数库，只需要一行代码，便可以加载各种任务的评估函数。

dataset库是一个非常简单易用的数据集加载库，可以方便快捷的从本地或者HuggingFace Hub加载数据集公开数据集地址：# filed 指限定某个字段的数据。

既然这个包的名字叫Transformers，那么大部分整个模型都是基于Transformer架构。原始的Tranformer为编码器(Encoder)、解码器（Decoder)模型Encoder部分接收输入并构建其完整的特征表示，Decoder部分使用Encoder的编码结果以及其他的输入生成目标序列无论是编码器还是解码器，均由多个TransformerBlock堆叠而成TransformerBloc由注意力机制（Attention）和FFN组成。

将数据预处理、模型调用、结果后处理三部分组装成的流水线，如下流程图使我们能够直接输入文本便获得最终的答案，不需要我们关注细节fill:#333;color:#333;color:#333;fill:none;color:#333;color:#333;fill:none;我觉得不太行。

HuggingFace出品，最常使用的自然语言处理工具实现了大量基于Transformer架构的主流预训练模型，并且不局限于自然语言处理模型，还包括图像、音频以及多模态的模型提供了海量的预训练模型与数据集，同时支持用户自行上传、社区完善，文档全，上手简单Tranformers：核心库，包括了模型加载、模型训练、流水线（pipeline）等Tokenizer：分词器，对数据进行预处理，文本到token序列的相互转换Datasets：数据集库，提供了数据的加载、处理等方法。