yingzi的技术博客

基于序列标注（sequence labeling）基于超图（hypergraph）基于序列到序列（Seq2Seq）基于片段分类（span classification）本文跟进了《Named Entity Recognition as Dependency Parsing》这一论文的工作，同样采用基于片段分类的方案。

W2NER模型，将NER任务转化预测word-word（备注，中文是字-字），它能够统一处理扁平实体、重叠实体和非连续实体三种NER任务。假定摄入的句子 X 由 N 个tokne或word组成，Xx1x2xNXx1​x2​...xN​，模型对每个word pair(xixjx_i,x_jxi​xj​)中的两个word关系类别R进行预测，其中R∈NoneNNWTHW−∗R∈NoneNNWTHW−∗。

论文地址：https://arxiv.org/abs/2105.07148代码地址：https://github.com/liuwei1206/LEBERT左图是在BERT之后的架构上面引入词汇信息右图是在BERT底层时引入词汇信息首先，对于给定的中文句子sc={c1,c2,...,cn}ci代表句子中的第i个字符s_c = \{c_1,c_2,...,c_n\}\quad c_i代表句子中的第i个字符sc​={c1​,c2​,...,cn​}ci​代表句子中的第i个字符利用词典D匹配出句子中包含的

【代码】中文医疗实体关系基于BERT + Bi-LSTM+ CRF。

常见的对抗训练有：fgsm、fgm、pgd、FreeAT、yopo、FreeLB、smart，AWP这里给出fgsm、fgm、pgd、FreeAT的代码以及实验结果。

[在这里插入图片描述]一般任务 = 预训练 + 架构 + 应用在本文中，我们将用任务未使用BERT架构，使用基本的模型架构解决文本分类任务的可见这篇文章中文文本分类，基本模型的pytoch实现 - 影子的文章 - 知乎 https://zhuanlan.zhihu.com/p/577121058。

学习说明：最近发现了一个宝藏仓库，将常见的文本分类方法做了一个介绍、及封装。现在将学习这仓库的一些笔记记录如下。