
nlp
文章平均质量分 60
GCTTTTTT
hello~
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
2.文本预处理(分词,命名实体识别和词性标注,one-hot,word2vec,word embedding,文本数据分析,文本特征处理,文本数据增强)
(文本处理的基本方法(分词、命名实体识别和词性标注),文本张量表示方法(one-hot,word2vec,word embedding),文本数据分析,文本特征处理,文本数据增强)原创 2022-10-29 00:24:52 · 1965 阅读 · 0 评论 -
1. Pytorch的基本语法
1.Pytorch的基本语法Tensors张量: 张量的概念类似于Numpy中的ndarray数据结构, 最大的区别在于Tensor可以利用GPU的加速功能.我们使用Pytorch的时候, 常规步骤是先将torch引用进创建矩阵的操作创建一个没有初始化的矩阵:– 输出结果:创建一个有初始化的矩阵创建一个全零矩阵并可指定数据元素的类型为long– 输出结果:直接通过数据创建张量– 输出结果:通过已有的一个张量创建相同尺寸的新张量– 输出结果:得到张量的尺寸:– 输出原创 2022-10-27 21:40:40 · 2108 阅读 · 4 评论 -
【Python】运用sklearn中的KFlod实现在模型中使用交叉验证
在上一篇文章中采用的是将数据集按顺序进行37分的方法分割数据,这样的话会导致跑出来的结果相比之下会不太准确,因此本文使用sklearn中的KFlod方法实现交叉验证从而使结果更加准确上一篇文章------>Python处理数据格式后跑模型(pycrfsuite)—验证数据有效性文章目录...原创 2022-02-13 00:45:43 · 1625 阅读 · 0 评论 -
Python处理数据格式后跑模型(pycrfsuite)---验证数据有效性
文章目录1、先跑通官方数据集的模型2、观察官方数据集格式3、分割数据集4、处理数据格式5、跑模型1、先跑通官方数据集的模型参考模型:基于crf的CoNLL2002数据集命名实体识别模型实现-pycrfsuite关于nltk和pysuite的安装问题:如何在Jupyter Notebook中安装和使用NLTK也可以在github上下载nltk_data:https://github.com/nltk/nltk_data平民级NER︱pycrfsuite的介绍与应用2、观察官方数据集格式pr原创 2022-01-24 12:37:41 · 3049 阅读 · 0 评论 -
使用Python中的Pandas库进行语料处理(词频统计、清洗数据、选取满足条件的对应行写入文件等)
import pandas as pdimport numpy as npimport json,mathimport randomfrom tqdm import tqdmfrom collections import Counter ,defaultdictimport re,nltkimport reimport pandas as pdimport csvdf=pd.read_csv("导出印地语数据1000条.csv")df.titledfdf.columns原创 2021-12-11 11:50:00 · 2915 阅读 · 1 评论 -
自然语言处理中的Bert模型
一个视频掌握BERT的诞生与使用一文读懂BERT(原理篇)原创 2021-10-28 20:17:11 · 275 阅读 · 0 评论 -
nlp中的对抗训练
NLP 中的对抗训练(附 PyTorch 实现)博文NLP 中的对抗训练(附 PyTorch 实现)视频讲解对抗训练浅谈:意义、方法和思考(附Keras实现)原创 2021-10-28 19:31:03 · 428 阅读 · 0 评论 -
详解Transformer中Self-Attention以及Multi-Head Attention
详解Transformer中Self-Attention以及Multi-Head Attention博文详解Transformer中Self-Attention以及Multi-Head Attention讲解视频超详细图解Self-Attention原创 2021-10-28 18:55:48 · 271 阅读 · 0 评论