NLP中三种特征抽取器的优与劣

最新推荐文章于 2023-12-14 20:47:37 发布
最新推荐文章于 2023-12-14 20:47:37 发布
阅读量971 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/appleml/article/details/105744518
本文探讨了RNN（包括LSTM和GRU）与CNN在处理序列数据时的优劣。RNN虽然能处理不定长的序列数据，但在速度上受限于其串行计算方式，且难以捕捉全局信息，特别是序列过长时。相比之下，CNN通过卷积核能在固定窗口内并行处理数据，更高效地捕捉局部特征。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

RNN ( LSTM, GRU ) ：
缺点（1）：无法并行，因此速度较慢
（2）：RNN无法很好地学习到全局的结构信息，尤其对于序列结构很长的

CNN:
BERT:

从短到长：大型语言模型的自我进化之路
步子哥的博客
02-20 573
在人工智能的浩瀚星空中，大型语言模型（LLMs）无疑是最耀眼的明星之一。它们不仅能生成流畅的文本，还能理解复杂的指令，甚至在某些任务上超越人类。然而，这些模型的“短板”也显而易见：尽管它们在短上下文（short-context）任务中表现卓越，但在处理长上下文（long-context）时却常常力不从心。这就像一位短跑冠军，虽然速度惊人，但在马拉松赛场上却可能败下阵来。为了解决这一问题，一项名为的创新方法横空出世。这项研究提出了一种让短上下文模型“自我进化”以适应长上下文任务的新策略。
NLP各种语言模型的优缺点比较
qq_36767053的博客
08-27 4578
持续更新中… 1.n-gram n-gram语言模型引入马尔科夫假设，假设当前单词出现的概率只与前n-1个单词有关。常见的unigram、bigram、trigram公式如下： 优点：(1) 采用极大似然估计，参数易训练；(2) 完全包含了前 n-1 个词的全部信息；(3) 可解释性强，直观易理解。 缺点 ：(1) 缺乏长期依赖，只能建模到前 n-1 个词；(2) 随着 n 的增大，参数空间呈指数增长；(3) 数据稀疏，难免会出现OOV的问题；(4) 单纯的基于统计频次，泛化能力差。 2.神经网络
NLP文本表示总结
qq_38317254的博客
06-09 1080
1. Word2Vec Word2Vec：词到向量，是word embedding(词嵌入)的一种。只有把词(抽象，符号)转到向量(数值)，计算机才能明白。语义相同的词的词向量接近。 1.1 语言模型 如果用一个词语作为输入，来预测他上下文的词汇，这个模型就叫做Skip-gram模型。 如果用一个词语的上下文来作为输入，来预测这个词语本身，这就是CBOW模型。 用当前词x预测它的下一个词y 这里的x的原始输入只能是数值类型，显然是one-hot encoder，通过输入one-hot格.
【NLP】 理解NLP中网红特征抽取器Tranformer
湾区人工智能
09-18 305
本篇介绍目前NLP领域的“网红”特征抽取器Transformer。首先，作为引子，引入 Transformer是什么的问题；接着，详细介绍了Transformer的结构和...
详解RNN(数据解释、结构、计算、优缺点)
qq_41915623的博客
06-05 5402
​ 传统的神经网络就像这种全连接网络，每个输入都和中间的隐藏层进行连接，然后输出。但这种网络，完全没有时序特点，无法深度挖掘具有时序特点的数据的特征。例如：x1 = ‘我的手机坏了’，x2 = ‘想买一个256g的苹果’。那么在全连接网络中，就很难理解‘256g的苹果’是真实的苹果还是手机了。​ 于是，就又了RNN（循环精神网络）。 ​ RNN网络会在下一个x中输入前一个网络的输出，不废话，直接上图，以下是我自己理解的图：这个是很多网上经典的图：这张图是转载的一篇博文的，关于RNN这篇博文也写得非常好
RNN,LSTM,CNN,RCNN的优缺点
最新发布
m0_68178753的博客
12-14 5891
循环卷积神经网络(Recurrent Convolutional Neural Network,RCNN)是一种结合了卷积神经网络 (CNN)和循环神经网络(RNN)的模型，它在处理序列数据时具有一定的优势和缺点。这些门控结构能够控制信息的流动和保留，使得网络能够有选择地记忆和遗忘输入序列中的信息，从而更好地处理序列数据。总体来说，循环卷积神经网络在处理序列数据时具有一定的优势，但也存在一些限制和挑战、在实际应用中，需要根据具体任务和数提特点来选择合适的模型结构。这有助于提高模型的训练效率和泛化能力。
自然语言处理——NLP简介
weixin_47822556的博客
03-06 1632
NLP-自然语言处理 NLP，Natural Language Processing 用机器处理人类语言的理论和技术研究在人与人交际中以及人与计算机交际中的语言问题的一门学科。 两大著名实验： 自然语言处理与图灵测试：测试是否能让某机器表现出与人一样或者无法区分的智能 图灵测试与中文屋子：判断图灵测试是否准确，是否存在一种规则手册满足使机器像人一样智能化 NLP的历史 20世纪50年代起步——机器翻译 利用计算机自动地将一种自然语言翻译为另外一种自然语言 50—70年代——模式匹配 例如计算机答疑：用户
老刘说NLP：焦虑被大肆贩卖下的自然语言处理学习思考
lhy2014的博客
09-12 1642
当下，越来越多的人在贩卖焦虑。当我们打开知乎、脉脉、公众号、软文、自然语言处理速成机构等发布的文章和消息时，总能看到自然语言处理算法岗灰飞烟灭、算法岗高薪速成宝典等传递和炒作焦虑的身影。这些身影，直接导致了越来越多的人陷入一种茫然与迷茫之中，在算法岗高薪的诱惑之下，越来越多人（无论是科班的，半路出家的），都加入到算法岗的从业大潮之中，并且逐步形成了市场中人员素质参差不齐、鱼龙混杂，最终劣币驱逐良币的畸形形态。 近期，有不少朋友来信，表示对当前的状态很不满，希望能够尽快地找到一个合适的方向、快速的学习方式，提
大模型在自然语言处理领域的关键技术应用
【大模型在自然语言处理领域的关键技术应用】 ## 第一章：大模型概述 - 1.1 什么是大模型？ - 1.2 大模型的发展历程 - 1.3 大模型在自然语言处理领域的重要性 在第一章中，我们将介绍大模型的概念、发展历程以及...
【结构优化终极指南】：掌握工程设计中的数值方法与原理
数值方法与原理在工程设计中扮演着至关重要的角色，它提供了一套理论与技术框架，用于解决复杂的工程问题。本文首先介绍了数值分析的基础理论，包括数值方法的定义、分类、精度和误差分析，以及近似、插值、积分和...
浅析NLP中的CNN卷积神经网络
crossuniverse的博客
03-19 334
浅析NLP中的CNN卷积神经网络 CNN卷积神经网络多见于图像识别或图像处理任务。但是在NLP（自然语言处理）任务中也有它的用武之地。在这里对卷积神经网络进行简单的介绍，并对一维卷积神经网络在NLP任务中的使用进行简单的介绍，希望对接触或使用CNN的小伙伴们有帮助，也欢迎大家就原理及内容进行评论探讨。 一、自然语言处理任务特点 二、什么是卷积神经网络 三、一维卷积神经网络在NLP任务中的应用 ...
LSTM，LSTM 比 RNN 优化了哪些地方？卷积神经网络与循环神经网络的区别
GerHard 的博客
04-12 9455
在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被称为前向神经网络 (Feed-forward Neural Networks)。而在RNN中，神经元的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入，除了 (i-1) 层神经元在该时刻的输出外，还包括其自身在 (m-1)时刻的输出！ RNN和传统的多层感知机不同的就是和时间沾上边...
【文本信息抽取与结构化】深入了解关系抽取你需要知道的东西
hacker_long的专栏
02-26 3173
常常在想，自然语言处理到底在做的是一件什么样的事情？到目前为止，我所接触到的NLP其实都是在做一件事情，即将自然语言转化为一种计算机能够理解的形式。这一点在知识图谱、信息抽取、文本摘要这...
请你说说CNN，RNN，LSTM，Transformer之间的优缺点
yyaannnnnnnn的博客
01-11 1万+
CNN概念： 传统意义上的多层神经网络是只有输入层、隐藏层、输出层，其中隐藏层的层数按需决定。而卷积神经网络CNN，在传统的多层神经网络基础上，全连接层前面加入了部分连接的卷积层、激活层和池化层操作，使得实际应用场景中能够构建更加深层、功能更强大的网络。
CNN,RNN,LSTM区别
热门推荐
u011473714的专栏
07-24 2万+
(一)CNN 卷积神经网络 在机器学习中，卷积神经网络是一种深度前馈人工神经网络，已成功地应用于图像识别。 [1]  卷积神经网络，是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。 卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三...
深度学习模型组件系列二：最常用的特征提取器
weixin_45888522的博客
04-05 4877
深度学习模型组件的特折提取器
卷积神经网络的三大缺点。
zhuiyunzhugang的博客
01-17 1万+
1、Cnn的生物学基础支持不足，没有记忆功能。 神经网络并不是每个神经元关注的是一个特征，而一组神经元关注一个特征。 一组可以输出一个向量，而一个输入只能输出一个数值。 2、Cnn全连接模式过于冗余而低效。 3、Cnn胜在特征检测，但特征理解不行。...
基于深度学习的轴承故障识别-LSTM与CNN对比
Jiali Zhang的博客
10-24 1万+
1024程序员节快乐~ 根据前两篇博文的实验结果，可以看出，两种模型相比，基于卷积神经网络的轴承故障诊断模型在各方面性能都更为优异。准确率比基于长短时记忆网络的轴承故障诊断模型高出近10%，而训练用时要节省近15分钟。其实对我来说最关键的是CNN训练快啊，我的电脑不是n卡，没有gpu加速，训练一次15分钟实在是有点膈应人（这期间占着我的内存我还不能开模拟器挂游戏）。 LSTM与CNN实验结果对...
NLP|中文分词技术及应用
weixin_45885232的博客
04-28 2127
摘要：中文分词是中文信息处理的重要基础，本文详细阐述了目前主要的几种中文分词算法的技术原理 、中文分词目前的瓶颈和评价准则，以及中文分词的具体应用。 中文分词指将一个汉字序列切分成一个个单独的词。现有的中文分词算法有五大类：基于词典的方法，基于统计的方法，基于规则的方法，基于字标注的方法，基于人工智能技术（基于理解）的方法。中文分词目前主要有四个瓶颈，分别是分词歧义、未登录词识别、分词粒度问题、错...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值