机器学习笔记：门控循环单元的建立

已于 2024-08-09 15:56:24 修改
阅读量551 收藏 5
点赞数 11
CC 4.0 BY-SA版权
分类专栏： 机器学习笔记 文章标签： gru 深度学习 人工智能 rnn 机器学习
于 2024-08-08 10:04:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79335566/article/details/141016020

目录

介绍

结构

模型原理

重置门与更新门

候选隐状态

输出隐状态

模型实现

引入数据

初始化参数

定义模型

训练与预测

简洁实现GRU

思考

介绍

门控循环单元（Gated Recurrent Unit，简称GRU）是循环神经网络一种较为复杂的构成形式，其用途也是处理时序数据，相比具有单隐藏状态的RNN，GRU具有忘记的能力，可以忘记无用的数据。

结构

与传统RNN相比，GRU的结构引入了门的概念，比RNN复杂许多，不过可以看出，其输入仍然是X_t和上一时间步隐状态H_{t-1}，输出仍然是本时间步隐状态H_t。区别在于“细胞”内部结构，RNN只需要将H和X分别处理，之后结合在一起，激活函数激活后将其输出即可。而GRU内部处理十分复杂。

模型原理

我们以处理的顺序来依次讲解各个组成部分的模型原理。

重置门与更新门

首先介绍重置门（reset gate）R_t和更新门（update gate）Z_t。 我们把它们设计成(0,1)区间中的向量。 重置门允许我们控制“可能还想记住”的过去状态的数量； 更新门将允许我们控制新状态中有多少个是旧状态的副本。后面还会再提到两个门的具体作用。

重置门和更新门的计算公式如下所示,由于使用sigmoid函数，R_t和Z_t的值在(0,1)区间内。

R_t= \sigma (X_t \cdot W_{xr} + H_{t-1} \cdot W_{hr}+b_r)

最低0.47元/天 解锁文章

新学期VIP享超值加赠
时间序列预测（九）——门控循环单元网络（GRU）
qq_47885795的博客
10-22 4007
GRU是LSTM的简化版本，减少了门的数量，使得训练和推理速度更快。它在许多序列建模任务中表现良好，适用于时间序列预测、自然语言处理等领域。
【机器学习】从RNN到Attention上篇 循环神经网络RNN，门控循环神经网络LSTM
努力学挖掘机的李某某的博客
06-29 766
为什么我们需要RNN 对于一个时间序列问题，已知f(x1),f(x2),f(x3),....,f(xt−1)f(x_1),f(x_2),f(x_3),....,f(x_{t-1})f(x1​),f(x2​),f(x3​),....,f(xt−1​),求解f(xt∣x1,x2,....,xt−1)f(x_t|x_{1},x_2,....,x_{t-1})f(xt​∣x1​,x2​,....,xt−1...
现代循环神经网络：门控循环单元(GRU)
qq_51957239的博客
03-13 9898
门控循环神经网络（Gated Recurrent Neural Network，简称“门控循环神经网络”或“门循环神经网络”）是一种改进的循环神经网络（RNN）架构。它包含了一些门控机制，可以更好地捕捉时间序列数据中的长期依赖关系。门控循环神经网络最早由Hochreiter和Schmidhuber在1997年提出，但是由于当时缺乏计算能力和数据集，它并没有得到广泛应用。后来，在2014年，Cho等人提出了一种简化版的门控循环神经网络，即GRU，它比传统的门控循环神经网络更易于训练和实现
时序模型：门控循环单元网络（GRU）
xunyishuai5020的博客
02-25 1947
时序模型：门控循环神经网络（GRU）
机器学习入门--门控循环单元(GRU)原理与实践
qq_45831510的博客
02-16 2847
本文介绍了门控循环单元（GRU）模型的数学原理、代码实现和应用实例。首先，文章详细解释了GRU模型中的重置门和更新门的作用，以及如何使用这些门来控制隐藏状态的更新。接着，通过pytorch和sklearn的房价数据集，展示了如何使用GRU模型进行训练和预测。在实验中，我们发现GRU模型能够有效地捕捉数据集中的模式，并取得了良好的预测效果。
深度学习-10.门控循环网络
fansv587的博客
02-27 872
简单循环神经网络容易出现梯度消失和梯度爆炸问题。基于长短期记忆网络（LSTM）和门控循环单元（GRU）的门控循环网络能够缓解梯度消失/爆炸问题。门控循环单元（GRU）和长短期记忆网络（LSTM）被广泛应用，而简单循环神经网络（RNN）由于梯度消失/爆炸问题，使用频率较低。
机器学习笔记：从入门到深入
"机器学习笔记，涵盖了机器学习的基础、随机森林与决策树、提升方法、支持向量机、EM算法、贝叶斯网络、主题模型、隐马尔科夫模型、条件随机场以及深度学习的相关内容，包括人工神经网络、卷积神经网络和循环神经...
机器学习和深度学习中文笔记 作者：Hiromi Suenaga
10-05
在这份名为《机器学习和深度学习中文笔记》的文档中，作者Hiromi Suenaga通过整理详细的学习笔记，为我们提供了一个系统性的学习框架，以助于理解并应用这些先进的技术。 文档首先对机器学习的基础概念进行了阐述，...
机器学习笔记本：ML_stuff深度解析
机器学习的核心任务是建立一个模型，该模型可以预测或分类新的数据点。以下是机器学习中常见的知识点： 1. 算法分类： - 监督学习：包括回归和分类问题，算法如线性回归、决策树、随机森林、支持向量机（SVM）、K...
《机器学习实战：基于Python的算法应用与项目案例》
03-10
这些内容对于建立有效且稳定的机器学习模型至关重要。 书中的实战项目案例是其核心部分之一，提供了包括房价预测、图像分类、文本情感分析、用户行为预测在内的多个典型机器学习项目。对于每个项目，作者不仅讲解了...
门控循环单元网络: 从基本概念到实践应用
AI天才研究院
12-31 1142
1.背景介绍 门控循环单元网络(Gated Recurrent Units, GRUs)是一种有效的循环神经网络(Recurrent Neural Networks, RNNs)的变体，它们在处理序列数据时具有很强的表现力。在过去的几年里，循环神经网络和其变体已经成功地应用于多种任务，包括自然语言处理、图像处理、时间序列预测等。在这篇文章中，我们将深入探讨门控循环单元网络的基本概念、算法原理以及...
循环神经网络 - 门控循环单元网络
最新发布
分享技术人生的学习笔记和过往心得，与志同道合者共同进步
04-14 1012
本文我们来学习门控循环单元（Gated Recurrent Unit, GRU），GRU是一种对传统循环神经网络（RNN）进行改进的变体，其设计目标是在捕捉序列数据中时间依赖信息时，既提高模型表达能力又减少参数量和计算复杂度。与 LSTM 网络相比，GRU 结构更简单，但在许多任务中表现与 LSTM 相近甚至更优。
现代循环神经网络 - 门控循环单元
yingzi的技术博客
09-11 608
现在我们将定义隐状态的初始化函数init_gru_state。与以前定义的init_rnn_state函数一样，此函数返回一个形状为（批量大小，隐藏单元个数）的张量，张量的值全部为0现在我们准备定义门控循环单元模型，模型的架构与基本的循环神经网络单元是相同的，只是权重更新公式更为复杂。
门控循环单元网络——GRU网络
xinxin的博客
08-20 1500
门控循环单元GRU网络是一种比LSTM网络更加简单的循环神经网络．GRU 网络引入门控机制来控制信息更新的方式．和LSTM不同GRU不引入额外的记忆单元，GRU网络通过引入一个更新门来控制当前状态需要从历史状态中保留多少信息不经过非线性变换），以及需要从候选状态中接受多少新信息1、门控循环神经网络可以更好地捕获时间步距离很长的序列上的依赖关系。2、重置门有助于捕获序列中的短期依赖关系。3、更新门有助于捕获序列中的长期依赖关系。
【动手学深度学习-pytorch】9.1现代循环神经网络-门控循环单元（GRU）
weixin_39107270的博客
09-20 732
门控循环单元与普通的循环神经网络之间的关键区别在于： 前者支持隐状态的门控。这些机制是可学习的，并且能够解决了上面列出的问题。例如，如果第一个词元非常重要， 模型将学会在第一次观测之后不更新隐状态。同样，模型也可以学会跳过不相关的临时观测。最后，模型还将学会在需要的时候重置隐状态。下面我们将详细讨论各类门控。
门控循环单元网络GRU详解
qq_40231344的博客
06-24 2078
为了改善循环神经网络的长程依赖问题，在 梯度消失是循环网络的主要问题除了使用一些优化技巧外更有效的方式就是改变模型比如让U = I同时令 ∂ht/∂ht= I 为单位矩阵即ht = ht−1 + g(xt; θ), (其中g(·)是一个非线性函数，θ 为参数ht和ht−1 之间为线性依赖关系，且权重系数为1，这样就不存在梯度爆炸或消失问题。但会出现梯度爆炸和记忆容量问题 的基础上引入门控机制来控制信息的累计速度。括有选择地加入新的信息，并有选择地遗忘之前累积的信息。这一类网络可以称为基于门控的循环神
门控循环单元网络(GRU)及其在自然语言处理中的应用：基于深度学习模型的文本分类和情感分析
AI天才研究院
06-29 6523
作者：禅与计算机程序设计艺术 《门控循环单元网络(GRU)及其在自然语言处理中的应用:基于深度学习模型的文本分类和情感分析》 1. 引言 1.1. 背景介绍 自然语言处理(NLP)是计算机视觉领域中的重要分支之一,但是传统的机器学习方法在处理自然语言文本上存在很多限制。
门控循环神经网络LSTM与GRU（附python演练）
小白学视觉
07-10 4577
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达编辑 |安可出品 |磐创AI技术团队目录：门控循环神经网络简介长短期记忆网络（LSTM）门控制循环单元（GRU）TensorFlow实现LSTM和GRU参考文献一、 门控循环神经网络门控循环神经网络在简单循环神经网络的基础上对网络的结构做了调整，加入了门控机制，用来控制神经网络中信息的传递。门控机制...
门控循环单元网络的优化技巧：提高性能与效率
AI天才研究院
01-07 535
1.背景介绍 门控循环单元(Gated Recurrent Units，简称GRU)是一种有效的循环神经网络(Recurrent Neural Networks，RNN)优化方法，它能够有效地解决长期依赖问题，从而提高模型的性能和效率。在过去的几年里，GRU 已经广泛应用于自然语言处理、计算机视觉和其他领域，成为一种流行的深度学习技术。 在本文中，我们将深入探讨 GRU 的优化技巧，揭示其背后...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值