深度学习 - RNN训练过程推演

1. 数据准备

字符序列 “hello” 转换为 one-hot 编码表示：

• 输入: [‘h’, ‘e’, ‘l’, ‘l’]
• 输出: [‘e’, ‘l’, ‘l’, ‘o’]

2. 初始化参数

我们使用一个单层的 RNN（N VS N），隐藏层大小为2，每次传1个字符。初始参数如下：

$$W_{xh}=\left(\begin{array}{cc}0.1& 0.2\\ 0.3& 0.4\\ 0.5& 0.6\\ 0.7& 0.8\end{array}\right),W_{hh}=\left(\begin{array}{cc}0.1& 0.2\\ 0.3& 0.4\end{array}\right),W_{hy}=\left(\begin{array}{cccc}0.1& 0.2& 0.3& 0.4\\ 0.5& 0.6& 0.7& 0.8\end{array}\right)$$

偏置项初始化为0。

3. 前向传播和反向传播

时间步 1（输入 ‘h’）：

输入向量 $x_1=[1,0,0,0]$

$$h_1=\tanh (W_{xh}{x}_1+W_{hh}{h}_0)=\tanh \left(\left(\begin{array}{cc}0.1& 0.2\\ 0.3& 0.4\\ 0.5& 0.6\\ 0.7& 0.8\end{array}\right)\left(\begin{array}{c}1\\ 0\\ 0\\ 0\end{array}\right)+\left(\begin{array}{cc}0.1& 0.2\\ 0.3& 0.4\end{array}\right)\left(\begin{array}{c}0\\ 0\end{array}\right)\right)=\tanh \left(\left(\begin{array}{c}0.1\\ 0.3\end{array}\right)\right)=\left(\begin{array}{c}0.0997\\ 0.2913\end{array}\right)$$

$$y_1=W_{hy}{h}_1=\left(\begin{array}{cccc}0.1& 0.2& 0.3& 0.4\\ 0.5& 0.6& 0.7& 0.8\end{array}\right)\left(\begin{array}{c}0.0997\\ 0.2913\end{array}\right)=\left(\begin{array}{c}0.1695\\ 0.3889\\ 0.6083\\ 0.8277\end{array}\right)$$

预测值 ${\hat{y}}_1=\text{softmax}(y_1)$

假设真实输出为 ‘e’，对应 one-hot 编码为 $y_1=[0,1,0,0]$。

交叉熵损失函数：

$${\text{loss}}_1=-\sum _i{y}_{1i}\log ({\hat{y}}_{1i})$$

梯度计算：

$$\frac{\partial {\text{loss}}_1}{\partial W_{hy}}=({\hat{y}}_1$$