RNN循环神经网络

MLP

考虑一个只有一个隐藏层的MLP（多层感知机）。如下：

给定数据样本$\mathbf{X}\in {\mathbb{R}}^{n\times d}$，其中 $n$ 为样本数量，$d$ 为特征向量的维度。$\varphi$ 为隐藏层的激活函数，隐藏层的输出为$\mathbf{H}\in {\mathbb{R}}^{n\times h}$，其中 $h$ 为隐藏层神经元个数， $\mathbf{H}$ 的计算公式为：
$$\mathbf{H}=\varphi (\mathbf{X}{\mathbf{W}}_{xh}+{\mathbf{b}}_h)$$

其中隐藏层权重参数${\mathbf{W}}_{xh}\in {\mathbb{R}}^{d\times h}$，隐藏层偏差参数 ${\mathbf{b}}_h\in {\mathbb{R}}^{1\times h}$。若输出层为Linear层，输出个数为 $q$，则隐藏层的$\mathbf{H}$作为输出层的输入，输出层的输出为
$$\mathbf{O}=\mathbf{H}{\mathbf{W}}_{hq}+{\mathbf{b}}_q$$

其中输出变量$\mathbf{O}\in {\mathbb{R}}^{n\times q}$, 输出层权重参数${\mathbf{W}}_{hq}\in {\mathbb{R}}^{h\times q}$, 输出层偏差参数${\mathbf{b}}_q\in {\mathbb{R}}^{1\times q}$。

RNN

将上面的网络结果简化为如下：

在该网络加上一个时间维度，如下所示：

此时，给定数据样本${\mathbf{X}}_{\mathbf{t}}\in {\mathbb{R}}^{n\times d}$是时间步 $t$ 的输入。隐藏层的输出为${\mathbf{H}}_{\mathbf{t}}\in {\mathbb{R}}^{n\times h}$， 此时，${\mathbf{H}}_{\mathbf{t}}$ 的计算需要使用到上一个时间步的${\mathbf{H}}_{\mathbf{t}-1}$，${\mathbf{H}}_{\mathbf{t}}$ 的计算公式为：

$${\mathbf{H}}_{\mathbf{t}}=\varphi ({\mathbf{X}}_{\mathbf{t}}{\mathbf{W}}_{xh}+{\mathbf{H}}_{\mathbf{t}-1}{\mathbf{W}}_{\mathbf{hh}}+{\mathbf{b}}_h)$$

与多层感知机相比，这里新增了${\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}$这一项。由上式中相邻时间步的隐藏变量${\mathbf{H}}_t$和${\mathbf{H}}_{t-1}$之间的关系可知，这里的隐藏变量能够捕捉截至当前时间步的序列的历史信息，就像是神经网络当前时间步的状态或记忆一样。
$${\mathbf{O}}_{\mathbf{t}}={\mathbf{H}}_{\mathbf{t}}{\mathbf{W}}_{hq}+{\mathbf{b}}_q$$

输出与多层感知机类似。