DL基本知识（四）权重矩阵初始化

概述

权重矩阵初始化的好坏能够直接决定深度学习模型收敛后的效果，因而这里专门开一个专题来讲述这部分内容，后文会讲述几个比较有代表性的权重矩阵初始化的方法。

全0初始化

如果每一层的权重都是0，则只有最后一层的参数可以得到更新，其他层的参数一直为0，具体推导过程如下：

$$\{\begin{array}{c}{a}_3=f(w_{13}{a}_1+w_{23}{a}_2)\\ a_4=f(w_{14}{a}_1+w_{24}{a}_2)\\ a_5=w_{35}{a}_3+w_{45}{a}_4\end{array}$$

求导过程为：
$$\{\begin{array}{c}\frac{\partial L}{\partial w_{35}}=\frac{\partial L}{\partial a_5}\frac{\partial a_5}{\partial w_{35}}=\frac{\partial L}{\partial a_5}{a}_3\ne 0\\ \frac{\partial L}{\partial a_3}=\frac{\partial L}{\partial a_5}\frac{\partial a_5}{\partial z_5}\frac{\partial z_5}{\partial a_3}=\frac{\partial L}{\partial a_5}\frac{\partial a_5}{\partial z_5}{w}_{35}=0\\ \frac{\partial L}{\partial w_{13}}=\frac{\partial L}{\partial a_3}\frac{\partial a_3}{\partial z_3}\frac{\partial z_3}{\partial w_{13}}=0\\ ...\end{array}$$

可以看出除了最后一层的权重矩阵的梯度不为0之外，其他权重矩阵的梯度都为0，因而没有办法更新，因而权重矩阵全0初始化不行。

xaiver初始化

为了解决过饱和已经神经元死亡的问题，引入xavier初始化来解决问题，假设维度为$n$, 而且输入x和权重矩阵W相对独立，如果把W初始化为如下所示，这里$W_{i,j}$的方差为$\frac{1}{12}(\frac{2}{\sqrt{n}}{)}^2=\frac{1}{3n}$。

$$W_{i,j}\sim [-\frac{1}{\sqrt{n}},\frac{1}{\sqrt{n}}]$$

因为W和x相对独立，因而

$$\{\begin{array}{c}Var[W_{i,k}\ast x_i]=Var[W_{i,k}]\ast Var[x_i]\\ Var[{\sum }_{i=0}^n{W}_{i,k}\ast x_i]={\sum }_{i=0}^{n}Var[W_{i,k}\ast x_i]\end{array}$$

矩阵相乘输出数据$z_k$以及其方差如下，

$$\{\begin{array}{c}{z}_k={\sum }_{i=0}^n{W}_{i,k}\ast x_i\\ Var[z_k]={\sum }_{i=0}^{n}Var[W_{i,k}\ast x_i]\end{array}$$

假设x的方差为1， 因而z的方差为

$$Var[z_k]=\sum _{i=0}^{n}Var[W_{i,k}]\ast Var[x_i]=\sum _{i=0}^n\frac{1}{3n}=\frac{1}{3}$$

可以看出，输入到激活函数之前的数据都是0均值恒等方差的，数据不会畸形，而且相对于sigmoid这样还能够使梯度不饱和。

截断正太分布初始化

从截断的正态分布中输出随机值，如果生成的值大于平均值2个标准偏差的值则丢弃重新选择。因为在$[\mu -3\sigma ,\mu +3\sigma ]$之间取值的范围太广，因而限制范围到$[\mu -2\sigma ,\mu +2\sigma ]$之间。

小随机数初始化

权值初始值接近0但又不等于0，这样就可以通过把权重赋值为0周围的一个随机数。