深度学习入门--标准化，归一化，零均值化

我们在训练模型之前，有一个可以加快训练速度的方法，那就是对训练数据集进行标准化处理。

为什么需要标准化

z-score标准化

假设数据集的每一个训练样本只有两个特征x1、x2，那么训练集：
$$X=\left[\begin{array}{cccc}{x}_1^{(1)}& x_1^{(2)}& ...& x_1^{(m)}\\ x_2^{(1)}& x_2^{(2)}& ...& x_2^{(m)}\end{array}\right]$$

绘制出的图形如图所示，要对其进行标准化分为两步：

1、对训练集进行零均值化处理，顾名思义，也就是处理后的数据集的均值为零。
2、归一化方差。即使方差变为1。

#####分步讲解：
1、怎样来使均值变为0呢？首先我们需要算出数据集的平均值：

$$\mu =\sum _{i=1}^m\left(X^i\right)$$

求得的均值是一个向量，这里的x1是所有训练样本x1的均值。x2同理：

$$\mu =\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$$

然后用数据集的每一项减去这个均值就可以使整个数据集的均值为0了。

$$X=X-\mu$$
所得X如下所示：
$$X=\left[\begin{array}{cccc}{x}_1^{(1)}-x_1& x_1^{(2)}-x_1& ...& x_1^{(m)}-x_1\\ x_2^{(1)}-x_2& x_2^{(2)}-x_2& ...& x_2^{(m)}-x_2\end{array}\right]$$
2、要使方差为1，方差也就是数据偏离均值的程度，观察图（1）第二张图，这是经过零均值化处理后的数据集，现在x1和x2的均值都为0，我们看x1偏离原点（即均值）的程度是不是要大于x2。我们要对其处理以使x1、x2方差都为1。我们首先算出数据集的方差。然后用数据集除以方差即可。
$${\sigma }^2=\frac{1}{m}\sum _{i=1}^m{\left(X^i\right)}^2$$
$$X=\frac{X}{{\sigma }^2}$$

####总结：
对数据集进行标准化处理，就是让数据集的均值为0，方差为1。把数据集映射到（-1,1）之间。
####总公式：$$X=\frac{X-\mu }{{\sigma }^2}$$
除了z-score标准化还有另外的标准化、归一化形式，待更…

为什么标准化可以加快训练

reference：
1、吴恩达深度学习课程