机器学习笔记(二)

过拟合

如下图左边,模型出现了过拟合现象

为了解决过拟合现象, 其中一个做法是多收集数据,如右图。

第二种做法是减少模型的特征数量,即x

第三种做法是正则化

正则化就是减少x前面的参数 w的数值, 不用消除x

正则化的梯度下降如下, 因为只是缩小了w的值,而 b的值保持不变

正则化的工作原理就是缩小参数w的值

假如 wj(1-0.0028) 那么wj就会一点点变小

神经网络

下图是神经网络基本的传递

下图是神经网络构成集型的一种方式

这里 A_in 和 W 都是代表矩阵,其中 w是两行三列

常见的激活函数g(Z)

多分类问题

前面讨论只有两种情况,这次问题是有多种类型需要分类

需要构建决策边界

SoftMax回归模型

下面的例子是当有四种分类的情况下

由此可以推出Softmax的公式如下

SoftMax的损失

左侧是逻辑回归即二元回归
右侧是 SoftMax多元回归

loss 指的是 单次 计算的损失

J 值的是整个计算过程的损失