深度学习经典算法解析

目录

01.深度学习必备基础

（1）深度学习要解决的问题

（2）计算机视觉任务

（3）视觉任务中遇到的问题

（4）损失函数的作用

（5）前向传播

02.神经网络整体架构

（1）反向传播

（2）神经网络架构

（3）神经网络过拟合解决方法

03.卷积神经网络

（1）卷积神经网络应用领域

（2）卷积的作用 

（3）卷积特征值计算方法

（4）得到特征图表示

（5）步长与卷积核大小对结果的影响

（6）边缘填充方法

（7）特征图尺寸计算与参数共享

（8）池化层的作用

（9）整体网络架构

（10）VGG网络架构 

（11）残差网络Resnet

（12）感受野的作用 

04.递归神经网络

（1）RNN

（2）LSTM

01.深度学习必备基础

（1）深度学习要解决的问题

机器学习流程：①数据获取    ②特征工程⭐   ③建立模型   ④评估与应用

特征工程的作用：

数据特征决定了模型的上限。

预处理和特征提取是最核心的。

算法与参数选择决定了如果逼近这个上限。

深度学习网络可以当作一个黑盒子，它把原始数据拿到以后，会原始数据做非常复杂的各种各样的变换操作，进行特征提取，这个特征能够让计算机认识。

例如，计算机认为怎么样能认识这个3，它就把3这个数字提取出来它认识的一系列特征。

深度学习解决的核心是怎么样去提特征！

（2）计算机视觉任务

图像分类，以下图的小猫为例。

计算机眼中的图像，是被表示成三维数组的形式，每个像素的值从0到255，像素值越大该点越亮，越小该点越暗。

 计算机视觉面临的挑战：1.照射角度  2.形状改变  3.部分遮蔽  4.背景混入  

（3）视觉任务中遇到的问题

k = 3时，绿色圆圈是一个红色三角。

k = 5时，绿色圆圈是一个蓝色方块。

（4）损失函数的作用

 假设为3分类任务，猫的图片被分为4个像素值 56/231/24/2。

3×4矩阵中的3表示3分类，4表示4个像素对应的权重值。

cat score = 0.2×56 + -0.5×231 + 0.1×24 + 2.0×2

权重矩阵的正值代表促进作用，负值代表抑制作用

 矩阵一开始是随机构建的3×4矩阵，随机值在进行迭代优化！

输入Xi是不变的，权重矩阵是可以改变的

 权重参数控制着整个决策边界的走势，偏置参数进行微调

 神经网络既能做分类，也能做回归，唯一的区别在于整个的损失函数是怎么定义的！

网络结构是不会去变的。做不同的任务就是损失函数不同而已。

Sj是其他类别，Syi是正确类别   +的1为容忍程度

模型A  只关注局部 (100%过拟合)

模型B 关注整体（我们希望模型B）⭐

针对权重参数会不会产生变异，会不会过拟合这个问题

在构建损失函数的过程中，还要加上正则化惩罚项

正则化惩罚项一般为 λ(W1²  + W2² + ... + Wn²)

λ值越大，不希望过拟合。 λ值比较小的时候，意思意思就得了，虽然有一些变异，大概削减一下就行了。 神经网络优点是能解决的问题多，缺点是过于强大了。越强大的模型，越强大的算法，过拟合风险越大。

所以现阶段在研究神经网络过程中，并不一定总是研究神经网络怎么样更强一些，而是我们希望神经网络怎么能再弱一些，别太强了。

输入一个数据，先通过得分值，再进行一个e的x次幂，让它们之间差异更明显些，相当做个映射，

映射完之后做归一化，

归一化之后求用对数函数求损失，（对数函数越接近0损失值越大，越接近1损失值越小）

log函数 0- 1之间 求出来是一个负值，因为概率是正的，所以再加一个负号。

（5）前向传播

回归任务最终是要预测一个值，回归任务是由得分值去计算一个损失

分类任务是概率值计算一个损失