深度学习笔记------卷积神经网络

相关概念

卷积运算

卷积函数：$h(x)=\int f(t)g(x-t)dt$
该函数定义了一种运算，对于$f,g$两个函数进行，先将$g(t)$进行一个反转运算于是$g^{\prime }(t)=g(-t)$，之后在进行一个平移运算就变为了$g^{\prime \prime }(t)=g(x-t)$，之后就是两个函数的乘积积分，这就是对于一维的两个函数的卷积运算。

这个函数的来源是对于信号的处理上，用于描述系统的响应输出不仅与当前时刻x的输出有关，还与系统之前的响应有关，但是这个响应是会衰减的，于是当前时刻的实际输出响应是一个之前信号衰减函数与当前信号输出函数的积分运算，其中$g(x-t)$中的x-t就是一个时间差的描述。

这个函数也有二维形式，也就是将其中的$f,g$变为二元函数，对应的积分变为二重积分有：
$h(x,y)=\iint f(v,u)g(x-v,y-u)dvdu$

互相关运算

互相关函数：$h(x)=\int f(t)g(x+t)dt$
与上面的卷积相比，互相关函数并没有对$g(x)$进行反转操作，剩下的就与卷积一致了。

对应反转与否在数学证明中是有影响的，决定了卷积运算的可交换性，但是在机器学习的训练中反转与否以及可交换性的影响就十分有限了，所以许多的卷积神经网络是实现的互相关运算，即没有反转，但是名字还是叫卷积。

进一步将互相关变为二维形式有：$h(x,y)=\iint f(v,u)g(x+v,$