学习内容
卷积运算的定义、动机(稀疏权重、参数共享、等变表示)。一维卷积运算和二维卷积运算。
池化运算的定义、种类(最大池化、平均池化等)、动机。
Text-CNN的原理。
利用Text-CNN模型来进行文本分类。
内容笔记
卷积
卷积定义:
卷积是一类数学运算,通常计算方式为:
s ( t ) = ( x ∗ w ) ( t ) = ∑ a = − ∞ ∞ x ( a ) w ( t − a ) s(t)=(x*w)(t)=\sum_{a=-\infty}^\infty x(a)w(t-a) s(t)=(x∗w)(t)=a=−∞∑∞x(a)w(t−a)
二维上计算方式为:
S ( i , j ) = ( I ∗ K ) ( i , j ) = ∑ m ∑ n I ( m , n ) K ( i − m , j − n ) S(i,j)=(I*K)(i,j)=\sum_m \sum_n I(m,n)K(i-m,j-n) S(i,j)=(I∗K)(i,j)=m∑n∑I(m,n)K(i−m,j−n)
动机:
稀疏表示,减少计算,存储压力。
参数共享–绑定的权重。在一个模型的多个函数中使用相同的参数。
平移等变–输入改变,输出也以同样的方式改变。
一维卷积图示: