17、神经网络数据处理与反向传播算法详解

神经网络数据处理与反向传播算法详解

1. 神经网络的数据处理

神经网络在处理数据时，不同类型的网络有着不同的数据传递方式。传统神经网络中，数据以向量的形式在各层之间传递；而深度网络中，数据通常以四维张量的形式传递。

1.1 数据呈现方式

可以将数据作为特征向量或多维输入呈现给网络。在传统神经网络中，数据以向量形式从一层传递到另一层，这种传递过程本质上是矩阵 - 向量的乘法和加法运算。

1.2 深度卷积网络的数据传递

深度卷积网络通过卷积层和池化层处理数据。卷积操作是其核心，输入的每个样本以 3D 张量的形式在各层之间传递。用于分类的卷积神经网络（CNN）顶部通常是全连接层，其工作方式与传统神经网络中的全连接层相同。

1.3 输入图像在 CNN 中的处理

输入图像在 CNN 中经过一系列处理后产生输出表示，从而使网络能够正确标记输入。这一过程涉及到网络在训练中对图像特征的提取，与人类自然观察图像的方式可能有所不同。

2. 反向传播算法概述

反向传播是深度学习的核心算法，没有它，就难以在合理的时间内训练深度神经网络。因此，深度学习从业者需要了解反向传播的原理、它在训练过程中的作用以及如何实现它。

2.1 反向传播的定义

训练神经网络本质上是一个优化问题，涉及到损失函数。损失函数是网络权重和偏置的函数，用于衡量网络在训练集上的性能。我们的目标是通过梯度下降法最小化损失函数。为了实现这一目标，需要知道每个权重和偏置对损失函数的贡献，即 ∂L/∂w。反向传播算法就是用来计算这些偏导数的。

2.2 与梯度下降的关系