＜2＞ BP(Backprop) Algorithm 原文解读

原文：Learning representations by back-propagating errors, 1986

作者：David E. Rumelhart*, Geoffrey E. Hintont & Ronald J. Williams*

1.目标：

        使得网络的输出尽可能地接近理想的输出，因此需要调整代表着特征表示的隐藏节点的权重。但是，对于特定的任务哪些隐藏节点所表示的特征才是所希望的很难直接了解。为了在端对端中实现自动的特征选择，因此提出了BP算法。

2.算法的实现：

        最简单的学习网络就是分层网络：输入层在底部，中间多个隐藏层，顶部为输出层。当然，这种连接是可跳跃的（原文：but connections can skip intermediate layers，但是没有详细的拓展，resnet就可以看作一种拓展）。

对于输出层X的第j个节点，其由上一层Yi的节点的加权求和得到：

接着需要对节点进行非线性激活才能得到节点的输出（在文中使用的是sigmiod函数，但是sigmiod由严重的训练麻痹现象，现在用Relu居多）：

 随后就是计算网络输