吴恩达深度学习：指数加权平均

此公众号会发表计算机考研（初复试信息）、夏令营等资料，方便考研人对信息的获取，节约自身查找资料的时间

目录

1. 什么是指数加权平均

2.指数加权平均的优势

3. 为什么在优化算法中使用指数加权平均

4.偏差修正

5. β 如何选择？

6.参考

1. 什么是指数加权平均

指数加权平均(exponentially weighted averges)，也叫指数加权移动平均，是一种常用的序列数据处理方式。

它的计算公式如下：

其中，

• θ_t：为第 t 天的实际观察值，
• V_t: 是要代替 θ_t 的估计值，也就是第 t 天的指数加权平均值，
• β： 为 V_{t-1} 的权重，是可调节的超参。( 0 < β < 1 )

例如：

我们有这样一组气温数据，图中横轴为一年中的第几天，纵轴为气温：

直接看上面的数据图会发现噪音很多，

这时，我们可以用 指数加权平均 来提取这组数据的趋势，

按照前面的公式计算：

这里先设置 β = 0.9，首先初始化 V_0 ＝ 0，然后计算出每个 V_t：

将计算后得到的 V_t 表示出来，就得到红色线的数值：

可以看出，红色的数据比蓝色的原数据更加平滑，少了很多噪音，并且刻画了原数据的趋势。

指数加权平均，作为原数据的估计值，不仅可以 1. 抚平短期波动，起到了平滑的作用，

可以看出，红色的数据比蓝色的原数据更加平滑，少了很多噪音，并且刻画了原数据的趋势。

指数加权平均，作为原数据的