tensorflow滑动平均模型

最新推荐文章于 2024-11-07 17:00:05 发布

Meiko丶

最新推荐文章于 2024-11-07 17:00:05 发布

阅读量309

点赞数 2

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.csdn.net/u010365819/article/details/88401445

ExponentialMovingAverage()对每一个变量会维护一个影子变量shadow variable 这个影子变量的初始值就是相应变量的初始值，而每次运行变量跟新的时候影子变量就会跟新为：

shadow_variable=decay*shadow_variable+（1-decay）*variable

shadow_variable是影子变量，decay是衰减率，variable为变量准备要跟新的值。

指数加权平均算法的原理

TensorFlow中的滑动平均模型使用的是滑动平均（Moving Average）算法，又称为指数加权移动平均算法（exponenentially weighted average），这也是ExponentialMovingAverage()函数的名称由来。
先来看一个简单的例子，这个例子来自吴恩达老师的DeepLearning课程，个人强烈推荐初学者都看一下。
开始例子。首先这是一年365天的温度散点图，以天数为横坐标，温度为纵坐标，你可以看见各个小点分布在图上，有一定的曲线趋势，但是并不明显
这里写图片描述
接着，如果我们要看出这个温度的变化趋势，很明显需要做一点处理，也即是我们的主题，用滑动平均算法处理。
首先给定一个值v0，然后我们定义每一天的温度是a1，a2，a3·····
接着，我们计算出v1，v2，v3····来代替每一天的温度，也就是上面的a1，a2，a3
计算方法是：v1 = v0 * 0.9 + a1 （1-0.9），v2= v1 0.9 + a2 （1-0.9），v3= v2 0.9 + a3 （1-0.9）···，也就是说，每一天的温度改变为前一天的v值 0.9 + 当天的温度 * 0.1，vt = v(t-1) * 0.9 + at * 0.1，把所有的v计算完之后画图，红线就是