TensorFlow实战系列8--滑动平均模型
2018-02-06 13:48
288 查看
在采用随机梯度下降算法训练神经网络时,使用滑动平均模型在很多应用中都可以在一定程度提高最终模型在测试数据上的表现。滑动平均模型可以有效的减小训练数据中的噪音对模型带来的影响。在TensorFlow中提tf.train.ExponentialMovingAverage 来实现滑动平均模型。在初始化ExponentialMovingAverage
时,需要提供一个衰减率(decay)。这个衰减率将用于控制模型更新的速度。ExponentialMovingAverage 对每一个变量会维护一个影子变量(shadow variable),这个影子变量的初始值就是相应变量的初始值,而每次运行变量更新时,影子变量的值会更新为:
还提供了num_updates 参数来动态设置decay的大小。如果在ExponentialMovingAverage 初始化时提供了num_updates参数,那么每次使用的衰减率将是:
下面通过一段代码来解释ExponentialMovingAverage 是如何被使用的。
时,需要提供一个衰减率(decay)。这个衰减率将用于控制模型更新的速度。ExponentialMovingAverage 对每一个变量会维护一个影子变量(shadow variable),这个影子变量的初始值就是相应变量的初始值,而每次运行变量更新时,影子变量的值会更新为:
shadow_variable = decay × shadow_variable + (1 - decay)× variable其中shadow_variable 为影子变量,variable 为待更新的变量,decay为衰减率。从公式中可以看到,decay 决定了模型更新的速度,decay 越大模型越趋于稳定。在实际应用中,decay 一般会设成非常接近1 的数(比如0.999 或0.9999)。为了使得模型在训练前期可以更新得更快,ExponentialMovingAverage
还提供了num_updates 参数来动态设置decay的大小。如果在ExponentialMovingAverage 初始化时提供了num_updates参数,那么每次使用的衰减率将是:
下面通过一段代码来解释ExponentialMovingAverage 是如何被使用的。
import tensorflow as tf v1 = tf.Variable(0.0, dtype=tf.float32) step = tf.Variable(0, trainable=False) # 定义一个滑动平均的类(class)。初始化时给定了衰减率(0.99)和控制衰减率的变量step。 ema = tf.train.ExponentialMovingAverage(0.99, step) # 定义一个更新变量滑动平均的操作。这里需要给定一个列表,每次执行这个操作时 # 这个列表中的变量都会被更新。 maintain_averages_op = ema.apply([v1]) with tf.Session() as sess: init_op = tf.initialize_all_variables() sess.run(init_op) # 更新变量v1的值到5。 sess.run(tf.assign(v1, 5)) # 更新v1的滑动平均值。衰减率为min{0.99,(1+step)/(10+step)= 0.1}=0.1, # 所以v1的滑动平均会被更新为0.10+0.95=4.5。 sess.run(maintain_averages_op) print sess.run([v1, ema.average(v1)]) # 输出[5.0, 4.5] # 更新step的值为10000。 sess.run(tf.assign(step, 10000)) # 更新v1的值为10。 sess.run(tf.assign(v1, 10)) # 更新v1的滑动平均值。衰减率为min{0.99,(1+step)/(10+step) 0.999}=0.99, # 所以v1的滑动平均会被更新为0.994.5+0.0110=4.555。 sess.run(maintain_averages_op) print sess.run([v1, ema.average(v1)]) # 输出[10.0, 4.5549998]
相关文章推荐
- Tensorflow 实战google深度学习框架 07 滑动平均模型
- tensorflow 滑动平均模型
- TensorFlow中滑动平均模型介绍
- tensorflow--滑动平均模型
- 78、tensorflow滑动平均模型,用来更新迭代的衰减系数
- Tensorflow深度学习之九:滑动平均模型
- 78、tensorflow滑动平均模型,用来更新迭代的衰减系数
- Tensorflow中提供tf.train.ExponentialMovingAverage函数实现(滑动平均模型)
- TensorFlow实战系列13--LeNet-5 模型
- TensorFlow优化之滑动平均模型
- Tensorflow 实战 google 深度学习框架 笔记(一)滑动模型
- tensorflow 下的滑动平均模型 —— tf.train.ExponentialMovingAverage
- tensorflow实战系列(三)一个完整的例子
- 【TensorFlow系列】【六】多模型部署
- tensorflow实战系列(四)基于TensorFlow构建AlexNet代码解析
- 神经网络的滑动平均模型
- TensorFlow实战系列10--卷积神经网络简介
- Spark入门实战系列--3.Spark编程模型(上)--编程模型及SparkShell实战
- 金融时间序列分析:7. MA滑动平均模型
- tensorflow实战系列(四)基于TensorFlow构建AlexNet代码解析