tensorflow07 《TensorFlow实战Google深度学习框架》笔记-04-05滑动平均模型
2017-04-07 11:52
435 查看
# 《TensorFlow实战Google深度学习框架》04 深层神经网络 # win10 Tensorflow1.0.1 python3.5.3 # CUDA v8.0 cudnn-8.0-windows10-x64-v5.1 # filename:ts04.05.py 滑动平均模型 # 在采用随机梯度下降法训练神经网络模型时,滑动平均模型能够提高训练模型在测试数据上面的效果 import tensorflow as tf # 1. 定义变量及滑动平均类 v1 = tf.Variable(0, dtype=tf.float32) step = tf.Variable(0, trainable=False) ema = tf.train.ExponentialMovingAverage(0.99, step) maintain_averages_op = ema.apply([v1]) # 2. 查看不同迭代中变量取值的变化 with tf.Session() as sess: # 初始化 init_op = tf.global_variables_initializer() sess.run(init_op) print(sess.run([v1, ema.average(v1)])) # 更新变量v1的取值 sess.run(tf.assign(v1, 5)) sess.run(maintain_averages_op) print(sess.run([v1, ema.average(v1)])) # 更新step和v1的取值 sess.run(tf.assign(step, 10000)) sess.run(tf.assign(v1, 10)) sess.run(maintain_averages_op) print(sess.run([v1, ema.average(v1)])) # 更新一次v1的滑动平均值 sess.run(maintain_averages_op) print(sess.run([v1, ema.average(v1)])) ''' [0.0, 0.0] [5.0, 4.5] [10.0, 4.5549998] [10.0, 4.6094499] '''
相关文章推荐
- SAP BW平面文件特征数据的加载——视频学习笔记04和05
- 类模型NLP 学习笔记 05 (Brown Clustering && Global Linear Models)
- 04-05 mysql的学习笔记
- 滑动平均模型
- TensorFlow优化之滑动平均模型
- 08--04--05阶段 工作经验总结,,布局,复杂列表模型数据监听
- TensorFlow实战系列8--滑动平均模型
- Tensorflow 实战 google 深度学习框架 笔记(一)滑动模型
- 分布式机器学习系统笔记(一)——模型并行,数据并行,参数平均,ASGD
- 神经网络的滑动平均模型
- 马哥笔记04_01~~~05_04
- tensorflow 下的滑动平均模型 —— tf.train.ExponentialMovingAverage
- 78、tensorflow滑动平均模型,用来更新迭代的衰减系数
- tensorflow 滑动平均模型
- Tensorflow中提供tf.train.ExponentialMovingAverage函数实现(滑动平均模型)
- 模型参数NLP 学习笔记 05 (Log-linear Models)
- tensorflow11 《TensorFlow实战Google深度学习框架》笔记-05-04mnist-nn最佳实践code
- 04_ARM汇编自学笔记模型之ARM 状态下的寄存器组织
- TensorFlow中滑动平均模型介绍
- 滑动平均模型