tensorflow的几种参数初始化方法
2018-01-01 22:36
399 查看
在tensorflow中,经常会遇到参数初始化问题,比如在训练自己的词向量时,需要对原始的embeddigs矩阵进行初始化,更一般的,在全连接神经网络中,每层的权值w也需要进行初始化。
tensorlfow中应该有一下几种初始化方法
具体的
1、tf.constant_initializer(),它的简写是tf.Constant()
4、random_uniform_initializer = RandomUniform()
6、tf.truncated_normal_initializer()
8、tf.variance_scaling_initializer()
tensorlfow中应该有一下几种初始化方法
1. tf.constant_initializer() 常数初始化 2. tf.ones_initializer() 全1初始化 3. tf.zeros_initializer() 全0初始化 4. tf.random_uniform_initializer() 均匀分布初始化 5. tf.random_normal_initializer() 正态分布初始化 6. tf.truncated_normal_initializer() 截断正态分布初始化 7. tf.uniform_unit_scaling_initializer() 这种方法输入方差是常数 8. tf.variance_scaling_initializer() 自适应初始化 9. tf.orthogonal_initializer() 生成正交矩阵
具体的
1、tf.constant_initializer(),它的简写是tf.Constant()
1. tf.constant_initializer(),它的简写是tf.Constant() #coding:utf-8 import numpy as np import tensorflow as tf train_inputs = [[1,2],[1,4],[3,2]] with tf.variable_scope("embedding-layer"): val = np.array([[1,2,3,4,5,6,7],[1,3,4,5,2,1,9],[0,12,3,4,5,7,8],[2,3,5,5,6,8,9],[3,1,6,1,2,3,5]]) const_init = tf.constant_initializer(val) embeddings = tf.get_variable("embed",shape=[5,7],dtype=tf.float32,initializer=const_init) embed = tf.nn.embedding_lookup(embeddings, train_inputs) #在embedding中查找train_input所对应的表示 print("embed",embed) sum_embed = tf.reduce_mean(embed,1) initall = tf.global_variables_initializer() with tf.Session() as sess: sess.run(initall) print(sess.run(embed)) print(sess.run(tf.shape(embed))) print(sess.run(sum_embed))
4、random_uniform_initializer = RandomUniform()
4.random_uniform_initializer = RandomUniform() 可简写为tf.RandomUniform() 生成均匀分布的随机数,参数有四个(minval=0, maxval=None, seed=None, dtype=dtypes.float32),分别用于指定最小值,最大值,随机数种子和类型。
6、tf.truncated_normal_initializer()
6. tf.truncated_normal_initializer() 简写tf.TruncatedNormal() 生成截断正态分布的随机数,这个初始化方法在tf中用得比较多。 它有四个参数(mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32),分别用于指定均值、标准差、随机数种子和随机数的数据类型,一般只需要设置stddev这一个参数就可以了。
8、tf.variance_scaling_initializer()
8.tf.variance_scaling_initializer() 可简写为tf.VarianceScaling() 参数为(scale=1.0,mode="fan_in",distribution="normal",seed=None,dtype=dtypes.float32) scale: 缩放尺度(正浮点数) mode: "fan_in", "fan_out", "fan_avg"中的一个,用于计算标准差stddev的值。 distribution:分布类型,"normal"或“uniform"中的一个。 当 distribution="normal" 的时候,生成truncated normal distribution(截断正态分布) 的随机数,其中stddev = sqrt(scale / n) ,n的计算与mode参数有关。 如果mode = "fan_in", n为输入单元的结点数; 如果mode = "fan_out",n为输出单元的结点数; 如果mode = "fan_avg",n为输入和输出单元结点数的平均值。 当distribution="uniform”的时候 ,生成均匀分布的随机数,假设分布区间为[-limit, limit],则 limit = sqrt(3 * scale / n)
相关文章推荐
- Tensorflow中关于参数初始化的方法
- springmvc请求接收参数的几种方法
- Asp.net页面之间传递参数的几种方法
- 3. 定义一个分数类(Fraction) 实例变量:分子,分母 方法:初始化方法(2个参数),便利构造器,约分,打印,加,减,乘,除。
- springmvc 请求参数获取的几种方法
- PyTorch参数初始化方法
- HttpServletRequest接收参数的几种方法
- 页面之间传递参数的几种方法荟萃
- 在ASP.NET应用启动的时候初始化的几种方法
- springmvc请求参数获取的几种方法
- asp.net 页面之间传递参数的几种方法
- 页面之间传递参数得几种方法
- asp.net中常用的几种页面间传递参数的方法,并说出他们的优缺点
- Retrofit添加header参数的几种方法。
- SpringMVC系列之(四):SpringMVC请求参数获取的几种方法
- springmvc请求参数获取的几种方法
- Mybatis传递参数的几种方法
- 【转】在ASP.NET应用启动的时候初始化的几种方法
- Asp.net页面之间传递参数的几种方法
- JSP中初始化参数的设置和获取方法