深度学习权重初始化的几种方法

经常看到深度学习参数初始化都是使用随机初始化，但是最近看了一篇文章Spectral Normalization中对于GAN判别器没有使用BN，BN其实弱化了参数初始化的作用，但是我们一旦不使用了BN,使用传统的随机初始化容易出现梯度消失的问题，因此决定尝试一些其他的参数初始化方法。

   神经网络的训练过程中的参数学习是基于梯度下降法进行优化的。梯度下降法需要在开始训练时给每一个参数赋一个初始值。这个初始值的选取十分关键。一般我们希望数据和参数的均值都为 0，输入和输出数据的方差一致。在实际应用中，参数服从高斯分布或者均匀分布都是比较有效的初始化方式。

    网络上关于参数初始化的介绍很多了，推荐一下聊一聊深度学习的weight initialization, 深度学习中的参数初始化 还有很多介绍原理的文章，这里的细节就不扣了，感兴趣的同学可以看看论文，这里主要介绍在深度学习的框架下如何使用他们。

1. Tensorflow几种使用参数初始化的方法

tensorflow 官网
tensorflow 辅助

1.1 截断高斯分布

使用举例：

tf.truncated_normal_initializer(stddev=0.01)

1.2 xavier初始化(适用于激活函数是sigmoid和tanh)

论文地址： Understanding the difficulty of training deep feedforward neural networks

使用举例：

tf.contrib.layers.xavier_initializer(uniform=True, seed=None, dtype=tf.float32)

1.3 MSRA初始化(适用于激活函数relu)

论文地址： Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

推荐文章: 深度学习——MSRA初始化

按照官网的介绍，当设置一定的参数时候就是”MSRA初始化”也就是默认设置。

tf.contrib.layers.variance_scaling_initializer(factor=2.0, mode='FAN_IN', uniform=False, seed=None, dtype=tf.float32)  # MSRA初始化

2. Pytorch几种使用参数初始化的方法

pytorch官网

2.1 Xavier初始化

2.1.2 uniform形式

2.1.2 normal形式

2. 2 MSRA

2.2.1 uniform形式

2.2.2 normal形式

xavier和MSRA在没有BN的情况之下确实比随机初始化要好很多！