Batch Normalization & Layer Normalization

Batch Normalization：

原文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

详细说明：http://blog.csdn.net/hjimce/article/details/50866313

理解：http://blog.csdn.net/shuzfan/article/details/50723877

效果为什么好：https://www.zhihu.com/question/38102762

Layer Normalization：

原文：Layer Normalization

Batch Normalization解决的是Internal Covariate Shift问题，即由于每一层的参数都在不断变化，所以输出的分布也会不断变化，造成梯度需要不断适应新的数据分布。所以，每一个mini batch里，对每个维度进行归一化。同时，为了反映数据的实际变化，再加上两个参数。（感觉是因为出现了震荡的问题，所以会想到这一招）

Layer Normalization，对每一层的进行归一化，所以就跟batch size什么的没有关系。

这么理解，Batch Normalization是竖着来归一，Layer Normalization是横着来归一。