Deep Learning Notes(1):值域，学习率，参数迭代形式

1 输入特征的值域归一化

输入特征的值域相差太大的话会导致Cost函数的梯度不均匀。Cost函数等高线为扁椭圆，梯度下降时会有长时搜索。

如果值域差不多，Cost函数的等高线近似圆形。梯度下降较快。

归一化方法：

x−mean(x)max(x)−min(x)

理想值域在[-1，1]。当然[-5, 5] 之类的也没有关系。只要不要有数量级的差别就可以。

2学习率选择

学习率的变化可以近似3的倍速增减。

-> 1-> 0.3-> 0.1 -> 0.03 -> 0.01 -> 0.003 -> 0.001 ->

3 Linear Regression 与 Logistic Regression中的参数更新的形式相同，本质不同

θj:=θj−α∂∂θjJ(θ)=θj−α1m∑i=1m(hθ(xi)−yi))xi

Linear Regression中的输出代表的是线性拟合的值，公式如下：

hθ(x)=θTx

但是Logistic Regression的输出代表的是概率，公式如下：

hθ(x)=11+e−θTx

所以Linear Regression 与Logistic Regression的参数更新的形式相同，本质是不同的。