小象学院深度学习笔记1（传统神经网络）

神经网络起源于线性回归,是线性到非线性的转变




  



即使损失大量特征，因为特征足够多不会对模型的特征获取有太多影响。



线性回归网络可以简化为一层，多个系数矩阵的相乘可以转化成一个系数矩阵


  



赋予不同参数不同的权重值；多目标任务例如目标检测，既要分类又要进行定位；不同的网络模型的loss值得融合，例如VGG+Google，每个网络模型相当于一个神经元。

竞赛和业界中的套路：各种net的ensemble。





对训练的任务不太清楚，推荐一开始采用fixed。



原来的速度维持一点，再和新的learning rate结合。防止变太多，从而导致收敛速度下降。动量和调大学习率的区别：动量是矢量叠加考虑得更多会有一个新的方向会更准，调大学习率没有改变方向。


和动量相比，先前一步算出来两者结合而来






             


课程链接：https://www.bilibili.com/video/av10324235/index_2.html#page=2