关于迁移学习和模型微调的一些总结

摘要: 深度学习 迁移学习 模型微调

迁移学习和模型微调有些共同点，它们都是拿一些现成有效的模型做些修改或者集成，然后用来解决一些新的业务问题。之所以有这样的idea，是因为训练一个大型的深度学习模型实在是太耗费计算机资源和时间，能最大程度地重用已经训练好的大型深度学习模式是一个不错的想法。对迁移学习感兴趣的朋友，还可以看看这篇《2017年最值得关注的科学概念之“迁移学习”》

下面是我最近收集到的迁移学习和模型微调的各种框架实现案例。

基于Keras的案例：

https://github.com/ypwhs/dogs_vs_cats

https://zhuanlan.zhihu.com/p/26693647

基于Caffe的案例：

http://blog.csdn.net/u012526120/article/details/49496617

基于Tensorflow的案例：

http://blog.csdn.net/mao_xiao_feng/article/details/54944850

基于Mxnet的案例：

http://www.tuicool.com/articles/RrMf2yr

mxnet官方自带的例子， \mxnet\example\image-classification\fine-tune.py

fine-tune.py这个例子比较简单。大概的原理是加载一个预训练的大型神经网络，然后把该神经网络的大部分层次固定不变，只修改最后输出分类相关的全连接层。举例，把ImageNet 1000个分类的整个模型加载，然后替换掉它的最后一层全连接层，换成我们需要识别的十几个分类的全连接层。完成替换后，我们就可以用这个微调模型对我们自己的少量数据进行训练了。