迁移学习(transfer learning)和微调(fine-tune)的几点认识
2016-12-27 16:44
337 查看
迁移学习和微调的区别
什么是迁移学习?即一种学习对另一种学习的影响,它广泛地存在于知识、技能、态度和行为规范的学习中。任何一种学习都要受到学习者已有知识经验、技能、态度等的影响,只要有学习,就有迁移。迁移是学习的继续和巩固,又是提高和深化学习的条件,学习与迁移不可分割。
换句话说,对于一个具体的深度学习训练任务,如:人脸识别,训练数据当然是用人脸库啦,你会觉得是废话,但是,呵呵,要是你的人脸库不够大怎么办?要是你没钱买数据怎么办?而且,你又没有足够的时间收集一个足够大的人脸库怎么办?这个时候,你可以试试迁移学习(transfer learning),用别人已经训练好的Imagenet的模型来做。
你可以将已经训练好了的Alexnet、googlenet、vggnet等网络中的某些层直接抽出来,化为己用。具体的来说,你可以将Alexnet中的最一层特征层抽出来,然后自己设计一个分类器或者直接用SVM分类器,分类。当然你也可以抽取多个网络中的网络层,然后进行融合。总而言之,就是将已经学到了的“知识”化为己用。在最后,你要用自己的数据集进行一下微调(fine-tune)。这就好比,使用“吸星大法”吸收了别人的功力之后,好歹也得打坐盘膝,调理一下不是?
什么是微调(fine-tune)?
看到别人一个很好的模型,虽然针对的具体问题不一样,但是也想试试看,看能不能得到很好的效果,而且自己的数据也不多,怎么办?没关系,把别人现成的训练好了的模型拿过来,换成自己的数据,调整一下参数,在训练一遍,这就是微调(fine-tune)。
总结
迁移学习更像是“吸星大法”,将别人修炼的功力直接吸过来,但是因为原先针对的具体任务有所不同,有可能走火入魔?这时候,就需要盘膝打坐调理一番,疏通自己的经脉,努力使自己的功力更上一层楼(也有可能一点提升也没有,否则就不用研究迁移学习啦)。从某意义上来说,微调应该是迁移学习中的一部分。
相关文章推荐
- 迁移学习和微调深度卷积神经网络
- Caffe fine-tuning 微调网络 (记录加学习下)
- 迁移学习与微调的关系
- keras系列︱迁移学习:利用InceptionV3进行fine-tuning及预测、完美案例(五)
- 迁移学习与fine-tuning有什么区别
- CS231n 卷积神经网络与计算机视觉 11 卷积神经网络的 迁移学习 和微调
- RCC外设的学习和理解(有几点新的认识20171113)
- 迁移学习和fine-tuning
- [深度学习]网络结构,权重初始化,激活函数,fine-tune
- 先学习学习: Fine-Tune Your Web Site for Windows XP Service Pack 2
- 关于迁移学习和模型微调的一些总结
- 迁移学习与fine-tuneing的区别
- 深度学习系列Part2:迁移学习和微调深度卷积神经网络
- keras系列︱迁移学习:利用InceptionV3进行fine-tuning及预测、完美案例(五)
- 深度学习系列Part2:迁移学习和微调深度卷积神经网络
- 《Caffe windows 下进行(微调)fine-tune 模型》读书笔记
- keras系列︱迁移学习:利用InceptionV3进行fine-tuning及预测、完美案例(五)
- keras系列︱迁移学习:利用InceptionV3进行fine-tuning及预测、完美案例(五)
- keras搬砖系列-迁移学习与微调
- caffe 学习之 Fine-tune