李宏毅机器学习课程－Transfer Learning
2017-12-13 09:41
302 查看
深度学习 -> 强化学习 ->迁移学习（杨强教授报告)
李宏毅机器学习课程－Transfer Learning
迁移学习－吴恩达
freeze
待处理的
理解深层神经网络中的迁移学习及TensorFlow实现
Transfer Learning模式
Transfer Learning-Model Fine-tuning
Image: usually copy the first few layers
Transfer Learning - Multitask learning（需要实践）
Transfer Learning-Domain-adversarial training（需要实践）
Domain-adversarial trainingYaroslav Ganin,Victor Lempitsky, Unsupervised Domain Adaptation by Backpropagation, ICML, 2015
Hana Ajakan,Pascal Germain,Hugo Larochelle,François Laviolette,Mario Marchand, Domain-Adversarial Training of Neural Networks, JMLR, 2016
Transfer Learning-Zero-shot learning（需要实践）
参考文献
Transfer Learning
深度学习 -> 强化学习 ->迁移学习（杨强教授报告)
李宏毅机器学习课程－Transfer Learning
迁移学习－吴恩达
freeze
待处理的
理解深层神经网络中的迁移学习及TensorFlow实现
Transfer Learning模式
Similar domain, different tasks
Different domains, same task
Transfer Learning四种情形Transfer Learning-Model Fine-tuning
Conservative Training
Layer Transfer（需要实践）
不同任务共享前几层，往往会有较好的结果。
Speech: usually copy the last few layersImage: usually copy the first few layers
Jason Yosinski,Jeff Clune,Yoshua Bengio,HodLipson, “How transferable are features in deep neural networks?”, NIPS, 2014 这篇文章给出Transfer learning 方法有指导意义。（待总结）
Transfer Learning - Multitask learning（需要实践）
Transfer Learning-Domain-adversarial training（需要实践）
共享feature
不同Domain, Feature的分布不一样。
去掉Domain的Feature特性去掉。
两个不同任务的大型网络。
Domain-adversarial trainingYaroslav Ganin,Victor Lempitsky, Unsupervised Domain Adaptation by Backpropagation, ICML, 2015
Hana Ajakan,Pascal Germain,Hugo Larochelle,François Laviolette,Mario Marchand, Domain-Adversarial Training of Neural Networks, JMLR, 2016
实验结果
Transfer Learning-Zero-shot learning（需要实践）
不去直接去分类，而是将image映射到新的维度，将Feature映射到新的维度，目标是在新的维度，两者更接近。
目标函数的设置（亮点）
参考文献
Transfer Learning
深度学习 -> 强化学习 ->迁移学习（杨强教授报告)
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- [机器学习入门] 经典台大李宏毅机器学习课程从这里开始
- 李宏毅机器学习课程笔记1：Regression、Error、Gradient Descent
- 李宏毅机器学习课程1~~~Introduction &Regression
- 李宏毅机器学习课程４~~~分类：概率生成模型
- 台湾大学林轩田和李宏毅机器学习课程
- 李宏毅机器学习课程11~~~为何要"深"？
- 李宏毅机器学习课程12~~~半监督学习
- 台大李宏毅2017机器学习国语课程(更新)
- 国立台湾大学-李宏毅-2017年（秋）最新深度学习与机器学习应用及其深入和结构化研究课程分享
- [机器学习入门] 经典台大李宏毅机器学习课程从这里开始
- 李宏毅机器学习课程－Structured Learning
- 李宏毅机器学习课程笔记7：Transfer Learning、SVM、Structured Learning - Introduction
- 李宏毅机器学习课程5~~~分类：逻辑回归
- 李宏毅机器学习课程笔记8：Structured Learning - Linear Model、Structured SVM、Sequence Labeling
- 李宏毅机器学习课程笔记5：Unsupervised Learning - Linear Methods、Word Embedding、Neighbor Embedding
- 李宏毅机器学习课程笔记2：Classification、Logistic Regression、Brief Introduction of Deep Learning
- 李宏毅机器学习课程6~~~深度学习入门
- 李宏毅机器学习课程笔记9：Recurrent Neural Network
- 李宏毅机器学习课程笔记10：Ensemble、Deep Reinforcement Learning
- 李宏毅机器学习课程８~~~keras