七月算法迁移学习 学习笔记

迁移学习定义：将在一个场景中学习到的知识迁移到另一个场景应用

Kaggle猫狗分类比赛

相同domain不同任务：老鹰&布谷鸟

不同domains相似任务：高飞狗&招财猫

为什么要迁移学习？

Ø 使用深度学习技术解决问题的过程中，最常见的障碍在于，因为模型有大量

的参数需要训练，因此需要海量训练数据作支撑。

Ø 在面对某一领域的具体问题时，通常可能无法得到构建模型所需规模的数据。

Ø 借助迁移学习，在一个模型训练任务中针对某种类型数据获得的关系也可以

轻松地应用于同一领域的不同问题。



迁移学习一览



一、模型Fine-tune

• 任务状况



• 例子:(有监督学习)电商小品类商品识别

• 源数据:Imagenet多种物体图片

• 目标数据:电商小品类商品图片

• 基本思想:1）由原始的imagenet图像训练一个模型，在自己数据集上。2）可能的问题:在小量调优数据上可能过拟合

保守训练/Conservative Training



层迁移/Layer Transfer



• 我们应该拷贝（复用）那些层呢？1）语音:通常是最后一些层 2）图像:通常是开始的一些层



二、Multitask Learning



多语种语音识别



渐进式神经网络/Progressive Neural Networks





三、Domain-adversarial training

任务描述



相同任务,不同数据



域对抗/Domain-adversarial training











四、Zero-shot learning/零样本学习
http://evchk.wikia.com/wiki/%E8%8D%89%E6%B3%A5%E9%A6%AC


不同任务



• 通过属性来表征类





• 属性embedding





没有数据库怎么办？• 属性embedding+词embedding





• 对语义Embedding做加权



零样本学习的典型应用





五、Self-taught learning

• 尝试通过无监督方法从源数据抽取更好的表达

• 对目标数据也进行更好地表达



六、更多零样本学习的paper