迁移学习的相关概念

        之前谈到了迁移学习和自我学习（可以看这里），今天会系统整理一下与迁移学习相互关联的几个概念。

        迁移学习的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。用一句不正式的语言来定义，则是说，当教会了d电脑学习区分大象和犀牛的能力后，电脑利用这一本领更快或更准确地来学习如何区分飞机和鸟。因为人具有知识迁移的能力（所谓温故而知新），当我们学会了一项本领后，再去学习另外一项相关的本领就会容易很多。而迁移学习便是模仿人类的这一能力。当然，这是不正式的描述，正式的定义如下：



        从以上定义可以看出，迁移学习是一个很大的概念。定义中domain的不一样可以表现在feature space的不一样，或者表现在feature的distribution不一样；而task的不一样可以表现在特征对应的label space不一样，或者是feature到label的预测函数不同；如果domain和task都一样，这就是传统的机器学习问题；以前我总理解domain不一样叫transfer
learning，其实同一个domain下不同的task也算transfer learning。

       另外，可以看出迁移学习的问题中，两个domain必须是相关的。当两个domain不相关时，强加transfer learning反而有可能降低target domain的性能，这叫negative transfer，是应该避免的。

       与迁移学习十分相似的概念包括自我学习、多任务学习、domain adaption（我也不知道咋翻译）、半监督学习、非监督学习。这些概念有些事迁移学习的特例，有些与迁移学习的任务十分相似但是略有不同。

半监督学习
        从正式的定义中可以看出，迁移学习和半监督学习很相似，都是利用部分已标注样本和部分无标注样本共同进行学习。然而不同之处在于半监督学习假设已标注样本和未标注样本必须来自同一分布，换而言之，它们描述同一事物；而迁移学习允许已标注的样本来自不同分布，降低了这一限制。
多任务学习
        多任务学习同时学习多个不同的任务。而迁移学习更加注重从一个或多个source tasks中提取知识，并应用在另一个target task中。不同于多任务学习中，同时对两个task进行学习，迁移学习的关注点在于target task。

domain adaption

        当source和target tasks相同，而source和target domain不相同时，把这类任务细分为transductive transfer learning。而当domain的不相同限制为feature space相同，而feature的概率分布不相同时，把这类情况叫做domain adaption。

自我学习

        已经在上一篇博客中提到过了。

        最后，偷一个图作为总结：



Reference:

     [1]   A survey on transfer learning. IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 22, NO. 10, OCTOBER 2010

 

------------------

jiang1st2010

转载请注明出处：http://blog.csdn.net/jiang1st2010/article/details/9276165