多任务学习“Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics”

多任务学习系统的性能很大程度上依赖于任务间的损失权值。手动调节权值非常耗时耗力，论文提出使用任务间的同方差不确定性给每个损失函数赋权。模型由单一图像同时学习像素级深度回归、语义及实例分割。场景理解的多任务学习在机器人领域比较实用，多个任务组合到一个模型可以降低计算量。

多任务学习中每个任务的最优权值依赖于调节尺度、任务的噪声幅值。论文多任务学习的结构为：



相关工作

多任务学习可以认为是归纳知识迁移，通过共享互补任务的域信息提升泛化性能。

MultiNet

CrossStitch

PoseNet

UberNet

多任务学习-同方差不确定性

简单的多任务学习，每个任务的权值线性相加：

Ltotal=∑iwiLi

这是模型的性能受权值选择的影响，调节权值耗时，如下图语义分类及深度回归的损失权值：



在贝叶斯模型中，有两类可以建模的不确定性，即认知不确定性（缺少训练数据）、偶然不确定性（数据不能解释信息）。偶然不确定性又可以分为两个子类：数据依赖地或异方差不确定性、任务以来地或异方差不确定性。多任务中，任务不确定性捕获任务间相关置信度，反应回归或分类任务的内在不确定性。

多任务似然估计

基于最大化同方差不确定性的高斯似然估计，生产多任务损失函数。fW(x)表示网络输出，对于回归任务，高斯似然估计为：

p(y|fW(x))=N(fW(x),σ2)

对于分类任务，使用softmax函数估计：

p(y|fW(x))=Softmax(fW(x))

多任务估计：



最大似然估计为log似然估计，两个任务的最小化目标为：



变量y1的噪声σ1增大，L1(W)的权值降低。反之亦然。

具有同方差任务不确定性的多任务目标函数最终为：