多任务学习(Multi-Task Learning)

多任务学习(Multi-Task Learning)

Multi Task Learning.

本文目录：

1. 多任务学习的定义及特点
2. 多任务学习的网络结构
3. 多任务学习的损失函数

1. 多任务学习的定义及特点

多任务学习(multi-task learning, MTL)是指同时学习多个属于不同领域(domain)的任务，并通过特定任务的领域信息提高泛化能力。

MTL improves generalization by leveraging the domain-specific information contained in the training signals of related tasks.

多任务学习的特点如下：

• 同时学习多个任务，若某个任务中包含对另一个任务有用的信息，则能够提高在后者上的表现；
• 具有正则化的效果，即模型不仅需要在一个任务上表现较好，还需要再别的任务上表现好；相当于引入了归纳偏置(inductive bias)，即倾向于学习到在多个任务上表现都比较好的特征；
• 模型可以共享部分结构，降低内存占用(memory fo