多任务问题研究
多任务loss差异较大
归一化、动态权重调整（自适应超参-根据变化）、梯度裁剪、自适应学习率（不同任务单独设置）、任务相关性分析、注意力机制、周期性调度（不是一直更新所有任务，交替更新不同的任务）
多任务的任务平衡
loss方面调整
归一化、均匀分配、按照难度分配、按照验证集分布调整、自适应调整(采用梯度等信息)、使用正则化(知识蒸馏-将一个任务的知识转移到另一个任务中)、超参数优化(网格搜索)、结合任务相关性调整、基于经验和领域知识动态任务调度-根据当前的任务性能动态优化某一任务的性能
模型结构设计-共享特征
引入注意力机制-按照任务难度调整偏向参数
任务相关性分析-根据相关性设定相似或不同的权重
早停&模型选择-结合验证集上模型的性能表现选择模型(多任务性能均衡)
网格搜索
数据增强
多任务学习时引入特定任务的正则化项，提升模型的抗干扰