点击数: 更新日期: 2022-07-08
原文标题：Online Continual Learning via the Meta-learning update with Multi-scale Knowledge Distillation and Data Augmentation
录用期刊：Engineering Applications of Artificial Intelligence （JCR Q1）
原文DOI：https://doi.org/10.1016/j.engappai.2022.104966
作者列表：
1) 韩亚楠 （中国石油大学（北京） 信息科学与工程学院 2019级博士）
2) 刘建伟 （中国石油大学（北京） 信息科学与工程学院 自动化系）
背景与动机:
近年来，深度学习虽然已在计算机视觉领域取得了较大成功，然而，仍面临许多挑战。在连续学习过程中，当模型完成对当前任务学习后，再进行新任务学习时，模型将遗忘之前学习的知识，该现象称其为灾难性遗忘（Catastrophic forgetting）。导致该问题产生的两个关键因素是：1）模型对新任务学习可能覆盖部分旧知识；2）在该场景下，当新任务到达时，模型不允许重新学习之前任务的所有训练数据。基于此，连续学习模型试图解决以上问题。在连续学习场景中，模型能够从当前的任务中快速地学习新知识（可塑性），同时不遗忘从之前任务中学习的旧知识（稳定性）。当模型完成对所有任务学习以后，连续学习模型能够在所有任务上都表现的好。当前对连续学习模型的研究也主要集中1）如何能够有效学习新知识；2）同时，不遗忘之前已学习的旧知识。针对该问题的研究，近年来已经取得了一些研究成果，例如基于正则化方法、基于模型框架方法以及基于记忆回放方法。相较与基于正则化方法和基于模型框架方法，研究发现，基于记忆回放方法展现出较强的性能优势。因此，本次研究也是基于记忆回放方法。
模型结构:
图1 连续学习过程
如图1所示，在连续学习过程中，连续学习模型逐个地对每个连续的非独立均匀分布流数据样例进行学习，并且，该连续学习模型对每个样例只进行一次访问。这种学习方式与动物学习过程更为接近。如果我们忽略各个任务的先后次序问题，单独训练每个任务，这将导致灾难性遗忘，这也是连续学习一直以来所面临的最大的问题。因此，连续学习的本质，是通过各种手段来高效地转化和利用已经学过的知识来完成新任务的学习，并且能够极大程度地降低遗忘带来的问题。
图2 模型框架图
如图2所示，在最左侧部分，当任务以任务流的方式依次到达，为了更为清楚的描述，对任务流依次进行编码，例，任务1，任务2，…任务t。如上图所示，模块(a)表示训练数据的构建。具体而言，情景记忆用于避免灾难性遗忘，其中我们选用环形缓冲（ring buffer）作为记忆写入策略。为了进一步提高模型的适应能力，我们使用cutmix数据增强策略来进一步生成新的增强样例。模块b)表示基于任务数量的元更新策略。模块c)表示模型的损失函数。
论文小结:
在本研究中，我们提出了一个新的连续学习框架，称为基于多尺度知识蒸馏和数据增强模型。具体而言，我们采用多尺度知识蒸馏的方法，在不同尺度特征层上约束模型的演化，以缓解记忆回放过程中由于数据不平衡造成的遗忘问题。此外，我们将情景记忆和当前任务样本利用数据增强策略进行样本增强，从而减轻了由于概率分布变化带来的负面影响。模型的更新过程，我们采用当前流行的元更新策略，提高模型的学习效率。最后，为了评估我们提出模型的有效性，我们在四个基准数据集上进行了对比实验和消融实验。实验结果表明本文提出的MMKDDA框架的有效性。此外，消融实验也进一步验证了提出模型中每个模块的重要性。
作者简介:
刘建伟，博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。联系方式：liujw@cup.edu.cn