点击数: 更新日期: 2022-10-27
中文题目：基于知识不变性和分离性的在线连续学习
论文标题：Online Continual Learning via the Knowledge Invariant and Spread-out Properties
录用时间：2022年10月5日
录用期刊：Expert Systems With Applications（JCR Q1 TOP）
作者列表：
1) 韩亚楠 （中国石油大学（北京） 信息科学与工程学院 2019级博士）
2) 刘建伟 （中国石油大学（北京） 信息科学与工程学院 自动化系）
背景与动机:
近年来，深度学习虽然已在计算机视觉领域取得了较大成功，然而，仍面临许多挑战。在连续学习过程中，当模型完成对当前任务学习后，再进行新任务学习时，模型将遗忘之前学习的知识，该现象称其为灾难性遗忘（Catastrophic forgetting）。导致该问题产生的两个关键因素是：1）模型对新任务学习可能覆盖部分旧知识；2）在该场景下，当新任务到达时，模型不允许重新学习之前任务的所有训练数据。基于此，连续学习模型试图解决以上问题。在连续学习场景中，模型能够从当前的任务中快速地学习新知识，同时不遗忘从之前任务中学习的旧知识。当模型完成对所有任务学习以后，连续学习模型能够在所有任务上都表现的好。针对该问题的研究，近年来已经取得了一些研究成果，例如基于正则化方法、基于模型框架方法以及基于记忆回放方法。相较与基于正则化方法和基于模型框架方法，研究发现，基于记忆回放方法展现出较强的性能优势。因此，本次研究中也使用了一个情景记忆来克服灾难性遗忘问题。然而，值得注意的是，在该种连续学习的方法下，由于情景记忆种存储之前任务的样例的数量有限，因此在对当前任务进行学习时，将可能发生学习偏差，这将加剧了在之前任务的遗忘。因此，本次研究将致力于解决基于记忆回放方法中产生的学习偏差问题。
模型结构
图1 连续学习过程
如图1所示，在连续学习过程中，连续学习模型逐个地对每个连续的非独立均匀分布流数据样例进行学习，并且，该连续学习模型对每个样例只进行一次访问。这种学习方式与动物学习过程更为接近。如果我们忽略各个任务的先后次序问题，单独训练每个任务，这将导致灾难性遗忘，这也是连续学习一直以来所面临的最大的问题。因此，连续学习的本质，是通过各种手段来高效地转化和利用已经学过的知识来完成新任务的学习，并且能够极大程度地降低遗忘带来的问题。
图2 随着序列任务的学习模型的嵌入特征和准确率的演化
为了更好地对序列任务的学习偏差进行研究，这里进行了定量分析。具体来说，当新任务到达后，模型首先完成对新任务的学习，与此同时，这里对情景记忆中的嵌入情景记忆特征的余弦距离的变化进行度量。如图2所示，由于数据不平衡和学习偏差的存在，随着新知识的不断学习，情景记忆中嵌入特征的余弦距离变化逐渐增大。此外，本文也相应地绘制了任务分类准确率的演化图。由图2观察可得，随着不断地对新地序列任务进行学习，模型在之前任务上的分类准确率将逐渐下降。
图3 模型框架图
如图3所示，与典型的基于记忆的方法不同，在本文提出的模型中，进一步应用知识的不变性和分离性来进一步获取之前任务的重要结构知识。具体而言，在连续学习过程中，主要保持以下特性1）：知识的不变性，对于从之前任务中在同一样例中学习到的知识，随着对序列任务的学习，情景记忆嵌入特征应尽可能保持不变或最高相似度。2）不同样例的嵌入特征应该具有分离性，这样有利于更好地保持嵌入特征的结构信息。通过这种方式，使模型能够更好地抵抗遗忘，提高模型的性能。
论文小结:
在本研究中，我们提出了一个新的连续学习框架，称为基于知识不变性和分离性的在线连续学习框架，可以有效地完成样例结构知识学习，进一步克服由于学习归纳偏差造成的灾难性遗忘问题。最后，我们在四个常用的连续学习数据集上进一步验证本文提出框架的有效性：Split CIFAR 100, Split SVHN, Split CUB200 和 Split Tiny-Image-Net。实验结果表明，相较于当前流行的方法，本文提出方法的有效性。此外，消融实验也进一步验证了提出模型中每个模块的重要性。
关于通讯作者:
刘建伟，副教授，博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。联系方式：liujw@cup.edu.cn