基于有效通道注意的相关知识在线连续学习

背景与动机:

当前，深度神经网络在许多应用中显示出最好的学习能力，然而，使用该方法对数据进行增量更新学习时，会面临灾难性的干扰或遗忘问题，导致模型在学习新任务之后，忘记如何解决旧任务。连续学习（continual learning，CL）的研究使这一问题得到缓解。连续学习是模拟大脑学习的过程，按照一定的顺序对连续非独立同分布的（independently and identically distributed，IID）流数据进行学习，进而根据任务的执行结果对模型进行增量式更新。当前，现有的关于连续学习的方法大致可以分为三类:基于正则化方法、基于框架方法和基于记忆的方法。为了避免灾难性遗忘，典型的基于正则化的方法例如弹性权重整合法，SI等方法，尝试给模型的目标函数施加一个正则化项，尽可能地保证对之前任务重要的参数权重不变。该类方法的差异主要是对重要参数的度量过程。基于框架方法试图改变框架结构以学习新的知识。基于记忆的方法通过存储以前的样例来缓解灾难性遗忘。相较于其它类型的方法，基于记忆回放方法在在线连续学习的场景下，展现出巨大优势，因此，基于记忆回放的方法常用于连续学习过程中避免灾难性遗忘问题。一般来说，当前现有的模型对所有任务通常使用相同的学习框架，也就是说，所有任务都要共享之前学到的知识。因此，对不同的输入样例，模型能够自动地从通用特征库中自动提取有用信息。

设计与实现:

因此，为了解决上述问题，本次研究尝试应用有效的通道注意方法，使得模型能够根据输入样例自适应地选择与此样例相关的知识来进一步学习新知识。模型的结构如下图1所示。

实验结果及分析:

为了进一步验证本文提出方法的有效性，我们在不同的数据集上分别进行了对比实验和消融实验。不同模型在平均准确性、遗忘以及学习准确率下的实验结果如下表1所示。此外，消融实验用于研究模型中不同的模块对模型性能的贡献。其中SRKOCL表示本次研究提出的模型；SRKOCL-POD表示提出的模型使用知识蒸馏的约束，而不使用有效通道注意；SRKOCL-Base:该模型在没有有效通道注意和知识蒸馏约束的情况下进行训练。实验结果表明，相较与其它基准算法，我们提出的模型获得了较好的实验效果，此外消融实验也进一步验证了模型中各个模块的作用。