基于从卷积自编码器中提取的多级隐表示构造异常检测单类集成分类器

中文题目：基于从卷积自编码器中提取的多级隐表示构造异常检测单类集成分类器

录用时间：2022年6月26日

论文题目：Ensemble of One-Class Classifiers Based on Multi-level Hidden Representations Abstracted from Convolutional Autoencoder for Anomaly Detection

录用会议：the 2022 International Conference on Artificial Neural Networks (ICANN 2022) CCF-C类会议

作者列表：

1) 王新坦 (中国石油大学(北京) 信息科学与工程学院 自动化系) 控制科学与工程 研19

2) 刘建伟 (中国石油大学(北京) 信息科学与工程学院 自动化系)

背景与动机:

异常检测是一项检测样本是否偏离正常样本模式的任务。但是在现实场景中，异常图像样本非常少，标注的成本也非常昂贵。因此，在典型的图像异常检测方法中，只使用正常样本来构建图像异常检测模型。当输入的图像样本偏离训练数据集的模式时，它被视为异常样本。单类支持向量机（OCSVMs）是一种典型而有效的图像异常检测方法。然而，这种方法的性能受限于输入数据的表示。一个好的数据表示可以极大地提高其性能。因此，为了获得高质量的数据表示，从而提高单类分类器的检测性能，学者们提出了一些混合异常检测方法。该方法首先使用表示学习方法从正常例子中提取特征，然后用来训练OCSVMs。在现有的混合异常检测方法中，训练单类分类器时只使用到了表示学习方法得到的最终特征，而没有利用到多级特征。然而，不同层次的特征具有不同的抽象层次的语义信息，这对于图像异常检测尤为重要。

设计与实现:

因此，为了解决上述问题，本研究尝试设计一个两阶段的方法，通过使用从卷积自编码器的不同层次中提取出的多级隐表示，再训练单类分类器，从而有效地掌握正常图像的不同抽象层次的语义信息，提高异常检测器的性能。模型的结构如下图1所示。

图1 模型框架图

如上图1所示，模块a表示模型的第一阶段，我们使用卷积自编码器来提取不同层次的图像语义特征。模块b表示模型的第二阶段，基于提取到的不同层次的图像语义特征，对多个基分类器进行训练。模块c中展示了模型进行图像异常评估的得分公式。

具体方法为，给定一个含有个正常图像样例的训练集。使用如下所示的损失函数：

在基于提取到的不同层次的图像语义特征构建基分类器时，我们选择经典的单类支持向量机作为基分类器，利用核函数将数据集映射到特征空间，在特征空间建立超平面对数据集中的正常样例和异常样例进行分割。在对测试集中图像样本评估时，我们将样本特征与再生核希尔伯特空间（RKHS）中的超平面之间的距离作为异常分数，如下公示所示：

如果样本特征在包含原点的半空间内，异常得分为正；否则，异常得分为负。我们把所有基分类器中图像样本的评估结果融合起来，得到最终的异常得分，如下公示所示：

实验结果及分析:

为了进一步验证本文提出方法的有效性，我们在不同的数据集上分别进行了对比实验。不同模型在MVTec、MNIST、Fashion-MNIST数据集上的实验结果分别如下表1、表2所示。实验结果表明，相较与其它基准算法，我们提出的模型获得了较好的实验效果，具有一定的优越性。

表1. 在MVTec数据集上运行10次的平均AUCs(%)

表2. 在Fashion-MNIST数据集上运行10次的平均AUCs(%)

结论:

实验结果表明，从卷积自编码器中提取的多级隐表示构造异常检测单类集成分类器与其它基准方法有一定程度的改进。它可以更好地提取图像的本质特征，帮助取得优异的实验结果。

根据实验结果，编码器生成的多级特征的质量对模型的效果有比较大的影响。未来，我们可以考虑使用其它深度生成式模型来生成更好的特征隐表示，从而提高模型的有效性。

通讯作者简介:

刘建伟，副教授，博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。联系方式：liujw@cup.edu.cn