中文题目：融合潜在特征的长尾分类与对比学习

论文题目：Long-Tailed Classification with Fused Latent Features and Contrast Learning

录用期刊/会议：2024中国自动化大会 （CAA A类会议）

录用时间：2024.9.14

作者列表：

1) 袁鸿力 中国石油大学（北京）人工智能学院 控制科学与工程 研22级

2) 刘建伟 中国石油大学（北京）人工智能学院 自动化系 教师

摘要:

传统深度学习方法取得瞩目的成就离不开优质的平衡数据集，然而，真实世界中的数据集往往呈现长尾分布，尾部类数量过少，导致模型不能充分学习少数类。本文提出了新的对比学习损失函数，使得模型可以更好的适用于长尾场景学习来特征表示，此外还利用图结构将头部类信息迁移到尾部类特征中，增强尾部类效果。

背景与动机:

长尾场景（Long tail scenario）指数据集中少数头部类包含绝大多数样本，而众多的尾部类仅包含小部分样本的情况。在这样的数据集下训练模型，会导致模型对尾部类学习不够充分，并且模型更加关注头部类样本。现实中有些数据本身获取极为困难，并且人工标注大量数据需要高昂的成本，引入长尾学习技术对深度学习在实际场景中的部署具有重要意义。

主要内容:

对比学习有助于模型提取鲁棒的特征表示，过去的对比学习方法主要利用样本和样本之间的信息以及类别与类别之间的信息，而对于特征本身之间的关系利用的不够充分。除此之外，模型对分布的建模不够准确。针对关系利用不充分问题，本文利用KNN图来建模特征之间的关系，并通过卷积神经网络提取信息融合后的特征，然后利用对比学习提取鲁棒表示。

图1. 混合模块结构

针对分布建模不准确的问题，我们提出了一种新的适用于长尾场景的对比学习损失函数（图2. 对比损失函数），利用基于批数据和类原型的高斯混合分布来建模数据集的类条件分布。最后在常用的长尾数据及上进行了紧密的实验，实验结果证明了我们方法的有效性。

图2. 对比损失函数

实验结果如表1所示：

结论:

本文按照最近研究趋势，沿用将对比学习应用在长尾场景的下的思路，针对传统对比学习利用信息不充分以及建模分布不够准确的不足，分别提出了基于KNN图建模特征间关系，然后利用图卷积迁移头部信息的模块和新的长尾对比损失函数。最后在常见的长尾数据集上进行了详尽的实验，实验结果证明了我们提出的方法的有效性。

作者简介:

刘建伟，教师，学者。