一种通过均值约束来实现解缠绕的mcVAE方法

中文题目：一种通过均值约束来实现解缠绕的mcVAE方法

论文题目：mcVAE: Disentangling by Mean Constraint

录用期刊/会议：【The Visual Computer】 (JCR Q2)

原文DOI： https://doi.org/10.1007/s00371-023-02843-9

原文链接： https://doi.org/10.1007/s00371-023-02843-9

录用/见刊时间：2023.03.11

封面图片：

封面摘要：

作者列表：·

1）胡铭菲 中国石油大学（北京）信息科学与工程学院 控制科学与工程 博18

2）刘建伟 中国石油大学（北京）信息科学与工程学院 自动化系 教师

摘要:

这篇论文探讨了使用均值约束在β-VAE方法中进行无监督解缠绕方面的可行性，并提出了一种新的框架mcVAE。该论文还介绍了一种新的度量方法来评估解缠绕质量，并进行了定量比较。这些研究结果对于机器学习领域中需要使用解缠绕表示的应用程序具有重要意义，例如图像攻击检测、反欺诈和推荐系统等。

背景与动机:

该论文的研究动机是探索使用均值约束在β-VAE方法中进行无监督解缠绕的可能性，并提出一种新的框架mcVAE。该方法通过增加均值约束作为正则化项来实现更好的解缠绕效果和重构质量。此外，该论文还介绍了一种新的度量方法来评估解缠绕质量，并进行了定量比较。这些研究结果对于机器学习领域中需要使用解缠绕表示的应用程序具有重要意义。

设计与实现:

在β-VAE的基础上我们使用均值约束来提高解缠绕和重构质量的一种新框架。该方法通过将KL项中的参数β移动到均值约束项中来实现更好的重构效果和更高程度的解缠绕。具体来说，mcVAE方法增加了一个额外的正则化项，即均值约束，以限制均值本身的取值范围。首先使用KL散度（KL divergence）来衡量两个概率分布之间的差异。

主要内容:

实验结果及分析:

我们给出了mcVAE方法在CelebA和dSprites数据集上的实验结果，并与其他方法进行了比较。

图1 随着组数的增加，我们VP度量方法的解缠绕分数逐渐稳定在所有真实因素上

在图1中，我们展示了组数对每个真实因素的VP分数的影响：当组数少于20组时，解缠绕分数存在明显的误差。如果组数超过50，分数足够可靠和稳定。

图2 CelebA数据集（左）和3D椅子数据集（右）上的方差变量在不同维度下的变化。

我们在3D椅子和celebA数据集上训练了几个VAE模型，以验证方差向量的价值，我们使用不同的隐变量维度，并观察方差变量的变化，如图2所示。

图3 使用不同的框架学习解缠绕表示

结论:

我们受互信息和度量学习的启发，提出了mcVAE方法，并给出了在不同数据集上使用mcVAE方法和其他方法进行比较的实验结果。实验结果表明，与传统的β-VAE方法相比，mcVAE方法可以在解缠绕和重构方面取得更好的性能，并且可以避免模式崩溃等问题。此外，我们对mcVAE方法进行了进一步的性能分析，并讨论了其优点和局限性。总体而言， mcVAE是一种有效的解决方案，可以帮助提高解缠绕和重构质量，并为相关领域的研究提供了新思路和新方向。

通讯作者简介:

刘建伟 自动化系。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。在国际国内期刊上和国际国内会议上发表学术研究论文260多篇，其中三大检索200多篇。