频域时间序列的上下文层次对比学习

中文题目：频域时间序列的上下文层次对比学习

论文题目: The Context Hierarchical Contrastive Learning for Time Series in Frequency Domain

录用会议: the 29th International Conference on Neural Information Processing(CCF-C类会议)

论文录用时间: 2022年9月11日

作者列表:

1) 王明辉 (中国石油大学(北京) 信息科学与工程学院 自动化系) 控制工程 研21

2) 刘建伟 (中国石油大学(北京) 信息科学与工程学院 自动化系)

背景与动机:

时间序列是当前研究的热点领域，广泛应用于医疗、制造等领域。然而，时间序列数据的学习方法一直是一个难题。许多研究使用深度学习模型学习并对时间序列数据执行预测、分类和回归任务。然而，时间序列的深度学习能力远远低于自然语言（NLP）和图像处理。最近关于使用适当的增强和掩码方法对时间序列的高维数据进行编码的研究，通过应用对比学习构造借口任务和学习内部结构，在数据分类和预测方面取得了巨大成功。然而，在描述高维时间序列数据的学习方法方面仍然存在许多不足。

具体实现:

为了解决上述问题，本文提出了一种称为CHCL-TSFD的上下文层次对比学习框架，该框架将时域中的时间序列数据转换为频域，并考虑到时域中掩码点的平滑性与关联性，在所有语义层次上进行时间序列的表示学习，并使用原始时间序列中的随机子序列作为正负样本的分类。模型的结构如下图1所示。

图1 模型框架图

如图1所示，我们提出的模型CHCL-TSFD主要由四个部分组成，包括傅里叶变换层、投影层、时空掩码运算层和CNN卷积层。傅里叶变换层的目的主要是将时间序列转换到频域，以增强数据的平滑度和相关性。投影层的目标主要是将频域中的数据映射到更高维的矢量。时空掩码运算作用是建立正负样本，增加整个模型对数据的抗干扰能力。CNN卷积层的功能是提取时间序列的上下文特征表示。详细描述如下。

第1阶段傅里叶变换层 主要是将数据表示从时域转换为频域。

第2阶段投影层 投影层的主要功能是将频域数据映射到高维矢量层，然后将其映射到时空掩码运算阶段：

第3阶段时空掩码运算 对于投影层的任何输出，CHCL-TSFD随机屏蔽实例的时间戳以生成新的上下文视图。具体来说，它使用二进制掩码沿时间轴屏蔽输入投影层之后的潜在向量，其元素从=0.5的贝努利分布中独立采样

第4阶段CNN卷积层 扩张卷积是一个扩展的CNN模块。我们应用一个具有十个残差块的扩展CNN模块来提取每个时间戳的上下文表示。每个块包含两个带膨胀参数的一维卷积层（第块为）。扩张的卷积为不同区域提供了一个大的感受野。

损失函数：上下文层次对比法。目前已有的损失函数T-Loss仅在样例级别执行样例级对比学习；TS-TCC仅在时间戳级别对比；TNC鼓励特定粒度级别的时间局部平滑度，都考虑得不够全面。我们将上下文层次对比损失定义为时间对比损失和样例对比损失的线性表示。

时间对比损失：为了学习随时间变化的区分性表示，CHCL-TSFD将来自输入时间序列两个视图的同一时间戳的表示作为正值，而来自同一时间序列的不同时间戳的表达作为负值。

样例对比损失：我们在同一批次中使用时间戳的其他时间序列表示为负样本。

上下文层次对比损失：这两种损失是相辅相成的。例如，给定一组来自多个用户的用电量数据，实例对比可以了解用户的特定特征，而时间对比旨在挖掘随时间变化的动态趋势。总损失定义为

实验结果:

我们将该时间序列与其他无监督时间序列基准模型进行比较，包括T-Loss、TS-TCC、TST和TS2Vec。实验数据为UCR数据集，UCR其中包含70个单变量数据集。评估结果如表1所示，在70个UCR数据集中，与其它无监督模型相比，有一定的改进。近一半的数据集的正确率超过95%，平均准确率有所提高6.2%，模型的稳定性也得到了很大提高。

关于通讯作者:

刘建伟，副教授，博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。联系方式：liujw@cup.edu.cn

表1：我们的CHCL-TSFD模型在70 UCR数据集上无监督表示与其它方法的精度比较。