基于图对比判别表示学习和学习长期依赖关系的Transformer构造的Hawkes过程

中文标题：基于图对比判别表示学习和学习长期依赖关系的Transformer构造的Hawkes过程

论文标题: Hawkes Process via Graph Contrastive Discriminant representation Learning and Transformer capturing long-term dependencies

录用时间：2022年9月11日

录用会议：International Conference on Neural Information Processing-2022 (ICONIP 2022) CCF-C类会议

作者列表：

1) 曹泽 (中国石油大学(北京) 信息科学与工程学院 自动化系) 电子信息（控制工程） 研21

2) 刘建伟 (中国石油大学(北京) 信息科学与工程学院 自动化系)

3) 程子濠(中国石油大学(北京) 信息科学与工程学院 自动化系) 控制科学与工程 研20

背景与动机:

如今，异构事件序列数据是我们日常生活中不可分割且极其重要的一部分。事件序列数据的特殊性质在于其存在复杂的长期和短期时间依赖性。大多数基于递归神经网络的点过程模型无法捕获这些依赖关系并做出准确的预测。Transformer Hawkes Process（THP）模型利用自注意力机制捕获序列长期相关性，适用于事件序列数据的预测。具有自适应增强的图对比学习技术（GCL）可以使学习的样例隐表示包含的类内隐特征接近，同时保持类间隐特征分散，从而生成增强数据。受这些启发，我们提出了将THP与自适应增强GCL相结合的想法。提出的基于图对比判别表示学习和能够捕获长期依赖关系的Transformer（GCDRLT）的Hawkes过程是一个两阶段的管道，用于增强隐表示捕获长期不确定性和特征判别提取方面的能力。模型的结构如下图一所示。

设计与实现:

图1 我们提出的GCDRLT模型的框架

我们的GCDRLT模型框架如图1所示。首先，我们使用Transformer学习中间隐表示，以从异构事件序列中捕获更大范围的依赖关系。具体过程如下：对于每个事件序列，我们用三角函数对异构事件序列进行编码，得到事件类型编码和事件发生时间编码，然后这些编码与注意掩码一起进入多头自注意力机制和前馈模块，得到中间隐表示矩阵A，GCDRLT采用图对比学习模型来增强中间隐表示矩阵A的判别能力。为了建立图对比学习，我们计算了A列之间的欧氏距离来导出边矩阵E，将A和E组合成图G=（A，E），然后将图G发送到图对比学习模块进行训练。对图对比学习模型进行训练后，得到最终的判别隐表示。最后使用判别隐表示进行事件类型和事件发生次数的预测工作。

实验结果及分析:

我们将GCDRLT在三个数据集上的评估指标与基准模型的评估指标进行了比较。首先，我们比较了不同数据集上几个模型的对数似然值，比较结果如表1所示。可以看出，我们的模型在所有三个数据集上都优于基准模型，这表明我们的模型可以对不同的数据集有很好的拟合效果。

其次，预测结果的准确性是一个极其重要的评价指标，具有非常重要的现实意义。表2显示了准确性的比较结果：就预测事件类型的准确性而言，我们的模型高于现有的基准模型。将CL模型引入THP模型可以达到数据增强的效果，从而提高事件类型预测的准确性。

最后，我们使用均方误差来评估模型预测事件发生时刻的能力，比较结果如表3所示。可以看出，GCDRLT模型的时间预测精度是最优或次优的，并且我们的模型可以学习点过程序列中的时间信息和不同事件之间的时间相关性。

表1 不同模型测试数据集的对数似然函数值

表2 不同数据集上不同模型的事件预测准确率

表3 不同数据集上不同模型的均方根误差

关于通讯作者:

刘建伟，副教授，博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。联系方式：liujw@cup.edu.cn