超图神经网络霍克斯过程

中文题目：超图神经网络霍克斯过程

论文题目：Hypergraph Neural Network Hawkes Process

录用会议： the 2022 International Joint Conference on Neural Networks （CCF C）

录用时间：2022年4月26日

作者列表：

1) 程子濠 (中国石油大学(北京) 信息科学与工程学院 自动化系) 控制科学与工程 研20

2) 刘建伟 (中国石油大学(北京) 信息科学与工程学院 自动化系)

3) 曹 泽 (中国石油大学(北京) 信息科学与工程学院 自动化系) 控制科学与工程 研20

背景与动机:

近年来，事件序列的建模在社交媒体、地震预测和医学等许多领域受到越来越多的关注。常见建模时间点过程的方式有泊松过程，霍克斯过程等。霍克斯过程的特点是在分析序列时考虑了其历史过程对当前点的激励作用，现已成为用于分析具有自我激励的时间点过程的常用工具之一。例如，我们分析天气数据，用户的行为数据。通过分析其过去的事件，可以预测什么时候什么天气或行为事件会发生。然而，传统的时间点过程研究需要序列的先验知识。这就像生成模型。先验知识是否正确对性能有很大影响。随着神经网络和深度学习不断发展，随机点过程和深度学习结合的方法逐渐成为一个重要的研究方向。

受几何深度学习的启发，我们想要使用图来表示不同事件之间的相关性。通过图神经网络表示霍克斯过程，历史事件对当前事件的影响由图中不同顶点之间的连接关系表示。过去的图卷积神经网络使用一条边连接两个顶点，但对于事件序列，只考虑配对连接这种数据结构是不够的。为此我们引入了超图神经网络，我们的目标是通过超图神经网络编码单个霍克斯过程的隐表示。超图神经网络模型的不同顶点之间使用超边进行连接，一个超边可以连接多个顶点，这种连接关系可以用来编码顶点之间的相关性。我们建立了一个超图神经网络 Hawkes 过程模型 (HGHP)。 HGHP模型将一个序列的每个时间点视作顶点，学习不同顶点之间的长期和短期的依赖关系，通过超边连接来表征过去事件对当前事件的影响。我们的目标是捕捉霍克斯过程中的有用的模式，通过超图结构进行编码，并将编码得到的隐表示应用于下游预测任务。我们将我们的模型与现有的基线模型进行了比较，实验结果验证了其有效性。本文的贡献如下：

1）提出了一种新的基于超图的霍克斯过程模型。 我们通过超图表示序列数据，该模型通过超图学习事件之间的长短期依赖关系。

2）我们的实验表明，通过超图神经网络对序列进行编码可以有效地提取时间和事件序列中的信息，在预测性能上有更好的表现。

设计与实现:

我们在本文中提出了一个HGHP模型。模型的框架如图1所示。每个事件被视为一个节点，用超边的连接表示节点之间的关联关系。

1）模型架构

    首先我们将事件序列表示为

（1）

    超图神经网络Hawkes过程模型的核心思想是使用谱卷积运算提取信息。通过提取到的信息表征序列之间的相互依赖关系。 对于序列中的时间信息我们引入位置编码，为事件序列提供顺序关系，不同类型的事件我们引入独热编码来表示。序列中的每个时间点表示为超图中的点，我们通过欧式距离来获取不同点之间的关系，选取K个距离最近的点与当前点相连，得到关联矩阵H。关联矩阵H和输入通过超图卷积操作完成编码，学习到序列的隐表示，再将隐表示输入到全连接层，完成下游的分类和回归任务。

图1 超图神经网络Hawkes模型

2）目标函数设计

下游的预测任务分为两个部分，事件预测可以视作分类问题，时间预测可以视作回归问题。两个任务的目标函数分别表示为如下形式：

（2）

（3）

给定一个霍克斯过程序列，我们可以将其对应的似然函数表示为如下形式：

（4）

最终的目标函数以加和的方式得出：

（5）

实验结果及分析:

我们在不同的数据集上进行了实验，实验结果如下表所示。我们通过对数似然，事件预测的准确率，时间预测的均方根误差进行比较，我们的模型展现了最优或次优的数据拟合能力，同时在预测的准确率上表现也为最优和次优，这表明，我们的 HGHP 模型通过学习超图结构可以更好地提取事件序列数据之间的依赖关系，在不同长度的数据集的实验结果表明我们的模型在长期和短期依赖关系的提取上亦有不错的表现。

表1 对数似然

表2 事件预测准确率

表3 均方根误差

通讯作者简介:

刘建伟，副教授

博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。联系方式：liujw@cup.edu.cn