两阶段多层感知器霍克斯过程

论文标题: Two-stage Multilayer Perceptron Hawkes Process

中文标题：两阶段多层感知器霍克斯过程

录用时间: 2022年9月10日

录用会议: the 29th International Conference on Neural Information Processing (ICONIP 2022) CCF-C类会议

作者列表:

1) 邢翔 (中国石油大学(北京) 信息科学与工程学院 自动化系) 控制科学与工程 研20

2) 刘建伟 (中国石油大学(北京) 信息科学与工程学院 自动化系)

3) 程子濠 (中国石油大学(北京) 信息科学与工程学院 自动化系) 控制科学与工程 研20

背景与动机:

许多社会活动可以描述为异步离散事件序列，如交通事故、医疗、金融交易、社交网络和暴力犯罪，如何预测事件发生概率、发生时间和事件类型是一个具有挑战性和最重要的问题，在城市管理、交通优化等领域具有广阔的应用前景。点过程模型通常用于对顺序数据建模。霍克斯过程可以考虑历史事件对当前事件的影响，因此霍克斯过程可以用于预测事件序列数据。然而，为了解决霍克斯过程过度简化的问题，深度神经网络与霍克斯过程的结合可以满足更实际事件序列预测的要求。因此出现了神经霍克斯过程（NHP）和变换霍克斯过程（THP）。我们认为，由于引入了递归神经网络或注意力机制，模型的复杂性很高。虽然注意机制可以实现良好的性能，但它不是必需的。

因此，本文提出了一种两阶段多层感知器霍克斯过程（TMPHP）。该模型由两种类型的多层感知器组成：一种是对每个事件序列独立应用MLP（学习每个事件序列的特征，以捕获不同事件之间的长期依赖性），另一种是将MLP应用于不同事件序列MLP（捕获不同事件间的长期和短期依赖性）。我们的模型比其它最先进的模型更简单，但具有更好的预测性能。特别是对于MIMIC-II数据集，我们的模型在预测精度方面优于RMTPP（4.2%）、NHP（2.2%）和THP（2.2%）。本文的主要贡献如下：

1）.我们的模型不使用注意力机制，只使用多层感知器。该模型使用两个多层感知器来捕获事件序列之间的长期和短期依赖关系。

2）.我们首先使用MLP1学习不同事件之间的依赖关系。然后我们将MLP1输出作为MLP2的输入，并学习不同序列之间的依赖关系。与其他模型相比，我们的模型相对简单，并且首次将多层感知器引入点过程。

3）.我们在相关数据集上验证了我们提出的TMPHP模型优于现有模型。

设计与实现:

首先我们将事件序列表示为，我们提出的TMPHP使用多层感知器的全连接层和非线性激活函数来捕获事件的长期和短期依赖关系，不使用RNN和注意力机制，模型相对简单。但在应用TMPHP之前，我们需要对输入事件序列进行编码。这里我们采用时间编码，定义为

另外我们使用独热编码确定事件编码。

在获得事件序列的编码之后，我们将传递给两级多层感知器模型。两级多层感知器是一种计算简单但具有竞争力的模型，不需要卷积或自注意力操作。它的体系结构完全基于多层感知器（MLP），可以学习不同维度上事件序列的长期和短期依赖关系。两级多层感知器可以编写如下：

此外，在两级多层感知器模型中使用层归一化和剩余连接，以防止模型过拟合。此外，类似于变压器的输出结构，我们还利用位置前馈神经网络来获得最终的隐表示。

图1 双级多层感知器Hawkes模型

实验结果及结论:

我们选择循环标记时间点过程（RMTPP）、神经霍克斯过程（NHP）、自我注意霍克斯过程(SAHP)和变换霍克斯过程(THP)作为基线模型进行比较。我们将TMPHP模型与基线模型进行了比较。我们比较了不同数据集上不同模型的对数似然值、事件预测的准确率，时间预测的均方根误差。比较结果如表2所示。

表1 对数似然

表2 事件预测准确率

表3 均方根误差

实验结果可以看出，我们提出的TMPHP模型的性能优于现有模型。这表明多层感知器模型能够很好地学习时间依赖关系，能够提高模型的准确性，能够准确地学习点过程序列中的时间信息，从而捕捉不同事件之间的长期和短期依赖关系。

关于通讯作者:

刘建伟，副教授，博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。联系方式：liujw@cup.edu.cn