和积网络研究综述

中文题目：和积网络研究综述

论文题目：Survey of Sum-Product Networks

录用期刊/会议：控制理论与应用 (中国自动化学会推荐科技期刊B类，EI索引)

原文链接：http://kns.cnki.net/kcms/detail/44.1240.tp.20231115.0941.002.html

录用/见刊时间：2023.10.11

作者列表：

1） 代   琪 中国石油大学（北京）信息科学与工程学院/人工智能学院 控制科学与工程 博20

2） 刘建伟 中国石油大学（北京）信息科学与工程学院/人工智能学院 自动化系 教师

文章简介:

本文详细介绍了关于和积网络的相关研究成果，从和积网络与其他神经网络的差异、和积网络的理论研究与推理和和积网络的变体等不同的研究方向，详细介绍了和积网络的研究进展，并对和积网络的已有的成果进行总结分析。本文根据目前和积网络的改进方向，对和积网络的变体进行分类，给出一种新颖的分类方法。此外，本文结合和积网络的研究的现状，对和积网络未来的研究方向进行了展望。

摘要:

和积网络(SPNs)是一种基于有根有向无环图的深度概率图模型。除了叶节点外，其余节点由求和节点或求积节点组成。和积网络与概率图模型密切相关，但是，和积网络计算过程仅涉及简单的网络多项式求和运算和求积运算，且能够实现精确和近似推理。与经典的概率图模型相比，和积网络可以从训练数据中构建易于推理的模型。此外，和积网络也可以作为类似于神经网络的深度学习模型使用。本文主要从和积网络的基本原理、理论研究、学习技术、变体模型及各领域具体应用等问题进行详细阐述。首先，概述和积网络的基本原理，包括和积网络理论的研究现状。其次，概述了和积网络的几类变体模型，并总结了和积网络学习技术中的参数学习和结构学习方面的学习算法。除此之外，我们还从自然语言处理、语音识别、医学研究等特定应用领域概述了基于和积网络的应用模型。最后，根据现有的研究基础对和积网络未来的发展趋势及方向进行了展望。

背景与动机:

和积网络是一种具有有根有向无环图的新型概率图模型，它可以轻松地表示由混合(求和节点)和因式分解(求积节点)形式的组合产生的概率分布。与其他基于神经网络的人工智能模型相比，和积网络不仅能够转换为概率图模型(如贝叶斯网络或马尔可夫网络)执行相关的推理任务，也可以将和积网络视为一种新型的神经网络模型，并从训练数据中学习数据表示，并执行相关的学习任务。此外，和积网络的主要优点是可以按照与图中边数成比例的时间执行多个复杂的推理任务。

设计与实现:

本文从和积网络的五个不同的研究方向进行了详细的介绍，如下所示：

(1) 和积网络作为一种深度学习模型，它与其他深度学习模型存在明显的差异。本文分析了和积网络与概率图模型、传统神经网络之间的异同。

(2) 对于和积网络的理论分析和模型推理方面，本文详细介绍了和积网络的理论研究进展与推理方法，并简要分析了和积网络的理论研究和模型推理的优缺点。

(3) 和积网络作为一种新的深度学习模型，在和积网络的基础上，存在许多的变体模型，本文提出一种新颖的分类方法，根据现有的研究成果将和积网络分为五种不同的变体模型。

(4) 和积网络的参数学习和结构学习是研究和积网络的基础，他们能够根据已有数据集学习和积网络的参数和结构。因此，在本文中，详细阐述了和积网络的结构学习和参数学习的研究进展。

(5) 最后，由于和积网络是一种高效的推理模型和深度学习模型，本文简要介绍了和积网络在深度学习中应用。

主要内容:

(1) 和积网络与传统的深度学习模型之间的对比分析

和积网络是一种结合网络多项式概念于2011年提出的新的概率图模型，是一种有根有向无环混合图。和积网络类似于概率图模型，它们都能紧凑地表示概率分布。但是，和积网络和概率图模型在节点表示和边的意义上存在一定的差异。此外，如果将和积网络看作与神经网络类似的模型，则必须固定模型结构，并在数据上训练学习模型的节点权重和参数。

(2) 和积网络的理论研究与概率推理

和积网络是一种很有前途的深度概率图模型，在各领域得到了广泛的应用。和积网络的潜在深度结构使它们可以捕获模型变量之间的复杂交互关系，同时仍然保持有效的推理。从理论的角度而言，和积网络的基础理论研究尚不完善，在模型推理和近似表示等方面尚未得到很好的证明，还有许多理论值得深入研究。和积网络的理论研究、MAP推理和推理加速相关的研究如表1所示。

表1 和积网络的理论研究与模型推理

(3) 和积网络的变体模型

和积网络作为一种新的深度学习模型，在和积网络的基础上，存在许多的变体模型。为了更好地划分研究方向，我们首次根据和积网络的研究方向和研究问题对现有的变体模型进行划分，从而形成一种新的分类方法。目前在随机张量和积网络基础上已经提出了新模型，因此，在该分类方法中将随机张量和积网络相关的模型单独分为一类。图1总结了和积网络变体模型及其对应的研究思路和解决方法。

图1 和积网络的变体模型

(4) 和积网络的参数学习和结构学习

和积网络是新的深度概率图模型，它允许在线性时间内进行精确的概率推理。与传统的概率图模型相似，学习和积网络时主要存在两个主要问题：参数学习和结构学习。结构学习的优劣取决于参数学习，因此更好的参数学习算法通常可以带来更好的结构学习算法。和积网络的参数学习过程类似于多层感知器，可以在有限的迭代次数中学习边的权重。而结构学习主要是从数据中利用分层与分块的方法，学习和积网络的结构。

(5) 和积网络的应用

由于和积网络是一种高效的推理模型和深度学习模型，在本文中，简要介绍了和积网络在深度学习中应用。

和积网络是一种与概率图模型(PGM)密切相关的基于概率的深度学习模型，但SPNs具有允许从数据中学习网络结构构建可处理模型的优势。SPNs已被应用于与神经网络相同的任务，主要是计算机视觉和自然语言处理，这远远超过经典概率图模型(如贝叶斯网络和马尔可夫网络)的推理和学习能力。尽管现有的深度神经网络在一些应用中能够产生更具优势的结果，但SPNs的优势在于可以根据学习数据集的信息自动构建网络结构，并使用梯度下降或为概率模型开发的某些算法学习SPNs的参数。

通讯作者简介:

刘建伟，教师，学者。发表学术研究论文280多篇。研究领域涉及在线学习（包括强化学习，赌博机算法，持续学习，长尾学习）；图像视频显著性目标检测，解纠缠表示学习，光场和神经场模型，以及图像视频少样本变化检测；自然语言理解中的知识补全，图神经网络；不平衡数据处理；霍克斯点过程故障预测与诊断；非线性预测与控制。 是兵器装备工程学报第三届编辑委员会委员。历届中国控制会议(CCC)和中国控制与决策会议(CCDC)的程序委员会委员。担任过80多个国际会议的TPC。