当前位置: 主页 > 学术动态 >

用符号回归探索神经网络中隐含语义

点击数:   更新日期: 2022-08-24

中文题目:用符号回归探索神经网络中隐含语义

录用时间:2022-3-24

论文题目:Exploring Hidden Semantics in Neural Networks with Symbolic Regression

录用会议:Genetic and Evolutionary Computation Conference (CCF C类)

原文DOI:10.1145/3512290.3528758

作者列表

1)罗元榛,中国石油大学(北京),信息科学与工程学院,2021级硕

2   强,中国石油大学(北京),信息科学与工程学院导师

3Jake Luo, University of Wisconsin, Milwaukee, College of Health Sciences, Associate Professor

4)王智广,中国石油大学(北京),信息科学与工程学院,导师

背景与动机:

    最近有研究都集中在发机制神经网Neural Network, NN)黑盒行。然而,几乎有做任何工作提取神经网的潜在义(学表示)。NN模型的洁而明确的学表示可以提高其黑盒行的理解和解一需求,我提出了一种新的用于神经网的符号回方法(称为Symbolic Regression Network, SRNetNN的学表达式。SRNet建笛卡尔遗传编程(Neural Network Cartesian Genetic Programming, NNCGP)表示神经网单层义。然后,我利用多染色体的NNCGP表示NN所有网络层义。方法使用(1+)化策略(称为Multiple NNCGP-Evolution Strategy, MNNCGP-ES提取NN种所有络层的最终数学表达式。



1 SRNet探索神经网

设计与实现:

    SRNet的目标为找到一通用的学表达式,使得每一个样的公式都可以去近似每一个神经网络对应的网络层的输出. 即,我的目标为

了找到样的一,我需要解决以下的问题1)怎么每一个编码2)怎么找到样的表达式为隐义解神经网络层

2.1 SRNet编码

    我们将每一个网络层表示其中,一个学表达式函个函表示了的通用义。而值向量、矩,或者是量,如2所示。



2 多染色体NNCGPsSRNet编码结

了更好地表示每一,我定义了神经网卡尔遗传规划模型(Neural Networks Cartesian Genetic Programming, NNCGP)模型包含了三个成部分:通用义模型、常数项与操作符,如2所示。其中,通用义模型用生成通用的学函义模型拥有3个部分:k输入点、运算以及输出。常数项包含值向量以及偏差向量,其中. 操作符部分包含两个函,即与+.由于每一个NNCGP可以生成一个网络层义,所以利用多个NNCGP可以生成所有网络层每一个NNCGP成染色体,我可以把整个网络编码为一个个体基因型。在一个个体基因型种,每个NNCGP的输出会成下一个NNCGP的输入。

2.2 演化策略

SRNet使用多重NNCGP演化策略,并嵌入牛法从而来寻找最佳的SRNet基因型。MNNCGP类似于(1+)多染色体演化策略。MNNCGP-ES包括了以下操作:变异、适估与选择

2.2.1变异

    变异使用先设定好的概率随机地去改变NNCGP中的基因位另一个合法的随机值。

2.2.2

    适度函被定义以下方程:其中,是每一个中间网络层的均方(MSE)是输出失函,在分类问题中,是交叉失;而在回归问题MSE别为NNSRNet的输出。由于所以我可以用任何梯度下降法更新两个参向量。在本文中,于解的神经网(即神经元少),我使用牛(Newton-Raphson)其中p或者海森矩为损失函的梯度。由于于高的神经网而言,海森矩得会变得十分困。所以于高维问题,我使用L-BFGS(Limited-memory Broyden-Fletcher-Goldfarb-Shanno更新p,这将有利于节约内存和演化

2.2.3 选择

    选择过程旨在从种群中生成一个最佳的“超”个体作父代。个生成程可以被描述如下:由于每一个个体包含了多个染色体(即NNCGP),所以MNNCGP-ES会从每个染色体位置上选择在整个种群中最佳的染色体。例如,于第一个染色体位置,MNNCGP-ES算种群中所有个体的染色体位置的NNCGP失。然后选择损失值最低的NNCGP染色体的染色体位置。而后,于下一个染色体位置,继续进选择。直到得到所有染色体位的最佳NNCGP。按照NNCGP,我就得到了最佳的超个体。选择过程如3所示。



3 选择过

2.2.4 MNNCGP-ES

    如上所述,得到超个体后,MNNCGP-ES利用此个体作父代,使用1+演化策略去生成下一个种群。

实验结果及分析:

3.1 据集

使用12统符号回AI Feynman据集、5个PMLB的分类据集,训练一共17个全接网(MLP)。从而使用SRNet释这17个MLP集大小据集信息、MLP络层如下4和表1所示。



4 据集大小



表1 据集与MLP

3.2 采样

在解黑盒分类器,目在于拟合其决策边界,而不是像回问题一样直接拟合其输出值即可。所以了更好地拟合决策边界,我提出一种采样方法(称为Uniformly Sample instances around Decision Boundary, USDB)。USDB根据决策边界距离公式:

其中,采样点,B神经网的决策边界,C为数据集的类属于类的概率。

3.3 验结

5所示分类和回任务上的收线





5 线

如表2所示从各个MLP上得到的义(节选):



表2 每个网络层学表达式

将这行嵌套合,我可以得到能够表示MLP的整体公式。如表3所示。



表3 整个网学表达式

6所示为隐义与MLP络层的输出值比。我随机输入9个不同的值,然后得到义和网络层的输出值,并此输出值一化后比。



6 SRNet义和MLP的网络层输出值

在回归问题中,我们将SRNet和两种局部解方法LIME与MAPLE比。如7所示。其中于变量大于等于2的据集,我们将预测值分投影到每个2d平面上,如7(e)(f)所示。





7 插与外插域上预测值,SRNet vs LIME vs MAPLE

在分类问题中,我们对SRNet、LIME与MAPLE的决策线边界,如8所示。可见,SRNet可以在全局上得到非线性的决策线绿色),并且好地拟合了MLP的决策线(黑色)。相比之下,LIME和MAPLE只能在局部上得到线性的决策边界。



8 决策边界比(P2据集)

下表4运行30次后,SRNet和LIME与MAPLE训练集和测试集的分类准确性比。



表4 分类准确性

结论:

    本文提出了一种新的演化算法,称为SRNetSRNet旨在解决神经网的黑盒问题SRNet使用MNNCGP-ES找能够描述神经网的最佳义。模型不可以挖掘出表示神经网路的学表达式,并且在外插域上生更光滑的预测线。而在分类问题上,可以生非线性且更准确的全局分类决策线所以我相信,SRNet具有巨大的潜力去解神经网

    然而,我仍然会发,随着网络层的增加,最表示神经网的整体义会变得复懂。此外,高维问题下会USDB方法以采样,使得分类准确率下降。所以在未注于改SRNet应这两个缺陷。


作者简介:

    鲁强:副教授,导师。目前主要从事演化算和符号回、知识图谱与智能答、以及迹分析与挖掘等方面的研究工作。