中文题目：LSTM多维时序建模中隐藏层激活的降维可视分析对比研究

论文题目：Comparing dimensionality reduction techniques for visual analysis of the LSTM hidden activity on multi-dimensional time-series modeling

录用期刊：The Visual Computer （JCR Q2）

作者列表：

1） 纪连恩 中国石油大学（北京）信息科学与工程学院/人工智能学院 计算机系教师

2） 邱诗荣 中国石油大学（北京）信息科学与工程学院/人工智能学院 计算机科学与技术 硕 21

3） 徐   智 中国石油大学（北京）信息科学与工程学院/人工智能学院 计算机科学与技术 硕 23

4） 刘   月 中国石油大学（北京）信息科学与工程学院/人工智能学院 计算机科学与技术 硕 20

5） 杨   光 中国石油大学（北京）信息科学与工程学院/人工智能学院 计算机科学与技术 硕 22

摘要:

长短期记忆网络(LSTM)已被广泛应用于包括各类工业控制领域在内的多维时序数据建模中，而可视分析方法（VAST）在提高其可解释性方面发挥着重要作用。为了理解模型隐藏层中的高维激活模式，降维技术（DR）的应用必不可少。然而，DR的多样性极大地增加了选择的难度。本文针对DR在LSTM隐藏层激活可视分析中的适用性问题，选取了四种具有代表性的DR技术作为比较对象，包括PCA、MDS、t-SNE和UMAP。原始的连续型建模数据和符号化处理后的离散型数据作为模型学习的知识，可将它们与LSTM隐藏层的激活行为相关联，从而比较不同DR技术保持和抽取隐藏层激活信息的能力。根据LSTM模型结构和数据特点，分别设计了在降维质量评估、高低隐藏层间抽象表征、模型与输出变量间关联分析、输入特征重要性分析和隐藏层时序规律探索等五个典型任务中的对照实验。通过对实验结果的定性和定量分析，总结了不同DR技术的适用性，提炼了LSTM多维时序建模场景下对隐藏层激活状态进行降维可视分析的系统性指导原则。

背景与动机:

深度模型具有工作机理复杂、可解释性差的问题，LSTM也不例外。可视分析在改善深度模型可解释性方面发挥了重要作用，而隐藏层激活状态作为模型的内部表现，是模型可视分析的主要研究对象。但高维的隐藏层激活值难以被直接可视化映射，近年来，人们通过DR提取隐藏层的激活值特征，在低维空间展示模型内部行为以利于人的理解和分析。然而，在对LSTM进行多维时序预测的可视分析中，DR的应用面临着诸多挑战。一方面，DR的多样性极大地增加了选择的难度，且DR是一个无监督的过程，在实际应用中很容易被误用；另一方面，不同的DR会产生不同的模式特征，DR的有效性评估分析任务的特点紧密相关。

设计与实现:

本文根据DR特点和应用现状，选择了PCA、MDS、t-SNE和UMAP四种代表性技术作为比较对象。此外，还提炼出了多维时间序列建模应用中LSTM隐藏层激活可视分析的五个主要任务，分别为T1：降维质量评估，T2：高低隐藏层间的抽象表征，T3：模型与输出变量的关联分析，T4：输入特征的重要性分析，T5：隐藏层的时序规律探索。

为了能够全面有效地将降维结果进行可视化，本文设计了空间投影和时序投影两种视图。分析人员可根据不同的分析任务选取不同分段下隐藏层激活状态，将其输入到DR中，然后再将二维空间下的投影结果映射到相应视图中进行探索和分析。

图1 投影视图

实验结果及分析:

面向五种典型LSTM可视分析任务场景，文中通过多组对照实验定性和定量比较了四种DR技术的表现性能和效果。

图2 降维质量评估（T1）

图3 模型的隐藏层与输出变量之间的关联在训练过程中发生变化（T2,T3）

表1 多维模型输入特征重要性保持能力评估结果（T4）

图4 某样本在不同DR下的时序投影结果（T5）

基于上述实验结果，本文提炼了在LSTM隐藏层可视分析任务中选择DR时必须考虑的几个重要因素，包括任务的关联对象、分析视角以及模式探索需求，并对它们适用的DR技术进行了总结，如表2所示。

表2 可视分析任务的特征及其适用的降维技术

结论:

本文通过选择四种具有代表性的DR技术进行对比研究，提炼了DR应用于多维时间序列建模的五种LSTM可视化分析任务，并进行了相应的案例实验研究。最后，根据任务的关联对象和分析视角，总结了不同类型任务对DR的关键特征要求，为研究人员在可视化地分析LSTM隐藏层激活状态时选用最有效的DR技术提供了系统性指导原则。

作者简介:

纪连恩，博士，副教授，研究生导师。主要研究领域为大数据可视化与智能分析、可解释机器学习及工业领域应用、虚拟现实与计算机仿真、计算机图形学与人机交互技术等。主持和参与了国家自然科学基金、国家科技重大专项和重点企业合作项目多项。现为中国计算机学会（CCF）人机交互专委会委员、中国图象图形学学会（CSIG）可视分析专委会委员以及虚拟现实专委会委员。

联系方式：jilianen@cup.edu.cn