循环神经网络研究综述

论文标题：循环神经网络研究综述

录用期刊：控制与决策（EI）

作者列表：

1) 刘建伟 (中国石油大学(北京) 信息科学与工程学院 自动化系)

2) 宋志妍 (中国石油大学(北京) 信息科学与工程学院 自动化系 控制科学与工程 硕19)

背景与动机:

在深度学习领域中，具有循环连接的神经网络称为循环神经网络(Recurrent Neural Networks,RNNs)，它能够为序列的识别和预测提供工具，RNNs使用循环迭代函数存储信息，很好地捕捉上下文信息，实现暂态依赖关系学习(因为RNNs可以学习存储哪些信息和忽略哪些信息)，RNNs主要解决和时间序列有关的问题，RNNs被广泛的应用在各个领域。目前，循环神经网络是机器翻译，机器问题回答，序列视频分析，手写体自动合成，语音处理和图像生成等的标准建模手段。由于RNNs良好的扩展性和广泛的应用前景，近年来受到众多国内外学者的青睐，取得了较多的研究成果。因此本文对基于RNNs的各类模型进行系统综述，对模型的应用背景，模型的结构以及模型各自的特点进行全面的总结。

主要内容:

基于RNNs模型的分类图如下图1所示。大致分为三个大类：第一类是衍生循环神经网络，这一类网络是基于基本RNNs模型的结构衍生变体，即对RNNs的内部结构进行修改，包括双向循环神经网络、长短期记忆网络、微分循环神经网络等；第二类是组合循环神经网络，这一类网络将一些经典的其他网络模型或结构和第一类衍生循环神经网络进行组合，得到更好的模型效果，是一种非常有效的手段，包括卷积循环神经网络、网格循环神经网络、图循环神经网络等；第三类是混合循环神经网络，这一类网络模型既有不同网络模型的组合，又在RNNs内部结构上进行了修改。本文还介绍了和循环神经网络经常被混为一谈的递归神经网络结构以及递归神经网络与循环神经网络的区别与联系。在详细描述上述模型的应用背景、网络结构以及模型变种后，对各个模型的特点进行总结和比较，并在最后对循环神经网络模型进行展望和总结。

图1 循环神经网络分类

结论:

RNNs 是传统前馈神经网络的扩展，能够处理可变长度的序列输入。它通过内部的循环隐变量来学习可变长度输入序列的隐表示，隐变量每一时刻的激活函数输出都依赖于前一时刻循环隐变量激活函数的输出。这是循环神经网络发展的基础。

总之，在各类RNNs网络发展和融合的情况下，许多复杂的序列、语音和图像建模和预测问题得以解决。循环神经网络的种类相当丰富且发展迅速。随着理论研究的进一步深入和应用领域的进一步扩展，循环神经网络必将会发挥越来越重要的作用。

作者简介:

刘建伟，博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。联系方式：liujw@cup.edu.cn