神经网络结构搜索方法综述

论文题目：A Review of Neural Network Structure Search Method

录用期刊：控制理论与应用（EI）

论文链接：http://kns.cnki.net/kcms/detail/44.1240.TP.20220321.1729.062.html

作者列表：

1) 刘建伟（中国石油大学（北京） 信息科学与工程学院 自动化系）

2) 王新坦（中国石油大学（北京） 信息科学与工程学院 自动化系 2019级硕士）

摘要:

如今，深度学习广泛地应用于生活、工作中的各个方面，给我们带来了极大的便利。在此背景下，我们需要设计针对不同任务的神经网络结构，满足不同的需求。但是，人工设计神经网络结构需要专业的知识，进行大量的实验。因此，神经网络结构搜索算法的研究显得极为重要。神经网络结构搜索(NAS)是自动深度学习(AutoDL)过程中的一个基本步骤，对深度学习的发展与应用有着重要的影响。早期，一些神经网络结构搜索算法虽然搜索到了性能优越的神经网络结构，但是需要大量的计算资源、搜索效率低下。因此，研究人员探索了多种设计神经网络结构的算法，也提出了许多减少计算资源、提高搜索效率的方法。本文首先简要介绍了神经网络结构的搜索空间，其次对神经网络结构搜索算法进行了全面的分类汇总、分析，主要包括随机搜索算法、进化算法、强化学习、基于梯度下降的方法、基于顺序模型的优化算法，再其次探索并总结了提高神经网络结构搜索效率的方法，最后探讨了目前神经网络结构搜索工作中存在的问题以及未来的研究方向。

主要内容:

神经网络结构的搜索策略如下图所示。

图1神经网络结构的搜索策略

表1 神经网络结构的搜索空间

表2 基于强化学习搜索神经网络结构算法的汇总

表3 加速神经网络结构搜索的方法汇总

加速神经网络结构搜索的方法		相应的神经网络结构搜索算法
改进搜索空间	单元组合形式的搜索空间	BlockQNN、MnasNet、DARTS等算法
间接评估模型的性能	使用替代函数模型（LSTM、GCN等）预测模型性能	PNAS、EPNAS、DPP-Net、PPP-Net、BONAS、BRP-NAS、NPENAS等算法
减少模型的训练代价	权重共享 网络态射 早停	ENAS、DARTS、ProxylessNAS等算法 LEMONADE等算法 早停的随机搜索、DARTS-ES、DARTS+等算法

结论:

神经网络结构搜索方法是目前研究的一个热点，取得了大量的成果，拥有重要的理论和应用价值，有力的推动着深度学习的研究及应用。

作者简介:

博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习和数据挖掘方面的研究工作。美国数学会《数学评论》评论员，中国人工智能学会机器学习分会高级会员。在计算机学报，自动化学报、计算机研究与发展、Neurocomputing、TNNLS等期刊上和国内国际会议上发表学术研究论文200多篇，其中三大检索150多篇。联系方式：liujw@cup.edu.cn