作者: 刘建伟 点击数: 更新日期: 2022-10-24
近日，学院控制科学与工程专业2018级硕士研究生刘俊文在国内学术期刊《工程科学学报》上发表题为《深度学习注意力机制研究进展》的学术论文，被评为《工程科学学报》2022年度优秀论文(2021年发表)，指导教师为自动化系刘建伟副教授和罗雄麟教授。
注意力机制模拟人类视觉选择性的机制，随着深度学习领域的发展，注意力机制近几年被广泛应用在深度学习的研究里，在自然语言处理，语音识别，计算机视觉等各个领域都发挥着举足轻重的作用。
《深度学习注意力机制研究进展》介绍了注意力机制的认知心理学起源与技术动机，并对注意力机制进行了数学表述。着重对注意力机制的分类进行浓墨重彩的描述和提纲挈领式的总结归纳，并对软注意力机制和硬注意力机制，全局注意力机制和局部注意力机制，层次注意力机制以及多种自注意力机制等典型注意力机制进行了详细的分析，并给出了注意力机制的不同层面阐述和洞见。最后对注意力机制在计算机视觉、神经机器翻译以及语音识别，这三个典型应用场景下的应用进行了总结。
《工程科学学报》(Chinese Journal of Engineering)，曾用名《北京科技大学学报》，为中文核心期刊（综合性理工农医类）、中国科技论文统计源期刊和中国科学引文数据库来源期刊（CSCD），是由教育部主管、北京科技大学主办的学术类科技期刊，主要刊载矿物、冶金、材料、环境、自动化、计算机等工学领域具有创新意义或有较大应用价值的高水平研究论文，在行业中有较高的学术影响力。