中文题目：基于上下文感知图卷积网络的图对比学习在口语理解中的应用

论文题目：Spoken Language Understanding via Graph Contrastive Learning on The Context-aware Graph Convolutional Network

录用期刊：Pattern Analysis and Applications (CCF C类期刊)

录用时间：2024.10.18

作者列表：

1) 曹   泽 中国石油大学（北京）人工智能学院 控制科学与工程 硕21级

2) 刘建伟 中国石油大学（北京）人工智能学院 自动化系 教师

摘要:

口语理解系统是对话系统的关键组成部分，其任务是理解用户的言语表达并相应地执行相应的任务。语境口语理解（语境SLU）是该领域的一个极其关键的问题，因为它有助于系统更准确地理解用户的言语表达，从而提高系统的性能和准确性。本文旨在提高语境SLU分析的有效性。基于上下文的语言单元系统主要关注有效地整合对话上下文信息。当前的方法通常使用相同的上下文信息来指导所有标记的槽填充，这可能会引入不相关的信息，导致理解偏差和歧义。为了解决这个问题，我们应用了基于图卷积网络（GCN）的图对比学习原理来增强模型聚合上下文信息的能力。同时，应用图对比学习可以通过增强模型的意图来提高模型的有效性。更确切地说，图卷积网络可以考虑上下文信息并自动聚合上下文信息，使模型不再依赖于传统设计的启发式聚合函数。对比学习模块利用对比学习原理实现意图增强的效果，它可以学习更深层次的语义信息和上下文关系，并提高模型在三个关键任务中的有效性：槽填充、对话动作识别和意图检测。在合成对话数据集上的实验表明，我们的模型达到了最先进的性能，并且明显优于其他先前的方法（Sim-M上的Slot F1值+1.03%，Sim-R上的+2.32%；Sim-M上动作F1值+0.26%，Sim-R上浮0.56%；Sim-M上浮帧Acc值+3.15%，Sim-R为+1.62%）。

背景与动机:

在自然语言处理（NLP）领域，口语理解（SLU）是一个关键分支，专注于将口语转换为结构化表达。语境口语理解技术在智能语音助手、人机交互、智能客户服务和其他领域有着广泛的应用。对于面向任务的对话系统，SLU是必不可少的任务，因为它可以将自然语言翻译成有利于用户意图、对话行为和时隙信息的语义信息。

主要内容:

1.我们提出了一种改进图卷积网络的方法，增强了它们聚合上下文信息的能力。这种方法消除了模型中手动聚合功能的需要，增强了跨各种场景的灵活性和适应性。具体来说，我们在图卷积网络之后添加了一个图对比学习模块，利用它对历史对话信息进行建模，并整合来自不同对话回合的信息。该方法有助于更好地利用上下文信息，从而提高多轮SLU的性能和准确性。

2.我们采用图对比学习模型来提高实验结果。在多回合对话中，歧义是一个关键挑战，可能会导致对话系统性能下降和用户体验下降。为了解决这个问题，我们创新性地提出了一种基于图对比学习的意图增强方法，该方法有效地消除了歧义，从而提高了多回合SLU的准确性。

3.全面的验证实验，验证了我们提出的框架的有效性。实验涉及公共基准数据集，我们与现有的基准方法进行了比较实验。结果明确表明，我们的框架在多回合SLU领域取得了显著的增强，达到了最先进的性能水平。

结论:

i） 在利用BiLSTM从对话中学习每个话语级编码器的问题上，我们引入了递归机制来掌握同一对话中当前话语前后的上下文信息；

ii）在利用上下文图聚合层学习多级层次上下文感知图节点隐表示方面，在充分利用图卷积神经网络结构提取节点局部相关关系并学习节点隐表示的基础上，我们引入了多级层次图架构，以进一步抓住同一对话中当前话语前后不同的抽象层次上下文信息；

iii）通过引入图对比学习辅助任务，我们在初级上下文SLU任务中引入了归纳偏差，使多级分层上下文感知图节点隐表示具有正确的上下文信息和更强的判别能力。

作者简介:

刘建伟，教师，学者。