中文题目：交通场景中夜间图像的预处理：当低光增强遇上耀斑消除

论文题目：Nighttime Image Preprocessing in Traffic Scenes: When Low-light Enhancement Meets Flare Removal

录用期刊/会议：2024 International Conference on Virtual Reality and Visualization (CCF C)

作者列表：

1） 刘志强 中国石油大学（北京）人工智能学院 硕23

2） 周   静 中国石油大学（北京）人工智能学院 硕22

3） 李晓雪 中国石油大学（北京）人工智能学院 硕23

4） 祝留宇 中国石油大学（北京）人工智能学院 硕23

5） 王智广 中国石油大学（北京）人工智能学院 教师

6） 鲁   强 中国石油大学（北京）人工智能学院 教师

摘要:

检测摩托车驾驶员是否佩戴头盔是目标检测领域的关键任务之一。然而，大多数现有的头盔检测方法都只适用于光线充足的白天场景，在能见度较低的夜间场景中难以发挥作用。夜间场景的能见度较低，视野盲区较大，这给检测任务带来了巨大挑战。此外，本文还强调，在夜间场景中，影响检测任务的因素不仅限于能见度较低，还包括车辆前灯或路灯产生的反射耀斑。针对上述两大挑战，本文验证了在摄像机中广泛存在的光学中心对称先验信息，即光源及其产生的反射耀斑始终围绕镜头中心对称。本文还提出了一种数据预处理模型，DCRE。该模型利用层分解技术生成注意力图，引导增强图像中的低光区域，同时利用光学中心对称先验信息消除反射耀斑，从而提高夜间场景下的检测精度。本文通过大量实验验证了 DCRE 的有效性。使用 DCRE 模型进行预处理后，检测准确率从 62.8% 提高到 76.0%。

设计与实现:

针对于夜间场景，本文提出了一种基于图层分解技术和光学中心对称先验信息的夜间图像预处理模型DCRE，如图1所示。

图1. DCRE模型的结构。(1)表示图层分解模块，用于将输入图像(a)分解为光效层(b)和背景层(c)。(2)表示高斯拟合模块，用于定位图像的光源中心，(d)中的绿点表示拟合结果。(3)表示消除反射耀斑模块，该模块基于光源中心和光学中心对称先验信息对背景层(c)中的反射耀斑进行定位和消除。(4)表示低光增强模块，该模块使用光效层(b)作为注意力图，引导模型对去除反射耀斑后的结果(e)的低光区域进行增强，得到增强图像(f)。(5)表示最终的检测模块，本文使用RAY-Net完成检测任务，得到检测结果(g)。

1、层分解

如图1(1)所示，对于任意输入图像 I，本文使用图像层分解技术对其进行分解，分解模型如下：

该公式将输入图像 I 分解为无光效的背景层B和光效层E。本文使用两个独立的神经网络从输入图像I中获得背景层和光效层：

其中分别表示从输入图像 I 中得到背景层B和光效层E的网络模型。

2、光学中心对称先验

受Dai等人的启发，我们发现智能手机和相机在捕捉强光时会在图像中留下反射耀斑。由于摄像镜头内部组件的反射，产生这种反射耀斑通常是不可避免的。耀斑会影响图像的质量，这在交通监测领域中尤为突出，如图2所示。如果这些耀斑恰好在摩托车驾驶员头部的位置，将不可避免地影响检测任务的准确性。如图3所示，光源和其产生的反射耀斑的位置总是关于相机镜头中心呈现对称关系。本文使用三种品牌的智能手机(iPhone 14 Plus、华为荣耀90 Pro、小米14 Pro)、尼康相机(尼康Z9)和交通监控摄像机(9361-S)进一步验证了这种光学先验信息。

图2. 光源与反射耀斑的位置关系。

3、去除反射耀斑

摩托车的前灯通常不会影响头盔检测任务，因为驾驶员的头部和前灯通常不会重叠。然而，大多数交通监控摄像机都位于头顶角度，这意味着车辆前灯产生的反射耀斑可能会与驾驶员的头部重合。同时，交通道路上的路灯产生的反射耀斑也可能与驾驶员重叠。这些反射耀斑会严重影响图像质量，从而影响检测任务的准确性，如图2中的反射耀斑所示。本文使用高斯拟合算法在光效层E中定位光源中心的位置，利用光学中心对称先验信息，可以很容易地确定反射耀斑的位置：

其中分别表示光源和反射耀斑的坐标。获取反射耀斑的位置后，我们进一步减少或消除图像中的反射耀斑。由于在同一场景中收集有反射耀斑和没有反射耀斑的配对图像是不现实且不可行的，因此本文使用非配对图像进行训练，并采用无监督学习消除反射耀斑。

4、低光增强

如图1(4)所示，本文使用光效层作为注意力图引导模型增强低光区域。光效层E中像素值越高，表示原始图像中该位置的光越强。相反，光效层E中像素值越低，表示原始图像中该位置越暗。因此，我们使用光效层来引导模型增强低光区域，从而提高这些低光区域的亮度。

在检测摩托车驾驶员是否佩戴头盔的任务中，重点关注的是摩托车及其驾驶员的头部位置，该任务不受强光的影响。因此，本文所提出的方法不同于其他流行的夜间增强方法。其他流行的夜间增强方法通常会在增强低光区域的同时抑制强光区域。相比之下，本文的方法只增强低光区域，而不需要抑制强光区域。

实验结果及分析:

表1展示了去除反射耀斑前后的图像质量。从PSNR、SSIM两个指标的评价可以看出，我们的方法在消除反射耀斑后的图像质量是非常高的。

Table 1. 去除反射耀斑后的图像质量。

本文利用光效层作为注意力图，引导模型增强低光区域。表2将本文提出的增强方法与其他现有流行的方法进行了比较，可以看出我们的方法在增强后具有更高的图像质量。

Table 2. 低光区域增强后图像质量的对比。

DCRE模型主要关注的内容是低光区域的增强工作以及反射耀斑的消除工作，因此本文在实验中对这两个主要的工作进行消融分析。本文做了如下四个实验：

1. 直接使用RAY-Net完成检测任务。

2. 在使用RAY-Net完成检测任务之前先使用DCRE模型中的低光增强模块进行预处理。

3. 在使用RAY-Net完成检测任务之前先使用DCRE模型中的耀斑消除模块进行预处理。

4. 在使用RAY-Net完成检测任务之前使用完整的DCRE模型同时进行低光增强和耀斑消除。

实验结果如表3所示，如果直接使用RAY-Net进行检测，平均准确率仅为62.8%。如果对输入图像进行低光增强后再做检测任务，平均准确率能从62.8%提升到75.6%。这证明本文的DCRE模型中的低光增强工作是有效的，这是因为低光增强可以改善夜间图像的可视度和区分度，从而增加图像中各种物体的可识别性。如果对输入图像进行耀斑消除后再做检测任务，平均准确率能从62.8%提升到64.2%。这证明DCRE模型中耀斑消除功能也是有效的，这是因为去除耀斑可以提高图像质量，防止反射在摩托车驾驶员头部的耀斑影响头盔识别任务。如果同时进行耀斑消除和低光增强，平均准确率能从62.8%提高到76.0%。从消融实验可以看出，这两个主要改进都是有意义的，可以有效地增强图像中的低光区域并且消除图像中的噪声，进而提高摩托车驾驶员头盔检测任务的准确性。

Table 3. DCRE模型的消融实验结果。

结论:

针对夜间场景，本文提出了一种名为 DCRE 的预处理方法。DCRE 基于图像层分解和光学中心对称先验信息对夜间图像进行增强和去噪处理。该方法将图像分解为背景层和光效层。随后，我们使用高斯拟合算法来定位光效层中的光源中心，利用光学中心对称先验信息定位并消除图像中的反射耀斑。实验证明，该方法能够有效提高夜间场景下检测任务的准确性。在未来的研究中，我们将进一步探索如何应对其他具有挑战性的场景，以提高交通监控系统整体的准确性。

作者简介:

王智广，教授。博士生导师，北京市教学名师，北京市教育系统“教书育人先锋”。中国计算机学会（CCF）高级会员，全国高校实验室工作研究会信息技术专家指导委员会委员，全国高校计算机专业（本科）实验教材与实验室环境开发专家委员会委员，北京市计算机教育研究会常务理事。长期从事分布式并行计算、三维可视化、计算机视觉、知识图谱方面的研究工作，主持或承担国家重大科技专项子任务、国家重点研发计划子课题、国家自然科学基金、北京市教委科研课题、北京市重点实验室课题、地方政府委托课题以及企业委托课题20余项，在国内外重要学术会议和期刊上合作发表学术论文70余篇，培养了100余名硕士博士研究生。