基于双模态图像关联式融合的行人实时检测

Abstract

为解决行人检测任务中低能见度场景下单模态图像漏检率高和现有双模态图像融合检测速度低等问题,提出了一种基于双模态图像关联式融合的轻量级行人检测网络。网络模型基于YOLOv7-Tiny设计,主干网络嵌入关联式融合模块RAMFusion用以提取和聚合双模态图像互补特征;将特征提取部分的1×1卷积替换为带有空间感知能力的坐标卷积;引入Soft-NMS改善结群行人漏检问题;嵌入注意力机制模块来提升模型检测精度。在公开的红外与可见光行人数据集LLVIP上的消融实验表明:与其他融合方法相比,所提方法行人漏检率降低、检测速度显著提高;与YOLOv7-Tiny相比,改进后的模型检测精度提高了2.4%,每秒检测帧数达到124 frame/s,能够满足低能见度行人实时检测需求。