基于特征优化和GAN的红外与可见光图像融合算法

Abstract

针对红外与可见光融合图像存在纹理细节不丰富、对比度较低及目标信息损失等问题,提出了一种基于特征优化和生成对抗网络的图像融合算法。首先,设计一种自适应特征优化模块以增强原始图像纹理细节及对比度;然后,为使融合图像保留更多的多模态信息,将生成对抗网络引入到融合框架中。在生成器模型中,考虑到红外与可见光图像成像机理差异,构建了双支路特征提取网络,并设计多尺度密集连接模块以提取异源图像丰富的特征信息;其次,在融合层构造通道和空间注意力模型以增强局部特征之间联系,减小融合图像中目标信息损失;最后,为使融合结果尽可能保留可见光纹理细节的同时又能够较好突出红外目标,构造了双判别器网络结构。为验证所提算法优势,在TNO数据集上进行实验,并与6种经典融合算法进行主观和客观比较。实验结果表明,所提算法无论在主观还是客观评价上均具有明显优势,生成的融合图像纹理细节更为丰富、边缘及目标更加清晰且具有更好的对比度,客观评价指标信息熵、空间频率、相关熵、视觉保真度和梯度信息分别提高了16.11%、65.46%、7.96%、42.67%和33.24%。