1.一种红外和可见光图像的融合方法,其特征在于,包括以下步骤:
s1、获取训练数据集:采用混合l1-l0分解模型将网络输入图像s分解为基础层b和细节层s-b,作为训练数据集:
其中p表示像素点,n表示像素总数,
s2、构建自编码融合网络模型,具体为:
s11、自编码融合网络模型包括两个独立且结构相同的自编码器,分别定义为basenet和detailnet,自编码器的编码器由4层卷积层构成,卷积核大小都为(3,3),卷积核个数都为16,第一层卷积层后添加relu激活层,每层卷积层都和后面所有卷积层作级联;自编码器的解码器由4层卷积层构成,卷积核大小都为(3,3),卷积核个数依次为64、32、16和1,前三层卷积层后添加relu激活层;
s12、构建损失函数,将图像s分别送入basenet和detailnet,得到对应的输出
其中
将
其中ssim表示结构相似度;利用像素损失和结构损失构建最终损失函数:
loss=losspixel+λlossssim
其中λ为结构损失的权值参数;
s3、采用训练数据集对构建的自编码融合网络模型进行训练,训练方法为通过反向传播算法最小化损失函数进行,获得训练好的自编码融合网络模型;
s4、将需要融合的红外和可见光图像送入训练好的自编码融合网络模型,即basenet和detailnet编码器,分别对basenet和detailnet提取的特征做特征融合,具体为:
s41、基础层特征融合,引入显著性检测得到红外图像的显著图sm,得到basenet的初步特征融合策略:
φm(x,y)=sm×φirm(x,y)+(1-sm)×φvism(x,y)
式中vis表示可见光图像,ir表示红外图像,其中
利用l1范数策略弥补显著性检测忽略的热辐射信息,修正basenet的特征融合策略;
l1范数融合策略:
其中
修正后的融合策略:
s42、细节层特征融合,采用加权平均融合策略融合detailnet特征:
其中
s5、将步骤s4得到的两层网络特征融合结果经各自的解码器解码后相加得到最终融合图像: