红外与可见光图像融合的多分辨率方法

红外与可见光图像融合的多分辨率方法 3 Ξ 刘贵喜1 3 3 , 赵曙光2 , 陈文锦1 (1. 西安电子科技大学自动控制系 ,西安 710071 ; 2. 西安电子科技大学电子工程学院 ,西安 710071) 摘要 :给出一种适合于红外与可见光图像融合的多分辨率融合方法。方法基于对比度塔形分解的图像 融合方法 ,在融合过程中可有选择地突出被融合图像的对比度信息 ,达到良好的视觉效果。利用熵、交 叉熵、互信息量、平均交叉熵、均方根交叉熵等参量 ,对多种图像融合方法的性能进行了定量评价和比 较。实验结果表明 ,方法用于红外与可见光图像的融合十分有效。 关键词 :图像融合 ; 红外图像 ; 对比度塔形分解 ; 图像处理 中图分类号 :TN911. 73 　　文献标识码 :A 　　文章编号 :100520086 (2004) 0820980205 Multi2resolution Scheme Appropriate to Fusing Infrared and Visible Light Images LIU Gui2xi1 3 3 , ZHAO Shu2guang2 , CHEN Wen2jin1 (1. Department of Automation ,Xidian University ,Xi′an 710071 ,China ; 2. School of Electronic Engineering ,Xidian U2 niversity ,Xi′an 710071 ,China) Abstract : Fusion of infrared and visible light image wa s studied. A multi2re solution image fusion scheme ba sed on contra st pyramid (CP) decompo sition wa s pre sented. In order to obtain a better fusion re sult ,the contra st details of the image s to be fused can be signalized selectively in the fusion proce ssing. In addition , the quantitative evaluation of fusion performance for infrared and visible light image fusion wa s also inve sti2 gated. With the parameters such a s entropy ,cro ss entropy ,mutual information , average cro ss entropy ,root mean square cro ss entropy , the performance s of different fusion methods were evaluated and compared quantitatively. Compared with the methods ba sed on Laplacian pyramid decompo sition and discrete wavelet transform ,the CP method is more appropriate to fusing infrared and visible light image . The experimental re2 sults are perfectly in keeping with the quantitative evaluation re sults. It shows that the evaluating parameters , evaluating standard ,and the re search method are rea sonable and effectual. The evaluating methods pre sent2 ed here are also applicable to other image fusion applications. Key words :image fusion ; infrared image ; contra st pyramid decompo sition ; image proce ssing 1 　引 　言 　　图像融合是指综合两个或多个源图像的信息 ,充 分利用被融合图像包含的冗余和互补信息 ,以获取对 同一场景的更精确、全面、可靠的图像描述。图像融 合在自动目标识别、计算机视觉、遥感、机器人、自动 小车、复杂智能制造系统、医学图像处理以及军事等 领域有着广泛的应用潜力[1 ,2 ] 。 　　图像的多分辨率融合方法具有融合效果好的突 出特点 ,已成为图像融合应用和研究的热点[2～6 ] 。然 而 ,图像融合是个复杂的过程 ,目前仍然有不少有待 解决的重要问题 ,例如图像融合效果的定量评价、融 合方法性能的定量评价、不同融合方法的适用场合、 融合图像的快速准确配准等。红外与可见光图像的 融合在军事应用中有重要意义 ,但其最适合的融合方 法和性能鲜有公开报道。本文给出一种基于对比度 光 电 子 ·激 光 第 15 卷 第 8 期 　2004 年 8 月 　　　　　 J ournal of Optoelectronics·Laser 　　　 　　　Vol. 15 No. 8 　Aug. 2004 Ξ 　　　收稿日期 :2003211212 　修订日期 :2004202211 　3 　基金项目 :国防科技预研基金资助项目 (51416050101DZ0138) ;陕西省自然科学基金资助项目 (J02141040) 　3 3 E2mail :gxliu @xidian. edu. cn 塔形分解的多分辨率图像融合方法 ,实验结果和定量 评价表明 ,该方法非常适合用于红外与可见光图像的 融合。 2 　基于对比度塔形分解的图像融合方法 2. 1 　图像的对比度塔形分解 　　图像的对比度塔形分解是一种图像的多尺度、多 分辨率金字塔分解 ,建立步骤如下。 　　1) 建立图像的高斯塔形分解 　　设原图像 G0 为高斯金字塔的零层 (底层) 。第 l 层 Gl 的构造 :将 Gl - 1和一个有低通特性的窗口函数 卷积 ,对卷积结果作隔行隔列的降采样[7 ,8 ] ,即 　　Gl = 62 m = - 2 62 n = - 2 w ( m , n) Gl - 1 (2 i + m ,2 j + n) 0 < l ≤N ,0 ≤ i < Cl ,0 ≤ j < Rl (1) 其中 : N 为金字塔的总层数 ; Cl 和 Rl 分别为金字塔 第 l 层图像的列数和行数 ; w ( m , n) 为窗口函数 (亦 称权函数 ,生成核) ,其表示举例如下 　　　　w = 1256 1 4 6 4 1 4 16 24 16 4 6 24 36 24 6 4 16 24 16 4 1 4 6 4 1 　　2) 由高斯金字塔建立对比度金字塔 　　将 Gl 内插放大 ,得到放大图像 G 3l ,使 G 3l 尺寸 与 Gl - 1尺寸相同。为此引入放大算子 Expand ,即 　　　　G3l = Expand ( Gl) (2) 与式 (1)对应 , Expand 算子定义为 　 　G 3l ( i , j) = 4 62 m = - 2 62 n = - 2 w ( m , n) G’l i + m2 , j + n 2 　　　　0 < l ≤N ,0 ≤ i < Cl ,0 ≤ j < Rl (3) 其中 　　G’l i + m2 , j + n 2 = 　　　　 Gl i + m 2 , j + n 2 , 　 i + m 2 、 j + n 2 为整数 0 , 　　　　其它 　　图像的对比度通常定义为 　　C = g - gbgb = g gb - I ,其中 : g 为图像某位置处的 灰度值 ; gb 为该位置的背景灰度值 ; I 表示单位灰度 值图像。窗口函数 w ( m , n) 具低通滤波特性 ,所以 G3l + 1可以看作是 Gl 的“背景”,故可定义图像的对比 度金字塔为 CPl = Gl G3l +1 = GlExpand ( Gl +1) - I ,0 ≤ l < N CPN = GN , l = N 　　　　　　　　　　　　(4) 其中 : CPl 表示对比度塔形分解的第 l 层图像 ; Gl 为 高斯金字塔的第 l 层图像。 　　3) 由对比度金字塔重建原图像 　　由式 (4)变换得 　 GN = CPN , 　　　　　　l = N Gl = ( CPl + I) 3 Expand ( Gl +1) , 　0 ≤ l < N (5) 　　式 (5) 表明 :从对比度金字塔 ( CPN , CPN - 1 , ⋯, CP0) 的顶层 CPN 开始 ,按式 (5) 递推 ,依次令 l = N , N - 1 , ⋯,0 逐层由上到下 ,可得到高斯金字塔的各层 GN , GN - 1 , ⋯, G0 ,最终精确重构原始图像 (高斯金字 塔的最底层 G0 即为原始图像) 。 1. 2 　基于对比度塔形分解的图像融合 　　基于对比度塔形分解的图像融合 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 如图 1 所 示。这里以两幅图像的融合为例 ,多幅图像的融合方 法可由此类推。设 A、B 为两幅原始图像 ,F 为融合后 的图像。融合的基本步骤如下 : 　　1) 对每一源图像分别进行对比度塔形分解 ,建 立各图像的对比度金字塔 : 　　2) 对图像金字塔的各分解层分别进行融合处 理 ,不同的解层采用不同的融合算子 ,最终得到融合 后图像的对比度金字塔 ; 　　3) 对融合后所得对比度金字塔进行逆塔形变 换 ,得到的重构图像即为融合图像。 　　文献[3 ]采用的梯度塔形分解也是一种多分辨率 塔形分解 ,不同之处在于分解过程中进行了水平、垂 直及两个对角线方向的梯度方向滤波 ,因此其每一分 解层 (最高层除外)又包含了 4 个方向梯度细节信息。 梯度塔形分解的不足是分解运算量大。对比度塔形 分解则在各分解层上进行对比度运算 ,突出图像的对 比度信息 ,运算量远小于梯度塔形分解。小波分解也 是包含方向细节信息的多分辨率分解 ,而且小波分解 具有非冗余性 ,使图像经小波分解后的数据总量不会 变大 ,性能优于梯度塔形分解。 1. 3 　图像融合规则及融合算子 　　在图像融合过程中 ,融合规则及融合算子的选择 对于融合的质量至关重要 ,也是图像融合中至今未能 很好解决的难点问题。目前 ,广为采用的融合规则可 ·189·第 8 期 　刘贵喜等 :红外与可见光图像融合的多分辨率方法 　　　　　　　　　　　　　　　　　　　　 概括为“基于像素”的融合规则 ,但是由于图像的局域 特征往往不是由一个像素所能表征的 ,它是由某一局 域的多个像素来表征和体现的 ;同时 ,通常图像中某 一局部区域内的各像素间往往有较强的相关性 ,因 此 ,基于像素的简单融合规则有片面性 ,其融合效果 有待改善。基于以上考虑 ,为了获得视觉特性更佳 , 细节更丰富、突出的融合效果 ,这里采用的融合规则 及融合算子如下 : 　　1) 对分解后图像的低频部分 (位于最高分解层) 采取加权平均算子 ; 　　2) 对于除顶层以外的高频带 ,采用基于矩形区 图 1 　基于对比度塔形分解的图像融合 Fig. 1 　Image fusion scheme based on contrast pyramid decomposition 域特性量测的选择及加权平均算子[4 ] 。 2 　图像融合方法性能的定量评价 　　为了比较不同融合方法的融合效果以及定量评 价图像融合方法的性能 ,笔者采用基于信息熵的评价 参量 ,各参量定义如下 : 　　1) 熵 　　熵值的大小表示图像包含平均信息量的多少 ,图 像的熵定义为 　　　　 H = 6L - 1 i = 0 pilog pi (6) 其中 : H 为图像的熵 ; L 为图像的总的灰度级 ; pi 表 示灰度值为 i 的像素数N i 与图像总像素数 N 之 比 ,即 　　　　 pi = N i/ N (7) 　　 P = { p0 , p1 , ⋯, pL - 1} 反映了图像中具有不同 灰度值像素的概率分布。i2N i 间的关系图即为图像的 灰度直方图 ,由于 N = 6L - 1 i =0 N i ,所以 i2pi 间的关系图可 以看作是图像的归一化灰度直方图。 　　2) 交叉熵 　　交叉熵 ( cross entropy) 亦称相对熵 ( relative en2 tropy) ,用来度量两幅图像间的差异 ,交叉熵越小 ,表示图像间的差异越小。　　若参加融合的两源图像分别为 A、B ,融合图像为F ,则两源图像与融合图像 F 的交叉熵分别为　　　　CEA ,F = 6L - 1i = 0 pA ilog pA ipF i (8)　　　　CEB ,F = 6L - 1i = 0 pB ilog pB ipF i (9)　　综合考虑 CEA ,F 和 CEB ,F ,将两幅源图像与融合后图像间的综合差异用平均交叉熵 MCE和均方根交叉熵 RCE 表示　　　　MCE = CEA ,F + CEB ,F2 (10)　　　　 RCE = CE2A ,F + CE2B ,F2 (11)　　3) 互信息　　图像A 、B 、F间的互信息 MI ( ( A ,B ) ; F) 定义如下　　MI ( (A ,B) ;F) =　　　　6L - 1i =0 6L - 1j = 0 6L - 1k = 0 pABF ( i , j , k) log pABF ( i , j , k)pAB ( i , j) pf ( k)(12)　　类似地 , i2pab ( i , j) 间的关系图可以看作是图像 ·289· 　　　　　　　　　　　　　　　　　光 电 子 ·激 光 　2004 年 　第 15 卷 　 A、B 的归一化联合灰度直方图 , i2pabf ( i , j , k) 为图像 A、B、F 的归一联合灰度直方图。 3 　图像的融合实验及性能的定量评价 3. 1 　图像融合实验 　　为了比较不同融合方法用于红外与可见光图像 融合的效果 ,图 2 给出了基于多种图像融合方法的一 组图像融合实验结果。图 2 (a) 为可见光图像 ,因光 线很暗 ,图中的黑色轿车几乎看不见 ,而白色轿车及 部分纹理与细节 (草地等) 依稀可见。图 2 (b) 为同一 场景的 FLIR (forward looking infrared ,前视红外)图像 , 两辆轿车均较清晰 ,但轿车周围的草地等纹理与细节 却模糊不清。从图 2 (b) 可明显看出 ,白色与黑色轿 车的红外辐射特性有差异 ,因此其 FLIR 图像的亮度 明显不同 (黑色轿车较亮) 。图 2 (c) 采用简单的加权 平均 (weighted average ,WAV)融合方法 (非多分辨率分 解融合方法) 。图 2 (d) 、(e) ,采用多分辨率图像融合 方法 ,融合时的多分辨率分别采用拉普拉斯塔形 (laplacian pyramid , LP) 分解和小波变换 ( discrete wavelet transform ,DWT)分解 ,融合规则及算子均采用 本文介绍的。图 2 (f ) 为本文对比度塔形 ( contrast pyramid ,CP)多分辨率融合方法得到的融合图像。不 仅两辆轿车清晰可辨 ,其背景及周围的纹理与细节也 清晰可见。图 2 的实验中 , (a) 、(b) 两幅图像具有明 显不同的光谱特性 ,所包含的信息几乎完全不同 (有 些甚至相反) ;可见光图像对比度较高 ,而红外图像对 比度较低。对于这类图像 ,若用一般的图像融合方 法 ,或者融合规则及融合算子选择不当 ,是很难获得 满意的融合效果的。 　　以上的实验 ,单凭单一图像 (a) 或 (b) ,利用通常 的图像增强方法是无法取得满意的结果的。这是因 为单一图像图 2 (a) 或 (b) 所包含的信息不足以得到 图像 (c)～ (f) 。可见 ,图像融合完全不同于一般意义 上的图像增强 ,它充分利用了多幅图像的冗余及互补 信息 ,与对单一图像增强后得到的图像相比 ,融合后 图像包含更丰富、全面的信息。 图 2 　可见光与前视红外图像的融合 Fig. 2 　Fusion of visible light and FLIR images 3. 2 　融合方法性能的定量评价与比较 　　为了定量评价不同融合方法用于红外与可见光 图像融合的性能 ,采用多种评价参量 ,对对比度塔形 融合方法与其它融合方法进行了融合性能的定量比 较 (见表 1) 。表中除 WAV 融合方法外 ,CP、LP、DWT 方法均采用与本文相同的融合规则与算子 ,选择的特 ·389·第 8 期 　刘贵喜等 :红外与可见光图像融合的多分辨率方法 　　　　　　　　　　　　　　　　　　　　 性区域大小也均为 3 ×3[4 ] ,匹配度阈值α取 0. 85[4 ] , 图像融合时多分辨率分解及融合的层数均为 6 层 (对 应分解层为 0～5 层) 。融合性能评价的准则是 :对于 同一组融合实验 ,若某种融合方法获得的融合图像的 熵相对较大 ,交叉熵相对较小 ,平均交叉熵 MCE 和均 方根交叉熵 RCE越小 ,互信息相对较大 ,说明该融合 方法的性能相对较好。 　　从表 1 可以看出 :对于可见光与红外图像 ,CP 融 合方法的性能明显优于 WAV、LP、DWT 融合方法 , LP、DWT 融合方法的性能十分接近。这一点从图 2 的融合实验结果也可明显看出。值得一提的是 ,CP、 DWT融合方法的性能均优于文献 [ 3 ]中的梯度塔形 分解方法。笔者做了多组图像融合实验 ,均得到了与 上面一致的结论 (篇幅所限仅给出一组) 。因此 ,用来 评价融合性能的几种参量指标是客观的、可行的 ,也 说明本文介绍的基于多尺度对比度塔形分解的多分 辨率图像融合方法及融合规则用于红外与可见光图 像的融合是十分有效的。 表 1 　不同融合方法用于可见光与红外图像融合的性能 Tab. 1 　Performance of different fusion schemes for visible light and FLIR images Fusion scheme Entropy H(F) MUtual information MI ( (A ,B) ;F) Mean cross entropy MCE Root mean square cross entropy RCE Sort by performance WAV 3. 614 1 3. 497 0 2. 858 8 4. 020 4 4 LP 4. 367 5 4. 128 3 2. 555 1 3. 228 8 2 DWT 4. 207 0 3. 995 9 2. 735 9 3. 504 8 3 CP 4. 841 6 4. 654 2 1. 295 4 1. 427 1 1 4 　结束语 　　基于对比度塔形分解的图像融合方法是一种多 分辨率分解的分层融合方法 ,其融合过程是在各空间 频率层上分别进行的 ,这样就可以针对不同分解层的 不同频带的特征与细节 ,采用不同的融合算子 ,达到 突出特定频带上特征与细节的目的。为了获得更好 的融合效果并突出重要的特征细节信息 ,采用了基于 区域特性量测的加权融合算子 ,就是说 ,同一分解层 上的不同局部区域采用的融合算子也可能不同 ,这样 就有可能充分挖掘被融合图像的互补及冗余信息。 人眼的视觉系统对于图像的对比度变化十分敏感 ,因 此 ,基于对比度塔形分解的融合方法可有选择地突出 被融合图像的对比度信息 ,以求达到良好的视觉效 果。实验结果表明 :该融合方法取得了良好的融合效 果 ,是一种非常适合于红外与可见光图像融合的 方法。 参考文献 : [1 ] 　Varshney P K. Multisensor data fusion [ J ] . Electronics & Communication Engineering Journal ,1997 ,9 (6) :2452253. [2 ] 　Luo R C , Yih Chih2Chen , Su Kuo Lan. Multisensor fusion and integration : approache s , applications , and future re2 search directions [ J ] . IEEE Sensor Journal ,2002 ,2 (2) : 1072119. [3 ] 　Liu Guixi ,Zhao Shuguang ,Yang Wanhai. Multi2sensor im2 age fusion scheme ba sed on gradient pyramid decompo si2 tion[ J ] . Journal of Optoelectronics·La ser (光电子·激 光) ,2001 ,12 (3) :2932296. (in Chine se) [4 ] 　Liu G X , Yang W H. A wavelet2decompo sition2ba sed im2 age fusion scheme and its performance evaluation [ J ] . Acta Automatica Sinica (自动化学报) ,2002 ,28 (6) :9272 934. (in Chine se) [5 ] 　Nunez J ,Otazu X ,Fors O , et al. Multire solution2ba sed im2 age fusion with additive wavelet decompo sition[J ] . IEEE Transactions on Geo science & Remote Sensing ,1999 ,37 (3) :120421211. [6 ] 　Liu Z ,Tsukada K,Hana saki K, et al. Image fusion by us2 ing steerable pyramid [ J ] . Pattern Recognition Letters , 2001 ,22 (9) :9292939. [7 ] 　Burt P J ,Adelson E H. The laplacian pyramid a s a com2 pact image code [ J ] . IEEE Trans on Communications , 1983 ,31 (4) :5322540. [8 ] 　Pra sad L ,Iyengar S S. Wavelet Analysis with Applications to Image Proce ssing [ M ]. New York : CRC Pre ss ,1997. 2172222. 作者简介 : 刘贵喜　(1966 - ) ,男 ,山东莱阳人 ,博士 ,教授 ,曾获国家科技进步三 等奖、机电部科技进步二等奖. 先后主持和参加科研课题 20 余项 ,获 国防发明专利一项、国家实用新型专利一项. 先后在重要核心期刊或 国际会议上发表论文 40 余篇 ,近 3 年被 SCI、EI 收录论文 10 余篇. 目 前研究领域为图像处理、信息融合、智能控制1 ·489· 　　　　　　　　　　　　　　　　　光 电 子 ·激 光 　2004 年 　第 15 卷