动态图像序列帧间运动补偿方法探讨

第29卷第4期 2 0 0 3 年 7 月 　　　　　　　　　　　　　　　 光 学 技 术 OPTICAL TECHN IQU E　　　　　　　　　　　　　　　 Vol. 29 No. 4 J uly 　2003 　　文章编号 : 100221582 (2003) 0420441204 动态图像序列帧间运动补偿方法探讨 Ξ 钟平 , 冯进良 , 于前洋 , 金光 (中国科学院长春光学精密机械与物理研究所 , 吉林 长春 　130022) 摘 　要 : 图像序列的帧间运动不仅包含平移运动 ,而且旋转运动也是常见的。为了补偿这两种运动 ,可采用仿射变 换模型。先把参考帧和当前帧分成若干个子块 ,利用灰度投影算法计算出局部运动矢量 ,然后使用能量最小化方法 ,由 求出的有效局部运动矢量确定仿射变换模型参数。通过对当前帧进行仿射变换 ,即可实现对图像的平移和旋转的补偿。 仿真和实验证明了该方法的可行性。 关 键 词 : 灰度投影算法 ; 运动估计 ; 仿射变换 ; 数字图像稳定 中图分类号 : TB133 ; TP391 　　　文献标识码 : A Research on methods of compensation for movement bet ween frames of dynamic image sequences ZHONG Ping , FENG Jin2liang , YU Qian2yang , J IN Guang (1. Changchun Institute of Optics , Fine Mechanics and Physics , Chinese Academy of Sciences , Changchun 　130022 , China) Abstract : The movement between the frames of image sequences not only composes translation , but also rotation is a very common. In order to compensate two kinds of movement , the affine transformation is adopted. Firstly the reference frame and the current frame are divided into several subblocks respectively , and the local motion vectors have been estimated using gray projection algorithm. And then an energy minimization is also applied to calculate the coefficients of affine transform according to calculated valid local vectors. Through affine transform over the current frame , the motion compensation of translation and rotation can be realized. The simulation and experimental results demonstrate that this method is feasible. Key words : gray projection algorithm ; motion estimation ; affine transform ; digital image stabilization 1 　引 　言 电子稳像技术是一种利用计算机图像处理的方 法直接从像面的图像信息确定视频连续图像序列的 帧间运动矢量来对其进行补偿的方法。由于它的稳 定精度高、体积小、重量轻、功耗低以及能实现实时 处理等特点 ,因而已广泛地应用于航空侦察、跟踪 和监视等各种任务中。电子稳像系统有多种多样 , 它们多数是用各种算法求其全局运动矢量 ,然后对 其平移运动进行补偿[1～3 ] 。但动态图像序列的帧 间运动不仅包含平移运动 ,而且其旋转运动往往也 是不可忽略的 ,尤其是机载成像设备所成的动态图 像序列。本文提出了一种方法 ,将灰度投影算法求 运动矢量的方法和图像的仿射变换相结合应用于稳 像系统 ,不仅能有效地实现帧间平移运动的补偿 ,而 且其旋转运动也能得到补偿。 2 　灰度投影匹配算法 动态图像的实质其实就是图像灰度发生变化的 序列图像。估计动态图像序列帧间的平移运动算法 有多种 ,如匹配法、代 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 点比较算法、边沿检测匹配 算法、位平面匹配算法等。灰度投影匹配算法是利 用所获图像灰度的总体分布的变化规律来获取当前 图 1 　投影匹配算法的原理 帧相对于 参考帧在 垂直和 水 平方向的 运动矢量 , 它具有计 算速度快 等优点。加拿大利用该算法研制成了用于战车侦察 系统的电子稳像系统[4 ] 。投影匹配算法求运动矢 144 Ξ 收稿日期 : 2002210222 ; 收到修改稿日期 : 2002212202 基金项目 : 中国科学院青年创新基金“机载电子稳像技术研究”资助项目 (Q01R07) 作者简介 : 钟平 (19632) ,男 ,江西省南康市人 ,中国科学院长春光学精密机械与物理研究所博士研究生 ,主要从事计算机图像处理方面 的研究。 量的原理如图 1 所示。 对于输入等待处理的每一帧二维图像来说 ,经 过预处理后 ,把其灰度值映射成两个独立的一维波 形 ,其投影方法可用公式表示如下 : Gk ( j) = ∑ i Gk ( i , j) (1) Gk ( i) = ∑ j Gk ( i , j) (2) 式中 , Gk ( j) 、Gk ( i) 分别为第 k 帧图像第 j 列、第 i 行的灰度值 ; Gk ( i , j) 是第 k 帧图像上 ( i , j) 位置处 的像素灰度值。通过分别匹配行、列的投影矢量 ,就 可求得在垂直和水平方向的运动矢量。由于投影匹 配算法能将二维块匹配转化成两个一维的矢量匹 配 ,因而大大地提高了计算速度。在图 1 中 , N ×N 像素的图像块为当前图像所选取的块 ,而 ( N + 2 S ) ×( N + 2 S ) 的图像块为参考图像所选取的块。 3 　动态图像序列帧间运动的补偿方法 通常灰度投影算法只能识别图像序列帧间的平 移运动 ,无法识别图像序列帧间的旋转运动。在机 载摄像系统中 ,由于成像环境复杂 ,成像设备在成像 过程中相对于被摄景物的运动来说 ,不仅包含平移 运动 ,而且也包含旋转运动 ,最后经过合成都反映在 所获图像序列的图像信息上。一般来说 ,在求取图 像的帧间全局运动矢量时 ,图像序列帧间旋转运动 的存在会导致灰度投影算法的精度下降。通过对图 像进行分区 ,由于匹配区域较小 ,所以可以近似认为 在这个小区域内只含平移运动而忽略其旋转运动。 先用投影法分别求出各子区域的局部运动矢量 ,然 后再用仿射变换模型即可实现动态图像帧间平移运 动和旋转运动的补偿。 　3 . 1 　用投影法估计局部运动矢量 3. 1. 1 　投影区域的划分 分别把参考图像和当前图像对应地分成若干子 区域 ,当子区域划分较小时 ,可忽略旋转运动 ,用投 影匹配法能较精确地求出子区域在水平和垂直方向 的局部运动矢量。 如何确定子区域的大小是一个非常重要的问 题。如果区域划分越多 ,理论上最终实现的图像旋 转的补偿精度越高 ,但区域内所包含的像素少 ,信息 少 ,投影曲线形状变化少 ,投影匹配精度低 ,所估计 的局部运动矢量的精度将降低 ;若区域选择太大 ,则 区域的旋转运动不可忽略 ,同时将会丢失一些局部 运动信息。考虑到实际的应用 ,对于分辨率为 640 ×480 像素的图像来说 ,可选择子区域的大小为 64 ×64 像素 ,即把一帧图像分成 24 个子区域 ;对于分 辨率为 352 ×288 像素的图像来说 ,可分成 16 个子 区域 ,子区域的大小选为 50 ×64 像素。如图 2 所 示。 图 2 　灰度投影算法求局部 运动矢量的分区方法 从 投 影匹配算 法的原理 可知 ,用投 影匹配算 法检测当 前图像帧相对于参考图像帧的最大偏移取决于图 1 中 S 值的大小。在如图 2 所示的分区方法下 ,考虑 到子区域的大小 ,可选择 S 为 12 像素 ,也就是说 , 需稳定的图像序列帧间在水平和垂直方向上的最大 偏移量不应超过 12 像素。当子区域的旋转量小于 ±1 像素时 ,投影匹配法在求取子区域的局部运动 矢量时对其精度影响小 ,从而可忽略其旋转运动 ;当 超过 ±1 像素时 ,将会使该算法在求局部运动矢量 时 ,精度下降。所以该分区方法对参考图像与当前 图像之间的旋转量只有小于 4 个像素时 , ,才能较好 地保证电子稳像的精度。由于算法的计算速度是衡 量算法性能的一个重要标志 ,所以对比了全匹配算 法和投影算法求取局部运动矢量的时间。在同等的 条件下 , PC 机用 VC + + 编程的方法进行了实验 , 对于 64 ×64 像素的子区域来说 ,最大偏移为 ±12 像素 ,用全匹配方法 ,求取 1 个子区域时的局部运动 矢量的运算时间为 10135ms ,而用投影法检测 24 个 子区域时的局部运动矢量的运算时间仅用了 3110ms。 3. 1. 2 　局部运动矢量的求法 由于图像上存在的背景和景物不一样 ,分区以 后 ,有的区域可能灰度变化不明显 ,不具有足够的信 息量 ,尤其是航摄红外图像。例如 ,某一区域只存在 灰度单一的景物 ,出现这样的区域 ,可以用各子区域 运动矢量的均值作为该区域的运动矢量。图 3 是分 辨率为 640 ×480 像素的相邻两帧红外航摄图像划 分区域后所截取的一行对应的 6 个子区域及其对应 的列灰度投影曲线。 图 3 　分区后的投影曲线 从图 3 可明显 地看出 ,对区域内 灰度信息丰富的 子图像来说 ,其投 影曲线的形状特 征明显 ,且除了在 边缘处形状有差 异外 ,通过平移投 244 光　学　技　术　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　第 29 卷 影曲线 ,两曲线几乎可以完全重合。因此可按投影 匹配算法求其运动矢量。 　3 . 2 　用仿射变换模型实现运动的补偿 图像序列的运动补偿就是用灰度投影算法计算出 的当前图像相对于参考图像的运动矢量。对当前图像 进行补偿 ,以便在监视器上输出稳定的图像序列。 3. 2. 1 　图像的仿射变换 图像的几何变换 (也叫空间变换)也就是图像点 与点之间的空间映射关系 ,它是指一种建立一幅图 像与其变形后的图像中所有各点之间映射关系的函 数。可表示为 [ x , y ] = [ X ( u , v) , Y ( u , v) ] (3) 或 [ u , v ] = [ U ( x , y) , V ( x , y) ] (4) 式中 , [ u , v ] 表示输入图像中像素的坐标 ; [ x , y ] 表示输出图像中像素的坐标。X 、Y 、U 、V 为唯一确 定的空间变换函数 ,即它们唯一地定义了输入图像 和输出图像中所有点之间的几何对应关系 ; X 、Y 将 输入映射到输出 ,称为向前映射 ; U 、V 将输出图像 映射到输入 ,称为逆向映射。 仿射变换是一种特殊的变换方式 ,其一般表达 式是 x = a11 u + a21 v + a31 y = a12 u + a22 v + a32 (5) 它是一种常用的平面映射方法 ,可实现图像的平移、 旋转和简单变形[5 ] 。 3. 2. 2 　用仿射变换实现运动的补偿 图像序列帧间的运动常常不仅包含平移 ,而且 还含有旋转。所以使用仿射变换运动模型可方便地 建立图像序列帧间的这种运动。方程组 (6) 显示了 由参考帧到当前帧的仿射变换模型[6 ] 。 X t +1 = aX t + b Y t + c Y t +1 = dX t + e Y t + f (6) 式中 , ( X , Y) 表示当前帧的坐标 ; ( X , Y) 表示参 考帧的坐标。 只要求出方程组 (6)中的六个参数 (a～f) ,即可 实现参考帧到当前帧的仿射变换。为此 ,可以使用 能量最小的方法。假设用灰度投影法已求出 N 个 子区域的局部有效运动矢量 ,则可令 T x = ∑ N n = 1 ( aX n + b Y n + c - X n) 2 (7) T y = ∑ N n = 1 ( dX n + e Y n + f - Y n) 2 (8) 式中 X1 , X2 , ⋯, X n 和 Y1 , Y2 , ⋯, Y n 分别为参考图 像帧子区域所选定的 n 个像素的 X , Y 坐标值 ; X1 , X2 , ⋯, X n 和 Y 1 , Y2 , ⋯, Y n 则是根据灰度投影匹 配算法所求出的 n 个子区域的有效运动矢量 ,对应 于 X1 , X2 , ⋯, X n 和 Y1 , Y2 , ⋯, Y n 的当前图像帧的 X 、Y 坐标值。即 X1 = X1 +ΔX1 X2 = X2 +ΔX2 … X n = X n +ΔX n Y1 = Y1 +Δ Y1 Y 2 = Y2 +Δ Y 2 … Y n = Y n +Δ Y n 式中 ,ΔX1 ,ΔX2 , ⋯,ΔX n 和Δ Y1 ,Δ Y2 , ⋯,Δ Y n 分 别为各子区域水平方向和垂直方向的运动矢量。当 T x 和 Ty 的值最小时 ,实现的仿射变换最理想。这时 可对 (7) 式和 (8) 式的六个参数分别求其偏导数 ,并 令其等于零后再求出 ( a ～ f ) 六个参数 ,这样就可 得到以下关于 ( a ～ f ) 的六个方程。 　5 T x / 5 a = 0 　　(9) , 　 　5 T x / 5 b = 0 (10) 　5 T x / 5 c = 0 　　(11) , 　　5 Ty/ 5 d = 0 (12) 　5 Ty/ 5 e = 0 　　(13) , 　　5 Ty/ 5 f = 0 (14) 解由式 (9)～ (14)这六个方程组成的方程组 ,则可求 出仿射变换的六个参数。以下是推导出的求六个参 数的公式。 a b c = X21 + X22 + ⋯+ X2n X1 Y1 + X2 Y2 + ⋯+ Xn Yn X1 + X2 + ⋯+ Xn X1 Y1 + X2 Y2 + ⋯+ Xn Yn Y21 + Y22 + ⋯+ Y2n Y1 + Y2 + ⋯+ Yn X1 + X2 + ⋯+ Xn Y1 + Y2 + ⋯+ Yn N - 1 × X1 X1 + X2 X2 + ⋯+ XnXn X1 Y1 + X2 Y2 + ⋯+ Xn Yn X1 + X2 + ⋯+ Xn d e f = X21 + X22 + ⋯+ X2n X1 Y1 + X2 Y2 + ⋯+ Xn Yn X1 + X2 + ⋯+ Xn X1 Y1 + X2 Y2 + ⋯+ Xn Yn Y21 + Y22 + ⋯+ Y2n Y1 + Y2 + ⋯+ Yn X1 + X2 + ⋯+ Xn Y1 + Y2 + ⋯+ Yn n - 1 × Y1 X1 + Y2 X2 + ⋯+ YnXn Y1 Y1 + Y2 Y2 + ⋯+ Yn Yn Y1 + Y2 + ⋯+ Yn 在求出仿射变换的 6 个参数后 ,利用公式 (6)进行逆 变换 ,即可实现当前图像帧的补偿运动的补偿。 3. 2. 3 　用仿射变换实现运动补偿的仿真结果 对于机载红外摄像系统所摄取的动态图像序列 来说 ,由于载体的振动 ,其图像序列的帧间运动不仅 包含平移运动 ,同时也含有旋转运动。用上述方法 344 第 4 期 钟平 ,等 : 　动态图像序列帧间运动补偿方法探讨 对所摄取的不同景物图像序列 (分辨率为 352 ×288 像素)做了大量的实验 ,其帧间的平移运动和旋转运 动均能较好地实现补偿。图 4 (a) 和图 4 (b) 是从中 所选取的两帧图像 ,通过比较其差分图和矢量图可 图 4 　算法的仿真结果 (a)参考帧 ; (b)当前帧 ; (c)补偿后的帧 ; (d)图像帧 (a)和图像帧 (b)的差分图 ; (e)图像帧 (a)和图像帧 (c)的差分图。 图 5 　运动矢量图 (a)当前帧相对于参考帧 各子区域的运动矢量 ; (b)补偿后的帧相对于参 考帧各子区域的运动矢量。 看出该方法的仿真效 果。图 4 ( a) 可看作 是参考图像帧 ,图 4 (b) 可看作是当前图 像帧 ,图 4 (c) 是由该 算法得到的补偿后的 图像帧 ,图 4 (d) 是参 考图像和当前图像的 差分图 ,图 4 (e) 是参 考图像和补偿后的图像的差分图。图 5 是补偿前后 各子区域的运动矢量图 ,其中图 5 (a) 是未补偿的当 前图像相对于参考图像各子区域的运动矢量图 ,图 5 (b)是补偿后的当前图像相对于参考图像各子区域 的运动矢量图 ,从矢量图也可看出运动补偿后的效 果。 4 　结 　论 对于动态图像序列帧间运动不超过 ±12 像素、 旋转量小于 4 像素的图像序列来说 ,分别对参考图 像和当前图像进行分区。首先用灰度投影算法检测 出各子区域的局部运动矢量来确定由参考图像到当 前图像仿射变换的六个参数 ,然后再用所确定的仿 射变换进行运动的补偿 ,这样不仅能较好地实现帧 间平移运动的补偿 ,而且其帧间的旋转运动也能得 到有效补偿。但若图像序列的帧间平移运动和旋转 运动过大 ,超过所设定的范围 ,则该算法的补偿精度 将难于保证 ,应寻求其它的算法。 参考文献 : [1 ] Kenya Uomori , Atsushi Morimura , Hirofumi Ishii , et al. Auto2 matic image stabilizing system by full digital signal processing [J ] . IEEE Transactions Consumer Electronics , 1990 ,36 (3) . [ 2 ] Lee Sung2Hee , Jeon Seung2Won , Kang Eui2Sung ,et al. Fast Digi2 tal Stabilizer based on Gray Coded Bit2Plane Matching [J ] . IEEE Trans on Consumer Electronics ,1999 ,45 (3) . [ 3 ] Joon Ki Paik , Yong Chul Park , Dong Wook Kim. An Adaptive Mo2 tion Decision System for Digital Image Stabilizer Based on Edge Pattern Matching[J ] . IEEE Trans on Consumer Electronics ,1992 , 38 (3) . [4 ] Jean Maheux ,James Cruickshank , Leandre Sevigny. Video2Rate Image Stabilization System[J ] . Proceedings of SPIE ,1998 ,3414. [5 ] 何斌 ,马天予 ,王运坚 ,等. VC + + 数字图像处理 [ M ] . 北京 :人 民邮电出版社 ,2001. [ 6 ] Yeh Yeou2Min , Wang Sheng2Jyh , Chiang Huang2Cheng. A Digital Camcorder Image Stabilizer Based on Gray Coded Bit2plane Block Matching[J ] . Proceedings of SPIE ,2000 ,4080. (上接第 440 页) 度曲线也趋于平缓。在对采集图像进行直观定性分 析的同时 ,使用信噪比及标准差对上述图像校正前 后的结果做了定量的分析比较。在计算图像的信噪 比及标准差时 ,分别对 2/ 3 有效数据区和选择 400 图 5 　校正前后像质计对比图 (a) 校正前像质计图像 ; (b) 校正后像质计图像。 ×400 像元的中间窗 口进行计算 ,结果见表 1。从表中可以看出 , 随着图像标准差的降 低 ,其信噪比得到明显 的提高。不论是在一 般检测中使用的 2/ 3 表 1 　校正前后信噪比及标准差的比较 2/ 3 有效数据区 中间窗口 信噪比 标准差 信噪比 标准差 原始图像 39. 33 41. 05 58. 47 27. 91 经暗电流校正后 45. 48 29. 85 85. 8 16. 03 经通道校正后 82. 61 16. 41 152. 41 9. 01 有效数据区 ,还是所取的中间窗口 ,校正后的信噪比 提高了 2～3 倍。 图 5 所示为在 6mm 钢板上放置像质计的图像。 从图中可以看出 ,不但信噪比得到了提高 ,而且人眼 的可视效果也得到了改善 ,分辨率也得到了明显的 提高。 5 　结 　论 通过数据分析及对实际图像的处理验证 ,上述 校正方法显然是十分有效的。它有效地消除了通道 间的不一致性 ,降低了图像的标准差 ,使信噪比得到 了明显的提高。 上述方法只是对通道的不一致性进行了校正。 从最后的结果可以看出 ,其灰度曲线还存在着较大 的起伏 ,这主要是由于还存在像元间的不一致性的 缘故。这些都将是今后研究的重点 ,也是彻底改善 成像质量 ,达到工业数字实时检测要求的有效途径。 444 光　学　技　术　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　第 29 卷