(武汉大学)摄影测量学教学课件-第五章-第四节-最小二乘法影像匹配

《摄影测量学》第五章 第四节 最小二乘法影像匹配 主要内容 „最小二乘法影像匹配的原理 „单点最小二乘法影像匹配 „最小二乘法影像匹配精度 一 最小二乘影像匹配原理 „最小二乘影像匹配（least Squares Image Matching） „影像匹配可达到1/10甚至1/100像素的高精度 优点如下 „非常灵活地引入各种已知参数和条 件，从而可以进行整体平差 „解决“单点”的影像匹配问题，求 “视差”；直接解求其空间坐标 „同时解决“多点”影像匹配或“多片” 影像匹配 „引入“粗差检测”，大大地提高影像 匹配的可靠性 „“灰度差的平方和最小” ∑ = minvv V „仅仅认为影像灰度只存在偶然误差 ),(),( 2211 yxgnyxgn +=+ ),(),( 21 yxgyxgv −= 误差方程式 1. 辐射畸变 ¾照明及被摄影物体辐射面的方向 ¾大气与摄影机物镜所产生的衰减 ¾摄影处理条件的差异以及影像数 字化过程中所产生的误差等等 2.几何畸变 ¾摄影机方位不同所产生的影像的透 视畸变 ¾影像的各种畸变 ¾竖直航空摄影的情况下，地形高差则是 几何畸变的主要因素 在影像匹配中引入这些变 形参数，同时按最小二乘 的原则，解求这些参数， 最小二乘影像匹配的基本思想 二. 单点最小二乘影像匹配 „两个二维影像 之间的几何变 形，不仅仅存在 着相对移位还存 在着图形变化 „几何变形 ybxbby yaxaax 2102 2102 ++= ++= „灰度畸变+几何变形 ),(),(),(),( 22102102111 yxnybxbbyaxaaghhyxnyxg o ++++++=+ x2 y2 „线性化误差方程式 gdbcdbcdbcdacdacdacdhcdhcv o ∆−+++++++= 281706251403121 „初值分别为 h0 = 0； h1 = 1；a0 = 0；a1 = 1；a2 = 0； b0 = 0；b1 = 0； b2 = 1 LCXV −= )()( LCXCC TT = y y y x x xx gy b y y gc gx b y y gc g b y y gc gy a x x gc gx a x x gc gg a x x gc gc c & & & & & && =∂ ∂⋅∂ ∂= =∂ ∂⋅∂ ∂= =∂ ∂⋅∂ ∂= =∂ ∂⋅∂ ∂= =∂ ∂⋅∂ ∂= ==∂ ∂⋅∂ ∂= = = 2 2 2 2 8 1 2 2 2 7 0 2 2 2 6 2 2 2 2 5 1 2 2 2 4 2 0 2 2 2 3 22 1 )( 1 )],1(),1([ 2 1),( )]1,()1,([ 2 1),( 22 22 JIgJIgJIgg JIgJIgJIgg Ix Jy −−+== −−+== && && 灰度是按规则格网排列的离散阵列， 且采样间隔为常数∆，可被视为单位 长度，偏导数均用差分代替 几何改正 重采样 辐射畸变改正 是否迭代 计算最佳 匹配的点位计算参数值 结束 左窗口 右窗口 ?????????? 具体步骤 1. 几何变形改正 ybxbby yaxaax 2102 2102 ++= ++= 2.重采样 3.辐射畸变改正 h0 + h1• g2(x2，y2) 4. 解求变形参数的改正值 ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ = ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ y x bbb aaa y x iii iii 1001 210 210 2 2 1 ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ + += −−− −−− y x bbb aaa dbdbdb dadada iii iii iii iii 1001 1 1 001 1 2 1 1 1 0 1 2 1 1 1 0 210 210 iiiiii iiiiii iiiiiii iiiiii iiiiii iiiiiii dbbdbabb dbbdbabb dbbdbadbbb dabdaaaa dabdaaaa dabdaadaaa 2 1 21 1 2 1 22 2 1 11 1 1 1 11 2 1 01 1 00 1 00 2 1 21 1 2 1 22 2 1 11 1 1 1 11 2 1 01 1 00 1 00 −−− −−− −−− −−− −−− −−− ++= ++= +++= ++= ++= +++= ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ +=⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛=⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ −− 2 1 1 1 0102101 101 1 011011 ghhdhdhghhg iiiiii i 1 1-i 1 1-i 1 i 1 i 1 1-i 0 i 0 1-i 0 i 0 dhhhh dhhdhhh += ++= 5. 停机条件 6. 计算最佳匹配的点位 ∑∑ ∑∑ ⋅= ⋅= ⋅ 2.2. 2.2 / / yyi xxi ggyy ggxx ybxbby yaxaax 2102 2102 ++= ++= 匹配精度取决于影像灰度的梯度 《数字摄影测量学》 为了进一步提高其可靠性与 精度，例如，附带共线条件 的最小二乘相关以及与VLL法 结合的最小二乘影像匹配方 法都得了广泛的研究 三 仅考虑辐射的线性畸变的最小二 乘匹配——相关系数 2221011 ),(),( ngyxghhnyxg +++=+ „误差方程： )( 21210 ggghhv −−+= ¾有n个像素点时误差方程 ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ − − −⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ = ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ 21 21 1 0 2 21 1 1 gg gg h h g g v v n MMMM ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ − − −⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ ⎟⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎝ ⎛ ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ 21 21 1 0 2 2 22 1 1 11 gg gg h h g g gg MMMK K 0=− PLAPAXA TT „法方程式 2 2211 2 202 21120 )()( )( ∑∑∑∑ ∑∑∑ −=+ −=+ ggghghg gghgnh ))((1 1 )( 12210 2 22 2 1221 1 hggg n h gng ggngg h ∑∑∑ ∑∑ ∑∑∑ −−= −− −= „对g1，g2中心化处理 ;0;0 21 == ∑∑ gg ))((1 1 )( 12210 2 22 2 1221 1 hggg n h gng ggngg h ∑∑∑ ∑∑ ∑∑∑ −−= −− −= 1 2 2 12 1 −= ∑ ∑ g gg h00 =h )( 21210 ggghhv −−+= ∑∑∑ ∑∑∑ ∑ ∑ ∑ ∑ ∑ +−= −⋅= 2 1122 2 122 2 2 2 2 12 2 12 2 12 2 2)( )( ggg g gg g g gg g g gg gvv 2 2 2 122 1 )( ∑ ∑∑ ∑ −= g gg gvv 2 2 2 1 2 122 )( ∑∑ ∑= gg ggρ„相关系数 2 2 2 122 1 )( ∑ ∑∑ ∑ =− g gg gvv )1( 221∑ ∑ −= ρgvv 2 2 1 1 ρ−=∑ ∑ g vv „∑vv是噪声的功率 „∑g12为信号的功率 ∑∑= vv g SNR 2 12)(„信噪比 „相关系数与信噪比之间的关系 )1( 1)( 22 ρ−=SNR 传统的算法采用目标区相对于搜索区 不断地移动一个整像素，搜索最大相 关系数的影像区中心作为同名像点 在最小二乘影像匹配算法中，可引入 几何变形参数，直接解算影像移位 四.仅考虑影像相对移位一维最小二乘匹配 假设两个一维灰度函数g1(x), g2(x),除 随机噪声外，g2(x)相对于g1(x)只存在零次几何变形——移位量∆x。 )()()()( 2211 xnxxgxnxg +∆+=+ )()()( 12 xgxxgxv −∆+= „误差方程线性化 )]()([)()( 212 xgxgxxgxv −−∆⋅′= „灰度函数的导数g,2(x)可由差分代替 ∆ ∆−−∆+=⋅ 2 )()()( 222 xgxgxg „用灰度差分表达的误差方程式 gxgv ∆−∆⋅= ⋅ 2 „解得影像的相对移位 ∑ ∑ ⋅⋅ ∆⋅=∆ 222 / gggx 五.最小二乘影像匹配的精度 最小二乘匹配算法，根据法方程式系 数矩阵的逆矩阵，求得其精度指标 ∑ ⋅= 2202 /ˆ gx σσ v g x g= ∆ −∆& 1x v g g ∆ = + ∆& ∑⋅−= 220 11 vnσ n为目标区像元个数。右边是的无偏估计 n v 2 2 0 σσ ≈ 2 2 2 1ˆ g v x n &σ σσ ⋅= v gSNR σ σ=„信噪比 2 2 2 2 1ˆ g g x SNRn &σ σσ ⋅⋅=„方差 „相关系数与信噪比之间的关系 2 22 2 )1(ˆ g g x n &σ σρσ ⋅−= )1( 1)( 22 ρ−=SNR 可以得到一些很重要的结论 ¾相关系数愈大则精度愈高 ¾信噪比愈大，则匹配的精度愈高 ¾影像的纹理结构有关，即 愈大，影像匹配精度愈高 )/( gg &σσ g&σ ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ = ∑∑ ∑∑ ⋅⋅⋅ ⋅ ⋅⋅⋅ 2 2 yyx yxxT ggg gggCC Q ggg ggg b a COV yyx yxx ⋅= ⎥⎥ ⎥ ⎦ ⎤ ⎢⎢ ⎢ ⎣ ⎡ =⎥⎦ ⎤⎢⎣ ⎡ − ⋅⋅⋅ ⋅ ⋅⋅⋅ ∑∑ ∑∑ 02 1 2 2 0 2 0 0 σσ xxx θσσ ⋅= ΛΛ 0 22 )2(0 2 −= ∑Λ nvvσ yyy θσσ ⋅= ΛΛ 0 22 第四节最小二乘法影像匹配