松驰法及其在立体视觉中的应用

模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 松弛法及其在 立体视觉中的应用 胡占义 机器人视觉组 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 松弛法的基本原理 1. 先得到待求问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 初始解的一个备选集合 （包括错误解）。 2. 利用一些约束条件去除错误解。 3. 迭代步骤2直到解收敛为止。 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 立体视觉简介 • 给定两幅已校正的图像（对应点在同一水平线上 ），求其中一幅图像中的某一点在另一幅图像中的 对应点。 • 对应点水平位置之差称为视差。一般用视差图表 示整幅图像的视差。 ? RL xxd −≡ 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 立体视觉中松弛法的主要思想 1. 根据灰度相关性得到一个粗略的初始估计 解。 2. 利用一些匹配约束（唯一性，连续性） 迭 代优化初始解。 3. 重复步骤2直到解收敛。 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 立体视觉解的多样性（1） L1 L2 L3 L4 R1 R2 R3 R4 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 立体视觉解的多样性（2） L1 L2 L3 L4 R1 R2 R3 R4 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 立体视觉解的多样性（3） R1 R2 R3 R4L1 L2 L3 L4 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 立体视觉中的匹配约束 • （唯一性）空间一点在某一时刻的位置是唯一的。（除遮 挡情况外）一幅图像中的某一像素点在另一幅图像中的对 应点是唯一的。 • （连续性）当物体离人眼（摄像机）距离一定范围之外 时，物体表面可以看作是光滑的。在物体表面内视差（即 深度）为光滑函数。 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 立体视觉匹配约束的应用 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 立体视觉匹配约束的应用（2） 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 立体视觉匹配约束的应用（3） • （唯一性）任何水平或者垂直线（红色）上只能有一个正 确的匹配。 • （连续性）正确的匹配一般位于对角线（绿色）上。 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 用松弛法求立体视觉的算法设计思想 抑制域 支持域 在图中每个顶点上放置一个处理单元。 • （唯一性）每一个处理单元对其领域内位于水平和垂直线 （红色）上的处理单元发送抑制信息。 • （连续性）每一个处理单元对其领域内位于对角线（绿 色）上的处理单元发送刺激信息。 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 用松弛法求立体视觉的算法步骤 1. 对图中每一顶点赋初始值（ ）。当灰度相同 时赋为1，否则为0。 2. 用下面的迭代公式更新图中每一顶点的值。其中 S，O分别为该顶点的支持域和抑制域。 为抑 制系数， 为域值函数。 3. 循环直到图中所有顶点的值都收敛。 ⎟⎟⎠ ⎞ ⎜⎜⎝ ⎛ +−= ∑∑ ∈∈ + 0 ,, ),,(',',' ',',' ),,(',',' ',',' 1 ,, dyx dyxOdyx t dyx dyxSdyx t dyx t dyx CCCC εσ 0 ,, dyxC ε σ 抑制项支持项 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 实验结果（1） 迭代次数：1 2 3 4 … 14 输入随机点立体图： 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 实验结果（2） 迭代次数： 1 5 10 20 输入立体图： 模式识别国家重点实验室 中国科学院自动化研究所 National Laboratory of Pattern Recognition Institute of Automation, Chinese Academy of Sciences 参考文献 • Olivier Faugeras, Three Dimensional Computer Vision, A Geometry Viewpoint. MIT Press, 1993. • D. Marr and T. Poggio, Cooperative Computation of Stereo Disparity. Science, 194:283-287, 1976. 松弛法及其在�立体视觉中的应用 松弛法的基本原理 立体视觉简介 立体视觉中松弛法的主要思想 立体视觉解的多样性（1） 立体视觉解的多样性（2） 立体视觉解的多样性（3） 立体视觉中的匹配约束 立体视觉匹配约束的应用 立体视觉匹配约束的应用（2） 立体视觉匹配约束的应用（3） 用松弛法求立体视觉的算法设计思想 用松弛法求立体视觉的算法步骤 实验结果（1） 实验结果（2） 参考文献