立体视觉研究的现状与进展

第 2 卷第 1 期 1997 年 1 月 中国图象图形学报 Ch ina Jou rnal of Im age and Graph ics V o l. 2, N o. 1 Jan. 1997 立体视觉研究的现状与进展 Ξ 游素亚　徐光礻右 (清华大学计算机系　北京　100084) 摘　要　立体视觉是计算机视觉中的一个重要分支, 一直是计算机视觉研究的重点和热点之一, 在 20 多年的发展 过程中, 逐渐形成了自已的方法和理论。本文系统地评述了立体视觉研究的现状与进展, 分析比较了各种技术的优 缺点和适用范围, 并着重论述了立体视觉的核心——立体匹配的研究进展, 总结分析了目前立体视觉研究所存在 的主要问题和今后的发展方向。 关键词　立体视觉, 立体匹配, 视觉机理。 1　引　言 获取空间三维场景的距离信息是计算机视觉研 究中最基础的内容。目前, 获取距离信息的方法和技 术很多, 学术思想非常活跃, 新技术、新方法不断涌 现。立体视觉是计算机被动测距方法中最重要的距 离感知技术, 它直接模拟了人类视觉处理景物的方 式, 可以在多种条件下灵活地测量景物的立体信息, 其作用是其它计算机视觉方法所不能取代的, 对它 的研究, 无论是从视觉生理的角度还是在 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 应用 中都具有十分重要的意义。 立体视觉的开创性工作是从 60 年代中期开始 的。美国M IT 的Robert 完成的三维景物分析工作, 把过去的二维图象分析推广到了三维景物, 这标志 着立体视觉技术的诞生, 并在随后的 20 年中迅速发 展成一门新的学科。特别是 70 年代未,M arr 创立的 视觉计算理论对立体视觉的发展产生了巨大影响, 现已形成了从图象获取到最终的景物可视 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 面重建 的完整体系, 在整个计算机视觉中已占有越来越重 要的地位。经过 20 多年的研究, 立体视觉在机器人 视觉、航空测绘、军事应用、医学诊断及工业检测中 的应用越来越广, 研究方法从早期的以统计相关理 论为基础的相关匹配, 发展到具有很强生理学背景 的特征匹配, 从串行到并行, 从直接依赖于输入信号 的低层处理到依赖于特征、结构、关系和知识的高层 次处理, 性能不断提高, 其理论正处在不断发展与完 善之中。为了充分反映出这一研究领域的研究动态, 本文采用由面到点的方法, 以各种技术的核心思想 为线索, 对目前立体视觉研究的现状加以评述, 指出 各种方法的优缺点和值得注意的问题, 最后指出了 立体视觉研究存在的问题和发展方向。 2　立体视觉 立体视觉的基本原理是从两个 (或多个)视点观 察同一景物, 以获取在不同视角下的感知图象, 通过 三角测量原理计算图象象素间的位置偏差 (即视差) 来获取景物的三维信息, 这一过程与人类视觉的立 体感知过程是类似的。一个完整的立体视觉系统通 常可分为图象获取、摄象机定标、特征提取、立体匹 配、深度确定及内插等 6 个大部分[1 ]。 立体图象获取的方式很多, 主要取决于应用的 场合和目的。例如, 为了研究人类视觉的立体融合机Ξ 国家自然科学基金资助。 　收稿日期: 1996, 05, 29 制, 一般采用由计算机产生的随机点立体图象对[2 ]; 在航空测量领域, 通常是利用飞行器携带的高性能 摄象机沿航向序列地摄取图象Ξ ; 再如, 在显微立体 分析中, 通过旋转扫描电镜的样品台, 同样可获得物 体的立体图象对[4 ]。在获取立体图象时不但要满足 应用要求, 而且要考虑视点差异、光照条件、摄象机 性能以及景物特点等因素的影响, 以有利于立视计 算。 摄象机标定是为了确定摄象机的位置、属性参 数和建立成象模型, 以便确定空间坐标系中物体点 同它在图象平面上象点之间的对应关系。对于理想 的平行视点模型, 其核线与图象扫描线重合, 这一特 点可大大降低立体匹配的复杂性。对于一般存在旋 转和位移的成象系统, 都可通过投影变换等手段得 到理想模型。摄象机标定方法可分为两大类, 第一类 是直接估计摄象机位置、光轴方向、焦距等参数; 第 二类是通过最小二乘法拟合, 确定三维空间点映射 为二维图象点的变换矩阵。建立一个有效的摄象机 模型, 除了能够精确地恢复出空间景物的三维信息 外, 还有利于解决立体匹配问题。 特征提取是为了得到匹配赖以进行的图象特 征, 由于目前尚没有一种普遍适用的理论可运用于 图象特征的提取, 从而导致了立体视觉研究中匹配 特征的多样性。目前, 常用的匹配特征主要有点状特 征、线状特征和区域特征等。一般来讲, 大尺度特征 含有较丰富的图象信息, 在图象中的数目较少, 易于 得到快速的匹配, 但它们的定位精度差, 特征提取与 描述困难。而小尺度特征数目较多, 其所含信息较 少, 因而在匹配时需要较强的约束准则和匹配策略, 以克服歧义匹配和提高运算效率。良好的匹配特征 应具有可区分性、不变性、稳定性、唯一性以及有效 解决歧义匹配的能力。 立体匹配是立体视觉中最重要也是最困难的问 题。当空间三维场景被投影为二维图象时, 同一景物 在不同视点下的图象会有很大不同, 而且场景中的 诸多因素, 如光照条件, 景物几何形状和物理特性、 噪声干扰和畸变以及摄象机特性等, 都被综合成单 一的图象中的灰度值。因此, 要准确地对包含了如此 之多不利因素的图象进行无歧义的匹配, 显然是十 分困难的。对于任何一种立体匹配方法, 其有效性有 赖于 3 个问题的解决, 即: 选择正确的匹配特征, 寻 找特征间的本质属性及建立能正确匹配所选特征的 稳定算法。立体匹配的研究都是围绕着这三方面在 工作, 并已提出了大量各具特色的匹配方法。但是由 于立视匹配涉及的问题太多, 至今仍未得到很好的 解决, 特别是在复杂场景中, 如何提高算法的去歧义 匹配和抗干扰能力, 降低实现的复杂程度和计算量, 都需要进行更深入的探索和研究。有关立体匹配技 术的详细论述将在下节给出。 已知立体成象模型和匹配视差后, 三维距离的 恢复是很容易的。影响距离测量精度的因素主要有 摄象机标定误差、数字量化效应、特征检测与匹配定 位精度等。一般来讲, 距离的测量精度与匹配定位精 度成正比, 与摄象机基线长度成反比。增大基线长度 可改善距离测量精度, 但同时会增大图象间的差异, 增加匹配的困难。因此, 要 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 一个精确的立视系 统, 必须综合考虑各方面的因素, 保证各个环节都具 有较高的精度。Beh rooZ[5 ]和B 1o stein [6 ]等对确定空 间位置坐标点时的误 差来源, 以及图象量化效应对 立体测量精度的影响进行了详细的分析, Gem [7 ]则 对序列图象中的噪声影响提出了模型估计和唯一性 结果的论证。 立体视觉的最终目的是为了恢复景物可视表面 的完整信息, 目前, 无论是哪种匹配方法都不可能恢 复出所有图象点的视差。对于一个完整的立视系统 来讲, 都必须进行最终的表面内插重建。在内插过程 中, 最重要的问题就是如何有效地保护景物面的不 连续信息。Grim son 根据物体的表面物理性质和景 物成象特性, 提出了内插重建所必须满足的表面相 容性原理, 并建立了正则化重建算法[8, 9 ] T erEopu2 lo s[10 ]基于 Grim son 的重建原理, 提出了由粗到细 的多通道重建技术, 以改善重建精度和加速收敛过 程。M aitre [11 ]等根据空间景物的结构特点, 提出了 一种基于模型的内插重建算法, 其原理是将图象分 割成不同的结构区域, 采用一次ö二次曲面对分割区 域进行最佳拟合, 从而重建出不同区域的三维距离。 此方法较好地保护了景物的不连续信息, 适合于人 工景物的处理[1, 2 ]。 以上 6 个部分构成了立体视觉的完整体系, 其 中立体匹配是最重要也是最困难的部分。其存在的 主要问题是, 对存在特殊结构的景物, 如平坦、缺乏 纹理细节、周期性的重复特征等易产生假匹配; 对方 81　　　　　　　　　　　　　　　　　　中国图象图形学报　　　　　　　　　　　　　　　　第 2 卷 Ξ 游素亚, 双目立体视觉理论与方法的研究。见: 华中理工大学博士论文集。1994 年。 向平行于核线的特征匹Ξ 配出现歧义; 在录象机基 线距离增大时, 遮挡严重, 能重建的空间点减少。为 了解决这些问题, 降低双目匹配的难度, 自 1986 年 以来出现了三目立体视觉系统, 即采用 3 个摄象机 同时摄取空间景物, 通过利用第三目图象提供的信 息来消除匹配的歧义性。W atanale [12 ]等采用相互垂 直的三目视点, 较好地解决了与核线平行特征的匹 配歧义性。O h ta [13 ]提出的共线结构三目视觉系统, 可有效地避免遮挡问题。A yache [14 ]等提出了基于边 缘线段的三目机器人视觉系统, Gu rw itz[15 ]的文章 详细地分析了三目立体视觉的性能。 3　立体匹配 立体匹配是寻求同一空间景物在不同视点下投 景图象的象素间的一一对应关系。与普通的图象模 板匹配不同, 立体匹配是在两幅存在视点差异, 几 何、灰度畸变和噪声干扰的图象间进行的, 不存在任 何的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 模板 个人简介word模板免费下载关于员工迟到处罚通告模板康奈尔office模板下载康奈尔 笔记本 模板 下载软件方案模板免费下载 , 这无疑是十分困难的, 更何况立体匹 配还要求得到象素间的一一对应匹配。目前, 立体匹 配的研究基本上分为两个方向: ①从理解人类视觉 的立体融合机制出发, 试图建立一种通用的人类双 眼视觉计算模型; ②从实际应用和要求出发, 建立实 用的立体视觉系统。 第一种方法的特点是从视觉生理的角度揭示人 类视觉的立体融合机制, 从而建立通用的立视系统。 虽然从目前的研究来看, 要构造出如同人类视觉一 样灵活的机器视觉系统还有待于进一步的研究, 但 目前已取得的一些研究成果, 如M arr 的立视匹配 三大约束, 零交叉感知基元以及多通道协同处理方 式等, 对立体视觉的发展起了巨大的推动作用。第二 种方法则是针对不同的应用和要求, 以建立更直接 的、专用的和面向对象的立视系统为目的, 通过强调 场景和任务的约束 等手段来降低视觉处理问题的 难度, 从而增加系统的实用性。 311　立视模型 70 年代出现的M arr 立视计算理论[2 ]被认为是 目前对人类立视 过程最完整的论述, 作为其理论重 要组成部分的立视匹配三大约束 (唯一性、相容性和 连续性)、零交叉匹配基元以及多通道协同处理方式 对立体视觉的发展起了巨大的推动作用。 1976 年 M arr 基于其理论建立了模拟人类立视机制的匹配 算法[16 ] , 并由 Grim son 在计算机上实现[17 ]。该算法 的核心是首次采用多分辨率¨ 2G 零交叉作为匹配 基元, 利用零交叉分布特性和由粗到细 引导的多通 道协同匹配技术来解决匹配的歧义性和搜索空间大 的问题。 1985 年 Grim son 对上述算法进行了改 进[18 ] , 在匹配中使用视差沿零交叉轮廊线连续的约 束来保证匹配的一致性。分析表明, 对于某特殊结构 的景物, 单纯的零交叉匹配基元并不能得到正确的 解释[19 ] , 为此,M ayhew [20 ]等以视觉生理学的观点对 M arr 的零交叉匹配基元和匹配约束进行了补充修 正, 提出¨ 2G 的卷积峰也应是人类立视的匹配输入 基元, 并基于人类视觉首先观察重要的目标轮廊信 息这一事实, 提出了形状连续性约束, 在一定程度上 解决人了M arr 理论所存在的问题。即使如此, Jenk in [21 ]等证明了¨ 2G 零交叉加卷积峰地同样不 能正确解释所有的景物形式, 而对于人类来说, 对这 样的景物的立体融合是十分自然的, 因此, 必定存在 其它更有利于立视匹配的基元形式。图象相位是一 种值得重视的信息, 与幅度信息相比, 相位包含了更 多的图象信息, 幅度信息确定图象的灰度变化, 而频 率相位却决定了图象的结构位置。事实上, 许多已有 的匹配基元, 如零交叉、卷积峰等都对应着特定的相 位值。早在 70 年代, Rob son [22 ]就从生理学角度证明 了人类视觉系统中的简单视细胞是以正交相位关系 形式成对出现的, 并且可以用一对实部与虚部相互 正交的复数滤波器来摸拟。Ju1esZ 等也指出相位信 息在人类解释景物象点之间 的过程中起着非常重 要的作用[23 ] , 相位信息可能是人类立体融合中最理 想的基元形式。基于此, Sanger [24 ]和 Jenk in [21 ]等提 出了基于 Gabo r 滤波相位的立视系统。游素亚[25 ]等 于 1993 年提出了采用H ardy 小波变换相位为基元 的匹配算法。该方法模 拟了人类视觉细胞的正交相 位关系, 利用H ardy 小波基函数将原始图象对表示 成一系列具有良好空频域定位性的正交带通分量, 以带通分量的相位信息作为匹配基元, 从而将视差 估计转化为小波相位差估计问题。虽然, 目前并没有 更多的生理学证据来证明相位信息就是人类立视融 合的输入基元, 但这里到少有两点是合理的, 其一, 91第 1 期　　　　　　　　　　　游素亚等: 立体视觉研究的现状与进展　　　　　　　　　　　　　　　 Ξ 1)巢京. 利用立体视觉方法重建数字地面模型的研究, 见: 全国第四届三遥技术年会论文集。1992 年 　2)程伟. 三维表面重建系统的设计与实现。见: 华中理工大学毕业论文集。1993 年 小波理论优良的多分辨率局部分析特性, 是与人类 视觉的多通道特性相类似的[26 ] , 其灵活多变的小波 基函数选择方式, 使我们有可能寻找到更加符合视 觉机制的图象信息表达形式, 从而建立有效的立视 模型; 其二, 相位信息包含了目前所共识的零交叉和 卷积峰匹配基元, 它对景物具有更强、更全面的解释 能力。因此, 无论从视觉机制角度还是在实际应用 中, 对它的进一步研究都是十分有意义的。 Grisw o ld [27 ]等提出过一种新的基于视觉立体 融合机制的双目视觉计算模型, 其基本思想是将象 平面分为两个区域; 中心区域称为凹区, 其余部分称 为外视网模区。对凹区的数据作高分辨率的分析处 理, 以精确地获得目标表面的信息, 而对外视网膜区 的数据只作粗略的低分辨率处理, 获得一些全局性 的结构信息, 最终将二者融合, 求得匹配视差。在算 法的实验中, 系用了神经网络机制。同时考虑视觉皮 层细胞的各向异性特征。 Yeshu run [28 ]等人在研究了灵长目动物大脑皮 层对双目图象刺激响应的结构关系的基础上, 提出 了一种倒滤波的局部非线性匹配模型, 它提供了灵 长目动物大脑皮层中有对左右眼刺激响应呈柱状交 织现象的一种解释。整个算法是一种并行的迭代形 式, 其特性与灵长目动物立体视学的生理学限制和 解剖特性相一致。这种模型为进一步研究人类视觉 的立体感知机理提供了一条新思路。O lson [29 ]等已 将此算法用于双目机器人视觉, 取得了较好的效果。 在过去的几十年里, 基于多频率通道的图象分 析方法受到了极大的重视, 这一方法有着深刻的生 理学、心理学背景。它是以人类视觉系统早期信息处 理的多通道滤波理论为基础的,M arr 的多通道协同 处理方式即与这一思想相一致。但这一方法未能全 面地反映出视觉的多通道感知特性。生理学实验证 明, 人类视觉的感知通道不仅是多频率通道, 而且是 多方向通道, 人类具有很强的方向鉴别能力。即在视 觉皮层中存在一定数量的方向敏感性视神经元, 它 们只对各自方向区间内的图象信息有响应, 一旦偏 离相应的方向区间, 就会大大减弱甚至不能引起该 神经元的响应。基于这种考虑, 文献[30 ]将这种与视 觉多频率通道特性同样重要的多方向通道特性引入 立体视觉领域, 并建立了实现算法, 在一定程度上补 充丰富了M arr 的立视理论, 而且多频率通道特性 与多方向通道特性的结合, 将有助于建立更加完善 的立视系统。 3. 2　匹配算法 在目前的立体视觉研究中, 绝大多数都是针对 各自的应用目的和要求, 以建立实用的立视系统为 目的。立体匹配实质上是在匹配准则下的最佳搜索 问题, 许多数学中的最优化技术都可应用于立体匹 配。灰度相关是一种常用的匹配方法, 自 40 年代相 关技术被应用于航空立体测量以来, 相关匹配方法 一直在立体视觉的研究和应用中起着非常重要的作 用, 其基本思想是以统计的观点将图象看成是二维 信号, 进而采用统计相关的方法寻找信号间的相关 匹配, 正因为如此, 相关匹配又被称为信号匹配。它 是图象统计相关理论直接在立体匹配中的拓展, 并 没有很多视觉生理上的解释。由于相关法是直接对 图象象素进行匹配, 匹配结果不受特征检测精度和 密度的影响, 因而可得到很高的定位精度和密集的 视差表面。但这种对图象灰度统计特性的过分依赖, 寻致了匹配对景物表面结构、光照反射和成象几何 十分敏感, 而且区域灰度相关的假设意味着相关窗 口内的象素都具有相同的视差, 这对包含有深度不 连续的区域来讲, 是不成立的。因此, 在空间景物表 面缺乏足够的纹理细节以及成象失真较大 (如视点 间距离过大)的场合, 相关匹配法难以应用。 与灰度相关法不同, 基于特征的匹配方法则是 有选择地匹配能表示景物自身特性的特征, 通过更 多地强调空间景物的结构信息来解决歧义性问题。 Baker [31 ]和A rno ld [32 ]等提出以边缘点为匹配特征 的匹配算法, 并在匹配时首次采用了动态规划技术, 将左右图象同一扫描线上的匹配特征, 分别等效为 动态规划的阶段与状态, 通过在二维规划平面上搜 索最佳路径得到最优的匹配。O h ta [33 ]等提出了以边 缘线为匹配特征的动态规划算法, 这相当于把动态 规划的搜索空间扩大到三维, 首先利用二维规划得 到边缘点的最佳匹配代价, 然后利用此代价在三难 规划空间中搜索边缘线的匹配, 这样不但保证了匹 配在同一扫描线内是最佳的, 而且在扫描线间也是 全局最优的。实验表明, 此算法对多种类型的景物都 能得到较好的匹配, 缺点是计算量大, 实现复杂。在 L 1ogd [ 34 ]提出的算法中, 综合利用了动态规划和 概率型的松弛标记技术, 算法以边缘点为匹配基元, 首先采用动态规划技术搜索相关扫描线上的最佳匹 配路径集合, 然后以扫描线间的边缘视差连续为约 束, 利用松弛算法从已得到的匹配路径集合中寻找 正确匹配。这种方法也可以保证匹配在扫描线间的 02　　　　　　　　　　　　　　　　　　中国图象图形学报　　　　　　　　　　　　　　　　第 2 卷 全局一致性, 且计算量比O h ta 的三维规划搜索小。 松弛技术也是解决立视匹配的有效手段。首先 利用简单的相似准则求得初始匹配, 然后根据匹配 特征间利用的几何和视差约束, 利用松弛迭代技术 增强初始匹配结果, 使正确匹配的概率上升, 从而达 到解决歧义匹配的目的。在Bar2nard [35 ]提出的匹配 算法中, 采用了M o ravec 算子的“兴趣点”[36 ]作为匹 配基元, 以视差连续性约束为松弛迭代准则, 通过迭 代处理得到视差连续意义下的最佳匹配。虽然此算 法只能得到很离散的匹配点, 但它对核平面几何不 作任何要求, 允许有垂直视差, 且可应用于运动图象 分析。在 K im 的零交叉匹配[37 ] ,M edion i 的直线段 匹配[38 ] , N asrabadi 的曲线段匹配[39 ]以及L ee 的分 割区域匹配算法中[40 ]都采用了松弛迭代技术。松弛 方法已在立体匹配中得到了广泛的应用, 原则上讲, 无论选择什么形式的匹配基元, 都可构造出相应的 松弛迭代算法。 立体匹配是典型的视觉“病态”计算问题, Pog2 gio [41 ]认为初级视觉处理中的许多“病态”计算问题 都可以统一在正则化框架下, 通过加入一定的约束 来使“病态”解转化为“良态”。在立体匹配领域, 一般 是利用匹配连续性约束将匹配视差限制在平滑解空 间里。在这里, 存在两个得解决的问题, 其一是如何 有效地保护视差表面的不连续信息, T erzopou lo s[42 ] 提出了含有不连续信息的通用正则化模型, 通过引 入一个可控制平滑度的权函数来保护解的不连续信 息。在 T erzopou1o s,M arch 及 Yokoye [43, 44 ]的正则 化匹配算法中都采用了这一方式。其二是如何避免 出现局部最小的问题, 在Barnard [45 ]提出的方法中, 采用由粗到细的多尺度引导策略和模拟退火技术来 解决这一问题。正则化匹配方法的最大优点是可以 全局最优地生成密集的视差场。 立体视觉的最终目的是为了恢复景物可视表面 的完整信息, 而特征匹配方法只能得到离散特征点 的视差, 需要进行较多的内插处理。对于一个完整的 立视系统来讲, 不能断然地将匹配与内插重建过程 分为两个不相关的独立模块, 它们之间应该存在着 很多的信息反馈, 匹配结果约束内插重建, 重建结果 引导正确匹配。基于这一思想, Hoff [46 ]等提出了匹 配、重建一体化的方法, 在得到匹配的同时重建出完 整的视差表面, 并以此为信息不断修正匹配结果, 循 环往复最终得到精确的匹配视差。在他们的实现算 法中, 内插采用一次ö二次曲面拟合技术, 同时具有 检测视差表面不连续的能力, 整个算法是一种由粗 到细引导的多分辨率结构。实验结果表明, 此方法具 有处理复杂场景的能力。类似的还有O lsen [47 ] , T er2 ance [48 ]和M c1auch1an [49 ]方法等。这种将匹配与重 建视为一体的重建方法是值得重视的, 它不但能生 成完整的视差场, 而且可以为匹配提供更多的信息, 如不连续性、遮挡等, 提高了匹配的可信程度。 近年来, 随着科学的发展, 许多新理论已被引入 立体匹配领域, 典型的如神经网络分析法和小波分 析理论。Poggio 提出的正则化模型是一个三层前馈 网络, 其价值函数的最小化可用Hopfield 网络来求 解。同时为了避免出现局部最小化问题, 可采用模拟 退火 (Sim u la ted A nnealing)技术。而且目前已有的 许多算法都可转化为神经网络实现, 如当判决价值 函数为二次型时, 其 Eu1er 方程是一阶微分方程组, 可用阻容网络求解。动态规划算法可映射多级神经 网络等。但从目前的研究来看, 这些算法并未反映出 人类视觉神经感知网络的本质, 真正构造模仿生物 视觉系统的立视匹配方法还有待于进一步的研究。 小波理论是近年来兴起的一种崭 新的时 (空) 频域 分析理论, 被认为是傅立叶分析发展的新阶段, 它突 破了傅立叶分析中没有任何分辨力的缺陷, 可以对 指定频带和时 (空)段内的信号成分进行分析。由于 良好的时 (空) 频域局部化特性, 小波分析可以准确 地定位信号的瞬变特征, 而通过多分辨率变换, 又可 对信号进行“切片式”分析。这一思想与视觉中由粗 到细的多分辨率分析过程是一致的, 而且小波变换 的多分辨率分解特性, 更加符合人类的视觉特性, 更 加适合于视觉信息的处理[26 ]。小波理论已被成功地 应用到立体匹配领域[50, 51 ] , 并证明它有助于解决立 体匹配问题。例如小波分析的局部化特性有利于充 分挖掘可利用的图象信息, 增强立体匹配解决歧义 性的能力, 在文献[50 ]中所提出的方法中正是利用了 这一特性, 将点匹配转化为可信度更高的串匹配。小 波理论的另一优点是它允许灵活地选择基函数, 以 满足不同的应用, 这使得我们有可能寻找到更加符 合视觉机制的图象信息表达形式, 从而建立更有效 的立视模型。 4　立体视觉研究所存在的问题和发展 方向 　　虽然立体视觉经过 20 多年的研究, 已经有了很 大的发展。但无论是从视觉生理的角度, 还是从实际 应用方面来看, 现有的立体视觉技术还处在十分不 12第 1 期　　　　　　　　　　　游素亚等: 立体视觉研究的现状与进展　　　　　　　　　　　　　　　 成熟的阶段。这不仅仅涉及到技术上的原因, 而且更 多地在于人类对自身视觉机理还不十分了解。人类 视觉系统具有惊人的分析理解能力, 但人类是如何 精选、获取和分析理解视觉知识的, 至今还未充分搞 清楚。立体匹配作为立体视觉的核心, 在理论上和技 术上都存在着很多问题, 例如, 如何选择合理的匹配 特征, 以克服匹配准确性与恢复视差全面性间的矛 盾; 如何选择有效的匹配准则和算法结构, 以解决存 在严重灰度失真、几何畸变 (透视、旋转、缩放等)、噪 声干扰、特殊结构 (平坦区域、重复相似结构等)及遮 挡景物的匹配问题, 如何建立更有效的图象表达形 式和立视模型, 以便更充分地反应景物的本质属性, 为匹配提供更多的约束信息, 降低立体匹配的难度。 因此, 立体视觉问题的彻底解决还有待于对人类自 身视觉机理的深入研究。 虽然现有的立体视觉系统还存在着许多问题, 要构造出类比于人类视觉的通用立视系统也不是近 期内可以达到的, 但经过一、二十年的研究, 立体视 觉已经有了 很大的发展, 从早期的以统计相关理论 为基础的相关匹配, 发展到具有很强生理学背景的 特征匹配, 从串行到并行, 从直接依赖于输入信号的 低层处理到依赖于特征, 结构、关系和知识的高层次 处理, 性能不断提高, 其理论正处在不断发展与完善 之中。从当前的发展来看, 其发展方向可归纳如下: (1) 以全面的观点将立体视觉系统的各个模块 联系起来, 充分挖掘内在信息。 (2)综合利用各种技术, 多传感器信息融合, 包 括综合使用不同的匹配方法和主动式、被动式单目 视觉技术等, 提高系统的性能。 (3)由传统的双目视觉向多目视觉、完全静态的 视觉向动态视觉发展, 通过增加信息输入降低视觉 计算的难度。 (4)向智能化发展, 建立基于知识的、模型的和 规则的立体视觉方法。 (5)算法向并行化发展, 采用并行流水线机制和 专用的信号处理器件, 增强系统的实用性。 (6)强调场景与任务约束, 针对不同的应用目 的, 优化选择各部分, 建立有目的的和面向任务的立 体视觉系统。 立体视觉作为一门多学科的交叉科学, 正吸引 着大批包括视觉生理、心理、物理、数学以及计算视 觉等多种学科的研究人员运用不同的技术手段对之 进行深入的研究, 它不但具有重要的实用价值, 而且 对促进人类视觉机理的研究, 彻底揭开人类视神经 系统的奥秘具有非常重要的意义。可以相信, 随着众 多研究工作者的努力, 立体视觉的研究和应用必将 会取得丰硕的成果。 参考文献 1　Barnard S, et al, Computationa1 stereo. 　A CM Computing　 Survegs, 1982, 14; 553～ 572. 2　M arr D. V ision. W. H. F reem an and Compay, 1982. 3　国际摄影测量与遥感学会第十六届大会综述, 测绘学报, 1988, (6) 4　Boyde A. Pho togramm etry of stereo pair SEM im age using sepa2 rate m easurem en t from the two im ages. SEM öI, IIlion is Institu te of T echno1ogy Research, 1974: 101～ 110. 5　Beh rooz K P. M in im izataion of the quan tization erro r in cam era ca1ib ration. p roc. of im age U nderstand wo rk shop, 1987: 671～ 680. 6　B1o stein S D. et a1. E rro r ana1ysis in stereo determ ination of 3- Dpo in t po sit ions. IEEE T rans. on PAM I, 1987, 9: 752～ 765. 7　Gem - Sun J Young. 3D mo tion estim ation using a sequence of no isy im age: M ode1s E stim ation and U niquence Resu1. IEEE T rans. PAM I, 1990, 12 (8). 8 　 Grim son W E L. Surface Consistency constrsin ts in V ision. CV G IP, 1983, 24: 28～ 51. 9　Grim son W E L. A computation theo ry of visua1 surface in ter2 po1ation. Ph i1. T rans. Roy. Soc. L ondon, 1982,B298: 395～ 427. 10　T erzopou1o s D. T he Computer of V isib1e- Surface Rep resen ta2 t ions. IEEE T rans. on PAM I, 1988, 10 (40) : 417～ 438. 11　M aitre H , et a1. U sing M ode1s to Imp rove Stereo Reconstruc2 t ion. IEEE T rans. on PAM I, 1992, 149 (2) : 269～ 277. 12　W atana1e M , et a1. Imp roved D ep th M ap by R igh t - A ng1ed T rinodu1ar Stereo. p roc. of In t. Conf. Pattern Recogn ition, 1986, (10) : 519～ 521. 13　O h ta Y, et a1. Stereo by two - 1eve1 dynam ic p rogramm ing. P roc. of 9th IJCA I, 1985: 1120～ 1124. 14　A yache N , et a1. T rinocu1ar stereo V ision fo r robo tics. IEEE T rans. on PAM I, 1991, 13 (1) : 73～ 85. 15　Gurw itz E, et a1. M o re on the Benfit of a T h ird Eye M ach ine Stereo Percep tion. P roc. of In t. Conf. Pattern Recogn ition, 1986: 966～ 968. 16　M arr D , et a1. Cooperative computation of stereo disparity. Sci. , 1976, 194: 283～ 287. 17　Grim son W E L. A Computer imp1em entation of a theo ry of hu2 m an stereo vision. Ph i1. T rans. Roy. Soc. L ondon, 1981, B292: 217～ 253. 18　Grim son W E L. Computationa1 experim en ts w ith a featu re based on stereo a1go - rithm. IEEE T rans. on PAM I, 1985, 7 (1) : 17～ 33. 19　O hzaw a I, et a1. T he B inocu1ar O rgan ization of Simp1e Ce11s in the Cat’ s V isua1 Co rtex. J. N europhysio1ogy, 1986, 56 (1) : 221 ～ 242. 20　M ayfew J E W , et a1. P sychophysica1 and computationa1 study 22　　　　　　　　　　　　　　　　　　中国图象图形学报　　　　　　　　　　　　　　　　第 2 卷 tow ards a theo ry of hum an stereop sis. A I. , 1981, 17: 349～ 385. 21　Jenk in M , et a1. T he m easurem en t of b inocu1ar disparity in computationa1p rocess in hum an vision. A blex, N ew Jersey, 1988. 22　Robson J G. Recep tive fie1ds: neura1 resp resen tation of thespa2 t ia1 and in ten- sive attribu tes of the visua1 im ages. H andbook of P recep tion, A cadem ic p ress, N ew Yo rk, 1985, 5: 81～ 116. 23　Ju1eszT B. Stereo scop ic V ision. V ision Res. , 1986, 26: 1601～ 1612. 24　Sanger T D. Stereo disparity computation using Gabo r fi1ter. B io1. Cybern. , 1988, 59: 405～ 4: 80 25　游素亚, 柳健, 万发贯, 基于小波变换相位的立体匹配系统, 信息 与控制, 1994, (5). 26　M a11at S. M u1tifrequency Channe1 D ecompo sit ions of Im ages and W ave1et M ode1s. IEEE T rans. on A SSP, 1989, 37 ( 12) : 2091～ 2110. 27　Griswo1d N C, et a1 A new Stereo V ision mode1 based upon the b inocu1ar fusion concep t. CV G IP. , 1988, 41: 153～ 171. 28　Yeshurun, et a1. Cep stra1 fi1tering on co1um nar im age arch i2 tectu re: a fast a1go rithm fo r b inocu1ar stereo segm entation. IEEE T rans, on PAM I, 1989, 11: 759～ 767. 29　O 1son T J , et a1. Rea1- tim e V ergence Contro1 fo r B inocu1ar Robo ts. IJCV , 1991, 7 (1) : 67～ 89. 30　游素亚, 柳健, 万发贯。一种方向通道的立体匹配算法. 模式识 别与人工智能, 1994. 31　Baker H H , et a1. D ep th from edge and in tensity based stereo. P roc. 7th IJCA I, 1981: 631～ 636. 32　A ron1d R D. A utom ated Stereo Percep tion. Standfo rd U niversi2 ty T ech. Rep. , STAN - CS- 83- 961, 1983. 33　O h ta Y, et a1. Stereo by in tra- and in ter- scan1ine search us2 ing dynam ic p rogramm ing. IEEE T rans. on PAM I, 1985, 7: 139 ～ 154. 34　L 1oyd S A , et a1. A Para11er B inocu1ar Stereo A 1go rithm U 2 t i1ized D ynam ic P rogramm ing and Re1axation L abe11ing. CV G IP, 1987, 39: 202～ 225. 35　Barnard S, et a1. D isparity ana1ysis of im ages. IEEE T rans. on PAM I, 1980, 2: 333～ 340. 36　M o ravec H P. V isua1 m app ing by a robo t rover. p roc. of 6th IJ2 CA I, 1979: 589～ 600. 37　Kim Y C, et a1. F inding range from stereo im age. P roc. of IEEE Conf. on CV PR, 1985: 289～ 294. 38　M edion i G, et a1. Segm ent- Based Stereo M atch ing. CV G IP, 1985, 31 (1) : 2～ 18 39　N asrabadiN M. A Stereo V ision T echn ique U sing Curve- Seg2 m ents and Re1axation M atch ing. IEEE T rans. on PAM I, 1992, 14 (2) : 566～ 572. 40　L ee H J , et a1. Region M atch ing and D ep th F inding fo r 3- D O bjects in Stereo A eria1 Pho tograph s. Pattern Recogn ition, 1990, 23 (2) : 81～ 93. 41　Poggio T , et a1. Computationa1 vision and regu1arization theo2 ry. N atu re, 1985, 317: 314～ 319. 42　T erzopou1o s D. Regu1arization of Inverse visua1 P rob1em s In2 vo1ving D iscon tinu it ies. IEEE T rans. on PAM I, 1986, 8 (4) : 413 ～ 424. 43　M arch R. A regu1arization mode1 fo r stereo vision w ith con2 tro11ed con tinu ity. Pattern Recogn ition, 1989, 10: 259～ 263. 44　Yokoye N. Surface reconstruction by regu1arizing a stereo co r2 respondence p rob1em. TR - 90- 15, E1ectro techn ica1 L abo ra2 to ry, T sukuba, Japan, 1990. 45　Barnard S T. Stochastic stereo m atch ing over sca1e. IJCV - 3, 1989: 17～ 32 46 　 Hoff W , et a1. Surface from stereo: In tegrating featu re m atch im g, disparity estim ation, and con tour detection, IEEE T rans, on PAM I, 1989, 11 (2) : 121～ 136. 47　O lsen S I. Stereo Co rrespondence by Surface Reconstruction. IEEE T rans. on PAM I 1990: 309～ 315. 48　T erance E B. A na1ysis of Two N ew Stereo A 1go rithm s. P roc. of 2th ICCV , 1988: 118～ 122. 49　M c1auch1an P F, et a1. Stereo scop ic recovery and descrip tion of smoo th tex tu red surfaces. Im age and V ision Computing, 1991, 9 (1) : 20～ 26. 50　游素亚, 柳建, 万发贯, 一种基于小波变换的多分辨率立体匹配 算法, 华中理工大学学报 1994, (5)。 51 　 Sheng Zhong, et a1, Imp roved Stereo Co rrespongdence A 1go rithm Based on W ave1et T ransfo rm. A CCV ’93, Japan, 1993: 268～ 271 32第 1 期　　　　　　　　　　　游素亚等: 立体视觉研究的现状与进展　　　　　　　　　　　　　　　 Sta te of the art and Future the developm en t of stereo v is ion You Suya, Xu Guangyou (D ep t. of Comp u ter S ciece & E ng ineering , T sing hua U n iversity , B eij ing , 100084) Abstract　Stereo vision, an impo rtan t b ranch of compu ter vision, is one of the w ideest research area in Compu ter V ision. In p reriou s decades, a 1o t of characterist ic app roaches and theo ries w ere p rogressively P ropo sed In th is area In th is Paper, the Sta te of fhe art of Stereo vision is expounded system at ica lly, and the advan tages and disadvan tages of som e impo rtan t app reaches are discu ssed,W ith an emphasis on stereo m atch ing atch ing, the key p rob1em in stereo vision expounded Comp rehen sively. F indlly, the ex ist ing p rob2 lem s and fu tu re developm en t in stereo vision are discu ssed. Keywords　Stereo V ision, Stereo M atch ing,V isualM echan ism 42　　　　　　　　　　　　　　　　　　中国图象图形学报　　　　　　　　　　　　　　　　第 2 卷