基于Canny算子边缘特征匹配的双目深度测量①

基于Canny算子边缘特征匹配的双目深度测量① 计 算 机 系 统 应 用 2009 年 第 11 期 52 研究开发 Research and Development 基于Canny算子边缘特征匹配的双目深度测量? Binocular Depth Measurement Based on Edge Feature Matching of Canny Operator 韩云生 刘国栋 刘光宇 江南大学 通信与控制工程学院 江苏 无锡 214122 摘 要 为解决当前类人足球比赛场地上基于球心匹配的足球深度测量算法低精确度的问题提出了一种采用Canny算子提取稀疏足球边缘作为立体匹配特征的深度测量 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 。该方法在边缘上均匀抽取像素点作为待匹配点使用“对应局部遍历匹配”法进行立体匹配平均匹配点对对应的图像深度作为足球深度。结果误差控制在比赛允许的范围之内运用到比赛中绩效显著满足比赛实时和精度要求。 关键词 Canny算子 匹配 深度测量 立体视觉 边缘检测 1 引言 模仿人类利用双眼感知物体距离的方法 运用两台摄像机对同一景物从不同位置或角度拍摄成像 并根据成像视差来确定物体的深度信息 以实现对物体三维信息的感知 这就是双目视觉1。深度计算 即深度测量是该领域研究的热点。 本文主要研究在类人机器人足球比赛中如何根据机器人双目采集的图像恢复足球的深度信息为决策环节提供依据。深度测量实现的关键技术在于特征提取和特征匹配实际考察比赛场景对于足球这样的目标物体要恢复它的深度第一步就是要在足球上提取特征很容易想到的就是提取出左右图像中足球圆心省去特征匹配步骤直接利用圆心像素点对的坐标进行计算2。笔者对这一算法进行了仿真实验发现结果误差较大 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 算法发现算法的纰漏在于其一研究摄像机的拍摄模型可以看出左右图像上的圆心并非准确对应足球上的同一物理点两个圆心所对应的物理点之间偏离程度和双目摄像机的基线距离、光轴夹角等有关。其二利用现有的分割技术无法实现足球的完整准确分割从而无法精确地计算出圆心坐标这样就谈不上深度计算的精确度了。在平行双目摄像系统中上述算法仅当窄基线、目标物在两个摄像机之间正前方时才能获得相对准确的深度信息。鉴于这样的局限性笔者决定寻找图像足球的其 ? 收稿时间:2009-03-05 他特征进行匹配例如角点或者边缘。经过试验决定采用Canny算子检测出的边缘点作为匹配特征。在特征匹配算法上采用“对应局部遍历匹配”的区域相关模板匹配算法。 2 边缘特征提取 2.1 足球分割 这一阶段的目的是通过HSI阈值法来实现图像上足球的分割近似求出左右圆的圆心1O、2O和半径1R、2R。 在视觉系统中常用的图像分割方法主要有区域增长法和阈值法两大类。区域增长法由于采用递归方式所以速度较慢 因而在实时较高的系统中应用逐渐减少。基于此 本课题中使用阈值法分割图像。预先分析彩色图像上足球区域像素值的直方图来确定分割阈值。由于整个系统中 目标图像的H、S、I值保持相对恒定 故阈值可以预先静态采集获得。如图1所示 在HSI颜色空间中 每个颜色类由6个阈值描述 每一维两个阈值 分别表示该颜色类在该维中的最大值和最小值3个色彩向量HSI就在色彩空间中确定了一个长方体3。当一个待识别的像素在色彩空间中的位置落在这个长方体中时 就认为该像素属于目标区域。最后利用圆本身的形态特征把整个图像区域中的非圆上干扰点剔去利用重心法求解出图像上足 2009 年 第 11 期 计 算 机 系 统 应 用 Research and Development 研究开发 53 球区域的圆心和半径如图2a所示圆边缘标注线内部分即为分割出来足球。 图1 足球HIS阈值空间 图2 足球分割和边缘提取 2.2 Canny边缘检测算子4 本节首先利用Canny算子检测出图像上足球区域圆的细致单像素点边缘再根据上节分割中求出的近似圆心和半径就可以在圆上找出均匀找出8个点作为待匹配的特征点。 Canny 边缘检测算子的目标是找到一个最优的边 缘检测算法下面是最优化的性能指标 ?信噪比准则既不漏检真实边缘也不把非边缘点作为边缘点检出使输出的信噪比最大。信噪比的数学表达式 1 其中fx是边界-WW上的滤波器脉冲响应G-x代表边缘函数n0是高斯噪声的均方根。若信噪比越大 则边缘提取质量越好。 ?定位精度准则即检测出的边缘位置要和图像上的真正边缘的位置尽量接近。定位精度的数学表达式为 2 其中xG??′和xf′分别表示和xG??和xf的一阶导数Localization越大说明定位越准确。 ?单边缘响应准则即单个边缘产生的多个响应的概率要低 虚假边缘响应应得到最大抑制。fx对噪声的响应中 两个相邻最大值间的距离为xmaxf的零交叉点平均距离为xzcf两者间的关系是: 3 若满足此准则 就能保证单边缘只有一个响应。 Canny发现这个问题的解可以由高斯函数的一阶导数去逼近。对于二维图像应用以上准则可利用二维高斯函数G在方向nr的一阶导数nG卷积图像I来提取边缘。 Canny算法步骤如下 ?用高斯滤波器平滑图像。Canny算法使用的二维高斯函为 4 平滑后图像为 5 ?用一阶偏导的有限差分来计算梯度的幅值和方向。一阶差分卷积模板如下 6 7 yx??图像上点x y处的梯度幅度值yx??θ是梯度方向。 ?对梯度幅值进行非极大值抑制。如果在梯度方20WGxfxdxWSNRWxdxfnW????????20WGxfxdxWLocalizationWxdxfnW??????????ma x1/22222zcffkWxxfxdxfxdxπ??????????????????????22221exp22xyHxyπσσ????????? ?????GxyIxyHxy??1111111111HH????????11222212121tanxyGxyHxyxyGxyHxyxyxyx 算 机 系 统 应 用 2009 年 第 11 期 54 研yxyxyxy??????????????θ???????? 计 究开发 Research and Development向上的两个像素的幅值均小于Ix y的梯度幅值则其有可能是边缘像素否则肯定不是边缘像素将其梯度设置为0。 ?用双阈值算法检测和连接边缘。双阈值算法对非极大值抑制图像作用两个阈值τ1和τ2且2τ1?τ2从而可以得到两个阈值边缘图像N1i j和N2ij。由于N2ij使用高阈值得到因而含有很少的假边缘但有间断不闭合。双阈值法要在N2ij中把边缘连接成轮廓当到达轮廓的端点时该算法就在N1i j的8领域内寻找可以连接到轮廓上的边缘这样算法不断地在N1i j中收集边缘直到将N2i j连接起来为止。 设上节分割出足球的圆心是O、半径是R为了减少运算量作者对图像上以O为中心Rdr×Rdr 因分割过程中检测出来的R比实际半径偏小附加大于0的半径补偿差值drdr是经验值本课题取值24的区域利用Canny算子检测出来的足球边缘图2b所示。 图3 特征点抽取原理图 2.3 提取特征 笔者提取稀疏边缘特征作为待匹配点如图3a所示在圆边缘上均匀提取8个点相邻点间隔45?。但在实际检测出来的边缘上很难准确定位满足这样要求的8个点下面方法就近似提取8个这样的特征点如下。 根据前面分割中求解出来的圆心和半径可以求解出圆在任意方向的理论近似边缘像素点坐标Ex y。但由于Canny算子提取的单边缘可能是间断的所以Ex y可能不在Canny算子检测出来的边缘上。为了克服这个缺点可在在以点E为中心的δ邻域内寻找已检出的边缘点δ邻域可以是圆、矩形等视情况而定在邻域内的所有点中随机取一点作为匹配点原理如图3b所示。 图4 匹配原理示意图 根据这种提取方法可以在左圆和右圆上分别提取8个边缘特征点根据成像原理可以看出即使左右圆上相同角度提取出来的特征点也不能保证是匹配点对。这是由于我们拍摄角度的不同造成了左右圆的边缘不能完全重合所以对于一个圆上提取出来的特征点要单独在另外圆边缘附近寻找匹配点下面小节解决匹配问题。 3 特征匹配 立体匹配是指根据对所选特征的计算建立特征之间的对应关系将同一个空间物理点在不同图像中的映像点对应起来立体匹配是双目立体视觉中最关键、困难的一步5。 课 题采用基于区域相关的模板匹配在算法的 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 上继承上节特征提取的思想左右图提取出来的特征点跟其在右左图上的匹配点应该具有很大位置相关性匹配点对关于圆心的相对坐标近似相同。基于此作者提出了一种称为“对应局部遍历匹配”的区域相关模板匹配算法见图4。利用立体匹配中的极线约束条件在理想情况下点A和B应该具有相同的纵向坐标但由于左右摄像机模型的差异性以及外部人为操作等造成的误差很难满足这样的约束。即使这样也不能否定极线约束的作用点A和B纵向坐标的偏离不会很大一般小于2-3个像素所以匹配点B在直线L1、L2之间。又根据A和B相对于圆心位置的近似相同性在横向上可以确定一个坐标范围待匹配在图中L3、L4之间。我们获得一个称为“对应局部区域”的搜索区域abcd然后利用区域相关模板匹配算法寻找出点B。选择归一化灰度互相关函数来计算相似度以避免光照变化对立体匹配的负面影响。模板的大小为2m1×2n1m、n为正整数本文取mn2互相关函数定义为 2009 年 第 11 期 计 算 机 系 统 应 用 Research and Development 研究开发 55 8 9 10 11 12 式中Ixy表示左右图像中某象素点的灰度值I’x’y’表示右图像中某象素点的灰度值yxI表示左图像中以象素点xy为中心、2n12m1l矩形窗口内的所有象素点灰度的平均值同理yxI表示右左图像中以象素点x’y’为中心、2n1×2m1l矩形窗口内的所有象素点灰度的平均值。yxyxC取值最大时的点x’y’做为点xy的匹配点。图5是从左图到右图匹配效果示意图。 经过左图到右图、右图到左图的两次匹配运算最终可以获得16组匹配点对。 图5 实际匹配效果图左到右匹配 图6 平行双目模型 4 深 本文使用的双目摄像机模型是双目视觉中最基本的平度恢复 4.1 立体测距原理6 行双目模型其几何模型如图6所示它由2个完全相同的摄像机构成2个图像平面位于一个平面上2个摄像机的坐标轴和光轴相互平行x轴重合B为基线距离F是焦距。场景点P在左、右图像平面中的投影点分别为Pl和Pr。假设参考坐标系原点与左透镜中心重合深度轴z沿光轴方向定义视差为xrxlDisparity??根据几何形似关系可得 13 由于实验中使用的左右眼摄像机光学中心坐标偏离图像中心较大且这种偏离有不一致性为了得到正确的视差我们需要把图像坐标系原点校正到摄像机标定结果的光学中心位置处上面公式中的 xl、xr就是在校正过的图像坐标系下的坐标。 4.2 结果分析 本文的双目视觉系统由一台通用PC机和两台敏通公司的型号为MTV-63V3HP的工业摄像机组成MTV-63V3HP的主要参数1/3英寸CCD影像传感尺寸大小为3.6mm4.8mm、CCD总像素768水平×576垂直则水平和竖直方向像元间距: dx5766.3 dy7688.46.25m??基线B可以根据需要自己调节本文标定B60cm。课题关注的深度信息是公式13表述的z表1是一组测量数据与实际数据的对比。 类人足球比赛中需要定位足球的距离在一般在5m以内分析上面的数据当摄像机和足球的距离小于1m时误差精度控制在2.05m以下的误差在3以下这的误差满足我们机器人进行决策所需要的位置精确度。 5 结语 课题出发点是在足球机器人比赛中由于球体上不易找到匹配特征利用双目立体视觉进行测距遇到很大的困难。笔者以丰富的边缘点作为匹配特征解决 下转第44页 22iniminimjmjminininjminjmABCxyxyAB????????????××??????AIxiyjIxy??2121j mininjmIxiyjIxynm????×??BIxiyjIxy??2121jmininjmIxiyjIxynm????×??BFzxlxr×?? 计 算 机 系 统 应 用 2009 年 第 11 期 44 研究开发 Research and Development 略执行等模块组成。决策分析模块它是应用决策分析理论分析服务流程监测器的结果来制定错误处理策略。策略制定模块实现由决策分析模块制定的错误处理策略按 照策略描述语言PDL的格式 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 化该策略。策略执行模块调用故障调节器的相关接 口实现错误处理。 故障调节器FA主要由忽略、重试、替换和重构操作组成根据策 略管理器的决策选择相应的恢复策略进行处理。 5 结语 随着Web服务组合的不断 发展针对提高Web服务组合可用性问题构造了Web服务组合失效检测框架。本失效 检测框架是借鉴公布式系统不可靠错误检测器研究的思想采用主从式失效检测机制 设计失效检测算法适应复杂的网络生态环境增强了系统的可用性为流程执行时业务 功能与服务质量的保障提供了一种有效的机制。 参考文献 1 付晓东邹平.一种规则 驱动的Web服务组合例外处理方法.计算机应用 2007278:19841990. 上接第55页 了 以往匹配特征不足或者不准确的问题在匹配过程中大幅度收缩了模板相关匹配算法 的搜索域提高了匹配效率并满足需要的测量精度。算法可以直接移植到嵌入式机器 人应用到实际比赛中。 表1 实验数据对比 2 Wang GJ Wang CZ Chen A et al.Service level management using QoS monitoring diagnostics and adaptation for networked enterprise systems. Proceedings of the 9th IEEE International EDOC Enterprise Computing Conference. Washington DC: IEEE Computer Society 2005.239250. 3 Cao JN Yang J Chanw T. Exception handling in distributed workflow systems using mobile Agents. Proc. of the IEEE International Conference on e-Business Engineering. Washington: IEEE Computer Society 2005.4855. 4 Liang D Fang C Chen C Lin F. Fault-tolerant Web service. Proc. of the 10th Asia-Pacific Software Engineering ConferenceAPSEC’03 ChiangMai hai- land 2003.310319. 5 徐新卫周良丁秋林.Web服 务失效处理的反射中间件技术应用与实现 2007298:13711376. 6 Chen W Toueg S Aguilera MK. On the quality of service of failure detectors. IEEE Transactions on Computers 2002515:561580. 7 董辉.失效检测器在拜占庭容错复制系统中的应用硕 士学位 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 .长沙:湖南大学2007. 参考文献 1 李志强杨国胜.双目汇聚摄像系统深 基于双目度信息测量研究.计算机工程与应用 20074330:6566. 2 汪倩倩申忠宇张亮. 视觉模型的彩色目标实时检测与定位.南京师范大学学报工程技术版 200881:1822. 3 Gonzalez RC Woods RE. Digital Image Processing Ind ed.北京:电子工业出版社 2003.460464. 4 Canny J. A Computational Approach to Edge Detection. IEEE Trans PAMI198686:679698. 5 Marr D Vision WH. Freeman and Company. San Francisco1982. 6 贾云得.机器视觉.北京:科学出版社 2000.160162.