双目视觉的立体标定方法

双目视觉的立体标定方法 15082011,Vo1.32,No.4计算机工程与 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 ComputerEngineeringandDesign 双目视觉的立体标定方法 刘俸材,谢明红,王伟 (华侨大学机电学院,福建泉州362021) 摘要:为实现双目视觉系统的立体标定,分析了摄像机成像模型,并充分考虑了透 镜的径向畸变和切向畸变,提出了一种 新的立体标定算法.该算法利用张正友的灵活标定算法,初步求取摄像机的内参数, 结合Brown算法并提取图像中角点的子 像素级坐标,精确求取摄像机内参数和畸变向量.为方便后续的图像校正,基于前 面的单个摄像机标定,通过计算空间中的 计算出双目视觉系统中两个摄像机景物点在左右摄像机成像平面上的位置关系, 之间的旋转矩阵R和平移向量T,从而实现 了立体标定.实验结果 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明,该算法能取得较高的精度,可以应用于双目视觉系统. 关键词:双目立体视觉;摄像机标定;摄像机模型;立体标定;角点提取 中图法分类号:TP391文献标识码:A文章编号:1000—7024(2011)04—1508—05 Stereocalibrationmethodofbinocularvision LIUFeng—cai,XIEMing—hong,WANGWei (CollegeofMechanicalandElectricalEngineering,HuaqiaoUniversity,Quanzhou362021, China) Abstract:Inordertorealizestereocalibrationforbinocularvisionsystem,firstly,theimagem odelofcamerawithafullconsideration ofradialdistortionandtangentialdistortionoflensisanalyzed,andanewmethodofstereocali brationisproposed.Theflexiblecalibration methodofZhangZhengyouisusedtoachievetheinitialvalueofthecamera'Sintrinsicparame ters,andcombinedwiththearithmeticof Brown,sub— pixelcoordinatesofimages'comerpointareextracted,Throughthismethod,itcalculatestheintrinsicparametersand distortionvectoraccurately.Hereafter,basedonthesinglecameracalibrationaforementionedandcalculationofthepositionrelationship ofspatialpointprojectedtotheleftandrightcameras'imagingplaneswhichhelpstoworkouttherotationmatrixRandtranslationvector Tbetweenthetwocamerasofthebinocularstereovisionsystem,finallythestereocalibrationisachieved.Allexperimentalresultsshow thatthiscalculationmethodacquireshigherprecision,andcanbeappliedtobinocularsystem. Keywords:binocularstereovision;cameracalibration;cameramodel;stereocalibration;comerpointextraction 0引言 摄像机标定,是指建立摄像机几何成像模型,描述空间坐 标系中的景物点同它在图像平面上的像点之间的对应关系, 并求取该模型的各参数的过程.在基于双目立体视觉的三 摄像机标定是非常关键的环节,精确求取摄像 维恢复系统中, 机的内外参数以及径向和切向畸变不仅可以直接提高三维恢 复的精度,而且可以为后续的特征匹配奠定良好的基础. 目前的摄像机标定技术大致可以分为传统的摄像机标定 技术和摄像机臼标定技术.传统的摄像机标定技术需要精 度很高的三维标定物,并且需要精确安装.因此,传统的摄像 机标定技术所需设备昂贵.自标定技术不依赖于标定参照 物,只利用摄像机的运动约束或者周围环境的约束来对摄像 机进行标定.由于这种算法的很多参数都是通过估计得到, 因此精度较低并且不稳定.张正友提出了基于二维平面模板 的标定方法,张氏标定法只要求从不同角度对同一标定平面 (标定板)拍摄2幅以上的图像,就可以求出摄像机的内外参 数.由于该方法不需要知道平面模板移动的具体位置信息, 而且平面模板的制作简单,因此这种方法更简单,灵活.本文 基于张正友标定算法计算出摄像机的内外参数,结合Brown 算法求解摄像机的畸变参数.此外,目前国内关于单个摄像 机标定的文献很多,但是关于双目视觉立体标定的 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 却较 少.因此,提出一种新的双目视觉的立体标定方法更具有实 际意义. l单摄像机标定 1.1摄像机成像模型 在计算机视觉领域,摄像机的成像模型一般都采用针孔 模型.在此模型中,光线从场景发射过来,如图1所示. 在图1中,坐标系.yZ为摄像机坐标系,点Oc代表摄像 收稿日期:2010.04.12;修订日期:2010—06—12. 基金项目:泉州I市科技基金项目(24200832). 作者简介:刘俸材(1985一),男,重庆人,硕士研究生,研究方向为计算机视觉;+通讯 作者:谢明红(1961一),男,安徽人,研究员,研究 方向为数控技术;王伟(1984一),女,NJL;~N4.,硕士研究生,研究方向为六自由度机 器人. E—mail:xmh@hqu.edu.cn 刘俸材,谢明红,王伟:双目视觉的立体标定方法2011,Vo1.32,No.41509 像坐标系中可以表示为 图1针孔成像模型 ? 机的光心,直线o,o为光轴.ouxyu为二维图像坐标系,光轴与 图像平面的交点o称为主点,点x为景物点.为了观看和计 算上的方便,我们将图像平面移到针孔平面与景物点之间,并 保持两平面的距离为f不变,如图2所示. 2) 图2交换图像平面与针孔平面 1.2坐标系转换和误差表示 = 磅(1) z Ii~!lI:l~Q, !ouo}[x1?式中:(UoVo)——摄像机主点在像素坐标系中的位置.a和D分 别为图像水平方向和竖直方向上单位长度的像素数日.因 特oo001?llJIIJlJlz_J由于我们无法得知景物点在摄像机坐标系中的坐标,因 点在世界坐标系中的坐标.由于世界坐标系和摄像机坐标系 都是笛卡尔坐标系,因此我们可以用一个4x4的矩阵Q来表 示这两个坐标系之间的变换n.式中:Q=,R为3×3的旋 转矩阵,T为3xl的平移向量.因此,世界坐标系中的点在图 w yw Z 1 yw Z 1 == 脱(5) 式中:x:(x,yw,Zw)为世界坐标系中的点,c为未知常数.M 称为内参数矩阵,M:称为外参数矩阵.M为4x4的矩阵.由 于摄像机镜头的制造误差,镜头存在一定的径向畸变.在r= 0处用泰勒级数展开的前3项来定量描述 …. = (1+尼1,++3) … : "1+七r%k2r%k~P)(6) 镜头的安装误差将带来切向畸变,可以用两个额外的参 数P和P:来描述,如下 x…:计[z(,+)] yc…:,卜卜((,+)+2pu](7) 因此,我们可以用一个五维向量=[k.,k:,P,P,k来表示 径向误差和切向误差.摄像机标定的目的就是求取内参数矩 阵M,外参数矩阵M,畸变向量d. 1.3标定原理 考虑到一般性,我们可以选择定义标定平面,使得:0, 则 公式 小学单位换算公式大全免费下载公式下载行测公式大全下载excel公式下载逻辑回归公式下载 (5)可变为如下 lI lvl=34,[r,nn刀yw 0 l rx1 = M[hr:7]yw … 式中:[rtnn]=,3x3的单应性矩阵H=sM,rz力. 首先,我们假定在求解标定参数时摄像机没有畸变,对每 一 个视场,我们得到一个单应性矩阵H.由于标定板在世界坐 标系中的位置是已知的,标定板在图像上的角点坐标也可以 通过图像处理得到,根据公式(8)我们便可以计算出每个视场 的单应性矩阵H.现在我们将H写成列向量形式,即 = [h.hh.]. 由公式(8)可得到 hl=Mlr1,h2:SMl,h3=sM,T(9) 从而可得 n:』】lh.,r2:2M,'h2,=A^,h3(10) 这里,=1Is.根据旋转矩阵的正交性,我们可得 r=ORrrrl:r2 从而有 hMMfth2=0 并且 Mh:^Mh:(I1) 令B:MTM1,展开居有 OO0 O厂O0 厂0OO_.....—..........................1-1L____J____,____f_____1}_f‰ OO 伉OO .....,........,..,.. 【 lI L}l 1 C 卯—?=' 0 ...,,,.... 1 ‰? ? 15102011,Vo1.32,No.4计算机工程与设计ComputerEngineeringandDesign 1lO10a2一 0一 &: 一 lg0 一 Vn : 1r+1 &;a: 的位置关系来确定摄像机的内参数和外参数.在本文实验中, 固定模版,改变摄像机的位置,获取8张不同位置的照片.世 (12)界坐标系的原点设在标定模版的左上角,X轴水平向右,Y轴 竖直向下.标定过程分为如下几个步骤: 由于是对称矩阵,因此我们可以定义一个6D向量B= .:曰曰:及]来表示矩阵,则 ,=v: h. h-+而啊. h 厅nt+厅- h3hh. h (131 使用v的定义,两个约束可以写为 fv1I , , , 《b:0(14) 【tV】l—v22)j 如果我们同时得到K个棋盘图像,堆叠这些方程,有: Vb=0.其中,V是2Kx6的矩阵.由于每个视场的单应性矩阵 我们已经通过计算得知,则v便已知.因为每幅图像可以产生 方程(14)所示两个约束,则当?3时,我们便可以通过最小二 乘法求解向量b,从而得到摄像机内参数如下 : ,『fB1 0=?A/8/(B—B) 1.1一B】/2 Vo=II3-Bl1B23)/llB22一曰2) =?一[十仉一,B,)]/口, 知道摄像机内参数后,结合每幅视场的单应性矩阵,由公 式(9)可以计算出每个视场的外参数. 由于上述过程没有考虑畸变,得到的内外参数结果并不 精确,不能作为最终的摄像机参数,但可以作为后面非线性优 化的迭代初值.然后,考虑到畸变的影响,建立如下的畸变模 型和数据拟合目标函.提取模版图像上的角点坐标,然后利 用畸变模型计算出相应角点的坐标,最后将这两组坐标值带 入目标函数式进行数据拟合,最终算出相应的畸变参数值.畸 变模型如下 1+k,r%kY+k~]+1, 式中:r2=,,为目标角点的实际坐标,,)目标角点 规范 编程规范下载gsp规范下载钢格栅规范下载警徽规范下载建设厅规范下载 化坐标. 数据拟合函数 min,=Z(—)+?(—yi)(16) 从上式可以看出,若该函数得到的值越小,证明数据拟合 得越好,求得的参数也就越精确,这种方法避开了直接求解非 线性畸变模型,而是转为求解非线性的最小二乘问题.通过 相应优化算法多次迭代,最终得到使目标函数值最小的参数 值,简化了计算,降低了求解难度. 1.4单目标定实现 标定过程需要一个精确定位的点阵模版,如图3所示.然 后通过移动该模版或者摄像机,在至少3个不同位置对该模 版进行拍照,通过模版上的角点和其在图像上的对应点之间 _图39×6棋盘格标定模版 (1)图像采集.为了方便的求解出左右摄像机的相对位置 关系,在采集图像之前应固定好左右两个摄像机.在同一个 位置分别用左右摄像机采集图像,然后将两个摄像机采集得 到的图像分别用角点提取程序判断,如果两幅图像都能通过 角点提取程序,即能够提取标定版上的所有角点,此次采集成 功,然后换一个位置重复前面的步骤采集图像,直到两个摄像 机各采集8幅有效图像为止.如果此次采集的两幅图像不能 通过角点采集程序,即不能提取标定版上的所有角点,则需要 换一个位置重新采集,直到两幅图像都通过角点提取程序为 止.在采集图像的过程中,要注意任何两次图像采集时的摄 像机位置关系,应当让摄像机的两次采集图像的位置存在一 定的角度变化,防止布局退化. (2)角点提取.角点提取的精度直接影响到摄像机标定的 精度.在本实验中,首先将采集得到的图像转变成灰度图,然 后对灰度图进行直方图均衡化,再将图像进行阀值化使之成 为二进制图像.接着提取图像的轮廓,得到标定板上每个小 方块的边缘,这样我们就可以得到小正方形的4个角点.我 们得到所有小正方形的4个角点后,我们就可以得到图像上 所有的角点.但这些点为像素级精度的点,为了提高标定精 度,必须寻求更加精确的子像素级角点,在本实验中,子像素 级角点定位的实现是基于向量正交性的观测来实现的.如图 4所示,从中央点到其邻域点P的向量与P点处的图像梯度 正交.考虑以下表达式 a=Dlp?(q-p)(16) 图4精确角点位置计算 式中:DIpI1——在g的一个邻域点P处的图像梯度,值通过最 小化岛得到.通过将日设为0,可以建立体统方程如下 Z(DIp?Dlp3?g—Z(Dip?DIp[.p):0(17) ii 式中:g的邻域中的梯度被累加.调用第一个梯度参数G和第 二个梯度参数b,得~lJq=G,?b.该算法将搜索窗的中心设为 新的中心g,然后迭代,直至找到低于某个阀值点的中心位置. 角点提取成功后如图5所示. B口 l_ lI 刘俸材,谢明红,王伟:双目视觉的立体标定方法2011,Vo1.32,No.41511 图5角点提取成功 (3)计算摄像机的内外参数和摄像机畸变向量.经过前面 几个步骤,我们得到标定板上所有角点的在世界坐标系中的 位置和所有图像中角点的子像素级坐标,利用前面的标定原 理,算出摄像机的内参数和畸变参数. 2双目标定 双目标定的目的是计算双目视觉系统中两台摄像机之间 的相对位置关系,即求取两台摄像机之间的旋转矩阵和平移 向量.给定世界坐标系中的任意3D点P,则点P在左右两 个摄像机坐标系中可以表示为 P.=R,P=R,(18) 式中:P和PI-一点P在左右摄像机坐标系中的位置,尼和,一 左右摄像机坐标系到世界坐标系的旋转矩阵,和卜左右 摄像机坐标系到世界坐标系之间的平移向量.同时,因为左 摄像机坐标系中的P.和右摄像机坐标系中的Pf表示的是问一 点,因此,P.和应满足 P,=R(一(19) 式中:和分别表示将右摄像机坐标系转换到左摄像机坐标 系的旋转矩阵和平移向量.结合式(18),(19)可得 R=TR,T=Tr-R— 式中:,,R,,,通过前面的单目标定求出.这样,我们就能 算出左右摄像机之间的旋转矩阵R和平移向量. 3实验 3.1单目标定 本实验使用维视MV-1300UM摄像机,分辨率均为 640x480,像元尺寸为5.2lax5.21a的.棋盘格的角点数为6x9,每 格的大小为30~30(单位:mm).左右相机各采集标定板图像12 幅,得到的内参数和畸变参数结果分别如表1和表2所示. 由于本文所用算法在精确求取摄像机内参数和畸变向量 的时候采用最小二乘法,因此单摄像机的标定结果与采集的 标定图像数目存在密切关系,一般而言,采集是图像数目越 多,标定精度越高,但是标定过程耗时越长.本文分别多次采 集不同数目的标定图像,通过将空间坐标系中的景物点利用 标定参数重投影到摄像机的图像平面,然后将其与实际图像 上的对应位置进行比较,之差即为摄像机标定的绝对误差.标 定精度与采集的图像数目的关系如图6所示.从图6中可以 看出,标定图像数目越多,标定精度越高,但是当标定图像超 过l2幅后,误差趋于稳定. 3.2双目标定 左右摄像机之间的旋转矩阵R和平移向量T分别如图 7所示. 表1摄像机内参数 nmuoV0 左相机768.6276936303l6250.72 右相机777.04775.76299822o4.76 表2畸变向量 K.K2K3P1P2 左相机一013O一0123—000l—0.0040.460 右相机一0.13O—0.016一0004—0.007—0.040 图7检测所用塑料板 『0.9990.021—0.0381 R=l—O.O2110.017l 10.038-0.0l60.999l r=[一97.2480.1591.785] 为了检验立体标定结果的精确性,用标定后的双目视觉 系统测量如图7所示的三块精确制作的塑料板,并将检测结 果和用相同三维恢复算法的Tsai标定算法的检测结果相比较, 结果如表3所示.由表3可以看出,该立体标定算法在精度 上Tsai算法有明显的提高. 4结束语 实现了单 本文结合张正友灵活标定算法和Brown算法, 个摄像机的精确标定.实验结果表明,单个摄像机标定可以 取得很高的精度.在此基础之上,提出了一种立体标定方法, 利用空间中的景物点在左右摄像机图像上的坐标关系,计算 出左右摄像机之间的旋转矩阵和平移向量,从而实现了双目 视觉系统的立体标定. 通过和Tsai算法的比较实验可以证明,该立体标定算法 和Tsai算法相比,精度可以提高40%左右,可以应用于双目立 体视觉系统. 参考文献: [1]尹文生,罗瑜林,李世其.基于OpenCV的摄像机标定[J1.计算 15122011,Vo1.32,No.4计算机工程与设计ComputerEngineeringandDesign 表3本文标定后的系统与Tsai标定结果比较 塑料板1塑料纸板2塑料板3 长宽K宽长宽 实际尺,j2122O115.40176.1Oll5.40176.1085.2O 实测结果/mm209.82114.28174-25114.34174.O28430 ai算法 相对误差/%1l2097105O.921l81O5 实测结果/mm2l1.18l1480175O8ll4.94l74.968467 本文算法 相对误差/%0480.5lO.580.40O65O.62 机工程与设计,2007,28(1):197.199. 【2】ZhangZhengyou.Aflexiblenewtechniqueforcameracalibra— tion[J].IEEETransactionsonPattemAnalysisAndMachineIn— telligence,2000,22(11):1330—1334. f3】GaryBradski,AdrianKaebler.LearningOpenCV[M].南京:东南 大学出版社,2009. [4]王军,许建龙.基于平面模版的摄像机标定方法【JJ_计算机工程 与设计,2009,30(1):259—261. 【5]DavidA,Forsyth,JeanPonce,计算机视觉一一种现代方法[M]. 林学阎,王宏,译.北京:电子工业出版社,2004. [6】曾祥樟,卢道华.一种基于OpenCV和Tsai的摄像机两步标定 新方法[J].机电工程,2008,25(12):49—52. [7]GibsonSCookJ,Howardeta1.Accuratecameracalibrationfor off-line,videobasedaugmentedreality[C].Proceedingsofthe 1EEEandACMInternationalSymposiumonMixedandAug— mentedReality,2002:37—46. [8]陈胜勇,刘盛.基于OpenCV的计算机视觉技术实现[M].北京: 科学出版社,2008. [9]侯建辉,林意泊适应的Harris棋盘格角点检测算法[J】_计算机 工程与设-,2009,30(20):474l一4743. (上接第1490页) 通过对图6的排序着色图和图5的原始地震剖面灰度图 作对比,易见排序的结果与实际的地层空间特征相吻合,证明 了该方法的可行性.通过排序,可以容易的将零碎的面片合 并,并生成层面网格(On图8所示).若只使用同相轴自动追踪 算法,则还需要有一个繁琐的手工面片合并过程. 该工作区追踪后生成了111701个面片(相当于未知数个 数),这些面片由1101110个离散点组成.对一部分未知数预 赋值后,未知数的个数减少到101682.对追踪结果的扫描用 了43.868秒(380433条扫描线),生成系数矩阵用时5.880秒, 解方程迭代了3次,用时1.839秒,时间效率上是人工作业所 无法比的. 4结束语 本文使用的层序分析算法,利用了已有的同相轴自动追 踪结果,并通过实验验证了其计算结果符合实际的地质状况, 具有较好稳定性,基于此的层面网格建模也有较好的效果. 另外,和现有的自动化方法相比,本方法独立于具体的同相 轴追踪算法,可以根据需要更换追踪算法,当同相轴追踪算 法改进时,层序分析的效果也会提升,可以作为同相轴追踪 算法的延伸. 将来的j二作在于进一步提高层序分析的精度,引入人工 经验的指导,初步的方向为引入多种约束条件来对计算结果 进行控制,如弓I入已经确定的断层面,从而更精确的确定断层 两侧的序关系;引入一些人工解释的层面作为控制层,提高局 部区域排序结果的准确度. 参考文献: 【1]刘丽峰,杨怀义,蒋多元,等.三维精细构造解释的方法流程和关 键技术[J].地球物理学进展,2006,21(3):864—871. [2]熊会军,管业鹏,于蕴杰,等.基于图像边缘检测方法提取地震剖 面同相轴[J】.地球物理学进展,2009,24(6):2250—2254. [3]李红星,刘财,陶春辉.图像边缘检测方法在地震剖面同相轴自 动检测中的应用研究[J].地球物理学进展,2007,22(5): 1607—16l0. [4]孙奇政.基于人工神经网络方法的断层两侧地层层位追踪的 研究ID].长沙:中南大学,2007. [5]彭文,熊晓军,韩小俊.基于高阶统计量的层位自动追踪方法[J]. 新疆石油地质,2006,27(6):743—745. [6]颜庆津.数值分析【M].3版.北京:北京航空航天大学出版社, 2006. [7]JamesWDemme1.应用数值线性代数[M].北京:人民邮电出版 社2007. [8]魏木生.广义最小二乘问题的理论和计算[M】.北京:北京科学 出版社,2006.