08-双目定位-6

第25卷 增刊 2008年 12月 工 程 数 学 学 CHINESE JOURNAL OF ENGINEERING 报 M ATHEMATIcs Vo1 25supp Dec 2008 文章编号:100⒌ 3085(2008)0⒎ 0077-09 数码相机定位系统标定的新方法 谭永基, 俞 红 (复 臣大学数学科学学院,上海 2皿弼) 摘 要: 本文 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 了与交通监管有关的双目数码相机定位中的数码相机外部参数标定的若干新方法,这些方法具有一 定的新意,实际计算 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明这些方法是有效和精确的。 关键词: 双目定位;数码相机标定 分类号:AMs(2000)68T厶5 中图分类号:o2⒐TP2〃 文献标识码:A 1 引言 数码相机定位是指用数码相机或数码摄像机牡摄物体的照片确定物体表面某些特征点的位 置。如今数码相机定位有着广泛的应用,如用于工业 检测 工程第三方检测合同工程防雷检测合同植筋拉拔检测方案传感器技术课后答案检测机构通用要求培训 ,现场测量,地貌勘探,军事侦察 , 交通监管等方面。它和计算机硬软件技术相结合成为计算机视觉技术的一个重要组成部分,在 三维物体扫描、自动化和机器人技术方面取得了广泛的应用。 最常用的数码相机定位方法之一是双 目定位 ,即用两部相机来定位。对物体上的一个特征 点,用两部固定于不同位置的相机摄得物体的像,分别获得该点在两部相机像平面的坐标。只 要知道两部相机精确的相对位置,或知道每部相机的位置和定向,就可以设法根据相机的特性 用几何的方法得到该特征点在一部相机的坐标系的坐标,亦即确定了特征点的位置。于是对双 目定位,精确地确定两部相机的位置是问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 的关键之一,这一过程称为系统的外部参数标定。 为用摄影成像的光学原理,从特征点的像在相片中的位置获得该特征点的空间坐标还需用到刻 画相机特征的一些参数,如成像时的有效聚焦长度 le佤cti℃foct1s忆ngthl、像平面上相邻像素 中心的横向与纵向距离、像平面中心的偏移和镜头的非线性畸变参数等,有时这些参数也是需 要确定的。确定数码相机这些内部参数过程称为相机内部参数标定。 2OO7年秋,在南京举行的一个工业应用数学讨论会上,一家从事交通监管设备和软件研制 的公司提出了一个双 目定位系统标定的问题。由于交通监管双目定位系统相机安装条件和环境 比较复杂,该公司比较关注系统外部参数的标定。而大部分内部参数的标定可以在实验室完 成。 该公司实现标定的想法是在一块平板上画若干个点,将平板置于适当位置,同时用已安 装好的两部相机摄影,分别得到这些点在相片中的位置,利用这两组像点的关系就可求得这 两部相机的相对位置。然而无论在物平面或像平面上,人们都无法直接得到没有几何尺寸的 “点”。实际的做法是在物平面上画若干个圆 (称为靶标),它们的圆心就是几何的点了。由于 靶标平面一般并不平行于相机的像平面,靶标上圆的像一般会变形,如 图 1所示,所以必须精 确地找到照片中圆心的像。以往他们采用的方法是求像的形心,将其作为圆心的像。但是通过 实验发现,在某些情形,特别是靶标平面相对像平面倾斜度较大的情形这种方法的误差较大。 该公司希望找到一种新的更精确的求圆心像的方法 ,取代求形心的方法 ,在此基础上 进行标定,获得更好的外部参数标定效果。该公司使用的靶标是在一平板上 ,取一个边 第25卷 长为 100mm的正方形,分别以四个顶点⒕,C,D,刀 为圆心 ,12mm为半径画四个圆,再以⒕C边上距⒕点3omm处的B点为圆心画半径为 12mm的圆,如图2所示。 今年全国大学生数学建模竞赛 A题就是根据这一实际问题设计的。很多参赛队提出了许多有新意的好方法,本文将予以概述。 2 相机针孔成像模型 忽略镜头的非线性畸变等因素,照相机成像可以用线性针孔成像模型来近似㈣。物体表面上任一点尸经连接P点与针孔的直线投射到像平面上p,从而构成物体的像。针孔对应于相机的光学中心,像平面与光心的距离称为有效聚焦长度或像珲。取相机的光学中心为原点,以光轴为z轴方向指向被摄物体,钌、乡轴分别平行于相片边框构成右手坐标系。设像距为∫,像平 孱鏖罩窨斋孱了L钅 堡葫覆晷:苎霄豸猡霁鱼趋骣嚯砺张蟊馐讠跏 们不妨将z=/视 图 1:靶标上 圆的像 设P点的坐标⑺,夕 ,z), =~● |c 0¨——0 图2:靶标示意图 p在过原点的同一直线上,于是有 图3:针孔模型示意图 其像p的坐标为⑴,v,/)。 因为P、 =仇 =膏v , =J/ 由此得 ? ? ? ? ?? 〓 ? ? ? ???? ? ? ? ??? 增刊 谭永基,俞红:数码相机定位系统标定的新方法 称为中心射影变换。 进一步假设数码相机的中心偏移已得到校正,又设像素的纵横间距相等。只要己知相关的 内部参数,通过预处理上述假设是容易实现的。取两个像素中心的距离作为长度单位 (称为像 素单位),令相片中心为像素平面的原点,则 (1)式可视作物体到像素平面的成像映射关系。 3 靶标平面上圆的像 不难证明变换(1)将 空间的直线变换为像素平面的直线,亦即直线的像仍为直线,而 圆的像为椭圆。然而,圆 心的像一般不是像椭圆的中心⑵。事实上,在相机坐标系中方 程为G劣 +bv+cz=p的平面上圆心为⑴0,⒛ ,zo),半径为R的 圆,其圆心的像的像素坐 标ltt。,⑷)的表达式为 c/劣o·°=p_G劣 0一 勿 o’ v°= 然而其椭圆像的中心坐标(zb v1)的表达式为 ·1=— (/(2Gb钞8c+2Gbzgcv0_p2c劣o_pb钌0cv0_p2az0_Ω钞opbz。-2ΩbR2cv0 _p`筢。z。 -2b劣8Ωc-2b臼。ac〃g~2b劣。Ωczg+2pb￡8c. 2pb劣oaz0+ˉ2b劣0GcR2 +pGc劣8+pGczg_pocR2+2G阮:cv0)/(-R2Ω2p+a2zgp_pR2b2-2p2bt。 +Ω%竭p+p'zg+p32ty:+2G2b〃8-2a2乡:3￡。-2G2zgb￡。+2a2b劣8纱。-2Ω2劣8b +2Ω2bz8钞0+典 砥劣8乙 -2pbtOG〃。-2G2〃0bR2+2R2Ω 2bt。+p3-2p2Ω钌0), nl1 = lp/(pc钞o+pbz。_a钌0ctJ0_G劣o扬0_bcv8_bczg+bcR2+G2zJOz0))/(—R2Ω2p +Ω△琚p—pR2b2-2p%t。+G%竭p+p'zg+pb2〃8→~2G2bv8-2o2v:b劣0ˉ 2o2z:b钅0 +2G2b“8⒛ -2'劣 8b+2G2bz:⒛+铆 ,G钌 8b一勿奶￡。ΩayO-2'∞bR2+2R2'b劣 。+p3 一勿 `Ω 幻). 显然,当平面Gz+bv+“=p与相机t一夕平面平行时,即平面方程为z=p时,像椭圆的 中心坐标为△1=/幻加,饨 =/∞ /p,与圆心的像一致,而一般情况下,它们是有差异的。因 此,我们有必要寻求好的求出靶标上圆心的像的方法。 4 求圆心像 的新方法 在本次竞赛中,各参赛队提出了很多根据靶标相片,决定靶标上圆的圆心像的坐标的方 法,有的方法具有一定的创新性。A题提供了一张靶标照片 (及相应的JPG文件)如 图4所示。 为了求解的需要,一股需对数据进行适当的预处理,例如,用软件或特定的方法将椭圆的边界 提取出来。 各参赛队提出的方法很多,各有特点。但从方法的本质而言,可以分为两大类。一类是利 用成像映射的几何特征,用作相片中椭圆公切线,然后求某些直线的交点的方法得到圆心像的 像素坐标,这种方法简称为公切线方法,另一类方法是利用成像映射,建立确定靶标平面方程 及圆心坐标等未知参数的非线性方程模型或优化模型,建立靶标平面各点与像素平面上各点的 完全的对应关系,这种方法不妨称为优化方法。 c/Vo p_Ω“0_btJ0· 第25卷 4.1 公切线方法 我们在第 3节中已经指出,通过成像变换,空间直线变换成像素平面上的直线,那么两直 线的交点必然映射为两条像直线的交点。另外还可以证明,平面上圆的切线的切点映射为相应 椭圆的切点。根据这样的 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 ,我们就可以用作公切线的方法求出各圆圆心像的坐标。 例如分别称圆~/l,B,C,D,E的像为椭圆⒕,椭圆B等 。做椭圆⒕、椭圆 B、 椭圆C的 两条外公切线 ,与椭圆⒕相切于Ⅳ 和 M′ ;再 作椭 圆⒕与椭 圆D的 两条外公切线 ,与 椭 圆⒕相切于Ⅳ和Ⅳ′。那么,显然 MM′ 和ⅣⅣ′分别是圆⒕的两条直径的像,它们的交点刃 就 是圆⒕的圆心⒕的像。类似地,我们可以求得其余四个圆的圆心的像的坐标 (参见图 5)。 不仅如此,我们还可以利用求其它公切线的交点,得到更多的靶标上的己知点的像的坐 标,如图5中 的Q,y,y,〃等。 Ⅱ ◆ 图 4∶ 靶标的照片 △ 图⒌ 公切线方法 但如果直接用椭圆边界的像素点用离散的方法求切线和切点会带来较大的误差。比较精确 的方法是利用获得的椭圆边界离散点拟合出椭圆方程的表达式,然后用解析方法求切点和公切 线,再求出相应的交点。 4.2 优化方法 设在相机坐标系中靶标平面的方程为 Gz+b⒊+cz_p=0, 其中Ω,b,c为平面法线的方向余弦,成立 G2+b2+`=1. 设靶标上某圆的圆心坐标为 (劣0,铷 ,钿 ),圆上任一点坐标为⒄,v,z),由成像映射 (1), 有 由⒄,⒊ ,z)落在平面 (2)上 ,应有 责(Ω tt-←执l-←c/)=p, ztt劣±了’ zVv=了 (2) ? ? ? ⑷ p/ 从 而 Ω△+bv+c/’ ⑸ 增 刊 谭永基,俞红:数码相机定位系统标定的新方法 81 且 (6) ?? ⑻ ⑼ ??????? ????? ?? ? ?? ? ??? ? ??? ? ?? ? ?? ?? ???????? ? ? ? ?? ? ? ? ? ? ?? ? ? ? ?? ??? ? ? ? ? ??? ? ?? ? 劣=黼 ,v=黼 · 令 J=at/+bv+c/, 其中1仍由(9)给出。 在求得幻,⒛ ,钼 后,可用 求得该圆圆心的像素坐标。 事实上,当参数Ω,b,c,p等决定以后,(5),(Gl两式建立了靶标平面上的点与像素平面 上点的完整的一一对应关系。 应该指出,我们还可以利用获得的5个椭圆边界的信息,同时求解靶标平面的参数以及各 圆心的坐标,以获得更加精确的结果。还应指出,用此方法可同时将内部参数 /一并求出。 这个方法是笔者参加⒛07年工业应用数学讨论会时提出的,这次竞赛中,许多同学独立地 提出了相同的方法。 一个类似的方法是利用像平面上四点的原像共面,即均落在靶标平面上的条件决定靶标 平面,然后再求出各圆圆心的像。例如在获取了像平面上椭圆边界后,在四个椭圆边界上各 取Ⅳ点,其坐标为 (磅 ,v岁),奶 =1,2,3,4,歹 =1,2,⋯ ·,Ⅳ。若Ω,b,c,p给定,它们原像的坐标 为 劣扌=骂管廴 时 =竿 ,亻 二管· 0ρ ?? ?? 〓 ?? ?? ?? ? ? ?? ? ? ?? 〓 ?? ?? 〓???? ??? ? ? ?? ?? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? ? ?? ? (10) ?〓??? ?? ? ?? ? ???? ?? ? ? ? ? ? ? ?? ? ?? ?? ? ? ? ? ? ? ? ? ???? ?? ??? 〓 ? ? ? ?? ? ? 报 第25卷 其 中 =Ω唠+b忄+亻 . S(Ω ,乙,c,p,,TO,∞,△,v)= (t-Z0)2+(〃一夕0)2+(z一钿)2-R2 (劣 一 臼 。 )2+(钞 一 v0)2+9一 钿 )2>R2 其中 t=骂气 〃=竿 , z=竿 , J=Ω 包+∞ +亻, 钿 =ω -G劣0-b⒛)/c. 问题归结为在约束条件 沪 +`+`=1下求解 max∑s(%b,Gp,幻,∞ ,zJ,%)· J=1 5 相机相对位置 的确 定 已知物体表面的若干点在照片上的像的坐标进行照相机的外部参数标定己经有许多成熟的 方法。其主要做法是引入世界坐标系,利用己知点在相机坐标系和世界坐标系之间的对应关系 决定相机坐标系和世界坐标系之间的变换 (参见文献 I11,B=刨 )。 对于本文特定的靶标,做法略 有简化。 5.1 公切线方法 由前述公切线方法,我们已经得到各圆心像(还有更多公切线交点的像)的像素坐标 l/u讠,v讠),0=1,2,¨ ·,Ⅳ,Ⅳ ≥5)。 取原点为靶标的中心,劣 轴平行于直线⒕B,⒊ 轴平行于直线⒕D的右手坐标系为世界坐标系,设空间一点在世界坐标系和相机坐标系中的坐标分别为X=(x,匕z),丝=⒄ ,〃 ,zl,那么坐标变换关系为 (1⑴ ? ?? ?? ? ??? ? ? ? ?? ? ? ? ? ? ? ? ? ?? ???? ?? ?? ?? 〓 ?? ??? ? ? 丝=RX+T, (18) 谭永基,俞红:数码相机定位系统标定的新方法 ?? ? 其 中 ? ???? ? ? ? ? ? ? ? ?? ? ? ???〓??????????????? ? ? ? ? ?? ? ? ? ?? ? ? ? ? ? ? ? ???? ? R= · `t//=r1丿 ‰+r12屺+古 1 v讠z讠〃 =r21x讠+”2蚝 +饧 z讠 =r31X讠+r32屺+兔 +r32屺+九)=/(r1丿‰+r12⒕+膏 1), +η 2玩 +圮)=/(r21X讠+02⒕ +饧 ), RRT=r 其相应的相机坐标为 卩笋 ,2子 ,zt)。 +T, 饣=1,2,¨ ·,Ⅳ (19) (2⑴ 不口t2= z讠 =R ·讠// v讠// 1 ???? ? ? 〓? ??? ? ? ??? ? ??? ? ? ? ? ???〓? ? ? ? ????? ? ? ?? ??? ? ? ? ? ? ?? ???? 〓? ? ??? ?? ?? ?? ? ???? ? ????? ? 易 (21) (22) ?? ?? ? ?? ?? ?? ???? (23) 第25卷 其 中 RTR2R「 , T=马 一R2RFTt. 5.2 优化方法 采用前述优化方法,我们已经获得了靶标平面上若干点的相机坐标,即设靶标平面上的 点区讠=(凡 ,屺 ,0)的像为⑴讠,v讠),其相机坐标为 (2丛 ) ⑿⑴。Ta=(t2,酽,z氵)= 其中九=G%+bv讠+c/。 于是直接求解 ttc ˉ189 tlc 194 ? ?箐,;饣:)· ? ? ??? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ????? ??? ? ? ? ? ? ? 就可获得R和 T。 6 计算结果和验 证 由于这次的赛题主要的要求是外部参数的标定,题中提供的照片 (图 ㈦已经做过预处理 , 去除了由于景深影响造成的边缘模糊以及对镜头的畸变造成的影响进行了一定的校正。 用第4节中的几种方法均能获得理想的结果,用优化方法获得的各圆心像的像素坐标结果 由表1给出。 表 ⒈ 各圆心像的像素坐标 -89 128 71 ~227 187 171 ~119 ~118 像素坐标系的原点取在相片中心,坐标轴平行于相片的边框。 模型的验证是数学建模过程的一个不可缺少的重要环节。本题虽然给出了一张相片,但并 不知道这张相片拍摄时靶标的状态。对这类问题最好的办法是用 自己逆向设计的数据来验证。 例如,给定靶标位置,即给定靶标的平面方程及靶标四个顶点在相机坐标系中的坐标 (或给定 世界坐标系与相机坐标系的变换关系),利用针孔成像原理得到靶标圆的椭圆像以及圆心像的 精确位置。用这样得到的像,根据已建立的模型和方法求出圆心的像与圆心像的精确位置进行 增 刊 潭永基,俞红:数码相机定位系统标定的新方法 比较就可判断模型的优劣以及方法的精度。为了考察方法的稳定性,可在用针孔模型生成像数 据时增加一定幅度的随机误差。若对有一定程度误差的数据得到的结果仍很接近精确的结果 , 那么方法具有一定的稳定性。这种误差可以在一定程度上模拟数码相机拍摄时的噪声,或镜头 畸度的影响。 还有一种方法是在实验室中,对已知的经过精密测量的靶标位置用数码相机拍摄照片,再 根据已建立的模型和方法,对此照片进行计算,然后将结果与已知的实际数据进行比较。但 是,此时的误差包含了镜头畸变等内部参数的影响,为检验模型和方法的外部参数标定能力 , 最好对获得的数据进行适当的预处理。 7 结 论 这次赛事中,参赛同学提出了许多数码相机定位系统外部参数标定的新方法。这些方法对 交通监管的测量与定位系统的研制有指导意义,也有可能在计算机视觉的其它领域中得到应 用。 参考文献 : I11马颂德,张正友 计算机视觉一计算理沦与算法基础[M⒈ 北京:科学出版社,1998 Pl魏振忠,张广军 视觉检测中椭圆中心成像畸变误差模型研究lJl北京航空航天大学学报,2003,0⒉ 1Z1O-143 l· 31Tsal R Y An efncient and accur乱e can1era Cdibration technique for3D Machine Vi“on[C]//Proc°fIEEE Conference of Compu七er、厂ision and Pattern Recognition,1986: 364-374 ⒕l 、、Ⅰ⒍ GQ,Ma s D Impllclt and expllc此camera calibraton:theory and expeomentI,Jl IEEE Trans pattern Recogni七ion and1√1achine Intelligence, 1994, 16(5): 硅69-碴 80 [51Lenz R K,Tsai R Y Techniques for calibration ofthe scale hc七or and image center for high accuracy3D machine vison metrologyIC]//Pr。c IEEE Int Conf Robotlcs Autom脱,198⒎ 6⒏75 阝l xlvel G Q,Ma s D Two plane camera Calibraton∶ a uni丑ed model【C]//Pr。c。fIEEE C°nference of Conlputer、厂isi。n and Pattern ReCogniuon,1991: 133-138 I7] WLl Q,Xu G,斌`ng L A Three△tage sy酰em for camera CahbrationIC]//sPIE Con免rence Proceeding: 仝汀ultispec七ral Il1△age Processing and Pattern ReCognition VVuhan: 2001∶ 22-24 Bl wang L L,Tsal W H Camera calibration by van诒hing lines f【Dr3-D computer v诒onl,J⒈IEEE Transactions on Pattern Analysis and Ⅸ压achi11e Inte1ligence,1991,13(4): 370-376 New Ιˇethods of system CaⅡbra七ion for〕Digital Camera TAN γbng司1, YU Hong (sch°ol of M乱hematic龃soences,Fudan Uni∞瑁虬y,shangh“200奎33) Abstract: In七his paper,M`e8urVey neW Ⅱlethods of systeln external parameter cahbration related to bi11ocu- lar positioning in traⅢc management which Ⅵ严ere proposed in China Undergraduate l匹athematical Contest in R/Iodehng A11七hose methods are with neM/ideas Computational results shov`that those methods are efFective and accura七e Keywords: binocular positioning;digital Camera Cahbration