利用图像轮廓的相机自标定和三维建模

利用图像轮廓的相机自标定和三维建模 文章编号:1008-0570(2009)10-1-0107-03 利用图像轮廓的相机自标定和三维建模 Camera Self-Calibration and 3D Modeling from Image Silhouette 上海交通大学丁晓东() 杨旭波陈一帆 DING Xiao-dong YANG Xu-bo CHEN Yi-fan 摘要本 文提出一种基于图像轮廓进行相机自标定并计算投影矩阵从而恢复物体三维模型的 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 首先使用镜面反射从图 : 。 像 中获取物体的多角度成像并利用阈值和边缘提取得到图像的轮廓信息 再结合对极几何对图像轮廓 的限制条件确定相机 , 的 投 影 参 数 最后使用可视外壳技术拟合出物体三维模型 , 。 关键词相机标定轮廓线可视外壳图像建模 : ; ; ; 中图分类号文献标识码: TP391.41 : A Abstract: This paper proposes a casemeflra ca libration and image modeilng method based imoan ge silhouette. First mirror reflection - is used to show five views of an objecsti, lh oanuedtt e is esitmated through se tting threshold and edgede tection. Then the pr ojection matrix is determined based oepn ipolar geometry co nstraints. With the camera a licbration matrix known, v isual hull is used to co m- bine fiveview silhouettes to obtain object ’s 3D model .- Key words: Camera Calibration; Silhouette;Visual Hull; ImageModeling 引言系统搭建1 3 本文描述了一种利用图像轮廓的建模方法。轮廓作为图像我们通过精确地摆置两面镜子 和 使得夹角为 度 A B, 72 ,基本特征易于计算并能够精确地反应出物体的几何边缘该方 ,,将需要采样的物体 放置于两镜子之间。这样在镜面 中有 O A 法再利用镜面反射的原理和可视外壳重建的算法同时处理不 镜面 的成像 在镜面 中也有镜面 的成像 。相机面’’B B,B A A 同角度拍摄的真实物体的多幅图像轮廓进而得到物体三维模 对着物体且相机中心点 处于两镜面夹角中线上调整相机的 C ,型。其优点在于无需使用棋盘格对相机参数进行预标定无需高 ,位置拍摄角度和焦距使得图像能够反映出物体在镜面中的所、, 密度的图像采集且图像轮廓易于获取且结果精确较之其他方 ,, 有成像。场景包括物体本身在内应有五个角度的成像分别是物 法有着速度和精度上的优势同时许多基于图像的重构算法如 。,, 基于阴影、立体视觉和光线跟踪的算法都存在复杂度较高和耗 ,体自身 物体在镜面 中的成像 和镜面 中的成像 还 O,A OB O,A B时耗资源的问题。本文所使用的可视外壳生成算法不仅能够快速 有像 在镜面 ’中的成像 和像 在镜面 ’中的成像 OBOOAO, ’A ABB BA生成三维实体的模型而且算法消耗的时间和空间资源都较少。, 各个成像之间不存在遮挡关系。同理根据镜面成像的原理我 ,, 们可以假想场景中存在着一个真实相机和四个虚拟相机分别 从 和 和 拍摄并且因为镜面的对称四个虚拟相 C,CC,CC,,’’A BABBA 相关工作2 机的成像和真实相机的成像是完全一致的设置合适的背景色 。 使得物体颜色和背景色对比较大这样我们就能够容易地使用 , 从图像轮廓处理相机校正的问题最早是由 等 Ramanathan 阈值分离背景和物体并确定轮廓从而利用物体的五个角度的, 人在 年提出的他们讨论了多视角情况下的轮廓限制并定 2000 , 轮廓计算相机校正参数。义了估算函数最后利用梯度最小化求解相机参数。等提,Sinha 出了采用随机采样来匹配极线的算法估计出相机的投影矩。阵 三维建模4 等在前人的基础上又针对正交投影情况下的轮廓处理 Bottino 进行更多细节的讨论。而使用镜面反射对物体进行多角度采样 获取相机焦距 4.1 并恢复物体模型的想法最早由 和 等人提出他 Gluckman Nayar ,如图 所示首先我们考虑只有一个镜面 的情况场景 1(a),M ,们使用双镜面反射和单个相机拍摄立体视觉图像对成功避免 , 中有一个物体 在镜面中的成像为 可以想象为场景中有两’O,O, 了双目立体视觉中由于相机参数不同带来的几何和颜色上的 个真实存在的物体。点和 点分别为物体 的两个顶点相 P Q O ,误差。他们还提出了如何使用双镜面估算相机参数并利用查找 应的对应点为 ’和 ’。相机从 的位置对场景进行拍照得到PQC , 两镜面成像中的像素点匹配估算出相应的三维点信。息本文结 合了上述文章的想法使用镜面反射对物体进行多角度采样并 图像 在二维图像 上会有两个物体的投影成像一个为真实 , I,I ,提出一种适用于透视投影的图像轮廓提取和极线估计方法再 ,物体的成像一个为镜面里的影像。同理相机中心 在镜面中 ,,C 结合对极几何的限制条件计算得到相机参数最终使用可视外, 也能找到它的对应点 ’我们可以看成是另一个相机从 ’的C, C 位置观察场景拍摄得到二维图像 ’。可以看到场景满足了对 , I 极几何的条件根据对极几何的原理相机中心的连线 ’与两 ,,CC 壳算法拟合出物体的三维模型。 个投影平面会有两个交点 和 ’又称为外极点。通过观察我 E E, 们还可以发现 ’和顶点连线 ’和 ’都垂直于镜面因此 CCPPQQ,丁晓东硕士研究生: 微计算机信息( 管控一体化) 2009 年第 25 卷第 10-期 《》1 图 像 处 理 ’’四个点共面且 ’点在图像 上的投影点 ’必定位于 接着在图像平面上简单的二维几何计算就能得到图像中 CCPP,PI P, l 心点 到直线 的距离和垂线相交点 的坐标根据勾股 ’连线上因此可以推出 ’也在平面 ’’上。由于平面 PEEE, CP,PCCPP0 14 0 l 定理即可求得相机中心 C 到图像平面的距离即焦距 f。 ’’和图像平面 有且只有相交线因此可以推出外极点 必定处CCPPI ,E 4.2 相机外参数矩阵的获取于 ’在图像 上的投影点 ’的延长线上同理 点 PPI PP,E ll 假设相机在 和 处进行拍照我们把 位置的相机坐标 A B ,A 也处于 ’的延长线上。因此如果连接图像中两个轮廓的外 QQ,ll 系作为世界坐标系这样 位置的外参数矩阵为位置的 ,A [I|0],A 切线即能相交于一点及外极点 同理也可求出 ’。,,E,E投影矩阵为 位置的投影矩阵为 其中 是HA=K[I|0],B H=K[R|t],I B 三维单位矩阵是相机的内参数矩阵和 分别是 位置相 ,K ,R t B 机相对于 位置的旋转向量和平移向量。已经在上述过程中 A K 求出因此只要求出 和 就可以求出投影矩阵 最后根据三,R t H, B 角形算法就可以获得物体表面点的三维坐标。 T假如一个镜面的方向为相对于该镜面的对称旋转 [a b c], 矩阵可以用如下的公式表达: (a) (b) 图 1 (a)对极几何原理图 (b)物体轮廓线和外极点(2) 本文描述的系统如图 所示在场景中得到五个物体的 1(b), 轮廓线与 的轮廓外切线交于 点因为 可被看作一 。,O OEOA 1 B 旋转向量 可以通过计算镜面之间的旋转获得。考虑虚拟 R 个实际存在的物体而 是 在镜面 中的成像因此他们 ,OOA ,’ABB -1 相机中心 和 旋转矩阵 表示了 通过两次镜面C C , R=R R C A B 1 2 A 的轮廓外切线也交于 E点。同时 O与 O可看作是沿着镜面 ’1 A AB 对称后与 的位置重合。在得到焦距 后可求得镜面 的方C f ,A B对称因此轮廓外切线交于 点同理我们可以得到 与 ’。B,EO3 B 向 s =-[E E f]和镜面 2 的方向 s =-[E E f],结合公式(2)即可-- 1 1 0 2 2 0 的轮廓外切线交点 和 与 的轮廓外切线交点 值 。OEO OEBA’2 A 4 求出旋转向量 R。 得注意的一点是四个点是共线的原因是这四个点都 ,EEEE, 技1234 T 假如镜面上一点的三维坐标为平移向量 可表示为[x y z],t 是相机中线连线和图像平面 的交点而相机中心都处于同一 I , T 。从图 中可以看到点在图像平面上t=2*(ax+by+cz)(ab c )1(a),P 个平面两个平面的相交线有且只有一条 。,术 的投影点 在经过投影矩阵 的变化后应于另一个图像平面P H l B 在得到四个外极点后, 下一步是如何利用这些点的坐标计 的投影点 重合因此镜面上点的坐标可以通过两对应点连线P ,r 算出相机的焦距方向和位置。在对焦正确的情况下相机的焦 创,, 和镜面的交点求出。距即等于求相机中心点 到图像平面 的距离即 点到图像 C I , C 计算物体的三维坐标4.3 中心点 的距离。如果我们能够求出 到直线 的距离和 新PPEE0 0 14 在得到相机的内外参数后利用可视外壳算法对每个视点点到直线直线 的距离我们就能够利用勾股定理求出相 C EE,14 构建对应的可视外壳。可视外壳算法的基本思想是利用每个视 ,机的焦距。下面讨论的就是如何利用四个外极点和相似三角形 点的投影矩阵构建从二维到三维空间的投影锥利用投影锥之, 求得 P点垂直于直线 EE的相交点 Q 的坐标, 以及 C 到直线 间的交集计算得到物体的三维信息本文的实现是从一个初始。0 14 的距离。 EE 的包围立方体开始而后每次用投影锥与之相交切割逐步求精,,14 所有的节点信息都采用八叉树的数据结构保存在投影锥之外 。 的节点值为负投影锥内的为正在边界的进一步细分为下一级,, 的八叉树。最后根据生成的八叉树结构构建物体的三维模。型 实验结果5 (a) (b) (c) (d) 图 相机中心和外极点的关系 2 图 是利用镜面获取的物体在五个视角的成像3 (a)(c),(b)(d) 通过观察由于相机中心 位于镜面夹角的中线上根据对 ,C ,是二值化后的图像 称中心点 和四个虚拟的相机中心形成五边形且该五边形平 ,C ,面垂直于镜面如图 所示。外极点 和 分别为 和 ,2 EECC’’2 3 ABC BAC 与 的交点过 与 的平行线相交 于 点过 。EEECCCC G ,E’14 1 B BA4 与 的平行线相交 于 点五边形的性质决定了。CCCC F ?’A AB因此, CCC= ?CCC= ?CCC=36? , ?EGC = ?C ’’’’’AABABBABAB 1BACC= B 根据平行线性质又有和 ?CCC=?EFC,?CCC=?CCC’’’AAB4ABBABA 图 轮廓提取和计算得到的四个外极点4 因此可以推出和为相似三角形?FEC=?GEC,?GEC ?FCE, 4114 我们使用 数码相机锁定焦距后在不同位置对Nikon D40X 三角形 的两边比例可以用如下公式推导出ECE: 14 场景拍摄两张 的图像如图 所示通过选取相应的。1024*685 ,3 E C E G E G E E E C E E E C E E ,E E , , , , , (1) 阈值,我们将物体从场景中分离出并计算出相应的轮,廓图 4 显CE FE CE E E FE E E CE E E ,E E 示轮廓提取的结果。通过轮廓的外切线得到四个外极点的坐标,已知两边的比例和第三边的长度我们便可以求 ?CCC,,ABd , E C ,C E ,s in , C C C / E E 从而确定出相机焦距和中心点在计算得到相机的投影矩阵后。,出 到 的距离 。C EE14 - - 元 年 邮局订阅号360/ ,82-946 108 《现场总线技术应用 200 例》 我们使用可视外壳算法切割出物体的三维模型最终效果如图 , 200240Chi, na) DING Xiao-dong YANG Xu-bo CHEN Yi-fan和图 所示。 通讯地址上海 上海交通大学数字艺术实验室丁晓东 5b 5c :(200240 ) (收稿日期:2008.12.06(修稿日期):2009.03.06) 上接第 页(111 ) 小结5 (a) (b) (c) 本文提出了基于图像的物体表面细微结构的真实感渲染, 的图 是相机拍摄的采样物体是可视外壳算法生成 5 (a),(b)(c)通过 BRDF 来计算料粗糙表面的空间光反射特性, 然后通过计 物体三维模型 算漫反射纹理来增加材质细微结构这种方法解决了直接使用, 拍照获取的照片中存在高光或是某些部位过亮等问题而且能 , 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 6 动态实现不同光照下的效果从而使材质更真实。但是这种方法, 本文中详细介绍了一种基于图像轮廓的相机自标定和图 在凹凸轮廓之类的效果不能很好的表示不过可以通过 ,,Relief 像建模的方法并且实验证明该算法无需传统的相机预标定计 , 等方法来解决这些问题而且该方法在渲染的时候需 。mapping 后,物体的三维模型可通过合并多个视角算即可从物体的轮廓中得到相机的内外参数。在获得投影矩阵 要纹理数据比较少。 的可视外壳获得。本文 本文作者创新点提出基于 与 纹理贴图的方 :BRDF Diffuse 作者创新点在于提供了一种简便的可操作的基于图像建模方 法来模拟真实感的材质在保证材质真实感的情况下提高渲染 。,法首先巧妙利用镜面获取物体多个视角的成像其次三维建模 ,,速度更好的应用于三维重建后模型的材质模拟。并且达到可以 ,过程中使用的可视外壳算法快速准确地恢复了物体的边缘信 实时更改材质属性。息。但是该方法的结果很大程度上取决于拍摄视角的选,取更多 参考文献 视角的照片和合适的物体位置和角度可获得更精确的结果此。[1]Interactive Rendering with Arbitrary BRDFs using Separable 外,相机内外参数的计算依赖于外极点的估算,如果场景中颜色 Approximations: Jan Kautz and Michae l D.McCool . Eurographics相近或图像轮廓估计得不准确都会导致投影矩阵的偏差结果 , 。RenderingWorkshop199 9在三维模型计算过程中使得误差放大。 [2]Reflectance and Textureof Rea l-World surfaces:Kristin J.Dana参考文献 [1]田原嫄,张云辉,谭Bram van Ginneken Shree K.Nayar.Cvpr97. 庆昌.CCD 摄像机标定的研究.微计算机信 [3]A Survey of BRDF Representation for Computer Graphics . 息。 ,2008,5-3:206-207Szymon Rusinkiewicz , Winter 1997 [2]Prashant Ramanathan, Eckehard Steinbach and Bernd Girod, [4]Acquisition, Synthesisand Rendering of Bidirectional Texture “”Silhouette -based multiple -view cameracalibratio n, in Proc. of Functions, Mueller, J. Meseth, M. Sattler, R. Sarlette, R. Klein, Vision, Modeling and Visualization Vol.2000, 1, 3 -10, 2000. Stateof the Art Reports, Eurographics2004. [3]S. Sinha,M. Pollefeys, andL. McMillan“,Camera networkcal i, [5]McAllister,Spatia l BRDFs, GPU Gems, chapter18, 2004. bration from dynamic silhouette”, sin Proc. IEEE Conference on [6]Fabio Policarpo ,Relaxed Cone Stepping for Relief Mapping,Computer Vision and Pattern Recognition,2004. GPU Gems, chapter18; “[4]A.Bottino and A.Laurentini, Introducing a new problem: [7]wang lf,wang x,tong x,et al. View -Dependent DisplacementShape-from -silhouettewhen the relative positions of the view, Mapping. ACM Transactions on Graphics,1003,22(3) ”points is unknown, IEEE Transactions on Pattern Analysis and [8]kanekot, takahei t inami m,etal. Detailed Shap RepresentationMachine Intelligence, 25(11),2003. Nov. with Parallax Mapping[A],ICAT[C] 2001 “[5]Joshua Gluckman and ShreeK. Nayar ,Catadioptric StereoU s, 任民宏基于 和分形技术的真实感云彩生成微计[9].OpenGL [J].”ing PlanarMirror s, in International Journal of Computer Vision, 算机信息,2007,4-3: P292-294.44(1),65 -79, 2001. 作者简介金国男汉浙江省温州市人上海交通大学软件 :(1982),(),,-作者简介丁晓东男汉福建省福州市人上海交通大学 电:(1984-),(),,学院硕士研究生计算机软件与理论专业主要从事计算机真实感 ,,,子信息与电气工程学院硕士研究生计算机专业研究方向,,,: 材质模拟的研究杨旭波男汉上海人上海交通大学软件; (1971-),(),, 计算机增强现实、图像建模、图像重光照; 杨旭波(1971-),男(汉), 学院副教授博士后年至 年赴德国 研究所做,,1998 2001 Fraunhofer 上海人上海交通大学副教授博士后年至 年赴德国 ,,,1998 2001 博士后任新加坡国立大学 主要从事虚,2001-2003 ResearcFhe llow, 研究所研修研究方向虚拟现实、人机交互、计算机 Fraunhofer ,:拟现实、人机交互、计算机图形学、三维可视化的研究。 图形学、三维可视化; 陈一帆(1984-),男(汉),江苏省常熟市人,上 Biography:JIN Guo (1982 - ),Male (han),Zhenjiang Province,Software 海交通大学软件学院硕士研究生计算机软件与理论专业研究 ,,,Schoool f Shanghai Jiao TongU niversity,Graduaet StudentCo,mputer方向计算机增强现实、真实光源获取、图像重光照。 :Software anTdheo retic,Research on:Realistic Computer rGaphics. Biography:DIN G Xiao - dong (1984 - ),male (han),Fujian Province, 上海 上海交通大学软件学院数 字 艺 术实 验 室金 国 (200240 ) School of Electronic, Information and E lectronic Engineering, 杨旭波Shanghai JiaoTon g University,graduae t student,Computer Scienc e, Research on:computer augmenreatlietd y; image modeling, image - (DALAB of Software School, Shanghai Jiao Tong University, based reghtng. Shangha 200240,China) JIN Guo YANG Xu-bo liii 上海 上海交通大学数字艺术实验室丁晓东 杨 旭波 通讯地址上海 上海交通大学软件学院数字艺术实 验 (200240 ) :(200240 陈一帆 室金 国) 收稿日期修稿日期(:2008.12.01():2009.03.01) (Digital Art LAB, Shanghai Jiao Tong University, Shanghai