基于改进差分进化算法的相机标定研究

第30卷第6期 2 0 0 4年 1 1月 　　　　　　　　　　　　　　　 光 学 技 术 OPTICAL TECHN IQU E 　　　　　　　　　　　　　　　 Vol. 30 No. 6 Nov. 　2004 　　文章编号 : 100221582 (2004) 0620720204 基于改进差分进化算法的相机标定研究 Ξ 张吴明 , 钟约先 (清华大学 机械工程系 , 北京 　100084) 摘　要 : 目前相机标定多采用 Tsai 和 Weng 的基于非线性成像模型的分步标定法。在研究标定算法的过程中发 现 ,待优化的目标函数具有多个局部极值点 ,采用传统的局部优化算法会导致迅速收敛到局部极值点 ,而非全局最优解 , 影响了标定精度。差分进化是一种收敛速度很快的进化算法 ,但当初始种群分布不够理想时 ,它可能快速收敛到局部极 值点。将其改进后用于相机标定 ,提出了分步法与改进的差分进化算法相结合的相机标定方法。数据实验 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明 :标定精 度比直接采用分步法有所提高。 关 键 词 : 相机标定 ; 改进差分进化 ; 计算机视觉 中图分类号 : TP391 　　　文献标识码 : A Camera calibration based on improved differential evolution algorithm ZHANG Wu2ming , ZHONG Yue2xian (Department of Mechanical Engineering , Tsinghua University , Beijing 　100084 , China) Abstract : Tsai’s and Weng’s two2stage methods with distortion model are often used in camera calibration. It is found that objective function has several local extremums , calibration parameters optimized with traditional optimization methods con2 verge to a local extremum. Differential evolution is a new algorithm to get the global optima , its rate of convergence is faster than general evolution algorithm , but when the initial population is not good enough it might converge to local extremum quick2 ly. An improved differential evolution algorithm is proposed , and together with two2stage calibration method , a new camera cal2 ibration method is established. Testing results using real data show that it improves calibration accuracy. Key words : camera calibration ; improved differential evolution ; computer vision 1 　引 　言 计算机视觉和摄影测量学的基本任务都是从获 取图像信息出发计算三维空间中物体的几何信息 , 而空间物体表面某点与图像上对应点的关系是由相 机在空间所处的位置及其成像的几何模型决定的 , 也就是相机的外参数和内参数。确定内外参数的过 程就是相机标定的过程[1 ] 。相机标定的方法很多 , 如基于神经元网络的标定方法[2 ]等。目前国内外 采用较多的是 Tsai[3 ]和 Weng[4 ]的方法 ,它们都是 基于非线性成像模型的分步标定方法。分步法将内 外参数分开求解 ,降低了解非线性方程组的难度 ,但 在第二步参数优化中通常采用的是传统的局部优化 算法 ,如牛顿法和各种拟牛顿法等。在研究标定算 法的过程中发现 ,待优化的目标函数 (在作者的研究 中定义为由标定参数求得的标定点与由图像识别的 标定点之差的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 差)具有多个局部极值点 ,采用传 统的局部优化算法会导致迅速收敛到局部极值点而 非全局最优解 ,影响了标定精度。本文对此进行了 研究 ,提出了分步法与改进的差分进化算法相结合 的相机标定方法 ,提高了相机的标定精度。 2 　改进的差分进化算法 因为后续要用到差分进化算法 ,所以在此先对 这个算法的优缺点及其改进作个介绍。与传统的局 部优化算法不同 ,进化算法采用群体搜索技术 ,通过 对当前种群进行重组、变异和选择等操作产生新一 代种群 ,并逐步使种群进化到包含或接近最优解的 状态[5 ] 。差分进化是通过把种群中两个个体的向 量差加权后 ,按一定的规则与第三个个体求和来产 生新个体。公式 (1) 和图 1 分别为差分进化的公式 和示意图 ,公式 (1)中各项的意义见图 1 中的标示。 V = X i , G +λ( X best , G - X i , G + F( X r2 , G - X r3 , G) (1) 差分进化收敛方向与一般进化算法的随机收敛 相比更为明确 ,收敛速度远胜于一般的进化算法。 但当初始种群分布不够理想时 ,差分进化可能快速 收敛到局部极值点 ,因而引入适当的变异算子以产 027 Ξ 收稿日期 : 2004203204 ; 收到修改稿日期 : 2004204207 　　　　E2mail : wuming - z @etang. com 作者简介 : 张吴明 (19762) ,男 ,黑龙江省人 ,清华大学机械工程系博士研究生 ,主要从事光学三维测量的研究。 图 1 　差分进化示意图 ,这是个二维的例子 , 图中闭合实线为目标函数等值线Ε ———N P parameter vectors from generation G ; ·———Newly generated parameter vector V 。 生能够跳出局部极值的新个体是必要的。另外 ,首 先用差分进化对所有个体进行运算 ,然后随机选择 一段变化后的个体进入下一代 ,子代的其余位置则 直接由父代相应位置个体填充 ,这种完全的随机选 择削弱了差分进化的目标明确、快速收敛的特性。 通过参考其它进化算法 ,作者为差分进化设计了新 的选择算子 ,如图 2 所示。其中 Gp 为父代、Gr 为重 组产生的临时子代 , Gm 为变异产生的临时子代。 可以看到 ,经过本选择算子产生的子代既包含了最 好的个体 ,同时也保持了种群的多样性 ,兼顾了全局 性与局部收敛性。 图 2 　选择算子示意图 改进的差分进化算法包括 7 个控制量 ,分别为 两个权重系数λ和 F ,三个比率 R , M 和 S ,种群规 模 n 和最大迭代次数 t 。设定控制量后按以下步骤实 施算法 : (1) 提供包含 n 个个体的初始种群 G0 ; (2) Gp = G0 ; (3) 由 重 组 算 子 得 到 临 时 子 代 Gr = recombination ( Gp , R ,λ, F) ; (4) 由 变 异 算 子 得 到 临 时 子 代 Gm = mutation ( Gp , M ) ; (5) 将 Gp , Gr 和 Gm 组合起来 ,然后按适应度 降序排列得到临时子代 G ; (6) 由选择算子得到子代 Gc = selection( G , S , n) ; (7) Gp = Gc ; (8) 重复步骤 (3) 至 (7) 直到满足终止条件 ,通 常是达到最大迭代次数 t 。 3 　相机模型 在本文的研究中 ,针对镜头的畸变 ,采用了针孔 成像模型。图 3 为三维世界坐标系中的点经相机成 像的模型。下面先讨论以下几个坐标系 : (1) 世界坐标系为 Xw Yw Zw O 。在三维空间中 的任意一点 P 在此坐标系中的坐标为 ( Xw , Yw , Zw) 。 (2) 相机坐标系为 Xc Yc Zc O 。以相机光心为原 点 ,光轴为 Zc 轴 , Xc Y c 面平行于图像平面的坐标 系。 (3) 图像坐标系为 xoy。以光轴和图像平面的 交点 (称为主点) 为原点 ,单位为毫米。 (4) 像素坐标系为 uo′v 。计算机图像平面的坐 标系 ,原点在屏幕的左上角 ,以像素为单位。 图 3 　相机模型 　3 . 1 　从世界坐标系到相机坐标系 记平移分量为 [ T x , Ty , T z ] , 绕三个轴的旋转 角为[θ,Ψ , <]。一个物点在不同坐标系中的坐标可 由平移向量 T 和旋转矩阵 R 求得 : Xc Yc Zc = R Xw Yw Zw + T (2) R = cosΨcosθ - sinΨcos < + cosΨsinθsin < sinΨsin < + cosΨsinθcos < sinΨcosθ - sinθ cosΨcos < + sinΨsinθsin < cosθsin < - cosΨsin < + sinΨsinθcos < cosθcos < (3) 　3 . 2 　从相机坐标系到图像坐标系的变换 不考虑镜头的畸变 ,在把相机当作理想针孔模 127 第 6 期 张吴明 ,等 : 　基于改进差分进化算法的相机标定研究 型时有 x = f ( Xc/ Zc) y = f ( Yc/ Zc) (4) 式中 , f 为有效焦距 ,代表相机光心到图像平面的距 离。 上面的针孔模型是理想情况下的模型 ,实际的 相机总是存在着镜头畸变 ,导致所得到的图像坐标 与由针孔模型计算出的坐标之间有一个差值。 x = x +δx y = y +δy (5) 　　本文的镜头畸变模型如公式 (6) 所示。其中 k1 和 k2 为轴向畸变参数 ; p1 和 p2 为偏心畸变参数 ; r = x 2 + y2 。 δx = k1 x r2 + k2 x r4 + 2 p1 xy + p2 ( r2 + 2 x 2) δy = k1 yr2 + k2 yr4 + 2 p1 xy + p1 ( r2 + 2 y2) (6) 　3 . 3 　从图像坐标系到像素坐标系的变换 该过程实现的是从以毫米为单位的图像坐标系 到以像素为单位的像素坐标系的转变公式 : u = u0 + N x x sx v = v0 + N yy sy (7) 式中 , ( u0 , v0) 为主点 ,其近似值为图像的中心像素 坐标 ; N x 和 N y 为在 x 方向和 y 方向上传感器的个 数 ; sx 和 sy 为 CCD在 x 方向和 y 方向上的尺寸。N x , N y , s x , sy 这四个量是已知的 ,可以从相机说明书中 找到。 4 　相机标定 从以上对相机模型的介绍可以看到 ,有 [ T x , Ty , T z ] 和 [θ,Ψ , <]6 个外参数 ,以及 f , ( u0 , v0) , k1 和 k2 , p1 和 p27 个内参数 ,共 13 个参数需要标 定。非线性优化的目标函数的定义是 :由标定参数求 得的标定点与由图像识别的标定点之差的标准差 , 见公式 (8) , 其中 ( u , v) 是由标定块图像识别出的 圆心图像坐标 , ( u , v) 是标定参数和已知标定块上 圆心世界坐标计算出的圆心图像坐标。 E = [ e1 ·e2 ·⋯·e2 n ] = [ ( u1 - u1) ·( u2 - u2) ·⋯· ( un - u n) ( v1 - v1) · ( v2 - v2) ·⋯·( v n - v n) ] 　　　　st d = 12 n - 1 ∑ 2 n i = 1 ei - 1 2 n ∑E 2 (8) 若直接采用分步法 ,则标定过程如下 : (1) 对用相机拍摄的标定块照片进行圆点识 别 ,得到亚像素级的圆心像素坐标。 (2) 根据识别出的圆心像素坐标和已知标定块 上圆心的世界坐标 ,忽略镜头畸变 ,用 Tsai 算法将标 定方程化为线性方程组来求解外参数和有效焦距。 (3) 将求得的外参数、焦距和其它内参数的估 计值作为初始值 ,代入传统的局部优化算法得到标 定参数。 在研究标定算法的过程中发现 ,待优化的目标 函数具有多个局部极值点 ,直接采用传统的局部优 化算法会导致迅速收敛到局部极值点 ,而非全局最 优解 ,影响标定精度。因此在第二步求得相机外参 数和焦距之后 ,将求得的外参数、焦距和其它内参数 的估计值作为初始值 ,用改进的差分进化算法在此 初始值附近的范围内进行全局寻优 ,直到最优个体 满足终止条件。 为了避免陷入局部极值点 ,进化算法可随机产生 一定的个体以保持种群的多样性。当迭代一定次数 后会在最优解附近跳动 ,收敛速度减慢。为了加快收 敛速度和收敛精度 ,在改进差分进化算法迭代到一定 次数或达到一定的收敛精度后即停止迭代 ,然后将最 好的个体作为初始值用传统的局部优化算法进行优 化 ,得到最终的标定结果。 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 图如图 4 所示。 识别标定块图像的圆心像素坐标 ↓ 已知标定块上圆心世界坐标和识别圆心像素 坐标 ,用 Tsai 算法得到外参数和有效焦距 ↓ 在求得的外参数、焦距和其它内参数的估 计值为初值的范围内 ,用改进的差分进化 算法进行一定次数的迭代得到最好的个体 ↓ 将此最好的个体作为初始值代入传统 的局部优化算法得到最后的标定结果 图 4 　结合分步法与改进的差分进化 算法的相机标定流程图 5 　实验结果 采用 9 行 11 列共 99 个圆点和圆心行列间距均 为 30mm 的平面标定块进行实验。实验结果用前述 的像素偏差标准差衡量。实验用相机为 BASL ER A302f ,镜头为 12mm 的定焦镜头 ,相机参数如表 1 所示。 表 1 　相机参数 s x/ mm sy/ mm N x/ 个 N y/ 个 标称值 f / mm 6. 4740 4. 8306 780 582 12 　　实验分三组 ,第一组是用 Tsai 算法得到的外参 227 光　学　技　术　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　第 30 卷 数和有效焦距 ;第二组用第一步的结果和其它内参 数估计值 (表 2) 作为初始值 ,然后直接用传统的局 部优化算法优化 ;第三组用本文的算法在表 3 所示 的求解范围内寻优得到标定参数 ,其中改进差分进 化算法的控制参数见表 4。 表 2 　部分内参数估计值 u0 v 0 k1/ mm k2/ mm p1/ mm p2/ mm 390 291 0 0 0 0 表 3 　改进差分进化算法求解范围 T x/ mm T y/ mm T z/ mm θ/ (°) Ψ/ (°)