灰度投影结合Fisher准则的对象分割

灰度投影结合Fisher准则的对象分割 第 26 卷 第 9 期 2005 年 9 月 计算机工程与设计 Sept. 2005 Vol . 2 6 No . 9 Computer Engineering and Design Fisher 灰度投影结合 准则的对象分割 胡正平 () 燕山大学 电子与通信工程系,河北 秦皇岛 066004 摘 要:视频对象分割是基于内容的视频编码和视频检索中的关键技术。结合 Fisher 准则和基于运动估计和背景补偿 的对象跟踪方法,提出了一种可以从复杂场景中分割出 MPEG-4 的视频对象新方法。首先采用灰度投影匹配进行全局 运动估计和补偿,用以消除背景变化的影响;然后由二次差分抽取中间帧解决遮挡问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ,通过 Fisher 评价函数结合数 学形态学填充得到运动对象分割掩膜,同时消除残余噪声以及平滑边缘。实验结果表明,该方法在一定范围内较好地 解决了遮挡问题,并能够高效快速地得到比较精确的视频对象。 关键词:视频对象分割; 灰度投影; Fisher 准则 () 文章编号:1000-7024 200509-2439-04 中图法分类号:TP391.4文献标识码:A Automatic segmentation for video objects based on gray projection and Fisher criterion HU Zheng-ping () Department of Electronic and Communication Engineering, Yanshan University, Qinhuangdao 066004, ChinaAbstract:Segmentation of video sequence is the key issue in video coding standard MPEG-4 and video retrieval system. A new method for video objects segmentation from different scenes. In this method, the method of the fisher criterion function image thresholding and tracking method based on the motion estimation and compensation are combined. Fistly, the effect of background change is resolved by making use of gray projection for motion estimation and compensation. Secondly, a dual frame difference operator is used to solve the problems of occlusion. Thirdly, using fisher criterion function to threshold image and morphologic method to fill and smooth the gained binary mask. So the accurate contour of moving object could be obtained. Experiment results show that the proposed algorithm is robust, fast and efficient in result of segmentation video object. Key words:video object segmentation; gray projection; fisher criterion function 用于已知先验条件的对象分割，并需要人工设定门限，不具有1 引 言 [] 5 自适应性;基于活动轮廓模型的方法，以闭合曲线作为对 视频对象分割是指从视频序列中分割出有意义的区域， 象轮廓线，用能量目标函数最小化实现视频对象分割，此方法这些有意义的区域在数字视频中被称为视频对象。就目前的 优点是边缘准确，缺点是计算量巨大，且需要人工设置模型参 应用需求以及技术可行性而言，大多数都属于从背景中分割 数;基于 Gibbs 随机场模型结合时空结合的视频对象分割算 出运动目标。研究者针对不同的应用背景提出了许多有效解 []6 法，此方法将时间域分割结果作为初始标记，将空间域分割决问题的思路。一方面视频对象分割在视频编码、机器视觉、 结果作为观察量，该方法分割结果对空间域依赖性较弱，且计 模式识别、视频监视等领域具有广阔的应用前景，一直是图像 算代价巨大基于检测变化区域的分割方法，该方法通过全; 分析技术的研究热点;另一方面由于图像内容本身的复杂性 局运动估计和补偿后的背景静止，通过帧间差分检测出运动以及计算机智能的不足，以至于至今还没有通用的有效解决 [] 区域。文献7采用高阶统计量分割运动与背景区域，缺点是 办法 鲁班奖评选办法下载鲁班奖评选办法下载鲁班奖评选办法下载企业年金办法下载企业年金办法下载 ，大都根据具体情况采用有效的方法。计算量较大; 利用例如分水岭等静态分割算法结合帧间运 研究者提出了多种有效的自动分割算法，它们大都遵从 []8。 动信息提取运动对象 2 算法框架与实现 2.1 原理框图 视频对象分割方法原理框图如图 1 所示。 t-1 帧 运动估计 背景补偿 二 t 帧 次 差 () () at-1 帧 bt 帧 分 t-1 帧 运动估计 背景补偿 灰度 灰度 Fisher 数学 得 到 提取 门限 形态学 分 割 视频 判决 滤波 掩 模 对象 坐标 坐标 () () ct-1 帧列灰度投影图 dt 帧列灰度投影图 图 1 视频对象分割方法 、 , , 设 , , 表示一个背景静止的视频序列 ，、1 , , , = , ，, 是其中相邻的连续 3 帧 +1 +1 相关 , 表示连续 3 帧的二次差分图像，表示连续两帧的差 1 [9，10] 分图像。 由于视频对象的运动，仅仅凭序列图像帧差灰度的改变检 位移[]7提出的获 测出来的运动区域会比实际运动对象大，采用文献 取中间帧相对运动边缘的处理方法能够获得较好的边缘结果。 2.2 灰度投影匹配全局运动估计 () e列投影相关曲线图 灰度投影匹配算法是利用所获得的图像灰度的总体分布 的变化规律来获取当前帧相对于参考帧在垂直方向和水平方 图 2 灰度投影匹配全局运动估计 []11，它具有计算速度快的特点，对只含有平移运 向的运动矢量 用同样的方法，可求出垂直方向上的运动矢量为正， 动或旋转运动量较小的图像序列具有较高的检测精度。时表明当前帧相对于参考帧向上运动了 像素 为负时则 ，首先对于输入的图像序列中的每一帧图像经过适当的剪 切处理后，把其灰度值映射成 2 个独立的一维波形，投影方法 表明当前帧对于参考帧向下运动了? ?像素。用投影计算 可表示为: () () :，。 =6 =0法得出图 2b相对于图 2a的运动矢量分别为 2.3 Fisher 准则自适应门限 为了能对两类特征进行有效的识别，必须要衡量两个类 () 1= , 别的分离度，针对差分图像分割的阀值选取问题，引入模式识 ()2 = , Fisher 评价函数作为分割准则，其定义 别理论的 为第 帧图像第 列的灰度值 是第 帧图像式中，;, 1 2 ()= 5 22 ( ) 上位置处的像素灰度值;为第 k 帧图像第 行的灰度值。 + 1 2 2 2 这里 分别为两类特征的均值与方差。 ，，， 1 2 1 2 分别将当前帧与参考帧的行、列灰度投影波形作互相关 计算，根据两条相关曲线的谷值即可确定当前帧相对与参考 从上式可以看出，当两个类别之间的平均距离很大，且各 ()()帧的行和列的运动矢量。对于图 2a,图 2b两个相邻帧图像， () 类方差很小时，JY取最大值。在进行图像分割时，必须考虑 2(b)相对于图 2(a)的水平方向的运动矢量为例说明投 目标和背景象素的先验概率 和 1- ，所以在考虑了类别先验 以求图 ()影算法的实现方法。选取1:49,1:118即 49*118 有效面积。设 概率的情况下，Fisher 评价函数修正为: ()() 2(c)中的列投影曲线为 y1x，图 2d中的列投影曲线为 y2 图1 2 ()()x,= 6 在图 2 中取 21:108 共 88 单位的灰度投影值进行相关计算， 2 2 + 1 1 2 88 2 这 里，，分 别 为 目 标 的 均 值、概 率 以 及 方 差，1 1 2 2 其公式为 () := 1 + 1 2 20+ 1?j?31 3 分别为背景的均值、概率以及方差。，1 ， 2 2 =1 2.4 运动分析则水平方向的运动矢量为: 虽然上面的自适应门限选取可以随着整体亮度的变化而 ()4 =21 min 变化，但是对于复杂背景的运动对象，由于帧内门限的单一化 为正时表明当前帧相对于 [] 表示 的最小值，其中，min 仍然有存在部分噪声和背景的可能。可以对运动对象进行分 参考帧向右运动了 象素，为负时则表明当前帧对于参考 析，采用三步搜索的块匹配算法去除背景以及噪声的影响。对 ()() 帧向左运动了? ? 象素。Cj相关曲线如图 2e所示。 于属于运动对象的区域，计算: , =arg min , , , ()7 , , , , () () 其中，B x, y是以 x, y为中心，M x M 的块，如果位移 , , , 不为 0，则此象素属于运动区域;否则属于背景 区域。 () () e二次差分结果 f传统差分法结果 2.5 运动对象分割 图 3 测试静止运动序列 经过上述步骤的处理后得到的二值图像包括运动对象、 被覆盖和显露的背景。如果运动速度比较快，将导致被覆盖 和显露的区域较大，提取的运动对象轮廓不精确，这时可以考 虑运动对象的边缘信息。采用边缘检测算子检测出当前帧的 边缘信息，结合运动区域就可以较为准确的得到运动对象的 边界信息。由于运动对象表面纹理不够，内部一般会出现空洞现象， 所以需采用数学形态学中的填充、腐蚀，膨胀、开、关等组合算 () () a第 k 帧 b运动区域 子进行内部填充和边缘平滑处理，最终结果即为中间帧运动 对象的二值掩模，从而最终提取出运动对象。 3 实验结果 首先利用该算法对不同的静止背景运动序列进行了测 () 试。图 3.a 表示标准测试序列 hall_monitor 的第 36 帧;图 3 b是二次差分图像经过 Fisher 自适应门限和数学形态学滤波后 检测出的运动变化区域，为了突出显示效果，采用白色表示差 () () c二值分割掩膜 d视频运动对象 分图像中灰度非零的部分，黑色表示零灰度部分。图 3.c 是视 图 4 测试静止背景电影序列 () 频对象的边界;图 3 d是数学形态学处理后获得的视频对象 () 的二值分割掩膜;图 3e是采用该方法得到的第 36 帧的对象 ( )分割结果;图 3f给出了传统差分法所获得的对象分割结果。 明显可以看出利用连续三帧的二次差分处理的结果，比利用 () 相邻连续两帧差分处理的结果要好。图 4a表示某电影序列 () k 帧;图 4b是 Fisher 门限和数学形态学滤波后检测出的 的第 () 4c是结合对象的边界进行数学形态学处理 运动变化区域;图 ()后获得的视频对象的二值分割掩膜;图 4d是第 k 帧的对象分 割结果。图 5 与图 6 显示了利用该算法对不同的运动背景的 运动序列进行测试。所有测试结果表明提出的算法对于静止 () () a第 k 帧 b运动区域 背景以及运动背景都有较好的检测结果，同时对于刚体与非 刚体对象也是有效的。 () () c二值分割掩膜 d视频运动对象 图 5 测试运动背景运动序列 []ving objects for video object plane generation J. IEEE Transac- ()tions on Circuitsa nd Systemsf or Video Technology1, 998,850: 525-538. []2 Nguyen H T, Worring M, Dev A. Detectiono f moving objects in []video using a robust motion similarity measureJ. IEEE Tran- ()saction on Image Processing,200 0, 91:137-141. []3 Bors Adrian G,Pitas Ioannis. Prediction and tracking of moving []objects in image sequence J. IEEE Transactionso n Image Pro- ()() () cessing, 2000, 98:1441-1445. a第 k 帧 b运动区域 [][] 4 宋立锋, 韦岗, 王群生. 基于模板匹配的视频对象分割J. 电子 ()学报, 2002,307:1075-1078. []杨莉,杨新. 基于区域划分的曲线演化多目标分割J. 计算机 []5 学报, 2004,27(3):420-425. 陈韩锋, 戚飞虎. 视频对象分割中基于 Gibbs 随机场模型的时 []6 []空分割结合方法J.电子学报, 2004, 32(1):34-37. []杨莉, 张弘, 李玉山. 视频运动对象的自动分割 J. 计算机辅 []助设计与图形学学报, 2004,16(3):301-306. 7 邬正平,卜家俊, 陈纯. 一种基于动态规划的视频对象分割方 []法J. 计算机辅助设计与图形学学报, 2002,14(8):743-746. () () []c二值分割掩膜 d视频运动对象 8 王成儒, 顾广华, 胡正平. 基于对象的视频分割算法研究与实 []()现J.电视技术, 2003,11:38-40 图 6 测试运动背景电影序列[]9 [] 顾广华. 面向 MPEG-4 的视频对象分割与跟踪算法研究 D. 秦皇岛:燕山大学, 2003. 室内外、简单和复杂背景下都能得到较好的分割结果， 证明 住所证明下载场所使用证明下载诊断证明下载住所证明下载爱问住所证明下载爱问 该[]10 Zhong Ping, Yu Qian-yang, Wang Ming-jia,et al. Method for im- 方法具有较强的鲁棒性，但是在一定程度上也存在轮廓不够精 proving accuracy of projection algorithm for the electronic im- 确的问题。如何将动态轮廓跟踪以及各种统计场模型精确运 []11 动对象轮廓，同时提高算法的速度是进一步研究的目标。[]age stabilization J. Journal of Optoelectronics Letters, 2003, ()1492:182-186. 参考文献: [] 1Meier Thomas, Ngan King N, Automatic segmentation of mo- () 上接第 2438 页 益复杂，需要进一步改进数据模型，较完整地表达和建立了路都是当前加权距离最小的结点。当一个结点的加权距离和状 态发生变化时，它在结构序列中的位置也要相应改变。如对 网的拓扑关系 最短路径分析系统的控件化，提高通用性将; () 于加权距离为 d 1的临时标记结点 i，若结点 i 的加权距离变 系统封在 ActiveX 控件，为用户提供通用的二次开发接口，用 ()() () d2，则要将它相应地从结构 d1移到新的 d2中;若结点 i 为户可以在各不同开发环境中使用。 ()变为永久标记结点，则要将它从结构中 di中删除。 目前，对最短路径分析来说，最短路径算法的实现效率、为了进一步优化算法，在算法的实现中设置一个索引 L， 基础道路数据的更新、路网数据模型的改进等都是制约其“最L 的初始值为 0，所有满足 i< L 的都为空。下一个要扫描的结 短路径搜索及性能”的瓶颈，因此还有大量详实的工作要做。 点直接从结构 L 中取出，若 L 为空，则 L+1。改进算法中，虽 然“维护序列”占用了一定的内存资源，但相关的操作复杂度 参考文献: ()() O1或 Om + nc。 仅为 4 结 论 [][]1 卢开澄.图论及其应用M.北京:清华大学出版社, 1994. []邹裕东. 具有交通限制的道路网络最优路径算法M. 北京: 导 []2 车辆监控导航系统在国内作为 GPS、GIS 和通信技术集成 航出版社, 2000. 的结果，有许多的技术和理论问题值得研究和探讨。本文在 []刘基余,李征航. 全球定位系统原理及其应用M.北京:测绘出 进行系统研制过程中，主要对以下几个问题进行了理论和实 []3 版社, 1993. 践上的探讨。 通过对国内、外车辆导航系统应用技术状况 []苏永云. 车辆导航系统的动态最优路径搜索方法研究J.系统 []4 工程, 2000. []方群.卫星定位导航基础M. 西安:西北工业大学出版社, 1999. 分析，探讨并给出了车辆监控导航系统的技术构成模式 针; []吕关锋. 车辆监控导航系统若干问题的研究J. 电子科技大 []5 对城市路网的特点，对最短路径分析的各项关键技术进行了 学, 2001. 研究，提出了一种实用的最短路径分析解决方案，在此基础上 []6 实施了最短路径分析方法及技术; 城市交通设施和规则日