识别桔子树干的图像处理方法研究

识别桔子树干的图像处理方法研究 分类号 S225.93 密级 公开 U D C 004.8 编号10299S0616019 硕 士 学 位 论 文 识别桔子树干的图像处理方法研究 Research on Processing Method of Orange Trunk Recognition 陈 庆 丰 指导教师 邱 白 晶 江苏大学农业工程研究院 申请学位级别 硕 士 专业名称 农业机械化工程 论文提交日期 2009年4月 论文答辩日期 2009年 6 月 学位授予单位和日期 江苏大学 2009年 答辩委员会主席 陈树人 评阅人 ______________ 2009年6月 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保 密 ?，在 年解密后适用本授权书。 本学位论文属于 ? 不保密 , 学位论文作者签名: 指导教师签名: 2009年6月 14 日 2009年6月 14日 独 创 性 声 明 本人郑重声明:所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名: 日期: 2009年6月14日 江苏大学硕士学位论文 摘 要 基于视觉的自动导航研究一直是当今计算机视觉的热点之一。本研究是智能柑橘收获机器人自动导航技术研究的一个基础部分，用桔子树干的存在和位置信息代表果树的有无与位置信息。桔子树干图像分割和特征提取，是将摄像机采集的图像中的桔子树干与所在周围环境分割，并且获取特征点数据的方法和技术。 本文在对常规的图像分割算法的研究和分析的基础上，针对桔子树干图像本身的特点并结合先验知识，提出了适用于桔子树干图像分割的算法，初步实现了桔子树干图像的计算机自动分割。本研究的主要内容和结论如下: 1. 运用三种常规图像分割算法试分割桔子树干图像，分析对比三种算法的分割效果，得出简单利用常规方法不能够满足桔子树干自动分割的要求。 2. 提出了基于彩色图像分割的算法。本文通过对桔子树干图像分析，发现桔子树干区域中的像素点的G分量值与R分量值的比值大约为0.9。根据这一特征选择初始颜色特征向量进行彩色图像分割，经过线性空间滤波、形状特征分割等主要处理步骤，可以提取出桔子树干。采用数学形态学运算修复分割中产生的桔子树干不连续区域，可以完全消除图像中的孔洞，对断裂区域的连接效果良好。正确识别率达到了75%。 3.本文提出了适用于桔子树干分割的剥离算法。桔子树干图像可分为三部分:桔子树干区域、绿色区域以及背景区域。算法思想是依次去除绿色区域和背景区域，则保留下来的就是桔子树干区域，就可以精确的将桔子树干从图像中分割出来。本算法通过对像素点亮度值的操作，成功的在彩色图像中完全去除桔子树冠和杂草区域、天空背景及亮斑等区域,而几乎不改变桔子树干区域的信息。在二值图像中，运用树干与土壤背景的之间的形态特征分别去除土壤背景。经过对40幅图像进行试验，该算法的识别正确率达到了92.5%，桔子树干识别率平均达到了86.2%，平均处理时间为1.535s。将提取的桔子树干还原到原图像中，桔子树干中轴线的定位误差平均为0.802 pixel。 总之，本论文所提出的识别桔子树干的图像处理方法，可以为我国的水果收获机器人研究提供基础，本研究的成果及方法为推进其他水果机器人的自动化与智能化进程提供了一种有效的新思路。 关键词:自动导航，图像分割，桔子树干，剥离算法，数学形态学 I 江苏大学硕士学位论文 ABSTRACT The research on auto navigation by vision is one of the focuses of computer vision in recent years. This paper is a basic part of Orange Harvesting Robot’s auto navigation work. The existence and position information of the orange trunk indicated those of the Orange-Tree in this paper. The method of orange trunk image segmentation and feature extraction is to segment an individual orange trunk from its surrounding in the photography image of the orchard, and mark the feature points. This paper, combining the features of orange trunk image self and known knowledge, proposes two new methods on the basis of the known arithmetic that is suitable to segment the orange trunk out of image. At last, automatic segmentation of orange trunk images were realized. The following are the main research works and conclusions. 1. Try to segment the orange trunk image by three methods of known image segmentation algorithms, analyze and contrast their results. To draw a conclusion, it is unsuitable to orange trunk image segmentation by simple using the known algorithms. 2. A new arithmetic based on color image segmentation to detect orange trunk was given. After the orange trunk image analysis, the ratio of G lightness value to R lightness value of pixels in the orange trunk region is about 0.9. By initializing the color feature vector for color segmentation, the orange trunk was extracted by main processing steps of linear filtering and shape features segmentation. The discontinuous region was repaired by mathematical morphology, which completely fills the holes on orange trunk and have a good effect on connection the region of fracture. Recognition success rate is up to 75%. 3. This paper puts forward a Peeling Algorithms that is suitable to segment the orange trunk out of image. An orange trunk image can be divided into three parts: orange trunk, green region and background. The peeling algorithm idea is to hold on the orange trunk region by removing green region and background, the orange trunk was accurately segmented from an image. The algorithms have been successfully applied in removing orange crown, weeds, sky background and light spots by pixel point lightness value operation, but hardly change the information of orange trunk region. On binary image, this method removed soil background by using characters II 江苏大学硕士学位论文 between trunk and soil background and truck. The experiment showed that recognition success rate is up to 92.5%，recognition rate of orange trunk, on the average, 86.2%, and the average processing time 1.535s. After putting the orange trunk back to the original image, the location error of orange trunk medial axis reached 0.802 pixel on the average. This research gets the new methods of orange trunk recognition, which can provide the research base for Chinese Orange Harvesting Robot. It provides a new idea for pushing forward the automatic scheduling for fruit robots. Key word word文档格式规范word作业纸小票打印word模板word简历模板免费word简历 s: auto navigation, image segmentation, orange trunk, peeling algorithm, mathematical morphology III 江苏大学硕士学位论文 目 录 第一章 绪 论 ???????????????????????????????????????????????????????????????????????????????????????????????????????????????? 1 1.1引言??????????????????????????????????????????????????????????????????????????????????????????????????????????????1 1.2研究的目的和意义 ??????????????????????????????????????????????????????????????????????????????????????1 1.3国内外研究现状及发展趋势 ???????????????????????????????????????????????????????????????????????3 1.3.1 图像分割研究现状 ?????????????????????????????????????????????????????????????????????????3 1.3.2 国内林木图像处理现状 ?????????????????????????????????????????????????????????????????4 1.4研究内容及关键问题 ???????????????????????????????????????????????????????????????????????????????????5 1.4.1 研究内容 ????????????????????????????????????????????????????????????????????????????????????????5 1.4.2 关键问题 ????????????????????????????????????????????????????????????????????????????????????????6 1.5本章小结 ??????????????????????????????????????????????????????????????????????????????????????????????????????6 第二章 计算机视觉系统的组成及图像获取 ???????????????????????????????????????????????????????????????? 7 2.1 计算机视觉系统的硬件部分 ??????????????????????????????????????????????????????????????????????7 2.1.1 摄像机 ????????????????????????????????????????????????????????????????????????????????????????????7 2.1.2 图像采集卡 ????????????????????????????????????????????????????????????????????????????????????8 2.1.3 计算机 ????????????????????????????????????????????????????????????????????????????????????????????9 2. 2 计算机视觉系统的软件部分 ?????????????????????????????????????????????????????????????????????9 2.3计算机视觉系统参数确定 ???????????????????????????????????????????????????????????????????????????9 2.3.1视觉系统硬件安装 ??????????????????????????????????????????????????????????????????????????9 2.3.4图像采集卡参数设定 ???????????????????????????????????????????????????????????????????? 10 2.4桔子树图像的采集 ???????????????????????????????????????????????????????????????????????????????????? 11 2.4.1 温州蜜柑简介 ??????????????????????????????????????????????????????????????????????????????? 11 2.4.2 图像采集 ?????????????????????????????????????????????????????????????????????????????????????? 11 2.5本章小结 ???????????????????????????????????????????????????????????????????????????????????????????????????? 12 第三章 桔子树干图像分析及常规方法分割研究?????????????????????????????????????????????????????? 13 3.1 引言 ??????????????????????????????????????????????????????????????????????????????????????????????????????????? 13 3.2彩色空间 ???????????????????????????????????????????????????????????????????????????????????????????????????? 13 3.2.1彩色空间的基本概念 ???????????????????????????????????????????????????????????????????? 13 3.2.2典型彩色空间 ???????????????????????????????????????????????????????????????????????????????? 13 3.3桔子树干图像分析 ???????????????????????????????????????????????????????????????????????????????????? 15 3.4 常规图像分割方法及应用 ???????????????????????????????????????????????????????????????????????? 17 3.3.1基于阈值的分割方法 ???????????????????????????????????????????????????????????????????? 18 3.3.2基于边缘检测的分割方法 ???????????????????????????????????????????????????????????? 21 3.3.3基于相对色彩因子的分割方法 ????????????????????????????????????????????????????? 23 3.5本章小结 ???????????????????????????????????????????????????????????????????????????????????????????????????? 25 IV 江苏大学硕士学位论文 第四章 桔子树干图像彩色分割算法 ?????????????????????????????????????????????????????????????????????????? 26 4.1引言???????????????????????????????????????????????????????????????????????????????????????????????????????????? 26 4.2 彩色图像分割算法???????????????????????????????????????????????????????????????????????????????????? 26 4.2.1 算法简介 ?????????????????????????????????????????????????????????????????????????????????????? 26 4.2.2 初始特征向量获取 ??????????????????????????????????????????????????????????????????????? 26 4.3 图像线性空间滤波与二值化 ???????????????????????????????????????????????????????????????????? 28 4.3.1 卷积 ?????????????????????????????????????????????????????????????????????????????????????????????? 28 4.3.2 图像线性空间滤波 ??????????????????????????????????????????????????????????????????????? 29 4.3.2 图像二值化 ?????????????????????????????????????????????????????????????????????????????????? 30 4.3.3 面积和形状特征分割 ??????????????????????????????????????????????????????????????????? 32 4.4图像形态学修复 ???????????????????????????????????????????????????????????????????????????????????????? 32 4.4.1 形态学简介 ?????????????????????????????????????????????????????????????????????????????????? 32 4.4.2 不连续树干区域修复 ??????????????????????????????????????????????????????????????????? 37 4.5彩色图像分割流程及试验 ????????????????????????????????????????????????????????????????????????? 41 4.5.1彩色分割程序流程 ???????????????????????????????????????????????????????????????????????? 41 4.5.2 图像分割试验及分析 ??????????????????????????????????????????????????????????????????? 42 4.5 本章小结 ??????????????????????????????????????????????????????????????????????????????????????????????????? 43 第五章 桔子树干图像剥离分割算法 ?????????????????????????????????????????????????????????????????????????? 44 5.1 引言 ??????????????????????????????????????????????????????????????????????????????????????????????????????????? 44 5.2 绿色区域分割 ??????????????????????????????????????????????????????????????????????????????????????????? 44 5.3 彩色图像背景分割???????????????????????????????????????????????????????????????????????????????????? 45 5.4 色彩因子分割 ??????????????????????????????????????????????????????????????????????????????????????????? 47 5.5 二值图像土壤背景分割 ???????????????????????????????????????????????????????????????????????????? 48 5.6 特征提取 ??????????????????????????????????????????????????????????????????????????????????????????????????? 50 5.6.1 树干形态参数 ??????????????????????????????????????????????????????????????????????????????? 51 5.6.2 桔子树干区域参数 ??????????????????????????????????????????????????????????????????????? 51 5.6.3 中轴线 ?????????????????????????????????????????????????????????????????????????????????????????? 51 5.7 图像分割试验及分析 ???????????????????????????????????????????????????????????????????????????????? 52 5.8 本章小结 ??????????????????????????????????????????????????????????????????????????????????????????????????? 55 第六章 总结与展望 ???????????????????????????????????????????????????????????????????????????????????????????????????????? 56 6.1 本文的主要工作 ??????????????????????????????????????????????????????????????????????????????????????? 56 6.2 后续工作及展望 ??????????????????????????????????????????????????????????????????????????????????????? 57 6.2.1 后续工作 ?????????????????????????????????????????????????????????????????????????????????????? 57 6.2.2 工作展望 ?????????????????????????????????????????????????????????????????????????????????????? 57 参考文献??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 59 致 谢 ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? 63 攻读硕士学位期间发表的学术论文????????????????????????????????????????????????????????????????????????????? 64 V 江苏大学硕士学位论文 第一章 绪 论 1.1引言 中国是一个发展中的农业大国，农业问题始终是关系到中国经济社会发展的根本问题。农业作为国民经济最重要的基础产业，对经济社会的发展和人民生活起着极为重要的保障作用。20世纪后半叶，我国以仅占世界7%的耕地养活占世界22%的人口，其中农业科技作出了巨大的贡献。但目前随着人口的不断增长和环境的不断恶化，加上农产品价格低、农业收益差，农业生产环境艰苦，我国的农业发展正面临着严峻的考验。为使农业得到持续稳定的发展，技术替代资源的发展道路将是21世纪农业的必然选择[1]。随着计算机技术和电气技术的发展,智能机器人在社会许多领域得到了广泛的应用。在农业生产中，由于作业对象和环境的复杂性及多样性，研究发展农业机器人是目前农业机械发展的一个重要内容，具有广阔的的市场前景和巨大的经济效益。 我国是世界上水果生产大国，目前水果总产量已超过6000万吨，约占全球产量的14%。中国有多种水果产量居世界领先地位，其中柑橘产量居世界第三位，占世界总产量的10.8%。就栽培面积而言，我国的柑橘栽培面积列世界第一位，占世界总栽培面积的18%。然而就单产而言，世界每公顷平均产量为14.5T，最高的为美国，达到36.9T，而中国目前的单产只有7.7T，约为美国的1/5,世界平均水平的53%，单位面积产量低是我国柑橘竞争能力提升的制约因素之一[2]。另外一个不能忽略的问题是我国柑橘果品质量不高，据乐观估计，优质果率为30%，真正算得上优质的只占5%，50%为大路货，20%为劣质果[3]。所以，在当前经济全球化的今天，要提高我国柑橘竞争能力，必须走优质化生产、产业化运作的路线。因而研究开发具有识别能力、视觉功能、作业柔性化、稳定可靠的智能化水果机器人，提高生产力，保证水果品质，降低生产成本，增加整体效益，必然是新世纪高科技农业发展的方向。 1.2研究的目的和意义 智能化农业机器人有很多种，根据用途不同可以分为:收获机器人、植保机器人、耕作机器人、田间管理机器人等等。其中，收获机器人是目前研究的一个 [64]热点领域。下面图1.1是一个典型的水果收获机器人作业流程图。可以看出， 1 江苏大学硕士学位论文 水果收获机器人的作业流程可以分为三大部分:自动导航、水果识别定位、完成采摘作业。自动导航部分，即图1.1中用黑色矩形框出来的作业部分，是水果收获机器人整个作业流程的基础。它体现了水果收获机器人本体与果树之间的相对位置关系，功能是将收获机器人与果树间的距离保持在机械手的作业范围内。 图1.1 水果收获机器人作业流程图 [4] 树干是从根颈到第一主枝之间的茎段,也称主干。识别树干是水果收获机器人在自动导航阶段的必要工作，原因如下: (1)在树木的有无这个问题上，树干可以代表果树。由于树干在地面以上承接树冠和根部的作用，而且对乔木来讲，树干具有唯一性，即每株树木有且仅有一个树干。所以，根据这种一一对应的关系可以得出，检测树干的有无可以代表果树的有无。 (2)在树木的位置这个问题上，树干的位置可以作为树木的位置。树干的唯一性为定位提供了必要的前提条件。而相对于树冠，树干的位置比较低，有利于视觉传感器信息的采集。树干本身的结构比较简单，具有一定形态特征，易于实现自动识别。树干一般来讲都比较粗大，即使在恶劣的天气中，比如大风天气等，树干的位移量要远远小于树冠的位移量，可以近似的认为位移不变。这种位移不变性是自动导航目标的必要条件。所以，根据树干的唯一性和位移不变性，可以认为树干的位置代表果树的位置。 2 江苏大学硕士学位论文 (3)某些情况下，必须识别出树干。在一些具体的场合，树干是水果收获机器人在果园内穿行的障碍物，树干之间的距离限制了水果收获机器人的通过性。这种情况下，必须识别出树干并计算树干之间的距离，为水果收获机器人判断的通过性提供信息。 本文的研究的目的是为水果收获机器人自动导航提供环境信息，对水果收获机器人完成整个收获作业过程具有重大意义。本文利用视觉传感器采集桔子树干图像，通过数字图像处理技术识别桔子树干。通过检测桔子树干的有无来判断果树的有无，测量桔子树干的位置来定位果树的位置，从而为解决自动导航中树木 。 的有无和树木的位置这两个核心问题提供信息 自动导航问题不仅存在于水果收获机器人中，更是多种智能机器人的作业基础。本文的研究是一项基础性的研究，主要意义是为多种智能农业机器人，尤其是果园机器人自动作业提供自动导航的基础信息。树干由于本身的特点，非常适合作为智能机器人自动导航的目标物，所以研究树干的数字图像处理方法为自动导航提供环境信息具有重大意义。另外，还可以为其他领域智能机器人自动导航提供一个研究思路。 1.3国内外研究现状及发展趋势 1.3.1 图像分割研究现状 从60年代末开始一直到今天，图像的分割一直是图像理解、图像识别、计 [5]算机视觉和人工智能研究人员的重要课题。 Pal等对分割方法总结中提到有几百种，但没有一种方法对所有图像都产生好的分割效果，不同种类的图像应采取 [6][7]相应分割方法。图像处理是针对性很强的技术，根据不同应用、不同要求需要采用不同的处理方法。目前的图像分割中依据的特征主要是颜色特征、形状特征、纹理特征等。另外还有采用近红外图像、光谱图像等进行图像分割的研究工作。这里主要介绍一下应用最广泛的颜色特征和形状特征的国内外研究进展。 1. 颜色特征 国外的图像分割算法主要集中在杂草识别领域以及自动导航领域。M.Ollis [8]和A.Stentz 从机器视觉识别收获作物的边缘开始智能收获机器人的研究，他们采用RGB 分量比提取收割作物的边缘特征，然后用阶梯模型识别边缘，并提出 [9]了用阴影补偿法剔除车辆本身投影影响边缘识别的问题。1995 年，Woebbecke 等在温室里自然光条件下采集各种杂草图片，按红色(R)、绿色(G)和蓝色(B) 3 江苏大学硕士学位论文 三种成分进行分析，通过比较多种颜色特征组合，得到了超绿特征(2g-r-b)的 [10]图像分割效果最好。2000 年，Pe?rez 等使用颜色特征(G-R)/(G+R)分割杂草图[11][12]像。2004 年，Meyer 等使用模糊算法综合超绿特征和超红特征识别小麦。 [13-14]S.I.Cho 等采用黑白CCD 相机寻找果园内路径，同时采用模糊控制算法实 [15]现果园喷药机器人的自动导航。Shin B.S.等用视觉传感器获取路径，采用WebCamera 和笔记本构成视觉系统，由单片机控制车辆的运动。Torii等运用图 [16]像的HIS 变换，通过离线训练—在线查表法，对像素进行分类，分割作物与 [17]背景。相阿荣同样利用HIS 彩色空间识别杂草和土壤。毛文华等通过颜色特 [18]征提出了苗期杂草图像的实时分割算法。Søgaard 采用超绿色彩因子组合 [19](2G-R-B) 分割图像，然后计算灰度重心确定作物位置，最后用Hough 变换提取作物行参数。 2. 形状特征 Yonekawa 等对紧密度、圆度、伸长度和粗糙度进行评价，认为利用这些简 [20]单形状因子进行图像分割是非常有效的。Lee 等通过形状特征识别杂草开发 [21][22]西红柿除草系统。Blasco 等根据作物和杂草面积的差异开发除草设备。 [23]Søgaard利用形状模板进行杂草识别，达到较好的识别率。纪寿文等2000 年 [24]利用投影面积、叶宽、叶长在玉米苗期识别出单子叶杂草。相阿荣通过杂草 [17]区域的面积和质心识别麦田常见杂草，识别率为92,。龙满生将BP 网络用 [25]于杂草形状识别。Bjorn astrand 用图像分割、Hough 变换算法识别甜菜行参[26][27]数。Yutaka Kaizu 研究基于机器视觉的插秧机自动导航系统，使用Hough 变换算法提取导航线参数。沈明霞对农田景物图像信息的提取方法包括图像分割[28][29][30]、基于纹理特征分析、基于形态特征分割等农作物边缘检测研究。周俊 [31,32]在图像分割方面，采取小波分解的方法，将图像分解到第4 个尺度后用阈值分类法提取油菜行区域。 1.3.2 国内林木图像处理现状 目前国内主要有两组人进行林木图像处理的研究工作:北京林业大学的李文彬等人和南京林业大学的郑家强等人。北京林业大学的研究是以树木的整枝抚育为应用背景，南京林业大学的应用背景是精确喷雾。下面就介绍一下他们的具体工作及相应的研究成果。 2004年，程磊[33]等提出了一种序列化的处理方法:首先综合运用基于色彩和纹理的图像分割方法获得初步分割图像，然后应用数学形态学方法修正分割后 4 江苏大学硕士学位论文 的图像，最后对分割图像中的树冠和树干进行整株树的标记，初步实现了一类树木图像的分割。2005年，杨华[34]等人对单株立木图像信息的提取分别运用近景摄影测量DLT模型和双目立体视觉技术进行解算,解决了立木图像信息与立木二维坐标之间的解算问题。2005年，孙仁山、李文彬[35,36]等从工程应用角度出发，应用二维小波分析技术对林木图像进行消噪、压缩等处理;提出一种用于工业用材林自动整枝的立木枝干动态识别系统框架,对人工林侧柏的枝干进行了数字图像采集及处理,同时提出了一种立木枝干计算机自动识别算法,提取立木图像枝干形状、尺寸、弯曲度及相对空间位置关系基本生长特征,即利用模式识别技术验算其与特征数据库的匹配情况,从而达到立木枝干自动识别的目的。2006年，阚江明、李文彬等[37]针对智能整枝机视觉系统的需要提出一种以数学形态学为主的图像分割方法，解决复杂背景下树木图像分割困难的问题。2007年，阚江明、李文彬等[38]利用已知大小的标定尺简化无线性畸变CCD摄像机标定过程，经过标定后统计立木枝干直径的像素数与每一个像素代表的实际尺寸相乘就可以很容易地计算立木枝干直径。 1998年，童雀菊、华毓坤[39]对利用图像处理方法采集原木形状参数的过程作了研究，提出了一种基本的图像处理在树干识别中应用的方法。2004年，葛玉峰、周宏平等[40]提出了基于相对色彩因子的树木图像分割算法。首先引入2×G/(R+B)色彩因子分割绿色树木与其背景，再引入(R+B+G)/3因子去除图像中的暗噪声或相对暗区。2004年，向海涛、郑加强等[41]研究了树木图像的实时采集与识别技术,以及树木图像处理及分析软件系统的开发,并 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 制作了室内模拟实验系统。2 0 0 5年，王雪峰、张超等[42]介绍由摄像机图像抽取林木直径的方法、步骤,将度量误差模型算法应用到参数的求解当中,提出适合于林业野外作业的内、外参数分离策略,最后对文中算法、策略进行实际验证。 综上所示，目前国内在林木图像处理工作主要集中在森林或者工业用林等方面，研究也多停留在实验室水平上。对果树图像进行研究的工作尚未见报道。 1.4研究内容及关键问题 1.4.1 研究内容 上述研究表明用机器视觉技术识别桔子树干是确实可行的，但仍有许多技术难题需要解决，需进一步进行深入研究。如:由于树干形状、粗细及颜色的多样性、室外光照条件的不稳定性等多种因素的影响，加大了基于自然光的机器视觉 5 江苏大学硕士学位论文 系统在进行桔子树干识别时的难度。本文的主要研究内容是以水果收获机器人的自动导航为应用背景，探索一种适用于桔子树干识别的图像分割算法。主要的研究内容如下: (1)分析和对比目前现有的常规图像分割算法在桔子树干识别中的适用性，是否满足桔子树干识别的要求。如果不满足需求，则探索一种适用于桔子树干图像分割的图像处理方法。 (2)分析桔子树干和土壤背景之间的差异性，探索将桔子树干从土壤背景中分割出来的有效方法。 在不影响桔子树干的前提下，寻找一种分割树冠区域和天空背景的方(3) 法，并消除太阳光直射造成的亮斑等影响。 1.4.2 关键问题 本文的关键问题有如下三个: (1)消除土壤背景。桔子树干和土壤背景颜色相似又连接在一起，在图像分割过程中非常容易混淆为同一区域，造成误分割，影响图像分割的精度。因为土壤背景和桔子树干在颜色上的相似性，使运用颜色特征进行分割变的很困难。由于摄像机与桔子树干之间的距离的变化比较大且频繁，无法保证持续采集到含有清晰纹理特征的桔子树干图像，所以运用纹理特征不具有很好的鲁棒性。如何有效的去除土壤背景而保持桔子树干不受影响是本研究中的核心关键问题。 (2)分割树冠和消除光线影响。树冠区域在图像中表现为绿色，目前比较常用的分割绿色特征的方法就是采用超绿色彩因子(2R-G-B)提取绿色区域。但是，在这一操作过程中，桔子树干的RGB颜色向量也发生了变化，对后面进一步的分割造成不良影响。另外，由于光线变化、叶子的反光而造成亮斑等都对分割树冠产生影响。所以，在不影响桔子树干区域的前提下，如何有效的消除树冠和光线影响也是本研究的关键问题之一。 1.5本章小结 首先由我国当前柑橘产业存在的问题引出了本课题的目的及意义，论述了桔子树干图像识别的必要性。然后介绍了国内外图像分割和林木图像处理的研究现状。最后归纳明确了本文主要研究内容和课题中的关键问题。 6 江苏大学硕士学位论文 第二章 计算机视觉系统的组成及图像获取 2.1 计算机视觉系统的硬件部分 本论文的主要研究内容为桔子树干的自动识别方法，由于计算机只能处理数字图像，所以计算机视觉系统的功能就是将自然界提供的其他形式的图像转换成为数字形式。计算机视觉系统由硬件和软件两部分组成。本节介绍计算机视觉系统的硬件部分的组成与各部件的功能，处理与分析桔子树数字图像的方法和软件将在随后的章节中介绍。 计算机视觉系统硬件功能主要是图像的获取和显示。构成计算机视觉系统的方式有多种，为满足实际生产及工业化需要，整个图像采集及处理系统应该固化成一个程序模块。系统硬件包括摄像机、图像采集卡和计算机。系统硬件组成示意图如图 2.1 所示: 计算机 图像采集卡 12V 电源 图2.1 机器视觉系统硬件组成示意图 2.1.1 摄像机 图像的获取一般采用摄像机，它能实时地摄取运动的图像，把客观世界的光学特性变换成相应的电信号，然后通过具有 A/D 转换功能的图像卡转换成以二维数组表示的数字图像，并存放于计算机内存中。摄像机是计算机视觉系统中的一个关键组件，选择合适的相机也是计算机视觉系统设计中的重要环节，相机的选型不仅是直接决定所采集到的图像分辨率、图像质量等，同时也与整个系统的运行模式直接相关。 本系统采用的摄像机是由日本Sony公司生产的EVI-D100型云台摄像机。此 7 江苏大学硕士学位论文 摄像机通过自身云台转动采集周围一定范围内的环境信息，拓展机器人的视野范 ，同时具有40倍变焦围，具有高速、在宽视场范围内旋转/倾斜运作安静的特点 (10倍光学+4倍数字)光学镜头。适用于室外条件下工作，可快速稳定地自动聚焦及自动曝光来控制背光补偿，同时也适于用光线不好的条件下。该设备的主 [43]要技术参数及性能如下: 表2.1 摄像机参数表 视频信号 NTSC 摄像传感器 1/4type Super HAD CCD 有效像素 768(H)X494(V) 水平分辨率 470tv lines(Wide end) 镜头 10Xoptical Zoom，40xwith Digital Zoom ，f=3.1-31 0水平视角 6.6 to 65 Degree Pan/Tilt Horizontal +100 Degree，Vertical +25 Degree 视频输出 VBS，Y/C 电源 DC 10.8-13V 外形尺寸 113(W)X120(H)X132(D)mm 重量 860g 2.1.2 图像采集卡 本课题中的机器视觉系统采用由ViewCast公司生产的Osprey-200图像采集卡，用以完成图像采集及储存转换工作。本图像采集卡可以实现视频、音频捕捉 [44]二合一的功能。Osprey-200图像采集卡的主要技术参数如下: 表2.2 图像采集卡参数表 视频输入格式 视频格式 NTSC-M Packed: RGB32, RGB24, RGB 16, RGB 15 NSC-J Grey8, YUV2 (4:2:2), YUV (4:1:1) PAL -BDGHI P- anar: YUV12, YUV9 PAL -M SECAM 8 江苏大学硕士学位论文 2.1.3 计算机 处理和分析摄像机采集的图像。本研究所用的计算机为Pentium4，CPUI.82GHz，248M内存，80G硬盘，操作系统Mierosoft WindowsXP。 2. 2 计算机视觉系统的软件部分 本文的程序主要在两个平台下开发:一、图像采集、云台控制程序是基于Microsoft Visual C++ 6.0平台;二、图像处理程序是基于MATLAB平台开发的。下面首先简单介绍一下开发平台。 Visual C++自诞生以来，一直是,,,,,,,环境中最主要的开发系统之一。Visual C++不仅是C++的集成开发环境，而且与Win32紧密相连，所以，利用Visual C++可以完成各种各样的应用程序的开发，从底层软件直到上层直接面向用户的软件。而且Visual C++强大的调试功能也为大型复杂软件的开发提供了有效的排错手段。Visual C++还是一个很好的可视化编程工具，使用Visual C++环境来开发Windows应用程大大缩短了开发时间，而且它的界面更友好，便于 [45]程序员操作。本文的图像采集程序和云台控制程序就是在Visual C++环境中开发的，实际应用证明程序运行稳定、可靠。 MATLAB是美国mathworks公司1982年推出的数学软件，它具有强大的数值计算能力和优秀的数据可视化能力，一经推出就得到了全世界科研人员的广泛关注。MATLAB软件针对各种学科相继推出了功能各异的工具箱，如图像处理(Image Processing)、控制(Control)等工具箱，这些工具箱由相关领域内的高水平专家编写而成，其中的函数实现了该领域内最为常见和经典的方法。时至今日，MATLAB已经发展成为适合多种学科的大型软件，其强大的拓展功能为各 [46]领域的研究人员提供了有力的工具。MATLAB到今天已经发布了很多版本，本文的图像处理程序在MATLAB环境下开发，结合图像处理函数库开发相应函数，程序在MATLAB6.5、MATLAB2007a、MATLAB2008a三种版本中运行正常，表现出非常好的兼容性和鲁棒性。 2.3计算机视觉系统参数确定 2.3.1视觉系统硬件安装 本文中研究的计算机视觉系统的最终将安装在AS-RF型野外履带式能力风 9 江苏大学硕士学位论文 暴机器人上。此机器人由上海广茂达伙伴机器人有限公司生产，是一种目前国内应用比较多的面向教学、研究、比赛和训练的电力驱动的履带式移动机器人。AS-RF履带式机器人的外形尺寸为770mm×550mm×440mm(长×宽×高)。Sony摄像机最终安装示意图2.2如下: 图2.2 Sony摄像机安装示意图 图像采集卡安装在AS-RF履带式机器人的中箱。中箱是机器人的控制系统，为长八边形，长420mm,宽340mm，高160mm。计算机主板水平放置在中箱内，图像采集卡安装在主板的PCI插槽上。需要注意的是，AS-RF履带式机器人的主板是上海广茂达伙伴机器人有限公司专门定制的，要求摄像机的图像采集卡必须安装在第四个PCI插槽上～图像采集卡上出来两条线，其中一条带有黄色插头的线是视频信号连接线，需要插入到摄像机后部的Video插孔中，用来传输视频信号;另一条带有插针插头的线是控制线，插入到摄像机后部的VISCA IN插孔中，通过VISCATM规程进行RS-232串联控制。机器人电源提供12V直流电源接入到摄像机后部的电源插孔中。试验过程中用个人计算机代替机器人计算机控制摄像机，其软件环境和机器人计算机的软件环境相同。 2.3.4图像采集卡参数设定 图像采集卡的参数包括信号的制式、图像的大小和格式、图像信号的三个参数等。为了达到较好的拍摄效果，对各个参数进行校正设定。 (1) 信号的制式 本文中视频输入信号采用PAL -M 模式，视频信号模式为RGB32。 (2) 图像文件格式 图像的空间采用RGB24。采集到的视频图像保存为Avi文件，图片保存为jpg文件。 10 江苏大学硕士学位论文 (3)图像信号的三个参数 图像信号的三个参数的包括:亮度(Brightness)，饱和度(Saturation)，对比度(Contrast)，每个参数的调节范围均为0-255。经过视觉效果比较，最终确定三个参数的值分别为:亮度126 ，饱和度120，对比度138。 2.4桔子树图像的采集 [47]2.4.1 温州蜜柑简介 温州蜜柑，别名温州蜜桔、无核桔，我国各柑桔产区普遍栽培。温州蜜柑的原种为我国浙江宽皮桔的地方品种，传入日本后经过实生变异选择而来，再经过多年栽培，产生了许多品系类型。 树冠开张，枝梢长而有倒垂性，无棘刺，叶大，长椭圆形，肥厚浓绿。花大，为宽皮柑桔中花径最大的品种，雌雄蕊异长，柱头明显露出花丝筒，花粉多败育。果中等大，扁圆形，橙色;瓤瓣壁稍厚，汁胞柔软，多汁，味甘，无核或少核，胚绿色，多胚。成熟期早晚不一，耐寒性强，丰产、稳产，除供鲜外，是糖水桔瓣罐藏加工的优良品种。 温州蜜柑中熟品种最稀疏的栽植密度为:行株距:4m×3.5m，每亩48株;最密集的栽植密度为:行株距3m×1.5m，每亩148株。温州蜜柑早熟品种最稀疏的栽植密度为:行株距3.5m×2.5m，每亩76株;最密集的栽植密度为:行株 [48]距1.75m×1.25m，每亩304株。 目前已有的园林机器人研究中，柑桔收获机器人的研究也有较好到基础，所以本文的研究对象选取温州蜜桔为果树的代表。 2.4.2 图像采集 图像采集时需要确定如下的参数:图像采集设备的配置方式及参数设定、镜头的离地高度、采集时间、样本树种等。 图像采集设备已经在前面的章节介绍过了，在此就不再重复。某些场合下，有研究者为了增加效果采用一些辅助设备，如遮光板等;因为本研究的对象是桔子树干，株型比较大，株与株之间的差异也比较大，不太容易加工合适的遮光板或者灯罩之类的辅助设备。另外本研究是为水果收获机器人的室外作业服务的，光源为自然光，摄像机本身没有自带光源，所以本文研究中并不采用任何辅助设备。 11 江苏大学硕士学位论文 采集设备离地面的高度也是非常重要的参数。因为本文的研究是以机器视觉定位为目的，所以离地高度是定位的数学模型的一个重要参数，对定位精度具有重要影响。如前文所述，摄像机最终布置在AS-RF机器人上，经过测量机器人外形尺寸，确定摄像机镜头的离地高度为44cm。 图像采集时间对图像质量的影响也很大。因为室外光线随着时间的推移而变化，图像采集时选择了两个时间段:一个是上午9:30-10:30，另一个是14:30-15:30。主要考虑了如下两个方面的原因:一方面这两个时间段的太阳光线比较均匀，不是很强烈;另一方面这两个时间段也是主要的果园劳动工作时间。 拍摄地点选择为镇江市丹徒区江心洲果园场的一处果园内，采集的桔子树种为温州蜜桔，树龄在5年左右。 2.5本章小结 (1)本章主要是对计算机视觉系统的硬件组成、参数做了介绍。对于系统各个部分在系统中的功能和配置方式进行了阐述。 (2)介绍了摄像机控制软件开发的平台，同时介绍了图像处理的开发平台。 (3)简单介绍了桔子树干品种温州蜜桔，试验中图像采集的具体参数以及采集过程。 12 江苏大学硕士学位论文 第三章 桔子树干图像分析及常规方法分割研究 3.1 引言 图像处理是实现机器视觉技术的基础，到目前为止已经有成千种图像分割算法被提出。桔子树干图像分割是实现水果收获机器人自动化作业的基础性工作。本章将介绍图像处理的一些基本概念，在此基础上对桔子树干图像分析，运用常规方法进行图像分割。 [49]3.2彩色空间 3.2.1彩色空间的基本概念 一幅彩色图像含有颜色信息，对于这些颜色信息的研究离不开颜色的定量表示。目前，用于定量地描述颜色的模型有许多种，在数字图像处理有关的研究中使用得最多的颜色模型是RGB模型和HIS模型。 1931年，国际照明委员会(CIE)规定用波长为700nm、546.1nm和435.8nm的单色光作为红(R)、绿(G)、蓝(B)三原色。 任意彩色的颜色方程为: (3-1) ,、、是红、绿、蓝三色的混合比例，一般称为三色系数。 ,, 所谓颜色模型指的是某个三维颜色空间中的一个可见光子集。它包含某个色彩域的所有色彩。任何一个色彩域都只是可见光的子集，任何一个颜色模型都无法包含所有的可见光。 3.2.2典型彩色空间 RGB颜色模型 RGB颜色模型基于人类视觉的三基色原理，是最基本的一种颜色模型。在这种颜色模型中，彩色图像中每个像素的颜色都能用三维空间中第一象限的一个点来表示，如图3.1中的立方体所示。在RGB颜色空间的原点上，任一基色均没 13 CRG,，，,,,()()(B) ,,0, ,,, 江苏大学硕士学位论文 有亮度，即为黑色。三基色都达到最高亮度时则表现为白色。其余亮度相等的三种基色则产生灰色，所有这些点均落在立方体的对角线上，该对角线被称为灰色线。立方体中有三个角对应于三基色，红色、绿色和蓝色。 在色度系统中，不是只用颜色的三刺激值(R、G、B)表示颜色，而是经常用三基色各自在R+G+B总量中的相对比例一一色度坐标r、g、b表示，r、g、b与三刺激值的关系为: RGB ，， (3-2) b,r,g,RGB，，RGB，，RGB，， 图3.2是用两个相互独立的色度坐标r和g表示的所有视觉能感受到的颜色 图3.1 rgb颜色系统模型 图3.2 rgb系统色度图 的色度图的轮廓曲线。在偏马蹄形的光谱轨迹中，很大一部分色度坐标r是负值。这一系列规定的等能白光(E光源，色温5500K)，位于色度图的中心(0.33，0.33)。在CIR rg色度图中色度坐标反映的是三原色各自在三刺激值总量中的相对比例，一组色度坐标表示了色相相同和饱和度相同而亮度不同的那些颜色的共同特征，因此CIR rg色度图并不反映颜色亮度的变化，色度图的轮廓表达出了颜色的色域范围。 HIS颜色模型 HIS系统直接采用彩色特性意义上的3个量:亮度(或明度)、色调、饱和度来描述颜色。比较符合人对颜色的描述习惯。但是，该系统表示的颜色并不全是视觉所感觉的颜色。系统中的I(intensity)定义为光强度，H(hue)和S G、B的关系为: (saturation)分别指色调和饱和度，它们和测量值R、 RGB，，I, (3-3) 3 14 江苏大学硕士学位论文 ,,HW,BG,,2RGB,,,,,1 (3-4) Wcos,,,,1HW2,,,BG,2,2,,2[()()()]RGRGGB,，,,,, 3min(,,)RGB (3-5) S,,1RGB，， HIS系统虽然能够直接用数字表示颜色的三大特征，同时也存在它的不足，H和S都是R、G、B的非线性变换，存在奇异点。在奇异点附近，即使R、G、B变化很小也会引起变换值的很大跳动。在农产品颜色分类中，HIS也是应用较多的系统。 因为本文的研究主要是针对桔子树干的室外图像，光源是自然光。光源的强度变化很大而无规律，在HIS模型中对H的影响很大，从而对图像处理带来困难。所以，本文研究中彩色图像处理均在RGB空间中进行。 3.3桔子树干图像分析 [61] 图像分析主要是对图像中感兴趣的目标进行检测和测量，以获得它们的客观信息从而建立对图像的描述。图像分析是一个从图像到数据的过程。这里的数据可以是对目标特征测量的结果，它们描述了图像中目标的特点和性质。本文研究的目的是从摄像机采集到的图像中识别提取出桔子树干区域，所以首先对桔子树干区域进行图像分析，为后期的图像分割做准备。 首先通过观察，可以明显的得出采集到的图像可以分为三部分:一是桔子树叶、绿色杂草等绿色植物区域;二是桔子树干、比较粗大的枝干区域;三是两者之外的背景区域，主要由土壤背景组成，如图3.3所示。 图3.3 桔子树干图像 15 江苏大学硕士学位论文 图3.4 ROI样本图像 首先获得桔子树干彩色区域的样本。为保证获取样本的准确性，本文采用人工手动选取感兴趣区域ROI(Region of Interest)样本。选取的ROI图像如图3.4所示。图像分析的流程如图3.5所示。 图3.5 ROI区域分析流程图 从采集的桔子树干图像中随机选取了20幅图像，每幅图像中选取2个ROI样本，研究中共采集了40个样本。进行了如图3.5所示的处理，提取ROI样本的彩色点的坐标，计算ROI中全部点的均值向量和协方差矩阵。计算协方差矩阵的目的是得到R、G、B分量在各个像素点上的亮度值变化情况，因为协方差矩阵的主对角线包括R、G、B分量的方差。样本的数值如下图3.6a所示。运用同样的方法对背景区域进行图像分析，结果如图3.6b所示。 通过对图3.6的观察，可以得到如下结论: 1. 树干区域和背景区域的共同特征就是:R分量 > G分量 > B分量。 2. 背景区域的R、G、B三分量的亮度值大于桔子树干区域的相应分量的亮度值。 3. 树干区域的三分量的亮度值变化范围小于背景区域，更有规律一些。 16 江苏大学硕士学位论文 桔子树干R、G、B分量图 160 140 120 100树干R分量 80树干G分量 60树干B分量 40亮度值(0-255)20 0 13579111315171921232527293133353739 样本号 a 桔子树干R、G、B分量图 背景R、G、B分量图 250 200 背景R分量150背景G分量 100背景B分量 50亮度值(0-255) 0 13579111315171921232527293133353739 样本号 b 背景R、G、B分量图 图3.6 R、G、B分量亮度值图 3.4 常规图像分割方法及应用 图像分割一直是人们研究的热点问题，其研究成果直接应用在机器智能、医学检测等多方面。至今已经有上千种各种类型的分割算法被人们提出来，其中一部分被广泛的应用在图像处理的各个领域中。分析各种图像分割算法可以发现， [50]它们分割图像的基本依据和条件有以下4方面: (1) 分割的图像区域应具有同质性，如灰度级别相近、纹理相似等; (2) 区域内部平整，不存在很小的小空洞; (3) 相邻区域之间对选定的某种同质判据而言，应存在显著的差异性; 17 江苏大学硕士学位论文 (4) 每个分割区域边界应具有齐整性和空间位置的准确性。 现有的大部分图像分割方法只是部分满足上述判据。因为实际应用中各个判据之间很难平衡，比如假设加强分割的同质性约束，则分割区域很容易产生大量小空洞和不规整边缘，这个现象在本文的研究中也有所体现，将在后文中详细叙述;假设强调不同区域间性质遏制的显著性，则极易造成非同质的合并和有意义的边界丢失，在本文研究中主要体现在桔子树干与土壤背景的粘连现象。不同的图像分割算法总是在各种约束条件中找到合适的平衡点。 目前的研究中，大多数的图像分割算法是面向灰度图像的，主要有以下几种类型:阈值分割;边缘分割;区域分割。面向彩色图像的图像分割算法中，应用比较广泛的一种类型是色彩因子分割。 3.3.1基于阈值的分割方法 阈值分割算法是一种简单、实用、有效的图像分割算法，因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。图像阈值化分割是一种最常用，同时也是最简单的图像分割方法，它特别适用于目标和 [51]背景占据不同灰度级范围的图像。图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。 阈值分割法的基本原理是:通过设定不同的特征阈值，把图像像素点分为若干类。最简单的利用阈值来分割灰度图像的步骤如下:在一幅图像中，首先对灰度取值在g和g之间的研究目标确定一个灰度阈值T，该阈值是一个灰度区minmax 间(g< T < g)，然后将图像中每个像素的灰度值与阈值T相比较，并将对min max 应的像素根据比较结果(分割)化为两类:像素的灰度值大于阈值的为一类，像素的灰度值小于阈值的为另一类(灰度值等于阈值的像素可归于这两类之一)。这两类像素一般对应图像中的两类区域。其中阈值的选择是算法关键，如果阈值选择合适就可以达到比较好的分割效果，方便有效的将目标从背景中分离出来。 在实际应用阈值分割时，阈值可以选择一个T值，也可以是一系列的T值。如果只有一个阈值分割称为单阈值分割，如果是一系列多个阈值则称为多阈值分割。不管用何种方法选取阈值，阈值分割是的图像可以定义为: 18 江苏大学硕士学位论文 (3-6) 图像阈值化这个看似简单的问题，在过去的几十年里受到国内外学者的广泛 [52-56]关注，产生了数以百计的阈值选取方法。所有这些阈值化方法，根据使用的是图像的局部信息还是整体信息，可以分为基于点的方法和基于区域的方法;根据对全图使用统一阈值还是对不同区域使用不同阈值，可以分为全局阈值方法和局部阈值方法，也叫做自适应阈值方法。 灰度直方图方法是一种有效的阈值分割方法。灰度直方图是表示一幅图像中灰度分布情况的一种方法，图中的横坐标表示灰度值，纵坐标表示该灰度值出现 [57]的频率。对于图像内容比较简单、灰度分布比较集中的情况下，直方图具有明显的双峰图像，往往采用最简单的全局阈值。但是实际研究中大多数自然景观的直方图很少表现为明显的双峰。对于这种图像，最大类间方差法(Ostu法)是一种比较好的方法。 下面是本文研究中，对于桔子树干图像来说，其背景复杂多样，导致桔子树干和背景的灰度值有许多相近的部分，简单应用全局阈值分割不可能达到令人满意的分割效果。如下图3.7b为灰度图3.7a的直方图，可以看出该灰度图就没有明显的双峰一谷，所以在选取阈值T时，只能采取经验尝试选取阈值后反复进行分割试验，人工判断分割效果的方法。试验中选取全局阈值T=150时，分割效果较理想，如图3.7c所示。采用最大类间方差法得到的阈值T=112，分割后图像为图3.7d。 a 灰度图 b 直方图 19 江苏大学硕士学位论文 c 二值图(T=150) d 二值图(T=112) 图3.7 阈值法分割效果图 再如下面的图3.8a，图3.8a是其直方图。通过观察可以看到图中灰度有两个高峰，但是集中在两端，中间的谷底区域比较大，并且灰度值明显集中在中低灰度值的区域。试验中可以看出，尽管出现了两峰一谷的“理想”情况，但是仍然难以根据直方图自动选取一个合适的阈值。同样采取人工反复尝试的方法，选取全局阈值T =120，分割后的图像为图3.8c，利用最大类间方差法得到的全局阈值为 T=101，分割效果如图3.8d所示。 a 灰度图 b 直方图 c 二值图(T=120) d 二值图(T=101) 图3.8 阈值法分割效果图 通过以上两个例子，可以得出由于桔子树干图像的色彩变化丰富，背景与树干本身的灰度有许多相似的部分，简单的使用唯一的阈值不能够有效的分割图像，将桔子树干区域从背景中提取出来;另外，桔子树干内部也有许多不同部分，如图3.7d中所示，使用唯一的阈值后把桔子树干底部的一部分误分割为背景。 20 江苏大学硕士学位论文 所以，使用唯一的全局阈值往往达不到树木图像分割的要求。再者，通过上述两例可以看出，无论图像的直方图是否出现双峰的现象，人工选择一个合适的全局阈值都是很困难的，更加难以做到计算机自动选择合适的阈值进行图像分割。 如果采用局部阈值，桔子树干图像上的灰度分布是没有规律的，导致在它的每一块小区域中，灰度的统计也是毫无规律。所以，在待分割的图像每个区域中，桔子树干与背景的阈值往往不能确定，无法实现计算机自动分割的目的。 综上所述，上面的例子和分析说明，简单的使用基于阈值的分割方法，并不适用于桔子树干图像的计算机自动分割。 3.3.2基于边缘检测的分割方法 图像边缘是图像分割中一个重要的特征。图像边缘提取也是其他图像处理的基础，比如图像匹配等。图像的其他特征都是由边缘和区域这些基本特征推导出来的。边缘检测目前最通用的方法是检测亮度值的不连续性。图像边缘检测的基 [58]本思想是使用如下的两个基本准则之一在图像中找到亮度快速变化的区域: 1. 找到亮度的一阶导数在幅度上比指定的阈值大的地方。 2. 找到亮度的二阶导数有零交叉的地方。 最简单、经典的边缘检测方法是对原始图像按像素的某邻域构造边缘算子。主要的算子有一次微分Sobel算子、二次微分拉普拉斯算子和Canny算子。本文在研究过程中，分别尝试将这三种算子应用在桔子树干图像分割试验中。 (1) Sobel算子 Sobel算子是最常用的边缘检测算子之一。 zzz,,,121123 zzz000 假设一幅图像邻域为，其掩模为:，其按如下方式计456 zzz121789 算一个邻域的中心点处的梯度: 2212gGG,，[]xy (3-7) 2212,，，,，，，，，,，，{[(2)(2)][(2)(2)]}zzzzzzzzzzzz789123369147 因此，如果在像素点(x，y)处g > T，则在该位置的一个像素是一个边缘 [58]像素，其中T是一个指定的阈值。 将Sobel算子应用在上面提到的图3.7a和图3.8a中，得到下面的图3.9a和图3.9b。由图可知，由于桔子树干图像边缘复杂、形状不规则，致使Sobel算子 21 江苏大学硕士学位论文 下几乎没有提取出目标桔子树干区域，无法与周围背景分离。并且，Sobel算子因为本身对噪声很敏感，结果中存在一些噪声引起的假边缘。 (2) 拉普拉斯算子(log算子) 拉普拉斯算子是基于二阶导数的，等同于先用平滑函数对图像卷积再计算结果的拉普拉斯算子。应用在桔子树干图像中的结果如图3.10a和图3.10b所示。可以看出，相对于Sobel算子，拉普拉斯算子的分割效果有了比较大的提高，基本上可以看到桔子树干区域。但是，不难看出桔子树干区域的边缘上有许多间断处，另外边缘部分和背景也没有分割开，使得主干上出现了许多假的小枝干。 b T=0.15 a T=0.12 图3.9 Sobel算子边缘提取图 a 0.15, sigma=2 b 0.15, sigma=2 图3.10 Log算子边缘提取图 (3)Canny算子 Canny算子是一种线性算子，迄今为止，在大多数场合下，Canny算子都是分割效果最好的一种算子。该方法总结如下: 1. 图像使用带有指定 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 偏差σ的高斯滤波器来平滑，从而可以减少噪声。 2212gGG,，[]2. 在每一点处计算局部梯度和边缘方向xy ,(,)arctan()xyGG,。边缘点定义为梯度方向上其强度局部最大的点。 yx 22 江苏大学硕士学位论文 3. 第2条中确定的边缘点会导致梯度幅度图像中出现脊。然后，算法追踪 所有脊的顶部，并将所有不在脊的顶部的像素设置为零，以便在输出中 给出一条细线，这就是众所周知的非最大值抑制处理。脊像素使用两个 阈值T1和T2做阈值处理，其中T1 < T2。值大于T2的脊像素称为强边 缘像素，T1和T2之间的脊像素称为弱边缘像素。 [58]4. 最好，算法通过将8连接的弱像素集成到强像素，执行边缘链接。 下面的图3.11a和图3.11b是应用Canny算子提取边缘后的图像。从结果可 以看到，尽管Canny算子又比拉普拉斯算子改善了很多，但是由于桔子树干 a [0.1 0.5] sigma=1 b [0.1 0.5] sigma=1 图3.11 Canny算子边缘提取图 本身的复杂性，仍然出现了很多假枝叶的现象。另外，更重要的是在局部区域，树干和树冠连接在一起，没有办法分割开。 综上，利用基于边缘检测的方法对桔子树干进行分割也是不可行的。 3.3.3基于相对色彩因子的分割方法 利用相对色彩因子来对彩色图像进行分割是目前图像处理领域内的一个热点。在RGB色彩空间中，相对色彩因子本质上是利用图像RGB分量之间的相对关系进行树木图像分割。有研究指出，彩色图像像素的RGB灰度级在很大程 [59]度上依赖于光照强度。在不同的光照强度下，直接用RGB值进行识别会导致错误的结果，而利用简单的算术运算组合RGB分量形成相对色彩因子可以大大降低光照强度或其他因素的影响，提高分割效果。目前已经有一些具有典型意义的相对色彩因子应用在某些特定场合，比如突出绿色区域的超绿因子2G-R-B，突出红色的超红因子1.4R-G-B等。 由本章3.3节所示，桔子树干区域的树干的红色分量值大于绿色分量值和蓝色分量值。因此，可考虑使用突出R分量的相对色彩因子:f=R; f=1.4R-G-B;12 23 江苏大学硕士学位论文 f=2R-G-B;f=3R-G-B。运用最大类间方差法自动获取阈值进行阈值分割得到二34 值图，对应如下图3.13所示。 a f灰度图 b f二值图 11 f灰度图 d f二值图 c 22 e f灰度图 3f f二值图 3 g f灰度图 h f二值图 44 24 江苏大学硕士学位论文 f灰度图 j f二值图 i 22 图3.12 色彩因子分割灰度图和二值图 由以上结果可以看出，根据桔子树干的颜色特征，利用突出红色的相对色彩因子基本上可以把桔子树干区域从绿色的背景中分离出来。但是，因为土壤背景等也具有红色分量大于绿色分量和蓝色分量的特点，所以在过分突出红色分量的特征时，土壤背景也被错误的分割出来，这点在图3.13f和图3.13h中尤为明显。相比较之下，f=1.4R-G-B的相对色彩因子对这幅图像的分割效果最好。然而，2 对其他的图像f=1.4R-G-B并非就是最佳的彩色分量组合形式，如图3.13i和3.13j2 所示。此图为f=1.4R-G-B因子分割图3.3后的灰度图和自动阈值分割后的图像。2 由于桔子树干图像的复杂性和背景的复杂性，所以很难找到一个统一的相对色彩因子达到比较理想的分割效果。 综上所述，基于相对色彩因子的分割方法也不适用于桔子树干图像分割。 因此简单的运用常规图像分割方法不能满足桔子树干图像分割的要求，必须针对图像特点，寻找一种适用于桔子树干图像分割的方法。 3.5本章小结 (1)首先介绍了彩色空间的基本概念，重点介绍了本文使用的RGB色彩空间。 (2)对桔子树干图像进行分析，得出了一些相应结论为后面的图像处理做基础。 (3)介绍了常规的图像分割方法，并将其应用在桔子树干图像分割中，结果表明常规方法不能满足研究要求。如果要进一步获得更好的分割效果，需要获得尽可能多的信息，显然常规的灰度图的信息量远远不能满足需求。 (4)因为常规的图像分割方法不能满足桔子树干图像分割的要求，需要把图像处理中的相关知识综合起来，针对本课题的特殊情况，专门设计一种适用于桔子树干图像分割的方法。 25 江苏大学硕士学位论文 第四章 桔子树干图像彩色分割算法 4.1引言 通过前面的研究知道，灰度图像承载的信息不能够满足桔子树干图像分割的 需求。明显的，彩色图像的信息量要远远大于灰度图，所以，本文尝试直接利用 彩色图像分割算法对桔子树干图像进行分割，提取目标区域。 4.2 彩色图像分割算法 4.2.1 算法简介[58] 在RGB颜色空间中，一幅图像就是一个M×N×3数组，其中每一个彩色像 素点都是在特定空间位置的彩色图像相对应的红、绿、蓝三个分量。图像中的每 个物体都是由特定色彩分量合成的。给出一个感兴趣区域的彩色样本点，通过计 算获得一个“平均”的颜色估计，这就是希望分割的颜色，不妨让这种平均色用 RGB列向量M来定义。分割的目的是对图像中的每一个RGB像素进行分类，使 其在指定的范围内有一种颜色或没有颜色。为执行这一比较，采用欧几里得距离 作为相似性度量指标。另Z表示RGB空间的任意点。若Z和M之间的距离小于 指定的阈值T，则我们说Z相似于M。Z和M之间的欧几里得距离由下式给出: (4-1) ,其中是参量的范数，下标R、G和B表示向量M和Z的RGB分量。D(Z,M) ?T的点的轨迹是一个半径为T的实心球体。由上可知，包含在球体内部或者表 面的点满足特定的彩色准则;而球体外面的点则不满足。由此可以实现桔子树干 这一特定彩色区域的分割。 4.2.2 初始特征向量获取 本文的分割算法中包括两步:第一步，定位ROI区域。运用初始特征向量对 图像进行分割，得到桔子树干区域，然后将该区域的用任意多边形标记下来返回 26 D(,)zmzm,, 1/2 T ，， ),,,()(zmzm ，， 1/2 222 ，， ,,，()(zmz,，,mzm)() BBRRGG ，， 江苏大学硕士学位论文 到原始图像中，定义下ROI区域;第二步，精确分割。根据原始图像上ROI区域计算的特征向量对图像进行精确分割，提取出桔子树干区域。 初始特征向量的获取是彩色分割算法的一个关键问题。如何在一幅图像中准确的定位桔子树干区域的问题就简化为了如何寻找合适的初始特征向量的问题。通过观察3.3节的图3.6A，可以发现桔子树干区域的红色分量和绿色分量之间存在着一定的关系。如果能够找到这种关系，可以有效的寻找到初始特征向量用于桔子树干区域的定位。为此，本文计算同一像素红色分量值与绿色分量值之间的差和红色分量之间的比值F，如下式 : RG,f,，100%R (4-2) 表4.1 桔子树干区域RGB分量值表 R G B R G B 序号 F(%) 序号 F(%) 1 65.23 59.56 39.61 8.70 21 106.78 95.91 69.96 10.18 2 65.51 62.76 53.32 4.20 22 107.16 96.04 58.94 10.38 3 68.76 62.76 42.36 8.74 23 108.77 96.19 70.29 11.56 4 72.50 65.62 44.06 9.50 24 112.21 97.37 57.54 13.22 5 81.66 65.98 45.18 19.20 25 112.88 99.82 61.13 11.56 6 86.76 82.26 57.18 5.18 26 113.43 104.21 71.76 8.12 7 87.56 82.94 59.32 5.27 27 113.57 106.28 68.47 6.42 8 88.84 84.10 59.22 5.34 28 115.33 107.46 69.25 6.82 9 91.40 86.05 57.58 5.86 29 117.96 107.59 86.61 8.79 10 92.71 86.43 61.75 6.78 30 119.93 108.62 88.11 9.43 11 93.09 86.99 62.05 6.55 31 120.12 108.72 77.59 9.49 12 100.42 89.22 64.00 11.16 32 121.20 110.27 70.91 9.01 13 101.73 90.27 62.74 11.26 33 121.80 111.88 77.78 8.14 14 101.83 91.06 59.67 10.58 34 122.96 112.60 77.93 8.42 15 101.88 91.38 64.79 10.30 35 129.27 113.85 78.93 11.93 16 102.62 92.06 51.18 10.29 36 130.06 114.25 80.60 12.15 17 104.37 92.83 51.98 11.06 37 130.37 115.41 83.97 11.47 18 104.95 92.86 61.38 11.52 38 130.44 115.92 88.13 11.13 19 106.39 95.17 57.76 10.55 39 131.44 117.09 88.62 10.92 27 江苏大学硕士学位论文 20 106.44 95.39 62.82 10.38 40 139.12 122.89 85.36 11.66 计算结果如表4.1所示，经过数据处理得到F的平均值为9.58% ,得到R与G之间的关系。在分割程序中，首先分离RGB三个向量，然后计算每个向量的阈值TR、TG、TB，最终使得G分量阈值TG处于TR和(1-9.58%)TR之间。具体的分离方法如下: 若TR (I,J)> TG (I,J),则比较0.9 TR (I,J)与TG (I,J)的大小，若0.9 TR (I,J)> TG (I,J),则令TG (I,J)= 0.9 TR (I,J);若0.9 TR (I,J)< TG (I,J), TG (I,J)值不变。 若TR (I,J)< TG (I,J)，则令TG (I,J)= 0.9TR (I,J);其中I,J表示像素的位置坐标;TR (I,J)、TG (I,J)、TB (I,J)表示在图像中位置为(I,J)的点处的颜色分量分割阈值。 经过试验证明，用此方法获取的初始特征向量适用于桔子树干图像分割。 4.3 图像线性空间滤波与二值化 4.3.1 卷积[49] 在锐化处理及其他一下图像处理方法中，常常采用邻域运算形式，而卷积就是一种邻域运算方法。卷积在数学上有严格的定义，这里仅就卷积应用于图像空间的具体算法做一些介绍。卷积实质上是对图像中像素的邻域进行加权求和的计算。卷积时的权值称卷积权函数，可以表示称一个矩阵，或称模板，模板上的权值的不同就体现了不同的算法，因此卷积权函数又称为算子。模板(即算子)的大小反映了运算中的邻域范围，可以用矩阵的行乘列(M×N)来表示，常用的有3×3，5×5，7×7，9×9等。 设卷积权函数为W(X,Y)，当M×N=3×3时，见图4.1B，途中W0，W1，W2，„„W8为模板上的权值;输入图像为F(I,J),待处理像素为F0，有模板大小决定了该像素邻域范围是F0，F1，F2，„„F8，则像素F0的卷积值G0可由对应点相乘求和得到: gwfwfwfwfwfwfwfwfwf,，，，，，，，，0001122334455667788 (4-3) 由此可求得卷积后输出图像上各像素的灰度值G(I,J)。卷积计算 公式 小学单位换算公式大全免费下载公式下载行测公式大全下载excel公式下载逻辑回归公式下载 可写成以下的一般形式: mnmn，，11gijwxyfixiy(,)(,)(,),，,，,,,22,,11xy (4-4) 卷积计算本身并不复杂，单在实际应用中还要解决一些具体问题。首先是图 28 江苏大学硕士学位论文 像中边界像素的邻域问题。当处理第1行、第1列或最后一行、最后一列的像素时，它们的邻域值不全，对此可选用下述方法之际来解决:?边界点不处理，保持原值;?数据外推法，将边界上灰度值负值到边界外;?边界外灰度值全置0.其次是模板中的权值常常出现负值，因此卷积结果有可能出现负值，对此，可采用将卷积值去绝对值、置0或将所有卷积值加一个常数来解决。其三是卷积值有可能太大，超过了允许的灰度范围，此时，可按比例缩小所有像素的灰度值(卷积值)，使之达到要求。 A 原图像 B 卷积模板 C 卷积后图像 图4.1 卷积操作示意图 4.3.2 图像线性空间滤波 本文中的彩色分割算法分割后图像(见图4.2A)是由大量的单独的点和小面积的区域组成的，无法直接对图像进行进一步的有效分割。所以，采用线性空间滤波，消除噪声干扰，突出桔子树干区域，方便后续的图像分割过程。 本文选用的线性空间滤波指的是对图像中的像素执行滤波运算，也就是上文介绍的卷积处理。由上面一节的介绍可知，使用卷积首先要解决三个具体问题。首先，对于邻域值不足的情况，本文选择第三种 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ，边界外的灰度值全部置0。其次，模板中的权值全部取绝对值，保证卷积值为正。最后，对所有大于255的像素的灰度值设为255，以保证卷积值处于灰度范围内。 模板的选择直接关系到卷积结果的好坏。本文研究过程中，选择了如下的模板进行卷积试验:AVERAGE(3×3)、DISK(5×5)、GAUSSIAN(3×3，0.5)、LAPLACIAN(3×3，0.5)、LOG(5×5，0.5)、PREWITT(3×3)，SOBEL(3×3)。卷积结果图4.2所示:在每个点(X,Y)处，滤波器在该点处的响应是滤波掩模所限定的相应邻域像素与滤波器系数的乘积结果的累加。在原图像中添加黑色会还原灰度级色调。通过实验研究对比这7种类型的模板，可以看出:LAPLACIAN、LOG、PREWITT、SOBEL四种模板对原图像进行卷积后，只是部分的扩展了原来像素的面积，并没有达到突出树干区域，削减其他区域的目的，所以这四种模板不适用于本研究; 29 江苏大学硕士学位论文 GAUSSIAN模板对原图像卷积后，基本上与原图像没有太大的变化，所以也排除掉;总体来说，AVERAGE模板和DISK模板都基本达到了突出树干区域，削减其他区域的目的，但是经过仔细观察图4.2B和图4.2C可以看出，相对于DISK模板，AVERAGE模板对原图像卷积后有如下两点不足:一是在树干区域，AVERAGE模板容易产生一些内部孔洞，这对后面的图像分割不利;二是图像像素亮度值不够平滑。所以，综上所述，本文选用大小为5×5的DISK模板对原图像进行卷积处理，方便后续的图像处理工作。 原图像 a b average(3×3) c disk(5×5) d gaussian(3×3，0.5) e laplacian(3×3，f log(5×5，0.5) 0.5) g prewitt(3×3) h sobel(3×3) 图4.2 卷积效果对比图 4.3.2 图像二值化 首先对灰度图像进行修复，本文采用直方图均衡法。直方图均衡化是处理是一种广泛采用的直方图变换方法，用来改善图像对比度。将灰度分布较集中的输入图像变换为直方图近似均匀分布的输出图像的处理称为直方图均衡化处理 30 江苏大学硕士学位论文 [58]。这种变换可以根据需要在直方图整个灰度范围或者是局部灰度范围内进行。在处理的灰度范围内与处理前相比，图像对比度增强，层次分明。修复后的图像运用最大类间方差法自动获取阈值进行二值化处理。 最大类间方差法[55]是在判决分析最小二乘法原理的基础上推导得出的求最佳阈值的方法。假设原始图像灰度级为L，灰度为I的像素的个数为NI，图像的总像素数为N，则可以得到各灰度出现的概率PI=NI /N ;按照灰度级用阈值T将灰度划分为两类C0={0，„„，T}，C1={T+1，„„，L-1}。 判决规则为: 2222,,,，,,,,wuuwuuwwuu()()()TT00110110 (4-5) 则所求阈值为: *2t,argmax{}, (4-6) 其中，W0为C0出现的概率: t wPCP,,(),00ri,0i (4-7) W1为C1出现的概率: L,1 wPCPw,,,,()1,110riit,，1 (4-8) U0为C0平均灰度: tiP*ut()i,,u,0ww00i,0 (4-9) U1为C1平均灰度: L,1iP*[()]uut,iru,,,1ww(1),10it,，1 (4-10) 该方法不需对物体和背景的概率密度函数做任何假设，只是基于灰度直方图的一阶统计特性，它仅用均值和方差来表达两个概率密度函数，运算速度快，可以提供较好的一致性。 本文图像的二值化过程采用全局阈值分割法，计算机运用最大类间方差法自动选择全局阈值，对桔子树干进行分割，获得桔子树干的二值图像。试验证明，此方法可以有效的去除土壤背景，达到较好的分割效果。 31 江苏大学硕士学位论文 4.3.3 面积和形状特征分割 4.3.3.1面积阈值分割 在二值图像中，首先标记每一个区域，然后计算每个区域的面积。由彩色分割的算法原理可知，符合桔子树干向量特征的区域面积应该比较大，土壤背景中与桔子树干相近的区域处于离散状态，面积较小。所以保留面积最大的三个区域，去除面积较小的其他区域。此项处理可以有效的去除背景区域的小面积区域。 4.3.3.2 形状特征分割 通过对桔子树干的观察，可以得到一个基本形状特征:包含桔子树干的矩形的X方向的边长应该大于Y方向的边长，既定义矩形的X方向的边为长边，Y方向的边为宽边，则其长宽比应大于1。对于倾斜的矩形，定义矩形边所在直线的斜率的绝对值若大于1，则此边为X方向，否则为Y方向。 在二值图像中，标记每一个独立的区域，得到包含该区域的最小矩形的边长。判断矩形边长的长宽比。若长宽比大于2，则保留该区域;如果长宽比小于2，则去除掉该区域。通过这种方法，可以有效的去除背景区域中面积比较大的扁形区域。下面图4.3B、C分别是图4.3A依次经过面积和形状分割操作后的效果图。 A 原图像 B面积分割后图像 C 形状分割后图像 图4.3 面积分割和形状滤波后效果图 4.4图像形态学修复 4.4.1 形态学简介 数学形态学以图像的形态特征为研究对象，它的主要内容是设计一整套概念、变换和算法，用来描述图像的基本特征和基本结构，也就是描述图像中元素与元素、部分与部分间的关系。数学形态学算子的性能主要以几何方式进行刻画，传统的理论却以解析方式的形式描述算子的性能，而几何描述特点似乎更适合视 32 江苏大学硕士学位论文 觉信息的处理和分析[59]。这一基本思想如图4.4所示。 图4.4 数学形态学基本思想图 最初的数学形态学由MAHERON和SERRA提出，是以二值图像为研究对象，所以称为二值形态学。本文涉及到的也是二值形态学的部分。如今，数学形态学已经发展到灰度形态学等，成为图像处理理论的一个重要方面，广泛的应用到图像处理的很多领域中，这些领域设计医学成像、显微镜学、生物学、机器人视觉、遥感技术等等。在这些领域中，利用数学形态学可以对图像进行增强、分割、边缘检测、结构分析、形态分析、骨架化、组分分析、曲线填充、图像压缩等等各种各样的处理[60]。 4.4.1.1 形态学基本概念和性质 从数学意义上讲，我们用形态学来处理一些图像，用以描述我们感兴趣的图像的某些区域的性状如区域的边界、骨架等，用形态学技术来进行形态滤波，形态修饰等，诸多的图像处理过程都是基于形态学的一些基本运算。集合论是数学形态学的基础，其语言也被借用到数学形态学中用来描述形态运算。首先，我们介绍数学形态学的一些基本概念和性质 [61] 。 定义1. 具有某种确定性质的对象的全体或范围称之为集合，常常用大写的 ,英文字母表示;若这种全体或范围中不包括任何对象称为空集。 cBI,BI,I 定义2. 若设全集为，集合，称是集合B的补集。 ,,,(){;}XAAX,()X 定义3. 设X是某一基本集合，记，称为X的幂集， BX,,()若集合A，，则集合A，B之间只能有以下三种关系: AB,(1)集合A包含于集合B，记作:; 33 江苏大学硕士学位论文 AB,,,(2)集合A击中集合B，记作:; AB,,,(3)集合A相离于集合B，记作:。 aaabbb,,(,),(,)1212定义4. 设A，B是二维集合，记是集合A，B的元素， ''(){|,}AaaaXaA,,，,Xxx,(,)x12任意的二维向量，记，称集合A平移X。 ~~'BbbbbB,,,,{|,}B定义5. 设是任意集合B，记，称是B的反射或映像。 显然，若集合由一幅图像中的每个点组成，则集合的平移表示图像的每个点沿着坐标轴移动一定位置;集合的映像表示图像的每个点关于原点的对称点[61]。 4.4.1.2 膨胀和腐蚀 通常，二值图像是指图像的灰度只由0和1构成。传统的图像处理一般称图像中对象的灰度值取1，背景灰度值取0。记所有灰度值为1的点组成的集合为X。数学形态学图像处理主要是针对集合X，选择适当的结构元素进行形态学处理[61]。 2,BZ, 定义6. 若记集合A，，记为空集，则集合A被集合B膨胀记为: ~ ABxBA,,,,{|[()]},x (4-11) , 其中“”是数学形态学的膨胀算子。 B A AB, 图4.5 二值膨胀示意图 由定义6我们可以看出:集合A被集合B膨胀即是集合中的元素先做关于原点的对称点，每个对称点平移后，总有落在集合A中。故膨胀的定义还可以 ~ ABxBA,,,,{|[()]},x写成:。 34 江苏大学硕士学位论文 2,BZ, 定义7. 若记集合A，，记为空集，则集合A被集合B腐蚀记为: ABxBA,,,{|()}x (4-12) , 其中“”是数学形态学的腐蚀算子。 B A AB, AB, 图4.6 二值腐蚀示意图 显然:集合A被集合B腐蚀即是集合B中的每个元素平移后，全部落在集合A中。由膨胀和腐蚀的定义可以看出膨胀和腐蚀是关于补集和映像的一对对 ~ccABAB,,,()偶运算。即是说膨胀和腐蚀可以由相互的运算来定义:， ~ccABAB,,,()。我们简要证明第一式:由腐蚀的定义可知 ~~~~ccccc(){|()}ABxBA,,,()BA,()BA,,,xxx，若则，那么式 ~~~~~cccccccc(){|()}ABxBA,,,(){|()}ABxBA,,,,,{|()}xBA,,,xxx改为，而 ~ {|()}xBAAB,,,,,x的补集是，故第一式得证。同理可证第二式。 由膨胀、腐蚀运算的定义，我们可以很容易得知，膨胀具有扩大图像的作用，腐蚀具有收缩图像的作用，如图4.5和图4.6所示[61]。 4.4.1.3 开运算和闭运算 由前面膨胀和腐蚀的定义可见:膨胀扩大了图像，腐蚀收缩图像。数学形态学在膨胀和腐蚀的基础上定义了另外两种非常重要的形态运算即形态开运算和闭运算[61]。 定义8. 设A是输入图像，B是结构元素，则集合A被集合B作开运算定义为: ABABB;,,,() (4-13) 35 江苏大学硕士学位论文 AB;记作:。 A B AB,()ABB,, AB, 图4.7 二值开运算示意图 由开运算的定义可以看出:开运算的结果实质是集合A先被结构元B腐蚀后，再被B膨胀。有膨胀和腐蚀的定义可知:开运算可以平滑图像轮廓，除去图像中不能包含结构元的部分即是去除图像中细小突出，图像中的某些狭长部分或两个对象之间连接的小桥，如图 4.7所示。A被B开后的边界就是B在A内平移所能达到的B的边界的集合，故A被B开还可以记为:ABBBA;,,,{()|()}xx。 定义9. 设A是输入图像，B是结构元素，则集合A被集合B作闭运算定义为: ABABB,,,,() (4-14) AB,记作:。 图4.8 二值闭运算示意图 所以，A被B作闭运算的实质是A被B膨胀后再被B腐蚀。由开运算的定义可知:闭运算也能平滑图像，它能去掉图像中的小洞，填补轮廓上的小缝隙并能融合图像上狭窄的缺口和细长的弯口，如图4.8所示。由于膨胀和腐蚀的对偶 cA性，开运算和闭运算也可得到相应对偶性。故而，A被B闭后的边界就是B在内平移所能达到的B的边界的集合，故A被B闭还可以记为: 36 江苏大学硕士学位论文 ccABBBA,,,,[{()|()}]xx [61]。 4.4.2 不连续树干区域修复 图像分割过程中一种不能忽略的现象是识别出来的桔子树干是间断的,表现为区域断裂或者孔洞。经过实验分析，造成这种现象的原因主要有两方面:一是树干表面颜色的变化比较大，由于树干表明比较粗糙，对光线的反射不同从而影响了识别的精度;另一方面是由其他枝叶等障碍物的遮挡。通过算法把间断的树干区域连接起来是十分必要的，也是提高识别精度的一种可行方法。 (1)对于孔洞的情况，采用形态学重构的方法完成对区域内部空洞的填充，具体的算法如下: 假设选择了一幅标记图像FM，该图像的边缘部分的值为1-F，其余部分的值为0: 1(,),fxy若(x,y)在边界上,fxy(,),,m0其他, (4-15) cg[()],Rfcmf则执行此运算:即可以填充图像F中的孔洞[58]。 (2)对于分离的情况，试验中采用的算法如下: ?判断几个个区域是否属于同一树干。根据先验知识可知，如果两个区域属于同一树干，则它们的质心坐标应该落在一个竖直区域内，区域的宽度定为2T。具体的算法如下: 图4.9 判断多区域是否属于同一树干算法流程图 ?选择一个合适的模板是影响图像修复结果的关键因素。为此，本文研究中 37 江苏大学硕士学位论文 选择菱形模板DIAMOND(5)、圆盘形模板DISK(5)、竖直的线性模板LINE(5)、八边形模板OCTAGON(6)、矩形模板RECTANGLE(2，5)、方形模板SQUARE(5)等6种模板进行膨胀试验。评价指标有两方面:一是有效对消除图像的不连续区域，将多个区域连接在一起;二是尽量小的改变图像的形状、大小等参数。对于第一项指标，可以通过对图片的观察定性的判断好坏，图4.10中分别是原始二值图和经过6种模板膨胀后的树干图像。通过其中的B图可以看出，算法很好的去除了桔子树干区域中空洞而保持图像其他区域不变。对处理的后的图像用6种模板进行膨胀操作。首先，6种模板都不同程度将桔子树干的不连续区域连接起来，这一点正是研究所需要的效果。其次，同时树干的面积也发生来变化，较之于原图 A 原图像 B 消除空洞后的图像 C DIAMOND模板 D DISK模板 E LINE模板 F OCTAGON模板 G RECTANGLE模板 H SQUARE模板 图4.10 不同膨胀算子膨胀效果对比图 像膨胀后的桔子树干区域面积变大了，这是由膨胀的原理决定的，是不可避免的。适度的扩大桔子树干区域的面积是有利的，因为在图像分割的过程中往往分割出来的桔子树干区域偏小，原因这里就不详细阐述。通过膨胀操作恰好对这一部分进行补偿，这也是想要的结果。但是过度的膨胀就会导致分割后的桔子树干区域 38 江苏大学硕士学位论文 大于桔子树干的真实区域，产生虚假信息。最后，桔子树干的边缘发生了变化，边缘部分一些细长的狭缝被消除了，总体的趋势是趋向平滑。同上面一样的道理，过度膨胀后的图像边缘不符合桔子树干真实的边缘曲线，同样为后面的信息提取加入了错误信息。由图4.10中可以看出，DIAMOND模板、DISK模板、OCTAGON模板对桔子树干边缘的影响比较大，与原图像的边缘差别超出了研究允许的范围，所以排除掉这三种模板;在剩余的三种模板中，相对于其他两种模板，SQUARE模板对边缘的影响最大，所以也排除掉，而对于LINE模板和RECTANGLE(2，5)模板来讲，本质上其实是相同的，因为这里的LINE模板的其实就是一个RECTANGLE(1，5)模板，这样的模板对符合桔子树干竖直生长的特性，所以膨胀效果也是最好的。 对10幅图像进行膨胀操作，测量原图像的面积和不同模板膨胀后的面积，试验数据如下面的表4.2所示，单位是104PIXELS。通过(膨胀后总面积 — 原图像总面积)/原图像面积 来计算改变量表示膨胀对原图像的影响大小。通过计算得到各个模板的改变量如下:DIAMOND模板为32.39%，DISK模板为31.18%，LINE模板为8.81%，OCTAGON模板为38.95%，RECTANGLE模板为15.72%，SQUARE模板20.63%。这和前面分析的结果是一只得出，在同样大小的情况下，LINE模板对原图像的改变量最小，RECTANGLE模板次之，其他的模板对原图像的改变量都超过了20%。 表4.2 不同模板对原图像膨胀后面积表 DIAMOND DISK LINE OCTAGON RECTANGLE SQUARE 序号 原图 1 1.1991 1.689 1.652 1.2845 1.8482 1.3866 1.4514 2 0.6062 0.9887 0.9721 0.6826 1.126 0.7533 0.8133 3 1.0891 1.5465 1.5088 1.1614 1.6863 1.2709 1.3259 4 0.8432 1.243 1.2161 0.9115 1.3817 0.9973 1.051 5 0.669 1.022 0.9963 0.7259 1.1467 0.8034 0.8487 6 0.9068 1.3565 1.3322 1.0007 1.5055 1.0832 1.1526 7 1.323 1.9125 1.8829 1.4502 2.1025 1.5527 1.6499 8 1.8538 2.7413 2.7164 2.0795 3.05 2.1942 2.3611 9 1.2518 1.857 1.8303 1.3812 2.0563 1.4922 1.5897 10 0.7133 1.108 1.0856 0.7874 1.2238 0.8712 0.9285 10.4553 15.4645 15.1927 11.4649 17.127 12.405 13.1721 总计 综上所述，本文选择LINE模板对图像进行膨胀处理。在确定了模板类型后，另一个关键因素就是模板的大小。由上面的试验可以看出，模板越大，对原图像 39 江苏大学硕士学位论文 的改变量就越大，模板越小，对原图像的改变量就越小。所以，选择LINE模板的大小对最后的图像处理结果很重要。根据桔子树干图像的复杂性，显然设定一个固定的模板大小不会适用于所有的情况。为此，本文采用一种迭代的情况来进行重复膨胀，直到达到停止条件跳出迭代。算法如下: 图4.11 断裂区域修复算法流程图 LINE模板长度初始大小为10 PIXELS，角度为90?。首先检测图像中的区域数，如果区域数为1，则直接进入下面的处理步骤;如果区域数大于1，则进入迭代循环，对图像进行膨胀处理。膨胀处理完成后检测图像中的区域数，如果区域数大于1，则结构元素长度增加2 PIXELS,再次对图像做膨胀处理，如此迭代下去，直到图像内的区域数为1或者结构元素的长度为20 PIXELS结束。当结构元素过大时，会产生过度膨胀而使原图像变形。原因在前文中已有阐述，本文的处理中选择大小为20的模板为上限值。 膨胀处理后的图像中可能会产生新的空洞，同样采用形态学重构方法对空洞进行填充。图4.12中分别是三种情况的处理图。对膨胀后的图像采用相同形状和大小的模板进行相同次数的腐蚀操作。 A 原图像 B 膨胀图像 C 填充孔洞图像 图4.12 形态学处理图像 40 江苏大学硕士学位论文 4.5彩色图像分割流程及试验 4.5.1彩色分割程序流程 一般来讲，按照图像处理的常规步骤，在得到原始图像之后需要进行预处理，目前大部分的图像处理都遵循了这一传统习惯。图像的预处理一般的目的都是降低噪声的影响，比如中值滤波等。有些作者还采用图像锐化、图像增强等工作，也有文献中不做任何预处理直接进行图像处理。需要注意的是，图像预处理往往 [63]在特殊场合或特定环境中效果明显，比如文字识别等，然而对于林木图像来讲，由于果树和环境本身的复杂性，根本无法统计图像的组成，比如减少噪声的预处理，可能某些噪声本身就是树干表皮微结构的反应。所以，本文在图像处理前不做任何预处理，直接对桔子树干图像进行分割。 图4.13 彩色图像分割算法流程图 整个处理过程中经过两次彩色图像分割，第一次分割的目的是定位桔子树干ROI区域。本文中对彩色图像的R分量和G分量的关系是根据前文所述的图像分析得出的，在实际的操作过程中因为种种原因可能会有不同。为了增加适应性，提高初始颜色特征向量的准确性，本文提出:在试验进行前，首先试采集若干幅 41 江苏大学硕士学位论文 图像，从中随即挑出5-10幅图像，手工选择ROI，程序会自动根据人工选择的ROI区域的颜色特征向量计算此种情况下R分量和G分量的关系，从而确定自动分割算法中的初始颜色特征向量中的R分量和G分量的关系。经过试验，这种方法是试验可行的。 4.5.2 图像分割试验及分析 本文从采集的视频图像中提取图像70幅格式为jpg、240×320大小的彩色图像。选择其中的20幅作为桔子树干色彩因子提取样本。随机选择其余50幅图像中的20幅图像作为实验组，来验证算法的有效性。 试验结果采用识别正确率来评价。识别成功是指程序正确的定位识别出桔子树干区域而不关心识别的效果。识别正确率S=识别成功的图像数/处理的图像总数。本试验中计算机成功的识别出了15幅图像，因此本次试验的成功率S为75%。 本试验中识别不成功有两种情况，一种是没有识别出任何的区域，即图像处理过程中出现了全是背景的图像，共计2幅图像出现这种现象;另一种是错误的把土壤背景等其他区域识别为桔子树干，本试验中有3幅图像出现此种情况。对于第一种情况，本文在程序中采取的措施是直接跳出此次分割周期进入下一幅图像处理周期，所以对最后的图像特征提取影响不大。分析此种情况的失败原因是初始颜色向量与本图像的桔子树干颜色向量差别很大，超出了所设置的阈值范围，从而没有有效分割出桔子树干区域。对于第二种情况，分析识别失败的原因有如下几点:?图像中桔子树干的颜色和土壤比较接近时，由于彩色图像分割时的阈值选取不当，造成比较多的错误分割;?图像的整体亮度值较低时，桔子树干区域和土壤背景的区分度下降，桔子树干边缘灰度阶梯下降不大;?土壤背景中出现的干扰区域，比如一些沟壑等特征;?其他的一些未知因素。根据上面的分析，提出改进的方法如下:?提高自动阈值的精度，寻找更加合适的阈值选择算法;?在彩色图像分割前对图像的亮度进行检测，如果低于阈值亮度则对图像进行修复，提高图像中物体的对比度;?改进分割算法，采用更加适用于桔子树干的形状特征进行图像分割，将相近的背景区域分离出去。 综上所述，桔子图像彩色分割算法的优点是不用考虑背景的情况，直接分割提取桔子树干可以实现较好的分割效果。然而也有不足之处: 1.难以找到一个鲁棒性好的模式识别器。自动作业前往往需要手工首先输入样本，程序才能找到比较好的初始特征向量。 2.对颜色的变化比较敏感，鲁棒性不好，表现为识别的成功率偏低。 3.实现过程太过繁琐。 42 江苏大学硕士学位论文 结合上面的分析，可以得出:彩色分割算法可以作为一种很好的处理思路，但是真正应用到机器视觉中还需要做更加深入的研究工作。所以，本文从另外一个角度入手，提出一种简单、可靠的算法来分割图像，将在下一章中具体介绍。 4.5 本章小结 (1)介绍了彩色图像分割算法，对桔子树干图像进行图像分析，得到一种初始特征向量的获取方法。 (2)介绍了卷积，通过对比试验选择了适用于本文研究的卷积模板，应用于图像线性空间滤波。算法采用最大类间方差法自动获取阈值分割图像，并根据面积和形状特征进行图像分割。 (3)通过膨胀、腐蚀等数学形态学操作对分割后图像进行修复，填充桔子树干区域的孔洞，连接桔子树干不连续的部分。 (4)对彩色分割算法进行实验验证，识别正确率达到了75%。分析了桔子树干彩色分割算法的优缺点，进一步指出了的研究方向。 43 江苏大学硕士学位论文 第五章 桔子树干图像剥离分割算法 5.1 引言 桔子树干图像可以分为三部分:一是桔子树叶、绿色杂草等绿色植物区域;二是桔子树干、比较粗大的枝干区域;三是两者之外的背景区域，主要由土壤背景和天空背景组成。剥离分割算法，顾名思义，就是将图像中不属于桔子树干的区域一部分一部分的剥离出去，首先去除树冠等绿色部分、然后去除天空背景和土壤背景等等，保留下来的就是桔子树干区域。 5.2 绿色区域分割 桔子图像的绿色区域主要是由桔子树冠、未成熟的桔子果实、绿色杂草和图像中其他呈现绿色的物体组成。连续的大面积绿色区域主要是树冠区域。由于现在的园间管理水平提高，大面积的绿色杂草区域并不多见，但是由于存在套种等耕作形式，果农会在果树中间夹种其他作物，比如蔬菜等。本文的图像采集过程中，春季桔子园内就夹种了青菜，所以土壤背景中大部分也是绿色的。首先对桔子树干图像中的绿色区域进行分析。 桔子树干图像绿色区域RGB分量图 120 100 80R分量60G分量B分量40亮度值(0-255)20 01234567891011121314151617181920样本号 图5.1 原图像 图5.2 桔子树干图像绿色区域RGB分量图 对图5.1中的绿色区域随机抽取了20各样本点，每个点的R、G、B分量值如图5.2所示。明显地，绿色区域中的点的G分量值要大于R分量值和B分量值。再结合前面第三章中对桔子树干区域和背景区域进行图像分析的结论，这两个区域的共同点就是R分量值大于G分量值和B分量值。这样就构成了分割的一个基本条件，两者之间有明显的差异性。本文研究中，利用这种差异性进行了绿色区域的分割。本文尝试了提取图像的三分量的单分量图，然后利用超绿因子提取绿色区域，如图5.3所示。可以看出效果不明显，因为在桔子树干区域和背 44 江苏大学硕士学位论文 景区域中也包含了G分量值，所以造成了对这两个区域R、G、B分量值的改变。因此，本文利用上面得到的信息，自行开发了一种简单、可靠的算法用来分离绿色区域。 本文的算法如下:首先读取一幅RGB图像，然后计算每个点的R、G、B分量值中的最大值，如果G分量值为最大值，则令该点的R、G、B分量值全部设为0;如果G分量值不是最大值，则保持该点原来的R、G、B分量值不变。这个计算是逐行扫描进行的。 图5.3 超绿因子灰度图 图5.4 去除绿色区域效果图 用本文算法分离绿色区域后的效果图如图5.4所示。通过对比可以明显的看出，本文算法有效的去除掉了图像中的绿色区域，而没有改变其他非绿色区域的R、G、B分量值。另外，需要注意的是，超绿因子提取处理的图像为灰度图，本文算法分割绿色区域后仍然是RGB彩色图像。这对后面的图像处理很有利。 5.3 彩色图像背景分割 桔子树干图像中的背景区域主要包括两部分:土壤背景和天空背景。土壤背景相对于天空背景来讲比较复杂，可以大体分为两种情况:一是有绿色杂草或者其他绿色植物大面积覆盖的情况，这种情况下可以利用上面章节提出的算法分割绿色区域;二是没有绿色杂草或其他绿色植物覆盖，直接暴露土壤或者干枯的杂草等其他非绿色杂物的。这种情况下，土壤背景的颜色和桔子树干的颜色非常相近，某些时候用肉眼都很难区分开来两者，所以需要针对这种情况开发一种新的算法进行处理。同样的，首先对背景区域进行图像R、G、B向量值分析，如图5.5所示。土壤背景区域的R、G、B向量值的整体亮度远远小于天空背景，再根据图3.6a桔子树干的R、G、B向量值也远远小于天空背景。天空背景的三分量值都非常接近255，而且重合在一起。土壤背景的R、G、B向量值 45 江苏大学硕士学位论文 背景区域RGB分量图 300 250天空R分量 天空G分量200天空B分量150土壤R分量100土壤G分量 土壤B分量亮度值(0-255)50 0 1234567891011121314151617181920 样本号 图5.5 背景区域RGB分量图 则在50-200之间，并呈现出了前面图像分析的结果，R分量值大于G分量值和B分量值。所以，本文利用背景区域的特点，采取如下算法进行分割: 借助阈值分割的思想，对彩色图像的背景区域进行分割。度量的指标就是每个像素点的R、G、B向量值之和Sum(R，G，B)。如果Sum(R，G，B)大于阈值T，则令该点的R、G、B分量值全部设为0;如果Sum(R，G，B)不大于阈值T，则保持该点的各向量值不变。程序中阈值T=300。本算法是和前面去除绿色算法同时执行的，所以只需要对图像像素扫描一遍就可以完成去除绿色区域和背景区域的操作，这大大的减少了图像处理的时间。 通过本算法分割背景时，可以有效去除天空背景。由于土壤背景的复杂性，土壤背景的分割效果没有天空背景有效，但是对土壤背景也有一定的效果，如图5.6所示，可以分割出相当一部分亮度值比较大的土壤区域。另外，通过背景分割算法后，图像仍然是RGB彩色图像，基本保持了桔子树干区域的彩色信息不丢失，为后面的分割提供了很好的基础。 图5.6 去除天空背景后效果图 46 江苏大学硕士学位论文 5.4 色彩因子分割 根据第三章中的分析可知，桔子树干区域的R分量值大于G分量值和B分量值，而通过绿色区域分割和彩色图像背景分割算法可知，经过这两步操作后桔子树干区域的这个性质没有改变。所以，考虑可以用突出R分量的色彩因子对图像进行灰度化处理。本文试验如下4种色彩因子:f=R; f=1.4R-G-B; f=2R-G-B; 123f=R/(G+B)。各个色彩因子提取的灰度图如下: 4 a R b 1.4R-G-B c 2R-G-B d R/(G+B) 图5.7 不同色彩因子效果对比图 通过比较上面四幅图像的效果，b图最差，整个图像的灰度太低，桔子树干区域几乎分辨不出来。d图的分割效果也不理想，因为桔子树干区域的亮度值太小了，只有两个边缘的亮度值比较大，这样容易出现误分割的情况。相比较之下，c图的效果要好于a图，因为a图在桔子树冠区域和背景区域带入了噪声。c图的色彩因子突出了分割的目标区域——桔子树干，而在目标区域以外没有带入过多的噪声点。所以，本文选择2R-G-B这个色彩因子对彩色图像进行灰度化处理。 47 江苏大学硕士学位论文 5.5 二值图像土壤背景分割 通过查看灰度图的直方图可以看出，图像的灰度值范围很小，集中在0-70之内，而且大部分的像素亮度值小于50，见图5.8。所以，需对图像进行修复，本文仍然采用直方图均衡化的方法修复图像。直方图均衡化后的图像的直方图如图5.9所示。可以看出，图像的亮度值范围被拉大了，各个像素的亮度值平均分布在150-255范围内，整个图像的亮度值增加。 图5.8 原灰度直方图 图5.9 修正后直方图 对修复后的图像采用最大类间方差法自动取阈值分割，将灰度图转化为二值图，见图5.10。桔子树干区域被分割出来了，一些主要的枝杈也被分割出来了，这些都是想要的结果。但是，大面积的土壤背景也被分割出来了，所以，必须在二值图像中将这些土壤背景分割出去。首先，采用面积分割法，将图像中小面积的区域分割出去，如图5.11所示。面积分割后的图像只剩下了大面积的桔子树干区域和土壤背景区域。 图5.10 二值图 图5.11 面积分割后二值图 根据先验知识以及对图像观察可知:桔子树干的直径要远远小于土壤背景的宽度。同样的，桔子树干的直径与图像宽度的比值要远远小于土壤背景与图像宽 48 江苏大学硕士学位论文 度的比值。二者明显的差异性为进行图像分割提供了有效的根据。所以，本文提出针对二值图像中的土壤背景的分割方法: 用一条水平线对图像进行自下而上的扫描，首先获取水平线上白色点的个数Num，然后计算比值Rate=Num/Width，其中Width为图像的宽度。设定一个阈值T，如果Rate > T，则令该水平线上所有点的亮度值为0，即将该水平线上的点都设为背景;如果Rate <= T，则保持该水平线上所有点的亮度值不变。阈值T的选择对分割效果影响很大。如果阈值T选的太大，则分割效果比较差，达不到有效分割土壤的目的;如果阈值T选的太小，容易对图像中的桔子树干区域产生 椭圆区域中出现的情况中，非常容易将桔子树干区误分割，尤其是在图5.11 中 域也误分割成背景区域。经过反复试验，本文的程序中阈值T选为0.7。 为了提高本方法的分割效果，在进行此操作前，先对图像进行填充孔洞的操作。填充空洞的目的是将背景中的空洞填充起来，扩大Rate的值，进一步提高分割效果。图5.12是填充空洞后的图，图5.13为本算法去除土壤背景后的图。 图5.12 填充空洞后二值图 图5.13 去除土壤背景后二值图 由于本文前面算法本身的特性，在进行分割时，土壤背景会和树干的底部相连而成为一个呈现倒“T”形的连通区域。在二值图像中根据亮度值对一个连通区域的分割是非常困难的，因为二值图像中每个点的亮度值只有两个，提供的信息太少。所以，只能从形状等方面入手，对倒“T”形区域进行分割。 由图可知，倒“T”形区域的土壤背景宽度和树干直径应该相仿，而且在方向上和树干方向成一定的角度。在图像坐标系中，树干的方向是沿着X方向的，而土壤背景的方向基本上沿着Y方向的。借鉴前面分割土壤背景的思路，可以通过根据桔子树干直径与树高的比值和土壤背景宽度与树高的比值相仿这个特性来进行分割。选择树干高度作为比值条件原因如下:一是防止矮小的树干误分割为土壤背景;二是减少程序运行时间。具体的分割方法如下: 49 江苏大学硕士学位论文 1. 计算桔子树干的高度H; 2. 以桔子树干的最底部起始，找到桔子树干H/2的部位O(x，y)，以此部位为中心点，上下依次各取10个位置并计算桔子树干直径，最后求20个数据的平均值作为桔子树干的直径D; 3. 计算比值rate = D/H ，比值放大倍数beishu = round(1/(2*rate))，其中beishu为整数。阈值T = beishu*rate。 4. 以Y坐标为自变量，用竖直线扫描图像，计算竖直线上的白色点的个数，用该数据除以H的比值和阈值T相比较。如果比值小于阈值T，则该竖直线上低 x，y)的所有点的亮度值设为0，划分为背景;如果比值大于阈值T，则于O( 保持该竖直线上的所有点的亮度值不变。 计算O(x，y)的目的是保证该方法在去除土壤背景的时候而不改变桔子树干上方的主要分枝等部分。分割后如图5.14所示。本幅图像的处理结果比较好，没有出现分割后桔子树干图像不连续的情况。程序的下一步操作是对图像形态学修复，这在前面的彩色图像分割算法中已经讲过，这里不在赘述。 图5.14 去除倒“T”形区域后效果图 5.6 特征提取 本文研究中对桔子树干的特征提取包括三个方面:一是桔子树干形态参数桔子树干直径和高度;二是树干区域的面积、质心、宽度、树干区域周长、矩形度和伸长度;三是桔子树干中轴线。本文仅提供基本的数据信息，根据用途和目的的不同，需要结合具体情况选用相应的方法对这些数据进行处理。在此本文对数据的后期处理不做讨论。 50 江苏大学硕士学位论文 5.6.1 树干形态参数 桔子树干的高度H= X — X。桔子树干的直径反映到图像中实质上是maxmin 提取桔子树干区域的宽度，即在Y方向上的区间长度。所以本文采用自顶而下的方式进行水平扫描，首先检测水平线中是否仅仅含有一个连续的图像区域，如果仅有一个区域，则直径值D = Max(Y)— Min(Y)，i为当前的X坐标，iii 取值范围为图像的高度，Y为当前水平线上所有图像点坐标向量;如果不只有一i 个区域，则跳过此行扫描下一行。如此执行完循环后，所有的宽度数据保存在一个向量中，供后期的数据处理使用。 5.6.2 桔子树干区域参数 区域的面积A和质心Center采用Matlab软件图像处理函数库中的regionprops函数数据得到，具体的算法原理本文这里就不再阐述，感兴趣的读者可以查看相关书籍。 树干区域的宽度W是指桔子树干区域Y坐标最大值与最小值的差值，即W=Ymax — Ymin。树干区域周长L= sqrt(2)*Nd+Nx+Ny，Nd为奇数码的链码个数，Nx为水平方向的周长像素个数，Ny为竖直方向的周长像素个数。桔子树干区域的矩形度R=A/(H*W)。伸长度E=min(H,W)/max(H,W)。 5.6.3 中轴线 在本文研究中，桔子树干的中轴线是非常重要的特征，本文通过骨骼化操作来提取桔子树干的中轴线。骨架是一种细化结构，它是目标的重要拓扑描述。骨架可以用中轴来表示。对于文字、工程图、指纹以及图像中的“细茎”状图像， [33]常常需要通过计算它们的骨架来进行识别或重描。 骨骼化是一种将二值图像中的对象约减为一组细骨骼的方法，这些细骨骼仍保留原始对象形状的重要信息。本文采用基于数学形态学的算法，利用结构元素B细化图像的S定义为: SBSSB,,,\() SB, 即骨骼化的结果是S*B与S的差集。骨骼化后的图像如下图5.15所示。骨骼化后的图像中往往会出现一些小毛刺，可以看出骨骼化对形状以及噪声都很 [58]敏感，在应用的时候要特别注意这一点。本文采用Gonzalez的方法进行去毛刺操作得到桔子树干的中轴线，如图 5.16所示。将骨骼化后的图像中白色点的 51 江苏大学硕士学位论文 坐标按着水平线依次扫描保存进一个向量，将桔子树干中轴线上的点的坐标保存在变量C_axis中。通过处理这些数据可以得到需要的特征信息，比如位置、分叉点等。 图5.15 桔子树干骨骼线图 图5.16 桔子树干中轴线图 5.7 图像分割试验及分析 1. 分割桔子树干区域和原图像中该区域的重合性 为了验证提取的桔子树干区域和原图像中桔子树干区域的重合性，本文将提取到的桔子树干区域边缘的坐标提取出来，标记在原来的彩色图像上。如图5.17所示，图中白色点连接的线就是剥离算法提取出来的桔子树干区域边缘。可以看出，剥离算法提取的桔子树干区域和原彩色图像中的区域重合性很高，提取效果 图5.17 桔子树干区域复原图 图5.18 桔子树干中轴线复原图 良好。图5.18所示的是将提取的桔子树干中轴线标记在原图像上，可以看出该线完全在桔子树干内并处于中心线上。 2(算法识别试验 实验采用40幅图像检验剥离算法的有效性。图像大小为240×320，格式为 52 江苏大学硕士学位论文 JPG。试验中采用识别正确率和识别率来评价图像分割效果。本次试验中，计算机成功的识别出了37幅图像中的桔子树干中轴线，将其复原到原图像中重合在桔子树干上，识别正确率达到了92.5%。其中20幅图像完全将桔子树干的主干和主要枝杆区域都识别出来，另外17幅图像成功的识别出了桔子树干的主干，但是在桔子树干主分叉点区域内并没有把两个主枝杆分割开来。下面对20幅分割效果较好的图像进行定量指标评价。 试验中采用识别率作为识别效果的定量评价指标。识别率由公式5-1计算: (5-1) 式中:E——识别率; Area——正确识别的桔子树干区域面积(单位:像素); rr 原图像中桔子树干区域的总面积(单位:像素); Area——or 试验数据如表1所示。对于试验分析如下: 表5.1 桔子树干的识别率 树干区域正 树干区域正树干区域树干区域序号 确识别面积 总面积 确识别面积 总面积 识别率% 序号识别率% /pixels /pixels /pixels /pixels 1 9836 12483 78.80 11 14459 15285 94.60 2 5656 7007 80.73 12 17702 18418 96.11 3 11432 12683 90.14 13 22082 25494 86.62 4 10237 13124 78.00 14 13855 15449 89.68 5 9330 11708 79.69 15 12867 14731 87.35 6 7825 8263 94.70 16 14537 17542 82.8 7 11464 13191 86.91 17 8021 9883 81.2 8 10081 11378 88.60 18 9172 11528 79.6 Area9 7517 8923 84.24 19 14971 17225 86.9 10 9052 10316 87.75 20 11948 13463 88.7 对图像分割效果的另外一个评价效果是桔子树干中轴线的定位精度。桔子树干中轴线的定位精度的量化指标是定位误差。如图5.19所示，人工在彩色图像上提取桔子树干区域，然后经过处理得到人工提取的桔子树干中轴线(图5.20)， rr以此中轴线的坐标为标准数据，对比自动提取的桔子树干中轴线(图5.21)的相应坐标，从而得到量化指标定位误差。 53 100%E,， Area or 江苏大学硕士学位论文 5.19 原图像 图5.20 手工提取中轴线 图5.21 自动提取中轴线 首先将各自图中X值只对应一个Y值的点提取出来，然后从这些点中以X值相等来提取两幅图像中对应两点，即(X,Y),(X,Y),其中Y为标准中轴线坐mam标的Y值，Y为自动提取中轴线坐标的Y值。本文中定位误差定义如下: a n2()YY,,aimi,i1 (5-1) ,,n n为选取点的个数，试验中选择10个点。 算法运行时间也是算法的一个重要参数。定位误差和运行时间数据如表5.2所示。 表5.2 算法运行时间和定位精度数据 序号 时间(s) Y(pixels) Y(pixels) 误差(pixels) manauto 1 1.317 238.8 239.2 0.5657 2 1.313 216.4 217.4 0.6 3 1.668 232.8 235.4 1.51 4 1.333 234.8 236.2 0.7746 5 1.434 257.6 257.8 0.5292 6 1.616 211.6 212.4 0.4899 7 1.526 250.8 251.8 0.5292 8 1.537 231.4 232 0.3464 9 1.593 275.2 279.4 2.2539 10 1.66 216 216.8 0.4899 11 1.767 218.4 219.8 0.7746 12 1.33 207 209.4 1.2961 13 1.6 226.2 227 0.4 14 1.591 249.8 250.6 0.4899 54 江苏大学硕士学位论文 15 1.424 239.6 240.6 0.5292 16 1.678 240.6 241.6 0.6633 17 1.622 240.2 241 0.6325 18 1.691 217.4 219 1.0198 19 1.366 241.2 242.2 0.6633 20 1.648 234.8 237.4 1.4832 (1) 本算法根据桔子树干图像色域少的特点，采用逐步剥离图像中的绿色区域、背景部分而保留桔子树干区域的思路对图像进行分割。经试验证明可以有效的识别桔子树干，平均识别率达到了86.2%。针对不同用途的果园机器人，经过有针对性的图像特征提取就可以作为视觉传感器来感知周围环境。 (2)本算法对20幅图像的定位误差的平均值为0.802 pixel，最大值为2.254 pixel，最小值为0.346 pixel。15幅图像的定位误差在一个像素以下，表明本算法对桔子树干中轴线的位置符合原图像的位置，可以作为智能收获机器人自动导航的依据。 (3)本算法执行20幅图像处理的平均时间为1.535s，最短时间为1.313s，最长时间为1.767s。在matlab平台上本算法的处理速度暂时还不能满足自动导航的实时性要求，但是本算法经过下面的改进可以提高图像处理速度。一是根据算法编写出基于VC的处理程序，可以提高处理速度并应用在机器人上;二是去除绿色区域和背景区域的操作是对于图像中每个像素点逐个扫描进行的，该操作非常耗时，大大的影响了算法的实时性。可以考虑采用矩阵运算的形式加以改进。 5.8 本章小结 (1)介绍了剥离算法的思想，并详细阐述了去除绿色区域的方法。 (2)介绍了背景去除的方法。运用亮度值阈值去除天空背景和亮斑，运用桔子树干和土壤背景之间的形态特征，在二值图像中去除土壤背景。并且同样运用形状特征分割进一步提取树干图像。 (3)阐述了桔子树干区域的特征提取方法，包括桔子树干形态参数、桔子树干区域参数以及桔子树干的中轴线的提取方法。 (4)为验证算法的有效性进行了图像识别试验，结果表面本算法的识别正确率达到了92.5%，识别率平均达到了86.2%，定位误差平均为0.802pixel。 55 江苏大学硕士学位论文 第六章 总结与展望 6.1 本文的主要工作 本文在对常规的图像分割算法的研究和分析的基础上，提出了适合于桔子树干图像分割的算法，初步实现了桔子树干图像的计算机自动分割，取得了良好的识别效果。本文的主要工作及结论是: 1. 比较了三种常规图像分割算法在桔子树干图像分割中的应用效果，分析了三种算法的分割效果，指出了各种算法分割效果的不足之处。可以得出，简单的利用单一常规图像分割算法不能够满足桔子树干图像自动分割的要求。 2. 提出了基于彩色图像分割的算法，取得了良好的图像分割效果。依次经过计算颜色特征向量、彩色图像分割、线性空间滤波、二值化、面积与形状特征分割和形态学修复等主要处理步骤，可以较好的提取出桔子树干。此算法的识别正确率达到了75%，要应用到实际生产中还需要进行进一步的研究。 3. 本文提出了适用于桔子树干分割的剥离算法。桔子树干图像可分为三部分:桔子树干区域、绿色区域以及背景区域。算法思想是依次去除绿色区域和背景区域，则保留下来的就是桔子树干区域，就可以精确的将桔子树干从图像中分割出来。本算法通过对像素点亮度值的操作，成功的在彩色图像中完全去除桔子树冠和杂草区域、天空背景及亮斑等区域,而几乎不改变桔子树干区域的信息。在二值图像中，运用树干与土壤背景之间的形态特征分别去除土壤背景。经过对40幅图像进行试验，该算法的识别正确率达到了92.5%，桔子树干识别率平均达到了86.2%，平均处理时间为1.535s。将提取的桔子树干还原到原图像中，桔子树干中轴线的定位误差平均为0.802 pixel，定位误差最小值为0.346 pixel。 4. 采用数学形态学运算修复分割中产生的桔子树干不连续区域。在尽量少的改变桔子树干外形的前提下，可以完全消除图像中的孔洞，对断裂区域的连接效果良好。通过骨骼化操作提取桔子树干的主轴线。 5. 在VC++ 6.0平台上编写了摄像机云台控制软件和图像采集软件。在Matlab环境下编写了图像处理程序。实验过程中，程序工作正常，运行稳定。 56 江苏大学硕士学位论文 6.2 后续工作及展望 6.2.1 后续工作 作为本文研究的后续工作，对所用的摄像机内参数进行了标定。本文采用张 [62]正友的标定方法，选择了8幅照片进行标定，并且尽量保证图片间的位姿不同。标定模板及图片如图6.1所示，8幅图片相对于摄像机的位置如图6.2所示。 图6.1 标定图像 图6.2 标定板相对于摄像机的位置 α、α、u、v、γ是线性模型的内参数。其中α、α分别是u轴和v轴的尺xy00xy 度因子，即有效焦距，u、v是光学中心，γ是u轴和v轴不垂直因子，在很多00 情况下令γ=0。标定结果如下: 表6.1 标定结果数据表 参数 结果(pixels) 误差(pixels) α 338.31407 10.22681 x α 338.14281 10.27022 y u 199.46047 7.11211 0 v 141.44353 7.69913 0 γ 0 0 pixels error 0.47435 0.47401 6.2.2 工作展望 桔子树本身及桔子园内的复杂性决定了桔子树干图像分割的难度。为了集中于需要研究的问题，本文选用的图像都是仅包含一株比较明显树干的图像，所得出的研究方法必然有局限性，有些复杂的问题并没有涉及，例如，桔子树中的较大枝叶的遮挡树干的情况，同时有两株桔子树干的分割等等，都是必须要解决的 57 江苏大学硕士学位论文 现实问题。如果两株树干保持一定的距离，本文可以分别提取出来，但是如果两株树干部分重合在一起就超出了本文的研究范围。由于时间和精力有限，本文只能提出一个解决问题的方向和思路，为下面进一步的深入研究提供参考。 1. 本文的剥离算法还有如下需要完善的地方:一是根据算法编写出基于VC的处理程序，可以提高处理速度并应用在机器人上;二是去除绿色区域和背景区域的操作是对于图像中每个像素点逐个扫描进行的，该操作非常耗时，大大的影响了算法的实时性。可以考虑采用矩阵运算的形式加以改进。 2. 对于遮挡的情况，又可以分为两种情况。一种情况是仅仅能提取出遮挡枝叶上面或者下面的一段树干;另一种情况是可以提取出遮挡枝叶上下两段树干。对于第一种情况，可以结合目前研究的热点分形理论和桔子树干图像库来预测树干的性状。对于第二种情况，可以采用跟踪边缘，找到合适的基点，采用特定算法人工连接起来。 3. 对于两株桔子树干部分重合的情况。本文提出的思路是在去除掉绿色区域和背景区域后，检索桔子树干区域内的像素亮度值的变化，根据亮度值的变化的不连续性寻找突破口。一定要在彩色图像或者灰度图像中将两株树干分离开来，因为二值图像的信息量太少，而且两株树干合并为一个区域，很难区分开来。 本文是桔子树干图像分割的一项探索性的工作，今后深入的研究还面临着许多难题，距离应用到果园机器人视觉的具体实践还需要进行更多更深入的研究。 58 江苏大学硕士学位论文 参考文献 [1] 沈明霞，姬长英.农业机器人的开发背景及技术动向.农机化研究，2000 (2): 31-35 [2] 叶兴乾主编，刘东红副主编，柑橘加工与综合利用 [M].北京:中国轻工业出版社，2005: 1~6. [3] 叶兴乾主编，刘东红副主编，柑橘加工与综合利用 [M].北京:中国轻工业出版社，2005: 12~13. [4] 中国农业百科全书总编辑委员会果树卷编辑委员会,中国农业百科全书编辑部. 中国农 业百科全书?果树卷[M].北京:农业出版社 1993-11 [5] 石俊生,彩色图像分割与特征选择.云南师范大学学报.Vol.l9, No.6,Dec 1999. [6] N. R. pal and S. K. pal. A review on image segmentation techniques. Pattern Recognition. Vol.26, No.9, 1993 :1277-1294 [7] 张兆礼,孙圣和,赵春晖, 一种用于图象恢复的数据融合算法研究[J],中国图象图形学 报,2001,Vol6(A),No.1:61-64 [8] Pilarski T., Happold M., Pangels H., Ollis M., Fitzpatrick K., Stentz A. The Demeter System for Automated Harvesting. Proceedings of the 8th International Topical Meeting on Robotics and Remote Systems, Apri1.1999 [9] Ollis Mark, Stentz Anthony. First result in vision-based crop line tracking. Proceedings of the 1996 IEEE Conference on Robotics and Automation (ICRA 96), Minneapolis,MN.1996. pp. 951-956. [10] D.M.Woebbecke, G.E.Meyer, K.Von.Bargen, D.A.Mortensen. Color indices for weed identification under various soil, residue, and lighting conditions. Transactions of the ASAE. 38(1):259-269,1995 [11] A.J.Pe?rez, F.Lo?pez, J.V.Benlloch, S.Christensen. Colour and shape analysis techniques for weed detection in cereal fields. Computers and electronics in agriculture. 25(3):197–212,2000 [12] George.E.Meyer, Joao.Camargo.Neto, David.D.Jones, Timothy.W.Hindman. Intensified fuzzy clusters for classifying plant, soil, and residue regions of interest from color images. Computers and electronics in agriculture. 42(3):161–180,2004 [13] Cho.S.I ,Ki NH.,Lee.J H Choi C H.Autononmous speed sprayer using fuzzy logic.Proc. 59 江苏大学硕士学位论文 International Conference on Agricultural Machinery Engineering, November, Seoul, 1996:648-657 [14] Cho.S.I.,Ki.N.H. Autonomous speed sprayer guidance using machine vision and fuzzy logic.ASAE,1999,42(4):1137-1143 [15] Shin B.S. S.H. Kim. Autonomous Guidance System for Agricultural Machine by Machine Vision.Proceeding of ASAE Annual International Meeting, Sacramento,California, USA. 2001.Paper Number: 0l-1194 [16] Toru Torii. Research in autonomous agriculture vehicles in Japan.Computers and Electronics in Agriculture.2000.(25): 133-153 [17] 相阿荣. 识别杂草和土壤背景物的图像处理方法研究.硕士论文. 中国农业大学,2001 [18] 毛文华,王一鸣,张小超,王月青. 基于机器视觉的苗期杂草实时分割算法. 农业机械学 报.36(1):83-86,2005 [19] H.T.Søgaard, H.J.Olsen. Determination of crop rows by image analysis without segmentation, Computers and Electronics in Agriculture.2003(38):141-158Dandy R C. Developments in electronics[J].Agricultural Engineer,1994,49(1):2-4 [20] S.Yonekawa, N.Sakai, O.Kitani. Identification of idealized leaf types using simple dimensionless shape factors by image analysis. Transactions of the ASAE. 39(4):1525-1533,1996 [21] W.S.Lee, D.C.Slaughter, D.K.Giles. Robotic weed control system for tomatoes. Precision Agriculture. 1(1),95-113(1999) [22] J.Blasco, N.Aleixos, J.M.Roger, G.Rabatel, E.Moltó. Robotic. Weed control using machine vision. Biosystems engineering. 83(2),149-157,2002 [23] Søgaard.H.T. Weed classification by active shape models. Biosystems engineering, 91(3):271-281,2005 [24] 纪寿文,王荣本,陈佳娟,赵学笃. 应用计算机图像处理技术识别玉米苗期田间杂草的研 究. 农业工程学报. 17(2):154-156,2001 [25] 龙满生. 玉米苗期杂草识别的机器视觉研究.硕士论文. 西北农林科技大,2002 [26] Astrand B., Baerveldt A.J. An agricultural mobile robot with vision-based perception for mechanical weed control. Autonomous robots,2002(13):21-35 60 江苏大学硕士学位论文 [27] Yutaka Kaizu. Prototype rice transplanter masters the paddy with machine vision. (Automation Technology).2005, [28] 沈明霞,姬长英.农作物边缘提取方法研究.农业机械学报,2000,31(6):45-47 [29] 沈明霞,姬长英.基于纹理频谱的农田景物区域检测.农机化研究,2000,8(3):43-47 [30] 沈明霞,李秀智，姬长英.基于形态学的农田景物区域检测技术.农业机械学报， 2003,34(1):92-94 [31] 周俊, 姬长英. 农业机器人视觉导航中多分辨率路径识别. 农业机械学 报.2003,34(6):120-123 [32] 周俊, 姬长英. 基于知识的视觉导航农业机器人行走路径识别. 农业工程学 报.2003,19(6):101-105 [33] 程磊，树木图像的分割方法初探，硕士学位论文，北京林业大学，2004 [34] 杨华、孟宪宇、刘燕、程俊，单株立木图像信息的提取与解算,北京林业大学学报， 2005,27(1): 51~54 [35] 孙仁山，李文彬，徐凯宏，基于小波变换的林业图像处理研究，森林工程,2005,21(1):4-6 [36] 孙仁山 李文彬 田勇臣 华 丽，基于整枝抚育目的的立木枝干自动识别研究，北 京林业大学学报,2005,27(4): 86~89. [37] 阚江明，李文彬. 基于数学形态学的树木图像分割方法[J]. 北京林业大学学 报.2006,Vol.28(supp2):132,136. [38] 阚江明，李文彬，孙仁山. 基于计算机视觉的立木枝干直径自动测量方法[J].北京林业大学 学报.2007,Vol.29(4):5~9. [39] 童雀菊 华毓坤，用图像处理法采集原木形状参数的研究，林业科学,1998,34(3): [40] 葛玉峰,周宏平,郑加强等，基于相对色彩因子的树木图像分割算法[J]. 南京林业大学学报 (自然科学版).2004.28(4) :19,22. [41] 向海涛 郑加强 周宏平，基于机器视觉的树木图像实时采集与识别系统，林业科学, 2 0 0 4,40(3):144-148 [42] 王雪峰，张 超，唐守正，基于图像理解的树木直径抽取技术[J]. 林业科 学.2005,Vol.41(2):17,20. [43] 上海广茂达伙伴机器人有限公司。能力风暴智能机器人越野版AS-RF操作手册，2000。 [44] ViewCast Corporation Osprey Video Division.Osprey100-200_Manual.2002 [45] 孙鑫，余安萍，VC++深入详解[M],北京:电子工业出版社，2006 [46] William J, Palm III, Introduction to MATLAB 7 for Engineers[M],北京，清华大学出版社， 61 江苏大学硕士学位论文 2007 [47] 中国农业科学院郑州果树研究所等主编，中国果树栽培学[M].北京:农业出版社，1987: 882~883. [48] 苗平生，华敏 ，现代果业技术与原理[M]，北京:中国林业出版社，1999 计算机图像处理技术及其在农业工程中的应用.[M]北京，清华[49] 方如明，蔡健荣，许俐. 大学出版社，1999 [50] Blum H. Biological shape and visual science (part 1).[J] Theoret Biol,1973,38:205~287 [51] Mardia K V, Hainsworth T J. A spatial thresholding method for image segmentation. IEEE Trans Pattern Analysis and Machine Intelligence,1988, 10:919927. [52] W.Doyle. Operations useful for similarity-invariant pattern recognition[J].JACM, 1962，9 (2):259-267 [53] . M. S. Prcwitt, M. L. Mendelsohn. The analysis of cell images [M].Ann N Y Acad Sci， 1996, 128: 1035-1053 [54] M. R.Bartz. Optimizing a video preprocessor for OCR[M].In: Proc IJCAI,1969, 79-90 [55] N.Otsu. A threshold selection method from gray-level histograms[J].IEEE Trans.on Systems, Man, and Cybernetics, 1979, SMC-9: 62-66 [56] T. Pun. A new method for gray-level picture thresholding using the entropy of histogram[J].Signal Processing, 1980, 2: 23-237 [57] 吕凤军，数字图像处理编程入门[M].北京，清华大学出版社，1999 [58] R C Gonzalez, R E. Woods, S L. Eddins, Digital Image Processing Using MATLAB [M]. Beijing : Pub. House of Electronics Industry, c2004. [59] 戴青云，余英林. 数学形态学在图像处理中的应用进展[J]. 控制理论与应用， 2001,18(4):478-482. [60] 罗林,图像分割算法研究[D].，武汉科技大学，硕士学位论文，2007 [61] 章毓晋. 图像处理和分析[M]. 北京:清华大学出版社，1999 [62] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2000,22(11):1330-1334 [63] 胡波, 杂草识别中图像特征的优化及识别算法的研究[D],江苏大学,硕士学位论文,2007 [64] Hayashi,S.Ganno，K&Ishii,Y. Robotie harvesting system for eggPlant.[J]JARQ，2002，36(3)， 163一168 62 江苏大学硕士学位论文 致 谢 本文是在我的导师——邱白晶教授的精心培养和悉心指导下完成的，导师严谨的治学作风、敏锐的洞察力和高水平的学术思想以及深入钻研的科研精神使我受益非浅，在此向他致以最诚挚的感谢和最崇高的敬意～ 感谢沈成杰、李成泉、赵晓丽、张振磊、沈宝国、李坤、王天波、李娟娟等师兄妹的帮助和解疑，以及对课题深入的探讨～ 特别感谢一直默默支持我的父母和可爱的妹妹，感谢我的女朋友龚晓梅对我的关心和支持～ 感谢农工院其他老师给我的帮助和指导，使我在研究生三年期间受益匪浅。感谢江苏大学的图书馆管理员和校园网管理员，他们的辛勤工作给了我轻松查阅资料的环境和了解外部信息的工具～ 感谢给予我转载和引用权的资料、文献、图片、研究思想和设想的所有者～ 63 江苏大学硕士学位论文 攻读硕士学位期间发表的学术论文 1. 基于颜色特征的桔子树干图像分割方法.《农机化研究》.(待发表) 64