CBIR系统中的图象语义分割技术

CBIR系统中的图象语义分割技术 A)403:8B0,5C;D$"$EF!;>#,.- 摘 要 随着数字图象技术、宽带网络技术和数字存储设备技术的发展，在网络上存储、传输大规模分布式数字图象库成为可能，因此研究基于内容的图象检索技术成为近几年的热点。实现基于内容的图象检索系统的关键问题是实现图象 的语义分割。该文分六类对现有的图象语义分割技术进行了全面的总结，为进一步研究基于内容的图象检索技术奠定了 基础。 关键词 基于内容的图象检索 图象语义分割 聚集技术 直方图技术 分与和技术 区域增长技术 边缘检测器 基于物理特征的技术 文章编号 $""!)G>>$)(!""!)!$)"$$?)"? 文献标识码 H 中图分类号 IJ>D$ % &’()*+ ,- .*/01,2,34*5 -,( #673* &*67184/ &*3*187841 41 # &+58* 6,"$6! 713 47-*13 9,: (%+K-6 K06--，M0N35 O37613-P +Q R3 02 9+8+5P，M0N35 $$?) 4:.L.4.,,,,.*.,*.,I.*,,,!""%5878:*- 278+K4-1 3 2353-08 340535 -*9+8+5P，6+0202 -B+6@35 02 2353-08 1-+605 273*1 907 1- ;(/(..,...,,,.,//,,.,,..... ，，-9. 1-05. Q+6 -9. 5.,.60-3+,-60,143--0840,3K:80-3+, 0,2 1-+605. +Q 8065.)1*08. 231-63/:-.2 2353-08 3405. 20-0/01. +, -9. -B+6@#+ 0**11 -91 3405 20-0011 0-+40-3*088P 02 + 2402 6S361 -9 1P-14 +Q *+-- 012 3405 ,.I..../.:,,.,.:...,.,)/.. ()6-63708 %&#T +Q -9 @P -*9+8+531 3 %& 1P-14 31 -9 3405 140-3* 154-0-3+#931 K0K6 167P1 -9 ..’(,....,.,’(....,..,,I.:..-.*93S.1 Q+6 3405. 1.40-3* 1.54.-0-3+ 02 *80113QP 08 8-9. .B -.*93S.1 3-+ 13U *0-.5+63.1#’- 80P1 0 Q+20-3+,:,,,,,,:,:,, Q+6 -9. 6.1.06*9 +Q %&’( 1P-1.4# : ，，，，*+=>5%+--012 405 -63708405 R40-3* R54-0-3+%81-635 *9+8+5PV31-+5604 *9+8+5P <,(,.,)/.’.(..’..,..,,:.,I.,I., ，，，RK83- 02 W65 9+8+5P53+ X6+B35 9+8+5PA25 --+69P131012 9+8+5P ,..I.*,(.,,I.*,.L..*J*)/.I.*, 足 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 则把它们归在同一个区域中，从而把图象划分为一个个$ 引言 )区域，即具有语义的区域。同质的(9++5+1 4.,.:在过去 年中，数字图象技术、宽带网络技术和数字存储 !" 图象的语义分割问题是依赖于应用的，在一个应用中用户 设备技术的发展为大规模分布式数字图象库的产生、传输和存 可能感性趣的是图象的细节信息，而在另一个应用中用户感兴 储提供了可能，要为用户提供自动地按需访问大规模分布式数 趣的可能是图象中大型的物体，所以定义一个通用的图象语义 字图象库的功能，势必对现有的数字图象管理技术提出了前所 分割算法是不可能的。文中，笔者把目前较流行的图象语义分 未 有 的 挑 战 —实 现 基 于 内 容 的 图 象 检 索 (—%&’( )*+,-.,- ) 割技术分 类作了一个较为全面的阐述，同时也表达了笔者的 ; 012 3405 6-63708)系统。/....一些见解。 人类在日常生活中早已习惯于利用一些高级概念，诸如物 体、人、地点等来检索图片，从中找到他们所需要的信息。这些 高级概念对于人来说是再自然不过了，但对于计算机来说却是 相当难理解的。因为计算机能直接识别的只有图象的低级特 ! 图象语义分割技术 征——颜色、形状、纹理等。所以实现自动化无需人管理的 <$== 公式 小学单位换算公式大全免费下载公式下载行测公式大全下载excel公式下载逻辑回归公式下载 中对应的高斯参数值(每组的平均值 、" $ 性，研究人员开发了两类图象语义分割算法:分与合 (74-/ ,)! )技术和区域增长技术。 *3910=1.)方差 、先验概率 )，有的 算法中的估 计 过 程 采 用 了#"’(( $ $ ?A?JAI 期 望 最 大 化()算 法 原 理 ，有 时 还 #H 分与合(74-/310=1)技术!,)*.)96)6&718/*/-2 *&-9-:*/-2(.(. 用最小描述长度标准()来确 这类算法的一个共同特点是算法从整幅图象开始，依据一 <--9+9 180-7/-2 <1=/>(;)(.;,.. 定上述公式中的点群数目 。7 定原理将整幅图象分()为若干零碎的同质小区域，这些小 74-/, 第三类聚集算法是非参数密度估计法，这类算法的目标仍 区域从语义上看可能不代表任何物体。合()过程通常是 910=1是估计基本的数据点密度函数 ()，但密度函数是从某个较大 % &在确保同质性的前提下，把相邻的若干零碎区域以某种方式联 结起来，得到最大的同质区域，代表一个具有语义的物体。描述 函数类中构建而成的，具有一定的灵活性。这类算法不必在估 分过程常用的数据结构是四叉树，合过程常用的数据结构是区 计密度函数之前确定点群的数目，这个参数在密度模型确立后 域邻接图()。为了增强彩色区域 CK’)01=-2. *3L*81.8M =0*7>也同时被确定下来。这一点是它不同于参数密度估计法的地 的平滑和连续性，很多算法采用了马尔可夫随机区域 (CN() 方，也是它的一个优势。一般情况是，选择密度函数模型的灵活 )过程。基本上是一个随机过程，其特 (*0O2P 0*.329 %-143(CN 度是随着数据 样本 保单样本pdf木马病毒样本下载上虞风机样本下载直线导轨样本下载电脑病毒样本下载 点数目的增加而增加的，所以可以不严格地 点是:某特定象点的条件概率只是与之相邻象点的函数，而不 讲，在非参数密度估计法中，点群数目是与样本点的数目成正 是整个图象的函数。这确保了算法的数学描述是基于局部的， 比的。当然，最终得到的密度模型是与密度估计过程中所用到 而不是全局的。 的参数有关联的。 文献采用的多层次图象分割算法虽然未使用四叉树和 ?AI?@A# 直方图法 !!数据结构，但从算法运行过程看仍是一个分与合的图象 CK ’颜色是图象的重要特征，而颜色的分布特征是由直方图体 分割技术。算法运行后最终得到的所有同质区域用一致性树 现的，所以直方图法是最常采用的图象语义分割技术之一。灰 ()排列，如图 。整个算法所基于的基本原理是: +-%20-/M /011$.9度图象中，一维亮度直方图的山峰和谷底是很容易标识的。对 如果两个相邻象点颜色的欧几里德距离具有该图象颜色调色 于彩色图象利用直方图区分场景中的不同物体就有些复杂了， 板中最小可能值，则把这两个象点合在一个同质区域中，即“最 因为算法必须考虑三个直方图中的山峰和谷底，或者是划分一 相近的颜色在同一区域中”。依据这一原理，一致性树的叶子结 个三维直方图。基于直方图算法中一个常见的问题是，由于噪 点都是由相同颜色的象点组成的同质区域，也就是把图象分 声影响，直方图外观会呈锯齿状，产生一些假的山峰，从而影响 ()成了一些零碎的(最小的)同质区域。合()的过程是 74-/10=1,9图象分割的精确度。为了避免这种情况，通常要采用平滑处理， 应用上述原理的一个迭代过程，随着同一区域中颜色的欧几里 它是通过基于规模()的过滤法来实现的。,8*41)B*,13 德距离的增加，同质区域也随之逐渐增大，形成一层层一致性 树的结点，最终在一致性树的根结点图象缩减为一个平面颜色 有的直方图算法中放弃传统的 颜色空间，而采用符 C’D 合人感觉习惯的 空间。将颜色分为色调和亮度两个分量， EFG 下的一个完整区域，即合为一个最大的同质区域。这里所叙述 前者采用色调直方图，后者采用亮度直方图表示，从而增强算 的一致性树结构类似于金字塔结构，树的最底层实质是图象自 法的性能，使图象的语义分割尽可能不受外界光源变化和阴影 身，保留了最详细的图象信息，越往上层图象细节信息越少，可 的影响。 见 从 叶 子 结 点 到 根 结 点 保 留 的 图 象 信 息 由 细 到 粗 (%-.1)/2) 直方图算法的一个局限性在于当一幅图象中所包含的不 )。 82*0,1同物体具有相同颜色时，利用该算法进行图象分割的结果是远 远低于期望值的。此时，必须考虑数字图象的其它特征。在文献 中使用了加权直方图，一方面允许颜色直方图自然归一化， ?@A 另一方面在单一的一维直方图中集成了颜色空间关系和边缘 强度分布。边缘强度信息是一个重要的感性线索，也是一个很 好的局部纹理描述符，这样具有空间约束的彩色直方图算法克 服了一般标准直方图算法的局限性。 由于颜色空间关系是人观察图象内容的一个重要感觉依 据，有必要使直方图算法中集成颜色空间关系。有的算法通过 把图象分为若干个子区域，利用每一个子区域的局部直方图进 缘所必需的导数;平滑处理指减少图象噪声和规则化数字微分实现的。金字塔的构建可以看成是分(%&’())的过程，而后续的 链接可以看作是合()的过程。值的过程，这个步骤的优点在于减少了图象的噪声并确保功能 +,-+ *234254强健的边缘检测器，缺点是丢失了信息，因此该操作的最终目 # 区域增长(+(0 (0)技术 !.,-/-,/1- 获得一幅图象的同质区域可以从一个预先选择的种子点 的是找到优化的检测器能在减少噪声和保持边缘信息间达到 ()开始，在满足一定的同质标准的前提下，逐渐聚集 种 子 较好的平衡;加标记过程指确定边缘位置并通过消除错误边缘 %++6 点周围的象点，形成一个渐渐增大的同质区域，直到没有满足 来增加边缘图象的信噪比。 同质标准的点可以被加到该区域中，整个区域增长过程结束。 多年前，研究人员提出了最早的边缘检测器，它们基于 <" 区域增长技术的主要目的是处理一个单独的区域，而且通过使 梯度和拉普拉斯操作符，仅局限于微分操作，并且是用于对灰 用不同的增长过程，最终可以把图象中所有的象点都聚集在各 度图象进行语义分割的。研究人员提出的早期彩色图象边缘检 个同质区域中。区域增长过程结束后，可能会存在非常小的区 测器使用的是一种预测编码模型，标识出图象在给定范围中任 意一点的颜色和纹理变化方向，从而产生了一个边缘流(域，或者在不同时刻经增长过程得到的两个或多个相邻区域表 +6-+ )，其逐渐扩展最终汇集为图象的边界。F ’/1现出相似的特征，这就需要一个后续处理过程。常用的后续处 理过程是通过合()得到一个更大的同质区域，从而消除 ++ *,-在对各种各样彩色图象边缘检测器的研究中，引起研究人非常小的同质区域或多个相似区域。区域增长技术可以看作是 员 广 泛 兴 趣 的 是 由 提 出 的 一 种 活 动 的 轮 廓 模 型 :蛇G=% % ()，它解决了一大类常规技术无法解决的图象语义分割 一个连续的聚集()过程，因此算法运行的结果取决于 %0=H+7’8%)+,(0- 难题，许多算法都是在此模型的基础上发展而来的。这一模型 图象象点的处理顺序。这类算法的主要优点是所得到的同质区 的基本思想是:能量最小化样条受外界约束力引导并受图象作 域在空间上不仅相互关联而且紧凑，其成功的关键在于选择合 用力的影响，这些图象作用力会把样条拉向诸如线和边缘这类 适的种子点和同质标准。 特性。这里的样条是一个或一组多项式用于预先描述或近似图 文献是由剑桥大学 实验室开发的一个较典型的 2549:;: 象曲线和表面特性，因此说蛇算法是模型驱动的。在 模型 G=% %区域增长算法。算法首先利用下面的公式计算出每个象点的边 中，蛇的总体能量是由下式描述的: 缘强度: !! $ )&)&) #")I !!"#!$&!$&<#"!((0) ./0,- %1,2. 3+04*/, (0) *+*- ,% ’ J !其中 、分别为象点(，)在 方向和 方向的亮度变化 $$%’ % ’ !!%’ 其中，K 是样条的内部能量，只依赖于样条的形状;K (0)+,0=’ (*> 值，为该象点的颜色变化幅值。前面的权值 是一个经 !( !( < 是图象的能量，只依赖于图象沿样条路径的亮度值;K =-+ 7/0%),=(0)验值，表明色凋变化的作用强于亮度变化的作用。之后，非最大 是约束能量，由用户或高一级控制代理强加的人工能量域创抑制和滞后边缘跟踪步骤利用边缘强度 得出该图象的边缘 !" 建。在试图寻求最小能量状态的过程中，预先假设的样条会动 图，再进一步得到该图象的沃罗诺伊图象。在沃罗诺伊图象中， 态地改变其形状和位置，从而最终对应于物体的边界，所以说 每个象点的亮度就是它与最近边界的距离，拥有峰值距离的象 蛇是活动的轮廓模型。蛇算法的主要优点是:寻求最小能量状 点被作为种子点。区域由种子点开始增长，增长的原则或者说 态是一个自主的、自适应过程，由于其基本的组成操作符是一 判别同质的标准是:一个正在增长的区域(最开始的区域为种 个固有的噪声过滤器，因此算法对于图象中的噪声和其它模糊 子点)周围的一个象点，如果它与区域边界象点颜色的差值小 信息不是很敏感，此外算法支持交互机制，允许专家影响最终 于第一个门限值，它与区域的平均颜色差值小于第二个较大的 对图象分割的结果。 门限值，则该象点属于这个区域。算法最开始检测得到的图象 除了基于蛇模型的边缘检测器外，还有许多边缘检测器是 边缘此时作为一个屏障，防止区域“长出去”。区域增长完成后 基于统计工具、神经网络的，还有的边缘检测器是与上下文有 的后续处理是利用一个离散的纹理模型完成的，其作用是找到 关的，这里就不再一一讨论。 被扩展的纹脉，分解为短的离散组块，再把这些组块按照颜色 2$42$<42$4!.和方向组织起来形成若干组，然后用分割后的基本沃罗诺伊区 #L 基于物理特征(&?M%(7%@E=%+6)的技术 ! 域调整这些组，从而达到把一些小组块统一为一个大的纹理区 当彩色图象中的物体受到强光、阴影的影响，或物体表面 由于外界光源照射的角度而逐渐变暗时，图象中物体表面均匀 域的目的。 的颜色会发生剧烈变化，此时上面讨论的所有图象语义分割算 有的区域增长算法的区域增长过程采用基于流域(1=)+,> )的算法。种子点也可采用多种方法得到:通过形态开关操 法 都 有 可 能 会 产 生 分 割 错 误 ——过 多 的 分 割 区 域(%?+6/N+,%+-> 作()由 亮 度 得 到 ，或 通 过 ,&?’-(7=’ &+0 @7’%+ &+,=)(0%*///////)， 如 物 体 的 阴 影 可 能 作 为 独 立 的 区 域 分 割 出 *+0)+6 ,+-(/0%空间量化由颜色得到，或通过保留彩色图象梯度幅值中ABC 来，一个物体表面被分割为两个或多个语义区域等。解决这个 问题的唯一方法是分析光是如何与彩色物体相互作用的，并在 来第一次理解了一大类实际物质的表面，如绘画、塑料、陶瓷制$ 年 $ 月) 性如何。(收稿日期:!""" 品、纸等。紧接着研究人员又提出了适用于金属材质的单色反 射模型。但是这两个模型以及以它们为基础开发的图象分割技 参考文献术对所能分析的图象提出了严格的要求:图象中只能包括已知 $#@ A B 9C7DE F1213G#F323H 73) H35D 3 =HD5B1 /*，**,,(/*,>*,,6/*:,J//JI材 质 类 型 的 物 体 ，物 体 表 面 为 同 一 颜 色 ，光 源 为 单 一 的 单 色 )134 <79D)13H 051 =H H))35 2 E159K3HLAM#<5K9)1 6**,6/*(*6*,/,/,,6*光源。 N3D5,3 /,2 =6/H* O,2*1D)/,23,H，$%%;%’ 要 使 基 于 物 理 特 征 的 图 象 分 割 算 法 能 分 析 较 复 杂 的 场 #E F1*2*13G，@ A B 9C*7#DP3)D13Q9)35JF1** ))3D)34D 051 *H*))35: !/,(/(6,/,景— 具有多种颜色或多种材质的物体，外界光源可能不仅颜 —R3*723H S44/6TD >/U51LM#?*4.J 区域能由这个通用模型的一个子空间描述。图 就是由 8194* ! ，， ,34/7 >*K51)O,3+*1D)3Y 50 *H35J8D*2 .//,/,.6/-(6,/分枝对应着光传递函数，第二次分枝对应光源，每个叶子节点 =6/H* =2*G3H /2 >*)13*+/7L?-I，I5U./ 8SOA@W--#(K/)3/77Y <5,D)1/3,*2 <5751 P3)D13Q9)35,D 051 =6/H* =,2*G3,HL***,/,,*,8/*6/*>**/,: (B=@ @7*4)15,34 =6/H3,H，!""$ ^#87]3 _ =Y*1，W7457 P W47*52#W97)3D47* >*H35 *H*))35 50 ///6//,(6,/, =HD OD3H 5731 W)52 L < M # = N39D7 <5934)35D 2 6/*,,,*/*.,:/66,/,/,I =6/H* B154*DD,H3 !"""(N<=BJ!""")，!""":$$$;‘$$!’ &#P/+32 (347/31#N51553 D**2*2 45751 36/H* D*H6*)/)35L>M#?*434/7 ,,,,., K51)?? Q51)513D *，-a\//*/6*， %#b3*9 ? IH9Y*,，W/14*7 R5113,H#R/)*1D,/V*D:*,*1HYJ213+*, C/)*1D.*2 D*H6*)/)35L>M#?*434/7 >*K51)，O3+*1D)3Y 50 6D)*12/6，，""" ,,.,,-I\! $#P]7 3597+)51 ?QQ5#@2H 2)4)35 )43X9D S+1 "*6*c，(//*/,****,*.,*J-,*J +3*CL*45H()，$%%^ ,,,6/ $$#P37 <11D<13)D5K 4511#P3009D53VD<5Q33H ) /,**6*，..(.,J(,/*:6,,(/J 图 描述彩色图象区域的一个通用物理框架结构 ! )3)D347 K 5C72H 2 =H =051)35 3 N13)357 /(./*_,**/,6/*,6/,,/ //,/ F1/6*C51VLD5Q5)34D =,D)3)9)*， 材料)，当相邻区域的物理假设具有足够的一致性时，可将它们 作用，在其它领域如图象处理、模式识别、计算机视觉、人工智 能以及医用各种扫描图片(片等)的分析上都有着重要的地