基于声纳图像水下运动目标识别与跟踪技术研究

中国海洋大学硕士学位论文基于声纳图像水下运动目标识别与跟踪技术研究姓名：董佳佳申请学位级别：硕士专业：计算机软件与理论指导教师：殷波201106基于声纳图像的水下运动目标识别与跟踪技术研究摘要水下运动目标的识别与跟踪是水下自主机器人(AUV)视觉领域的研究内容，同时也是目标分类、目标行为分析等高级操作的基础，在计算机视觉处理领域具有很重要的作用。它是一门融合了计算机视觉、图像处理、模式识别和人工智能等多学科的前沿课题，因此本文研究的内容具有重要的应用前景。基于声纳图像的运动目标识别与跟踪任务主要分为四个方面的工作：声纳图像的采集与预处理、运动目标的识别、运动目标的数学建摸、运动目标的跟踪。本文分别对上述四个方面进行了研究。首先，在声纳图像采集与预处理模块，简要的介绍了本文所使用的Tritech公司的SuperSeakingDST双频数字扫描式声纳的工作模式及其数据格式，同时研究了对所获得的声纳图像所采取的图像增强、图像分割、数学形态学处理及特征提取等预处理方法。其次，研究了在运动目标检测方面使用的各种算法，通过对其原理进行研究，选择其中适合用于基于声纳图像的运动目标检测算法，并通过实验检验了该算法在基于声纳图像的运动目标检测中是有效的。再次，研究了对运动目标进行的数学建摸，这其中包括非机动目标的模型和机动目标的模型，本文着重对机动目标的数学模型进行了详细的研究。这一部分为运动目标跟踪的数学基础。最后，研究了运动目标跟踪技术，这是本文的核心创新点。这其中研究了粒子滤波，并针对粒子滤波算法中的样本贫化和算法复杂度问题，本文提出了基于粒子群优化和支持向量回归的平滑粒子滤波算法，经实验验证取得了较好的跟踪效果。关键词：声纳；目标检测；机动目标；目标跟踪；粒子滤波ResearchofIdentificationandTrackingOfMovingUnderwaterTargetsBasedOnSonarImageAbstractIdentificationandTrackingofmovingunderwatertargetsisanimportanttopicinthefieldofvisionofAutonomousUnderwaterVehicle(AUV)，andit'sthebasicofsomeothersubjectssuchasTargetClassification,AnalysisoftargetbehaviorandSOon．Itplaysaveryimportantroleincomputervisionprocess．It’Saleadingsubjectwhichspansmanytechnologiesincludingcomputervision,imageprocessing，patternrecognitionandartificialintelligence．Therefore,thecontentsofthispaperhavebroadprospects．Thetaskofidentificationandtrackingofmovingunderwatertargetsbasedonsonarimagecanbedividedintofourparts：Acquisitionandpre-processingofsonarimage，Detectionofmovingtarget,Mathematicalconstructionofmovingtarget,Trackingofmovingtarget．Thispaperresearchesonthefouraspectsrespectively．Firstly,inthesonarimageacquisitionandpre-processingmodule，thispaperbrieflyintroducestheSuperSeakingDSTSOnarwhichismechanicallyscannedforwardqookingimagingsonarweused,andwealsointroduceitsworkingmodeanditsdataformat．HereWepresentthepre-processingmethod；itcontainsImageEnhancement,imagesegmentation,mathematicalmorphologyprocessingandfeatureextraction．Secondly,weresearchavarietyofmovingtargetdetectionalgorithms．Throughstudytheirtheory,wechoosethemostappropriatealgorithmweCallusedonmovingtargetdetectionbasedonsonarimage，andwetestbytheexperimentthatthisalgorithmiseffectiveinmovingtargetdetectionbasedinsonarimage．Thtrdly，weresearchmathematicalconstructionofmovingtarget,anditcontainstwopartsmainly：Non-maneuveringtargetmodelandmaneuveringtargetmodel．Thispapermainlyfocusesonthemathematicalmodelofmaneuveringtarget．Thispartisthemathematicalbasicfortrackingmovingtarget．¨IFinally,weresearchthemovingtargettrackingtechnology．Thisisthecoreofthispaper．WestudiedtheParticleFilter(PF)algorithm，andaimingattheSampledilutionandtheAlgorithmComplexityProblemofParticleFilter,weproposedthesmoothingparticlefilterbasedonParticleSwarmOptimization口So)andSupportVectorRegression(svrt)，anditgetsgoodtrackingeffortinourexperiment．Keywords：sonar；,targetdetection；maneuveringtarget；targettracking；particle何lter基于声纳图像的水下运动目标识别与跟踪技术研究1绪论1．1研究背景和意义21世纪被称为“海洋的世纪”，伴随着人类科技的发展同时也由于资源的短缺，人们越来越迫切的想要了解海洋的秘密，开发海洋资源，保护海洋环境。由于海洋环境特别是深海环境的恶劣以及对环境的未知性，能够代替人类进入深海、观测深海甚至开发深海的水下机器人这一高新技术得到全世界各个发达国家的高度重视，并得到快速发展。由于水对光、电等信号的吸收比率比空气要高得多，而水声信号则在水下具有得天独厚的应用背景，水对声波信号的吸收比率较低且声波信号在水中的传输速度比在陆地上要快4倍多。由此导致基于声纳的探测手段是水下环境特别是深海环境中进行探测的主要手段。声纳一般分为主动声纳和被动声纳两类，主动声纳有目的性地主动地发射出声波，其主要用来探测水下目标的距离、位置、速度、航向等运动参数。被动声纳是利用其接收换能器接收目标主动发出的声音来探测目标。由于本文研究所用的声纳不只是要承担动态目标跟踪任务，还同时要为AUV提供避障所需要的水下环境信息，所以本文采用的是一种主动声纳。动态目标跟踪技术是一门综合了包括计算机视觉、图像处理、模式识别、人工智能等多个学科，能够通过一系列的图像序列，从复杂背景中提取出运动目标信息并实现自动跟踪的技术。由于声纳图像具有信息量少，噪声严重的特点，使得依据声纳图像进行的水下运动目标跟踪就有着一定的难度。因此从技术研究及实际应用等不同方面来讲本文的研究都具有重大的意义。因此本文选取了这个方向为研究方向。1．2研究现状1．2．1声纳图像处理技术研究现状伴随着声纳技术的发展，声纳特别是图像声纳在海洋开发领域的应用越来越广泛，通过处理声纳图像所得的信息进行水下目标识别、运动目标跟踪等已经成1基于声纳图像的水下运动目标识别与跟踪技术研宄为图像处理领域的一个重要的研究方向。但是声纳图像又有其不同于光学图像的地方。声纳图像相对于光学图像具有如下特点【1】：1．图像分辨率较低：这主要是因为声纳设备发射的探测声波的波长一般是比较长的，并且声纳头探测时步进的角度通常比较大，相邻波束间也并不是连续变化的，而是有一定的距离间隔，这就造成声纳图像的分辨率较一般数字图像低。2．噪声干扰严重：水声信道和海洋环境是非常复杂的，这就导致声波在传播过程中广泛存在着由衰减、混响、散射等造成的干扰。另外海洋环境中的其他声响也会对声纳图像产生噪声，目标很容易被淹没在这些干扰中，难以辨别。3．存在多径现象：多径现象是在声波传播过程中的途径传播过程中造成的，主要表现在使得一个目标给声纳设备返回多个返回值，声纳设备会将这些返回值作为距离较近的多个目标来处理，从而在后续的声纳图像生成过程中会在图像中产生一定的重影现象，难以确定目标的真实位置。4．存在旁瓣干扰：声纳波束形成时，不只在较窄的当前的扫描区域扇面内接收声纳回波的极大值，同时也会在其旁边的扫描区域的较宽的范围内接受信号。当某一声纳回波较强的时候，就会在其附近波束的同一距离上形成一条回波亮线，这就是旁瓣干扰。5．存在多普勒效应：当探测目标或者声纳载体存在运动时，会使得声纳发射和接收的声波产生一定的偏移，会导致同一个目标在不同时刻的声纳图像上得到了不同的轮廓形状，这就会造成目标的变形和失真。由声纳图像的上述特点，对声纳图像需要采取一定的预处理手段，其中主要包括以下几个部分【2】：(1)图像数字化：将声波信号转化成数字化表示的声纳图像，便于计算机进行精确的分析处理。(2)图像增强：消除并抑制图像中的噪声干扰，突出我们感兴趣的信息，提高图像质量，现在常采用的操作有中值滤波、灰度变换和直方图修正等方法。(3)图像还原：对退化降质了的声纳图像进行恢复，改善图像中的变形和偏移，接近真实数据。(4)图像编码：简化图像的表示编码方法，压缩图像数据量，使之便于存储和2基于声纳图像的水下运动目标识别与跟踪技术研究传输。(5)图像重构：把多二维图像信息重构成三维图像。(6)图像分析：对图像中不同的对象进行分割、识别、分类和描述、解释。前视声纳图像的预处理通常采用适用于光学图像的数字图像处理技术，主要包括图像的平滑滤波、灰度变换、数学形态学变换、二值化分割、神经网络校正、小波变换等方法。1．2．2水下目标检测技术研究现状目标检测是计算机视觉处理中信息提取的一个重要步骤。运动目标跟踪的前提是从背景图像中分离出运动目标，在视频监控、目标跟踪等领域目标检测都有着非常重要的作用，在这些区域中，特别是陆上的应用领域里视频序列生成的速度通常比较快，这就需要在在无人干预的情况下能够实时的监控并分离运动目标。目标跟踪以目标检测为前提，目标检测的主要任务是及时、准确的从图像序列中检测出我们需要的运动目标。声纳图像由于信息量较少，噪声多，以及声影区的存在等问题，给基于声纳图像的目标检测造成了很大的困难。如果目标的检测的结果不准确，会影响目标模型的准确建立，从而导致了目标跟踪的不准确。所以提高目标检测的准确度就有着非常大的意义。目前在视频跟踪领域中较常用的运动目标检测算法主要包括：背景差分法【3’4】、帧间差分法15～、光流法17,8]及混合高斯模型19]等。背景差分法是在当前众多的运动检测算法中最常用的一种，该算法的基本思想是通过比较背景图像和当前图像来得到两幅图像的差分图像来分离出运动目标。它的算法思想较简单，应用它能够快速准确的从图像序列中分离出运动目标。国内外的大量学者、专家对起做了大量的研究，也提出了很多的改进算法。帧间差分法通过比较两帧图像之间的差异来进行运动目标分离，计算速度快，比较适宜硬件实现，从而也能大大的提高运算速度，因而也得到了很广泛的应用。Litpon等人【lo]利用两帧图像差分的方法从实际视频图像中检测运动目标。光流法能够在不需要事先知道场景内任何信息的情况下检测出独立运动的对象，但由于其运算时的时间复杂度比较高，并不适合用在对实时性有较高要求的场合。大量的专家提出了各种光流法的改进算法，如区域光流法【¨】、金字塔光流法112】等。混合高斯模型能够很好的适应变化较缓3基于声纳图像的水下运动目标识别与跟踪技术研宄慢的场景下，但是当光线变化的速度较快时，对检测结果的影响较大。Stauffer和Grimson等人提出了一种能够自适应更新的混合高斯模型【131，能够较实时的处理。1．2．3水下目标跟踪技术研究现状运动目标跟踪就是依据目标的状态和目标所处的环境，选择其中一个或多个能唯一标识出目标的特征，即所选的特征要可以区分出目标和它的背景，由此在运动目标跟踪中主要的工作就是选择出一个或多个好的目标特征以及在系统中采用合适的搜索算法。采用这些算法通常是出于两种目的：一种是为了能提高搜索匹配的速度及精度，另一种则是通过预测目标在后续图像序列中的其最可能的位置来缩小目标搜索范围，以此来缩短目标搜索的时间【4刀。目标跟踪过程中在对目标进行特征匹配时，我们最常想到的方法也是最简单的方法是在下一帧图像里进行全图搜索，来找到与目标特征最相似的候选目标位置，但是采用这种算法耗时且很多情况下也是没有必要的，因为目标运动是连贯的，目标的下一个位置最有可能出现在其前一位置的某个邻域范围内，由此就需要寻找能够避免全图匹配、能够快速跟踪的算法。Kalman滤波【14】、粒子滤波【15】等滤波算法现在经常被用来预测目标在下一帧可能的位置，进行目标定位时只需要在其预测位置的邻域范围内进行较少的目标特征和候选目标相似性检测就能够确定观测目标在下一帧图像中的位置；另一类常采用的算法通过减少搜索范围来优化搜索方向，这其中均值漂移算法就是利用无参估计的方法来优化目标特征和候选目标的距离的迭代收敛过程来实现缩小搜索范围的目的。卡尔曼滤波是基于贝叶斯滤波理论的一种预测估计算法。是一个“最优化自回归数据处理算法(optimalrecursivedataprocessingalgorithm)”，在大多数的问题中，卡尔曼滤波都是很有效地，其在机器人导航、控制领域、多传感器数据融合等很多领域都有很广泛很重要的应用。卡尔曼滤波是基于贝叶斯滤波理论框架，其假定在任何时候后验概率都是符合高斯分布的，卡尔曼滤波有如下特点【16】：11数学模型较简单，是一阶微分方程，适宜用计算机处理。2)通过选用被估计的变量来当作系统的状态变量，并且使用系统状态方程来描述系统状态的转移过程。4基于声纳图像的水下运动目标识别与跟踪技术研究3)不必保存状态历史数据。在进行状态估计的过程中，对下一时刻的状态来进行估计只需要利用当前时刻观测值及前一时刻的估计值。粒子滤波算法是依据大数定理利用蒙特卡罗求解贝叶斯估计中的积分运算，同时利用重要抽样得到一组在动态空间中不断更新的随机样本，以此来逼近待估计状态的后验概率密度。粒子滤波比卡尔曼滤波更具有优势，其噪声不必符合高斯分布，它还可以进行并行计算，能较好的满足实时性场合的要求。1．3本文研究内容与结构安排本文使用英国Tritech公司的SuperSeakingDST双频机械扫描式前视声纳作为声纳图像采集设备，搭载在我们实验室自行研制AUV机器人上(如图1-1所示)，通过AUV潜入水下开启声纳设备，采集图像，然后对声纳图像进行增强、滤波、分割等操作处理后，提取出目标的特征，从中识别出运动目标，对目标进行数学建模，并进行跟踪。图I-1：中国海洋大学研制的“神龙号”AUV本论文的各章的内容安排如下：第一章绪论，主要对基于声纳图像的目标跟踪的各个方面的内容进行了简单介绍，概述了各个方面的研究现状等。第二章主要介绍了SuperSeakingDST前视声纳的参数、操作步骤等基本知识，并详细的介绍了对声纳图像所采用的一系列预处理的原理和方法，对声纳图像进行增强、滤波等处理后，提取声纳图像中的目标，为后续的目标检测做好准与基于声纳图像的水下运动目标识别与跟踪技术研究备。第三章主要介绍了当前使用较多的运动目标检测算法，如背景消减法、帧间差分法、光流法、混合高斯模型、主动轮廓模型等方法进行了研究，并比较了各算法的特点，选取了适用于在声纳图像中进行目标检测的算法，并通过实验验证了该算法是可用于声纳图像的目标检测。第四章详细阐述了对运动目标进行数学建模，其中分为两大部分：机动目标建模和非机动目标建模。这其中包括常速模型(constantvelocitymodel)、常加速度模型(constantaccelerationmodel)、Singer模型、马尔可夫模型等，随着模型的复杂，使用该模型进行的目标建模也越复杂，但是相对来说也更准确，计算也更耗时。第五章主要阐述了运动目标跟踪的部分，这里主要就是根据对目标的建模通过滤波的方法预测目标在下一帧图像中可能出现的位置，缩小目标的搜索范围。这其中介绍了卡尔曼滤波、基于粒子群优化和支持向量回归的平滑粒子滤波算法。并实验了基于粒子群优化和支持向量回归的平滑粒子滤波算法，从实验结果可以看出该算法在基于声纳图像的水下运动目标跟踪中是有效的。最后，第六章对全文进行了 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf 和展望。6基于声纳图像的水下运动目标识别与跟踪技术研究2声纳图像的采集和预处理影响声纳设备工作性能的因素有很多，除声纳本身的技术状况外，外界条件对其性能的影响也很严重。这其中对其性能有直接影响的因素包括传播衰减、混响干扰、多路径效应、自噪声、海洋噪声、辐射噪声强度或目标反射特征等，这些因素大多数都与海洋环境因素有关。举例来说，声波信号在传播途中受到了海水介质不均匀及海面、海底的影响和制约，导致其会造成传播中的折射、反射、散射和干涉等，从而导致产生声线弯曲、信号起伏、畸变，这就造成传播途径的改变，会出现声影区，严重地影响了声呐的探测距离和测量精度。对声纳图像的预处理本文采用如图2．1所示的 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 进行：I一像采集j上}灰度交换l、，IIl中值滤波l、，阕值分割、，特征提取图2-l声纳图像预处理 流程图 破产流程图 免费下载数据库流程图下载数据库流程图下载研究框架流程图下载流程图下载word 7基于声纳图像的水下运动目标识别与跟踪技术研究2．1SuperSeakingDST前视声纳我们选用英国Tritech公司的SuperSeakingDST双频数字机械扫描式前视声纳作为我们的声纳仪器，该声纳如图2—2所示：图2-2：SuperSeakingDST双频数字机械扫描式前视声纳该声纳可以工作于325kHz和675kHz两种频率下，能够接受0．80dB的声纳回波数据，最大探测距离为300米(频率为325kHz时)，可以在最深水下4000米的环境下工作，扫描时步进角的最高分辨率为0．225。，可以在O到360度之间自由控制其扫描范围，当需要扫描水下局部环境的细节信息时，可以选用675kHz为工作频率，但此时其最大扫描范围会缩短为100米。2．2声纳图像采集根据SeakingDST声纳的操作手册要求，需按照图2．3所示流程对与声纳进行命令、信息交换。SeakingDST声纳采用串口RS232 协议 离婚协议模板下载合伙人协议 下载渠道分销协议免费下载敬业协议下载授课协议下载 ，其中“mtAlive”、“mtSendVersion”、“mtHeadCommand”、“mtSendData”、“mtHeadData”等为各种消息。当声纳设备通电开机时，声纳设备会先进行一定的自检，自检过程顺利完成后，它会通过串口发送出“mtAlive”消息，说明声纳设备此时已经处在待机状态，可以对其写入配置信息；然后我们把符合我们需求的声纳各项参数配置好，写在“mtHeadCommand”中对应的各位(bit)，并且发送给声纳设备，以此来配置声纳的工作参数；在声纳获得此参数并相应地改变声纳内部控制器的各种配置，配置完成后会通过改变消息“mtAlive”中的一位来表明此时声纳已配置好参数，可R基于声纳图像的水下运动目标识别与跟踪技术研究图2．3：声纳串口通讯协议以开始工作。SeakingDST声纳接收到第一个“mtSendData”消息时，会将声纳头转到初始位置，并在当前位置进行探测，获取当前位置的扫描数据并写入“mtHeadData”消息，将“mtHeadData”通过RS232串口发送回主机进行处理。当再次接收到“mtSendData”时就将声纳头转到一个步进角(stepangle)，扫描下一个位置，每当需要扫描下一个位置的数据时都需要给声纳发送一个9基于声纳图像的水下运动目标识别与跟踪技术研究“mtSendData”消息，同时要求发送相邻两次的“mtSendData”消息之间发送的间隔不能高于1秒，否则声纳头会恢复到初始位置来进行扫描。表2．1为“mtHeadCommand”的基本形式：表2-1：mtHeadCommand消息的格式40303034434C00FF0247138002lDH‘kHexLengthBintengthTxRxNo．ruthSeqNdeV3B‘@’=76bytes=76bytesNdeNdeByte‘dc02Pilia25502=71mdEnd-nlS8323029999990266666605A3703DHdCtrl*HdTTXN，ChlTXN，Ch2RXN，Chl=9091Ype=43620761=90566966=104689827=0206703D0A0928003C000100FF1851RXN，Ch2TxPulseLenRangeScaleLeflLimRightLimAD--151666032=40usec=6me仃es=l=6399Sp’n(1／16Orad)(1／16C,md)=810854545A007D0019108D005A00E8AdIga-Iga-Slope，ChlSlope，ChlMo’StepADIntervalNbinsMaxLowIn,In,=90=90TreeSize=141---90ADb--8ChlC112=25=16uf039703400601000000505l090854=LockoutMinorAxisMaj’Cn2ScanZADADADADIga-100=919usecDir=1600Axis=O=Osp’nSp’nLowLowInO(1／16Grad)PanChlCh2ChlC112Chl5400005A007D0000000000OAIga-AdcAdcSlope，ChlSlope，Ch2SlopeSlopeLFlIlSetPSetP=90=90Delay,ChlDelay,Ch2Chl，Chl，Ch2在“mtHeadCommand”消息的数据里有一项是“NBins”，用来设定在每一10基于声纳图像的水下运动目标识别与跟踪技术研究条扫描线(scaningline)上的取多少个采样点，同时也决定了“mtHeadData”中包含了多少组的回波数据。“mtHeadData”中的每个Bin数据都代表了一段距离范围内的声纳回波数据强度。SeakingDST声纳将回波强度分为256级，正好与灰度图的最高表示范围相同，因此我们将其不同的回波强度以其相应的灰度级来对待，将其描绘在图像中，从而形成了最终的声纳图像。图2—4是我们使用声纳扫描实验水池得到的声纳图像。为了加快扫描速度，我们只扫描前方90。。由图像中能看到，图像中大多数的区域即使没有障碍物也存在着一定的灰度值，且存在不少斑点噪声。2．3图像增强图2．4：声纳图像原图由于声纳图像在采集及传输过程中存在的噪声干扰，使得图像特征不明显，图像降质，对后续的图像处理过程中造成了很大的难题，甚至会造成一些错误。为了给降质图像进行一定的还原，突出其中的有用信息，尽可能的去除噪声及其他的无用信息，通常需要对声纳图像进行一些处理，主要采用的方法有：灰度变换、滤波等。2．3．1灰度变换灰度变换技术是基于点运算进行的变换，是能够有效地提高图像对比度的方基于声纳图像的水下运动目标识别与跟踪技术研究法，该算法并不改变像素的位置，只是改变其对应的像素灰度，处理对象是每一个像素。一般我们进行的对比度增强、对比度拉伸等操作都属于是点运算。声纳图像一般都没有达到最高的灰度范m[o，255]，导致其图像对比度低，图像特征不明显，不利于后期进行的各种数字图像处理，所以就很需要对声纳图像进行灰度变换。灰度变化主要分为线性变换、分段线性变换和非线性变换等几种，线性变换和分段线性变换比较容易，只需要将灰度放大或缩小相应的倍数即可，非线性灰度变化又可以分为指数变换、对数变换和组合变换等几种。在此我们采用对数变换，其输出图像g(x，力与输入图像／似力的亮度值关系为对数关系：g图2-5：对数燹换曲线在这我们定义了一个由输入图像厂(x，力到输出图像g(x，力的映射‰：g(x，力=仍鸭L厂(x，力=Cxlog[f(x,剃(2一1)该变换使得低灰度背景区域灰度更低，增强了目标区域的灰度值，从而使得声纳图像对比度更加的高，更加突出我们感兴趣的目标区域。处理效果如图2．6所示：基于声纳图像的水下运动目标识别与跟踪技术研宄图2-6：灰度变换后的声纳图像对比图2．5可以看出，图像的对比度显著增强，将障碍物的信息突出的显示出来了。2．3．2中值滤波声纳图像在生成过程中由于水声信道的海水介质和海洋中边界、障碍等的复杂性，会在声纳图像上留下很多的背景噪声。此外，由于海水是不均匀的，海水中不同深度、不同区域的温度、盐度等可能是不尽相同的，这就造成了声音在这些不同的区域传播速度会产生非线性变化，声波的折射也造成了声纳图像中出现许多不该有的斑点噪声等其他一些降质情况。为此我们需要为声纳图像去除这些噪声，平滑图像。中值滤波的基本原理是用该图像中的一点的某一个邻域中的各个点的像素值的中值替代该点的像素值。把一个点的特定长度或形状的邻域称作窗口。在～维情况下，中值滤波的滑动窗口内一般包含奇数个像素值。图2—7为中值滤波后的声纳图像。对比图2-6可以看出图像中的噪声点明显少了很多。基于声纳图像的水下运动目标识别与跟踪技术研究2．4图像分割图2—7中值滤波后的声纳图像图像分割是图像分析、理解和计算机视觉领域中的难点。在图像分割的一系列方法中，阈值化方法是一种简单有效的且被己被广泛使用的图像分割技术，Otsu法【19】是阈值化方法中使用最广泛的的阈值分割法之一。Otsu法通常也被称为最小类内方差法或最大类间方差法，由日本学者大津展之(Otsu)提出。该方法基于图像的灰度直方图，以目标和背景的类内方差最小或类间方差最大为阈值选取准则，可以自动选择图像的阂值对图像进行分割。由于在采集声纳图像时声增益系数有可能不同，这就要求我们的处理能对不同的声图自动选择阈值，因此OTSU方法就非常适合我们的要求。使用OTSU阈值分割法将图像二值化，二值化就是灰度图像变换为仅用两个值来区分目标区域和背景区域的二值图像。应用OTSU方法后图像被分为了两部分：C，和C。。设Ⅳ为图像的灰度级，s为分割阈值，脲为cs部分的平均灰度，∥，为C，部分的平均灰度，办(Ji})为图像的直方图，则图像的总平均灰度为：2；--lN-I三(s，“，心)=巨(阽一∥(尼)]2=∑(尼_一)2办(七)+∑(k-,us)h(k)(2—2)对(2—2)式求导得：14基于声纳图像的水下运动目标识别与跟踪技术研究得到：掣=乏茎旷肼阱。掣=乏篓”肼㈣=。(2—3)(2_4)s-IN-I∑kh(k)∑kh(k)朋(s)=竿r．一as(S)=案：广一(2·5)∑^(七)∑办(七)k--OI”将(2—5)代入(2．2)中得：日(s)=g(S)Ps(S)[,Us(S)-,uAs)]2(2—6)其中：s-I另(5)=∑五(七)N—1只(s)=EJll(七)(2—7)(2—8)给s赋不同的值，当使得H(s)取得最大值时，s就是最佳阈值。图2．8为声纳图像阈值分割后的结果，其中图像中的大多数背景噪声己被去除，图像中只剩下两种灰度。图2．8：阈值分割后的声纳图像基于声纳图像的水下运动目标识别与跟踪技术研究2．5数学形态学运算数学形态学方法【20】是一种非线性的滤波方法。数学形态学的应用能够简化图像数据量，保持目标基本的形状特性，并可以除去其它不相干的结构。数学形态学算法能够实现并行处理，能够实现形态学分析和处理算法的并行，从而可以大大提高图像分析及处理的速度。数学形态学的基本运算包含四个：膨胀(或扩张)、腐蚀(或侵蚀)、开启和闭合。膨胀过程是对图像中对象的边界添加像素点，对象的面积变大。腐蚀过程与之相反，是消除一些边界点，将边界向内部收敛，腐蚀能够消除一些小且无意义的物体(如声纳图像中的斑点噪声)，使对象的面积变小。开运算能够平滑图像的轮廓，去掉轮廓上的细小突出。闭运算正好与之相反，它融合掉图像中物体边缘的缺口，去掉物体内部的小洞，填补轮廓的缝隙。在此我们采用对阈值分割后的二值化图像进行腐蚀运算，再进行闭运算的处理方法，有效地去除了图像中得斑点噪声并去除图像中物体内部不应有的小洞。图2-9为数学形态学运算后的声纳图像。2．6特征提取图2-9数学形态学运算后的声纳图像图像的特征就是一副图像与其他图像不同的特性，特征提取就是找出图像中各个部分的特性。通常我们经常选取的有：形状、面积、质心点、亮度等，也有基于声纳图像的水下运动目标识别与跟踪技术研究一些非直观性特质可供选择：灰度直方图、空间频谱图等。考虑到后续的运动目标检测和目标跟踪，我们选择质心点作为我们需要提取的特征，目标的质心点是由目标区域像素位置的平均值求出。通常按公式(2．9)计算：了=专。，萎月i了2万1眠Z佛R／(2·9)Ⅳ(，策月。Ⅳ(f，佛R。、7其中N为区域R内的像素点的数量，N为常数。则(了，7)就是目标区域的质心点。图2．10为提出自声纳图像的障碍物质心点。2．7本章小结图2—10声纳图像中提取的质心点本章主要介绍了两方面的内容，第一个方面就是介绍了本文所采用的SuperSeakingDST声纳设备，及操作该声纳的方法等方面的内容，并介绍了声纳的消息格式，对回波数据进行了解析，生成声纳图像。第二方面就是介绍了对声纳图像所采取的预处理的各个步骤，并简单介绍了各个步骤所采用方法的原理，提取出目标的特征，为后续的目标检测做了准备。17基于声纳图像的水下运动目标识别与跟踪技术研究基于声纳图像的水下运动目标识别与跟踪技术研究3运动目标检测3．1引言目标检测是计算机视觉处理中信息提取的一个重要步骤。运动目标跟踪的前提是从背景图像中分离出运动目标，在视频监控、目标跟踪等领域目标检测都有着非常重要的作用，在这些区域中，特别是陆上的应用领域里视频序列生成的速度通常比较快，这就需要在无人干预的情况下能够实时的监控并分离运动目标。目标检测是目标跟踪的前提，他的主要任务是准确并及时的从视频序列中提取出运动目标。声纳图像由于信息量较少，噪声多，以及声影区的存在等问题，给基于声纳图像的目标检测造成了很大的困难。如果目标的检测的结果不准确，会影响目标模型的准确建立，从而导致了目标跟踪的不准确。所以提高目标检测的准确度就有着非常大的意义。视频跟踪中常用的运动目标检测算法主要有：背景差分法【211、帧间差分法【捌、光流、法【231及混合高斯模型【241等。背景差分法是当前的运动检测算法中最常用的一种，他通过比较当前图像和背景图像的差分来分离出运动目标一种方法。它的实现比较简单，能够快速准确的分离出运动目标，因此国内外的大量学者专家做了很多的研究，提出了很多的改进算法。帧间差分法通过比较两帧图像之间的差异来进行运动目标分离，计算速度快，比较适宜硬件实现，从而也能大大的提高运算速度，因而也得到了很广泛的应用。光流法能够在不需要事先知道场景内任何信息的情况下检测出独立运动的对象，但由于其运算时的时间复杂度比较高，并不适合用在对实时性有较高要求的场合。混合高斯模型能够很好的适应变化较缓慢的场景下，但是当光线变化的速度较快时，对检测结果的影响较大。本章主要是介绍了几种常见的目标检测算法，并比较了各算法的特点，选取了适用于在声纳图像中进行目标检测的混合高斯模型算法，并通过实验验证了该算法是可用于声纳图像的目标检测的。3．2背景差分法背景差分法是目前运动目标检测算法中的常用算法，其主要思想就是通过建基于声纳图像的水下运动目标识别与跟踪技术研究立监测区域的背景模型图像，然后通过将输入图像与背景图像进行差分，遍历差分图像中的像素点，当像素点的像素值大于阈值时，就可以判定这个像素点属于运动目标区域，最终就可以得到运动目标，其余的小于阈值的就属于背景区域。由于其算法实现比较简单，并且能够较完整的提取出运动目标，所以背景差分法的应用很广，特别是在摄像机固定的情况下。背景差分法的基本过程为：图3一l背景差分法原理图首先，对背景图像盈与当前帧‘求差分，求得差分后的图像B。然后选取阈值对差分后的图像进行二值化，然后从二值化后的图像中提取出运动目标。皿阮力=llk(x,y)--Bk(x,y)l(3-1)其二值化后的图像q似力为：Ok(x,Y，=鼢味；c3国其中丁为阈值，对目标检测结果起到至关重要的作用。背景差分法的应用非常简单，但是在实际应用中只采用以上的步骤往往是不能够成功的，由于光线、天气等光照条件会发生变化，即使相同的物体在背景上也可能会发生变化，影响检测的准确性。而且在实际应用中要想获得纯粹的背景图像往往是很难的。背景通常也会在随着时间发生变化。这就要求我们每隔一段时间就要更新背景图像，通过这种方式来增加系统的适应性。背景模型的建立方法也有很多种，往往针对不同的应用环境选择不同方法。通常用到的有统计平均法【251，统计背景模型法，内核密度估计法【26】等。本文着重介绍下统计平均法。统计平均法适用于被监控场景不是很复杂时的情况，使用统计滤波来实现对背景图像的估计1-161。基于声纳图像的水下运动目标识别与跟踪技术研宄设f,(x,yXi=l，2，．．．，加，则背景图像为：B=Z(x，力(3-3)为了降低背景的变化对检测的影响，获得更有代表性的背景图像，这里采用公式(3—4)的方法计算：皿=专(五+五-，+⋯+五-Ⅳ+。)=皿一+丙1坼一五-Ⅳ)(3-4)这种方法选取了一段图像序列里面的图像灰度的平均值作为参考图像，适用于目标在图像内运动速度较快、滞留的时间较短的情况，但如果运动目标运动速度较慢，在图像序列中停留的时间比较长时，这种方法就显得不是很适用，有时甚至会导致错误。3．3帧间差分法帧间差分法也是一种很常用的运动目标检测方法，它通过对连续的两帧或多帧图像进行相减得一幅差分图像，然后再对差分后的图像进行阈值分割，从而在差分图像上找出由目标运动导致的变化区域，根据运动变化区域来恢复出原来的运动目标。差分图像中灰度的变化小于我们选取的阈值的区域就被当作是背景区域，这样就很容易识别检测出运动目标。帧间差分法就是利用相邻帧之间的强相关性来进行目标检测的，其原理框图如下：输入图3-2帧问差分法原理图使用公式(3-5)、(3-6)表示为：q(x，力=I厶(x，y)-1．一(x，力I正c五力={?蔫茎：象丧驾三；21(3—5)(3-6)基于声纳图像的水下运动目标识别与跟踪技术研究首先，计算第k帧图像与第k．t帧图像间的差分图像皿(五力，然后取阈值T来二值化差分图像，大于阈值T的就当作是目标变化区域，小于阈值T的作为背景区域。二值化后的图像还需要经过一系列的图像处理，利用形态学的腐蚀和膨胀来去除孤立的噪声点并使目标更加完整。最后提取图像中的连通区域从而提取出运动目标的位置信息。帧间差分法的算法思想简单，易于用硬件实现，对各种图像的检测都有很好的适应性，因而得到了广泛的应用。但是算法在使用过程中也存在不少的问题，首先，对阈值T的选取就相当的关键，阈值过低的话不能很好的滤除图像中的噪声，阈值过高的话就可能将实际的运动目标滤除，导致检测的不准确。其次，当选取得相邻两帧间隔较近时，运动目标在相邻两幅图像中的位置可能会发生重叠，两帧的差分不能够检测出这部分重叠的图像，从而会在差分图像上出现“空洞”或边缘出现断裂和破碎等现象，给后续的图像处理造成很大的困难。再次，帧间差分法对摄像头的静止要求很高，当摄像头出现运动时，会在差分图像上出现大量的移动目标信息，造成错误。在应用到处理声纳图像的情况下，由于AUV会随着海浪或洋流发生运动，无法保持其静止状态，所以这种方法不是很适用于基于声纳图像的运动目标检测。3．4光流法光流法的概念最早由Gibson在1950提出，现在在计算机视觉、运动分析中有很多重要的作用。Horn等人在1981年首次将二维的速度场与图像的灰度联系在了一起，并且使用光流的约束方程来求解速度矢量，以此为基础提出了基于光流计算的检测算法。光流是指运动物体在观测图像上的像素运动的瞬时速度。光流是利用连续图像序列中的像素强度数据的时域变化及相关性等来确定各个像素的“运动”。通常，光流是由相机(在此为声纳)运动、目标运动及两者相互运动产生的。光流法检测运动目标的基本原理是【27】：为图像中的每个像素点都赋一个速度矢量，来构成一个图像运动场，在特定的时刻，三维物体的点与图像中的像素点一一对应。根据各像素点对应的矢量特征就可以对图像进行动态分析。若是图像里没有运动目标，整个图像区域内的光流矢量是连续变化的；当图像中有运动目，，基于声纳图像的水下运动目标识别与跟踪技术研究标时，运动目标的速度矢量跟其邻域背景的速度矢量不同，这样就能检测出运动目标。使用光流法的时候我们提出了两个假设：l、运动目标的灰度值在图像上的很短的时间间隔内是不变的。2、在给定的领域内速度向量场是缓慢变化的。图像中的像素点所=阮力在t时刻的灰度值为E0，Y，力，由我们的第一条假设可得，该像素满足下式(3—7)：_dE：0(3—7)由微积分知识可以推导出：丝壹+望立+丝：0(3—8)瓠dtavdtat、。上式中令11=害，V=鲁，E=豢，弓=等，互=筹，．则上式就变为：乓甜+EV+互=0(3—9)U，v分别是点m处的X方向和Y方向的运动矢量，上式写成向量形式就是：VE·圪+置=0(3—10)其中，池=(置，E)是图像在点m处的梯度，圪=似，V)是点m的光流。上两式也称为光流约束方程。在此，u、v是两个未知量，对每一个像素点来说，这两个方程就是关于u、v两个未知量的参数方程。Horn等人引入了全局平滑性约刺281，全局平滑约束条件是指运动区域上的所有像素点都具有相似的运动矢量和亮度模式，如果运动矢量和亮度模式发生突然迅速的变化，则认为该突变的像素点为运动区域的边界点[291。用数学表达式来描述这个要求就是是光流矢量的梯度平方和最小，即取(譬)：+(譬)2和似dy滓)：+卑)：得最小值。“忑oy为了解决在相邻的两帧图像里同一个像素点的灰度值可能发生变化，导致光流法出现计算误差，采用以下方法来估计其误差来提高准确度。通过估计光流矢量梯度平方和的最小值，得到运动矢量的估计值万和矿假设总误差为￡2：基于声纳图像的水下运动目标识别与跟踪技术研究92=Ⅱ(矿蠢+露)出咖(3-11)其中口代表毛和‘的相对权重，有图像序列中的噪声大小决定。气和占。分别为：￡b=E≯+E，+El露=(塞)2+(考)2+(塞)2+(宴oy)2C％卵C％(3-12)(3-13)利用递归算法求解，考虑到点聊=阮力和它的四邻域上的光流值，可以得到以下迭代解：扰一“：(万)”一兰兰￡兰．二笺掣(3．·4)v一¨：(矿)”一兰’二[兰型笔掣(3．-5)其中，n为迭代次数，当相邻的两次迭代结果值小于事先设定的误差允许值是，迭代过程结束。光流法的优点是不仅能够得到运动目标的运动信息，还由于采用运动目标随时间变化的光流形得到了包含物体运动和景物三维结构等丰富信剧刈。这就导致该方法不光可以用在目标检测领域，甚至可以直接用于目标跟踪。但是由于该方法计算太过于复杂，不能够满足对实时性要求较高的情况下；同时由于遮挡、多光源以及噪声等一些问题，使得光流基本方程的假设条件一灰度守恒不能满足。3．5混合高斯模型混合高斯模型能够很好的解决由于天气和光照的变化、背景的不稳定以及在摄像头存在运动的情况下目标检测。由于背景的复杂性，使用单高斯分布无法描述出全部的像素点。Stauffer等人【241提出的混合高斯分布模型使用多个单高斯函数来描述这种比较复杂的情况。混合高斯模型法的基本思想剧3l】：对于图像中的每个像素点的像素值，都使用K个高斯分布模型的集合来建模，并对每个高斯模型通过输入图像数据的历史积累来完成归一化加权，来表示出这个模型能够成为背景像素的可能性的大小。，4基于声纳图像的水下运动目标识别与跟踪技术研究这里K的取值通常取3～5，主要取决于计算机的内存及对速度的要求，K的取值越大，能够对图像表达的更准确，但需要的计算时间就越长。设置为t时刻点X=瓴力处的像素值，77(五，“’，，∑，，)为t时刻第i个高斯分布的概率密度，／a,J为其均值，∑妇为其协方差矩阵，哆，为第i个高斯分布在t石时刻的权重值，并且∑q，=l。则其概率密度函数为：l=lr尸(置)=∑q。刀(五，肚，，，二。，)(3-16)，7(五，鸬’，'∑，)的表达式为：叩(五，辟，，∑j，)：——}TP{‘墨叫，∥‘五嘴’(2万)iI∑I-(3—17)上式中11为置的维数，并取其协方差矩阵∑。为：y，，，=吒，(3-18)在高斯模型的初始化方面本文采用文献【32】中提出的方法，将图像序列里的第一幅图像中的每个像素点的像素值作为均值，同时给出一个较大的方差值和一个较小的权值，以此来初始化第一高斯模型的参数。混合高斯模型还有一个非常复杂的过程，即模型学习和参数更新阶段，在这个阶段，不仅要更新每个像素点的每个高斯模型的参数，而且还要更新每个高斯模型的权重，同时还要再为像素点添加新的高斯模型来使之更准确。我们用前B个高斯分布来表示背景，B用下式来表示：厂6、肚鹕，inL善妒叫(3-19)T是背景阈值，T的选取非常重要，对算法的效果影响很大，若T取值过小，就有可能使混合高斯模型退化成单高斯模型，若T取值过大，会将权值小的高斯模型当作是背景。更新的过程中，我们选取一帧新的图像，选取图像中的每一个像素的像素值置与该像素点已有的i(i<-K)个高斯模型进行分别匹配，如果下式成立则说明基于声纳图像的水下运动目标识别与跟踪技术研究置与该像素的第i个高斯模型相匹配。I一一心，，I<砭，，(3—20)式(3．20)中一般f取2．5。如果当前像素值墨与第i个高斯分布匹配，则采用下式更新模型：哆，=(1一口)喀。一1+口p(q，一lI置一1)∑旷。1一竺篁：般：翰b仇，p2·，∑I，=(一p)∑I川+p(置一l一段，)7(墨一1一以，)V一7P=口77(Z，段，，∑^，)p(q卜。I五_1)={三当q是第裟斯模型时(3-22)(3-21)式中，口表示高斯模型的更新速率，q表示第k个高斯分布。但若当前的像素值以-b当前的各个高斯模型都不匹配，就用新的高斯模型替换掉魄／吼中值最小的高斯分布，从而使得当前的像素值是均值，并重新初始化一个大的方差和一个较小的权重。3．6实验结果分析本章我们选用如下五帧图像来形象的表示我们在实验中采集到的声纳图像。图3—3第1帧声纳图像26基于声纳图像的水下运动目标识别与跟踪技术研究图34第2帧声纳图像图3．5第3帧声纳图像图3．6第4帧声纳图像27基于声纳图像的水下运动目标识别与跟踪技术研究图3．7第5帧声纳图像对比本章介绍的各种算法，我们可以看到各种方法具有如下特点：背景差分法原理简单，但是由于很难获得纯粹的背景图片，通常需要随时间使用统计平均法更新背景图片，而且统计平均法适用于目标在图像内运动速度较快、滞留的时间较短的情况，但如果运动目标运动速度较慢，在图像序列中停留的时间比较长时，这种方法就显得不是很适用，有时甚至会导致错误：帧间差分法的算法思想简单，易于用硬件实现，但帧间差分法对摄像头的静止要求很高，当摄像头出现运动时，会在差分图像上出现大量的移动目标信息，造成错误。在应用到处理声纳图像的情况下，由于AUV会随着海浪或洋流发生运动，无法保持其静止状态，所以这种方法不是很适用于基于声纳图像的运动目标检测；光流法不仅能够得到运动目标的运动信息，还可以得到包含物体运动和景物三维结构等丰富信息，但是由于光流法时间复杂度较高，而AUV中的核心控制器通常计算能力有限，而且还要与其他很多的传感器进行通讯，控NAUV执行其他的任务，所以光流法也不是很适合用在此。因此我们选用混合高斯模型算法来作为我们的运动目标检测算法。通过应用混合高斯模型法，能较好的对背景进行建模，从而提取出运动目标，图3—6是对上述图像进行处理后建立的背景图。28基于声纳图像的水下运动目标识别与跟踪技术研究图3．8混合高斯模型提取的背景图以第3帧图像为例，将第3帧图像与背景图相减就可以找出运动目标，如下图3—7所示：3．7本章小结图3．9第3帧图像的前景运动目标本章主要介绍了目前可以用在基于声纳图像的目标检测算法，其中背景消减法和帧间差分法算法思想简单，易于用硬件实现，算法效率较高，但是由于很难在找出一幅很纯粹的声纳图像作为背景，同时两帧图像相减会造成差分图像中出现空洞，本章又研究了相对复杂的光流法、混合高斯模型和主动轮廓模型，并比较了各算法的特点，选取了适用于在声纳图像中进行目标检测的算法，并通过实验验证了该算法是可用于声纳图像的目标检测的。)q基于声纳图像的水下运动目标识别与跟踪技术研亢基于声纳图像的水下运动目标识别与跟踪技术研究4建立机动目标的运动模型成功的目标跟踪在于能否从对目标运动状态的观察值中提取出有用的信息，来正确的表示该目标的运动状态，一个正确的模型能很大程度的帮助我们提取出目标的运动规律。毫不夸张的说一个好的模型胜过数以千计的数据。在目标跟踪方面，由于观察值数量非常少，这找到一个正确的模型的意义就更突出了。大多数的跟踪算法都是基于目标的运动模型己知的情况下，而此时的跟踪算法所得到的效果就要比任何无模型的跟踪效果要好得多。所以，一个好的模型会给目标跟踪带来更高的精确度，使其效果更好。目标跟踪的主要目的是估计运动目标的状态轨迹。尽管目