智能视频算法评估综述

第22卷第2期 2010年2月 计算机辅助设计与图形学学报 JournalofComputer—AidedDesign&ComputerGraphics V01．22No．2 Feb．2010 智能视频算法评估综述 李鹏飞1’∞，陈朝武1’∞，李晓峰h幻 l’(北京中盾安全技术开发公司技术部北京100048) 2’(中华人民共和国公安部第一研究所北京100048) (1ipengfei08@gmail．corn) 摘要；智能视频监控在公共安全和民用领域已经显现出有效与广阔的应用前景，备受国内外学者和众多实际工程 领域专家的高度关注，制定有效、公正的智能视频算法评估准则是其应用过程中的一个重要环节．文中对当前国际 上智能视频算法的评估工作进行了比较全面的综述，重点是运动检测、目标跟踪的性能评估．最后指出了智能视频 算法评估的发展方向． 关键词：智能视频；运动检测；目标跟踪；性能评估；视频监控 中圈法分类号：TP391 AnOverviewforPerformanceEvaluationofIntelligentVideoAlgorithms LiPengfeil，∞，ChenChaowul·∞，andLiXiaofeng㈨ 1’(R＆DDepartment，BeringZhongDunSecurityTechnologyDevelopmentCo．，Beijing100048) 2’(TheFirstResearchInstituteofMinistryofPublicSecurityofPeople’sRepublicofChina，BeOing100048) Abstract：Intelligentvideosurveillancehasbeendevelopedrapidlyandbroadlyindailypublicsecurity andvariouscivilapplications．Toestablishaneffectiveandstandardperformanceevaluation，an appropriatemetricisveryimportant．Thissurveysummarizesthestate-of-the—artofperformance evaluationforintelligentvideoalgorithms，especiallyfocusesontheperformanceevaluationofmotion detectionandobjecttracking．Italsohighlightsthefuturedirectionforperformanceevaluationof intelligentvideoalgorithms． Keywords：intelligentvideo；motiondetection；tracking；performanceevaluation；videosurveillance 现代社会是一个人口密集、高度复杂的社会，面 临的突发事件和异常事件越来越多，对其监控的重 要性与难度也越来越突出．为此，新一代的智能视频 监控技术得到了世界各国政府和学者的密切关注． 特别是在911恐怖袭击、马德里爆炸案以及伦敦爆 炸案发生以后，市场上对此类应用的需求不断增长． 与智能视频监控系统相比，传统的视频监控系 统存在着以下缺点：由于人类自身生理上的弱点，监 控者经常无法察觉安全威胁，从而导致漏报现象的 发生；从监控时间来看，很难实现7×24的全天候监 控；从响应速度来看，传统的监控系统通常都由安全 工作人员对安全威胁事件做出响应和处理，很难做 到实时的响应．为了解决这些问题，智能视频监控技 术应运而生． 智能视频监控源自计算机视觉技术．计算机视 觉技术是人工智能研究的分支之一，它能够在图像 及图像描述之间建立映射关系，使计算机能够通过 数字图像处理和 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 来理解视频画面中的内容．视 频监控中所提到的智能视频技术主要是指自动分析 和抽取视频源中的关键信息．智能视频技术借助计 算机强大的数据处理能力对视频画面中的数据进行 高速分析，过滤用户不关心的信息，发现监控画面中 收穑日期：2009—03—04；修回日期：2009—07—02．基金项目：国家“十一五”科技支撑 计划 项目进度计划表范例计划下载计划下载计划下载课程教学计划下载 项目(2006BAK08806)．李■飞(1981一)。男，硕士， 主要研究方向为图像处理、安全评估、安全防范；陈朝武(1956一)。女，硕士，研究员·主要研究方向为综合安全技术、信息系统集成、流媒体等； 李晚蜂(1973一)，男，博士，副研究员，主要研究方向为网络与系统安全、安全评估、流媒体、安全防范． 万方数据 第2期 李鹏飞，等：智能视频算法评估综述 353 的异常情况，并能够以最快和最佳的方式发出警报 和提供有用信息，从而能够更加有效地协助安全人 员处理危机、最大限度地降低误报和漏报现象． 随着各种各样智能视频算法和系统的提出，判 断这些系统实用性的评估方法变得至关重要，这不 仅有助于算法本身的改进，同时可以帮助决定视频 监控系统的适用场景以及智能视频设备生产厂商对 算法的选择和终端用户对产品的选择． 目前，国际上对于智能视频算法性能评估主要 关注运动检测、目标跟踪等方面，本文将对这2个方 面的评估进行 总结 初级经济法重点总结下载党员个人总结TXt高中句型全总结.doc高中句型全总结.doc理论力学知识点总结pdf ． 1相关研究 目前，国际上关于智能视频算法评估方面的研究 很多，如CAVIAR①，VACE⑦，ETISEO③，CU：AR④， PETS⑤等．这些工作中，研究者提供了一系列手工 标注GT(groundtruth)数据的视频序列，算法设计 者可以在这些序列上对算法输出结果和GT数据进 行比较，以评估相关算法的性能，评估过程如图1 所示． 图1 智能视频算法评估流程图 CAVIAR项目从2002年10月1日持续到 2005年9月30日，其主要目的在于解决城市中心 监控和商场的应用．它分析检测城市中心监控中一 些不寻常的事件，如人的奔跑、聚集、静止等，然后可 以通过报警通知安全中心的工作人员．而在商场，则 分析潜在客户的行为，例如他们走过的路线、在某个 特定的位置停留时间等，帮助商场对其布局做一个 评估，并对其进行调整，以吸引更多的顾客． VACE项目开始于2000年．由于VACE提供 的视频中包含了大量的会议视频、新闻广播视频，因 此它更多地关注人脸检测／跟踪、文本检测／跟踪／识 别、行人检测／跟踪／定位、手检测／跟踪、事件检测等 任务．在VACE的第一阶段和第二阶段(2000一 2006年)，它在新闻广播、会议、监控这几类视频中， 对人脸、手、人、车以及文本等运动目标的自动检测 和跟踪方面取得了显著的进步．在VACE的第二阶 段中，南佛罗里达大学(USF)和美国国家标准和技 术协会(NIST)协作进行了评估方面的工作．目前 VACE已经进入了第三个阶段，它开始更多地关注 算法处理的准确度、速度等方面的问题． ETISEO是从2005年到2006年12月由法国 政府赞助的视频监控系统评估项目，它主要研究视 频特征和算法之间的关系，其目的在于确定一个给 定的算法所适用的场景特征，从而帮助算法设计人 员来发现算法的不足之处，以利于以后的改进．针对 运动目标的检测、跟踪任务，ETISEO提出了由一个 主要度量结合一些补充的度量组成的评估方法，来 衡量算法在这些任务上的综合表现；另外，它在目标 的定位、分类，以及事件识别的算法评估方面也做了 一些工作． CLEAR是由VACE和CHIL(computersinthe humaninteractionloop)@联合主办的工作组会议， 主要关注人／车跟踪、人识别(语音)、头部姿态估计、 有声场景分析等任务，其全称为Classificationof Events，ActivitiesandRelationships--Evaluation CampaignandWorkshop．目前，CLEAR已经召开 了2次会议． 跟踪和监视性能评估工作组会议(performance evaluationoftrackingandsurveillance，PETS)的 主要目的是评估视觉中的跟踪和监控算法．第一次 PETS会议于2000年3月召开，截止2008年已经 召开了10届．早期的PETS主要关注对人、车等运 动目标的检测和跟踪，如今这些技术已经相对成熟， 开始转而关注事件级别的检测，例如人的行为识别、 行李遗弃检测等．PETS中提出了大量的以像素、目 标为单位的统计评估方法．目前PETS已为运动目 标检测这一任务提供了在线的评估服务． 相对国外研究，国内在智能视频测试方面的工 作几乎没有，因此本文的调研对象主要以国外的研 究为主． 2运动检测评估 运动检测是指由图像J弘列中将变化区域从背景 图像中提取出来，它处于数字化智能视频监控系统 的最底层，是目标分类、目标跟踪、行为理解等后续 http：，，l姗epages．inf．ed．a。uk／rtff／CAWAR／ httpd／www．icarda．org／InfoExploit／vace／index．html http：Ilwww-sop．inria．fdorion／ETISEOlindex．htm http=llwww．dear—evaluation．o吲 httplllw*w．pets2007．net／ http：／／chil．server．de．， 万方数据 354 计算机辅助设计与图形学学报 第22卷 工作的基础．运动区域的有效分割将大大减少后续 过程的运算量．所以建立一个合理的运动检测算法 评估方法显得尤为重要和必要． 由于运动检测可以理解为一个二元的分类问 题，即前景／背景的分类问题，因此可以定义一组TP (truepositive)，FP(falsepositive)，FN(falsenegative) 和TN(truenegative)，如表1所示．TP，FP，FN和 TN的统计单位主要有目标和像素2种；相应的评 估指标也就有目标和像素2种． 表1丁P。FP，TN和FN定义 2．1像素级别的评估 以像素为单位[1。4]的统计中，丁P表示检测到在 GT框内的前景像素数，FP表示检测到在GT框外 的前景像素数，FN表示检测到在GT框内的背景 像素数，TN表示检测到在GT框外的背景像素数， 如图2所示，其中灰色框表示GT框，黑色框表示算 法输出结果． 霭2 TP．FP，FN秘TN定义 通过组合TP，FP，FN和’rN这4组数据， PETS发表的 论文 政研论文下载论文大学下载论文大学下载关于长拳的论文浙大论文封面下载 ‘卜2小61中提出了表2所示的一些 指标来度量算法的效果． 表2运动检测算法评估指标 指标名称 计算方法 检测率(Detectionrate)TPI(TP+FN) 检测准确率(Precision)TPI(TP+FP) 漏检率(Falsenegativerate) FN／(TP+FN) 误检率(Falsealarmrate) FP／(卯+FP) 准确度(Aecumcy) ‘黑：‘TN+TP+ 背景检测率(Specificity)TN，(TN+FP) 背景漏检率(Falsepositiverate)FP／(TN+FP) 背景笆测尊确亨‘，eg“”TJv／(TN+FN) predictivevalue) 检测的比率，Precision反映了被检测的前景像素的 检测准确度；Detectionrate与Falsenegativerate 的和为1，Precision与FAR(falsealarmrate)的和 为1；Accuracy表示所有的像素被正确分类的比率， Specificity表示背景像素被正确分类的比率，False positiverate表示背景像素被错误分类的比率， Negativepredictivevalue表示被归为背景像素的分 类准确度． 另外，PETS提供了在线的评估准则①，它由4 个指标值Ⅲ组成，具体形式如下： 1)NR(negativeratemetric)．某一帧内的算法 输出与GT之间像素单位的错误匹配，即 NR一÷(NRf。+NRfp)， 一 、7NR l、／fnh一瓦而， NR一 盟垒 ．fp一瓶； 其中，Nfn和Nfp分别表示漏检(FN)和误检(FP)像 素个数，N。。和N。表示TN和TP数目，NR也即前 景像素的漏检比率与背景像素的漏检比率的均值． 2)MP(misclassificationpenaltymetric)．使用 目标比目标(object-by-object)的方法对算法的目标 分割结果与GT进行比较，即 MP一寺(MPf．+MPfp)， Ⅳfn ∑以 脚如一气厂， NfD ∑稚 MPtp2气厂‘ 其中，瓯和砘分别表示第_f个漏检和第k个误检像 素到基准分割轮廓的距离；正则化因子D表示一帧 内基准目标的所有内部像素到轮廓的距离总和，这 个指标基于像素与目标边界的距离来惩罚错误分类 的像素，以说明算法提取一个特定物理目标的效果 好坏；MP值越低，说明算法从场景中分割物理目标 及识别目标边界效果越好． 3)RM(rateofmisclassificationsmetric)．以像 素为单位，算法的错误分割像素与目标边界的归一 化的平均距离，即 RM一÷(RMfn+RMfp)， 表2中，Detectionrate反映了前景像素被正确 ①httpl，／petsmetri。。．酬 万方数据 第2期 李鹏飞，等：智能视频算法评估综述 355 RM萨上Ntn蚤．=老， NfP J‘ RM如一瓦1蚤老； 其中，Nh和NfP分别表示漏检和误检像素个数，D曲。 是帧的对角距离；RM的计算类似于MP，但是这里 使用了FN和FP像素个数作为RM的正则化因子． 4)WQM(weightedqualitymeasuremetric)． 检测目标与GT目标之间的空间差异，是漏检和误 检像素影响的加权和，即 WQM=In(÷(WQMfn+WQMfp))， 1垒 WQMf．一寺∑‰(以)以， 1’tn j=1 1鱼 WQMtp=寺∑训fp(砟)略； 其中，N为参考目标的像素面积．按照Aguilera 等[11的观点，漏检和误检在视觉上的重要性是不同 的，应该区别对待，所以使用了权重函数Wfp和Wfn． 对于不同的算法，上述4种指标值越小说明算 法性能越好．但是这些指标是基于像素来统计的，因 此并不能用来衡量实际检测中经常出现的分裂、合 并等情况．另外，这几个指标易受大物体的主导，不 能反映画面中小物体的漏检． 针对运动目标的检测任务，ETISEO提出了由 一个主要评估指标结合一些补充的指标组成的评估 方法Ⅲ来综合衡量算法在这些任务上的性能．其中 的补充度量Objectarea以像素为单位进行统计，计 算Detectionrate，Precision及二者的调和平均F— Score，并评估了算法分割目标的精确度．其缺点如 前所述，容易偏向于大物体． 2．2目标级别的评估 以目标为单位的统计通常通过系统输出目标与 GT目标的空间重叠来判断，有质心位置法L81和面 积重叠率法m¨1]2种判断方式． 质心位置法就是判断GT目标的质心点是否落 在检测目标的边界框内．如果落在边界框内，则认为 该GT目标被成功检测，记为一个TP；否则，认为 该GT目标未被成功检测，记为一个FN；如果一个 检测目标找不到与之匹配的GT目标，则将该检测 目标记为一个FP．质心位置检查中，可以将目标边 界框适当地扩大一部分，以有效地减少因画面中实 际目标过小而导致的漏检及误检的判断． 面积重叠率法是指计算在指定帧中的某个GT 目标和某个系统检测目标之间的面积重叠程度，并 判断其是否大于一个给定的阈值．如果大于该阈值， 说明系统输出和GT目标之间有充分的空间重叠， 记为一个丁P；否则，记为一个FP．如果GT目标与 任一系统输出没有充分的空间重叠，则记为一个 FN．以目标为单位的统计中，TN不能被明确定义． 以目标为单位统计时，表2所提出的指标同样 适用．需要注意的是，由于此时无法对TN进行统 计，表2中后4个指标无法使用． ETISEO提出的综合指标中，主要评估指标被 命名为numberofobjects，是以目标为统计单位，计 算检测率、检测准确率及F-Score．这里使用了面积 匹配准则来判断算法输出的检测目标与GT目标是 否匹配． 补充的度量指标中，Splitmetric，Mergemetric 同样以目标为统计单位，其计算方法如下： 1)Splitmetric．量化了检测目标的分裂程度， 计算每个GT目标被检测成多少块，即 Spli净忐荟(忐善而1而)； 其中，Ni。表示包含至少一个GT目标的帧数，№ 表示某一帧内GT目标的个数，NBloblRD表示某一 个GT目标被检测出的块数． 2)Mergemetric．量化了检测目标的重合程度， 计算每个检测目标对应的GT目标数，即 Me—g一忐荟(忐善丽1石)； 其中，N妇。表示包含至少一个GT目标的帧数，N鼬 表示某一帧内检测目标的个数，NRDI鼬表示某一 个检测目标对应的GT目标数． 另外，ETISEO给出了一种定量计算视频对比 度的方法[12。，实现了对视频对比度的准确分级． CLEARLl3。1副中提出了名为MoDA(multiple objectdetectionaccuracy)的度量指标MODA(￡)一1一丛型皂型； 』Y0 其中，m。为第t帧内的漏检数，即，为误检数，c为相 应的惩罚函数，N0为GT目标数．该指标反映了算 法的检测准确度，漏检和误检越多，其值就越小．正 则化后的MoDA称作N—MODA， Nf㈣ 2：．(c。(m。)+cy(fp，)) N-MODA一1一上L—瓦了——一， ∑Ng’ 它可以反映算法在整个序列上的性能． 万方数据 356 计算机辅助设计与图形学学报 第22卷 Nascimento等[91对目标检测的结果做了更为 具体的细化，分为正确检测(一一匹配)、合并、分裂、 分割合并同时发生、误检和漏检；然后根据上述的统 计数据，对正确检测、漏检、分裂、合并、分／合统计值 以GT目标数作归一化，计算各自的比率．另外将误 检数除以检测所得目标数，即可得误报率．使用这一 组指标可以从不同侧面反映算法的检测性能． 文献[16]在文献[9]所求的比率基础上，对所有 比率进行加权求和用来评估算法的综合性能，但是 权值只能依据经验来确定． 目前，国内几乎没有对于运动目标检测算法的 评估工作，主要使用国际上几个比较通用的指标来 说明自己算法的性能．文献[17]使用误检率和漏检 率以及这2个比率的和，作为评估指标与他人的算 法进行比较． 以目标为统计单位的优点在于更贴近人的主观 感受，不会偏向于较大的目标．如图3所示，由于画 面中的人相对很小，如果检测人失败，而检测画面中 的卡车成功，使用以像素为单位统计的度量指标时， 对评估结果影响并不大；而使用以目标为单位统计 的度量指标时，检测人失败和检测卡车失败对结果 的影响是一样的．其缺点在于不能评估算法的精确 度，即目标分割的精确度，需要使用其他补充的指标 来衡量算法在精确度方面的性能． 图3不同大小的物体标注图 2．3像素和目标综合评估 有些研究人员将像素和目标2种单位相结合， 得出的指标在能够反映检测准确度的同时，还能反 映检测精确度． VACE中提出了Fj)A(fl'anledetectionaccuracy) 的度量指标⋯J，对于第t帧，使用N∥表示此帧内 的GT目标数，Ng’表示此帧内检测到的目标数，则 可以定义 胱∽=盏精鲨D；I』YGT』Y I L 2 J 其中，Ov洲眈鼬一蚕8矧胖表 示第t帧内的第i个GT目标，D∥表示第t帧内的 第i个匹配的检测目标，N篱聃a表示第t帧内匹配的 目标数．这里目标的匹配与否使用空间重叠率来判 断，选取其中匹配最好的目标作为有效匹配，即GT 目标与检测目标的匹配是一一对应的．该指标综合 反映了算法的检测率和检测的精确程度，检测率越 高，这个指标值越高，同时检测的精确度越高，指标 值也越高． 为了评估算法在整个序列上的性能，可以计算 该序列每一帧上的FDA，然后对所有的FDA求 和，并归一化以序列中存在GT目标或者检测目标 的帧数．这种归一化的方法同时考虑了漏检和误检 的影响，归一化后的FDA命名为SFDA(sequence framedetectionaccuracy)，表示为 SFDA— Mnme5 ∑FDA(t)、 f一1 ∑了(峭’ORN汐) f一1 与VACE类似，CI。EAR‘13。151也提出了综合像 素和目标单位的评估准则MODP(multipleobject detectionprecision)，其形式为 MODP(￡)：_Overila-p—_R—atio 』V‘册州 其中，N0，，。表示第t帧检测到的匹配目标的数目， Overlap—Ratio表示匹配的GT目标与检测目标的 重叠比率，反映了算法对检测目标的分割精确度．为 了得到算法在整个视频序列上的性能表现，可以将 MODP正则化，记作N-MoDP， N_-MoDP— Nhm“ ∑MODP(t) t—l Nf。。。 ’ 2．4小结 综上所述，运动目标检测的度量指标可分为像 素单位与目标单位两大类．像素单位主要反映了算 法分割物体的性能，却不能反映分割时发生的物体 分裂、合并等情况．目标单位的统计可以反映算法的 分割准确度，更贴近人们的主观感受，却不能反映算 法分割的精确程度．因此，为了反映算法的综合性 能，不能单独使用某一类型的指标，需要结合2种单 位的统计，以获得算法的真实性能．而对于像素和目 标单位结合的指标，如果指标较低，用户并不清楚算 法具体的缺点是什么，可借鉴E1rIsE0的评估方法． 万方数据 第2期 李鹏飞，等：智能视频算法评估综述 357 3 目标跟踪评估 运动目标跟踪是在运动目标检测基础上，利用 目标有效特征，使用适当的匹配算法，在序列图像中 寻找与目标模板最相似的图像的位置，简单来说就 是给目标定位．在实际应用中，运动目标跟踪不仅可 以提供目标的运动轨迹和精确定位目标，为下一步 的目标行为分析与理解提供可靠的数据来源，而且 也可以为运动目标检测提供帮助，从而形成一个良 性的循环． 与运动检测相比，跟踪是一个时空任务，评估时 既需要考虑系统输出与GT的空间符合度，还需要 考虑其时间符合度．VACE，CLEAR，ETISEO和 PETS都在目标跟踪评估方面做了一定的T作，并 提出了一些评估度量指标，分别从轨迹检测的精确 度、完整性等方面对检测算法进行了评估． 3．1轨迹的精确度 轨迹的精确度主要指检测轨迹与GT轨迹在空 间上的相似性．为了度量目标跟踪算法轨迹检测的精 度，Ⅵ～CE中提出了以下指标： STDA(sequencetrackdetectionaccuracy)，即 ‘。乓写‘厂IG∥nD∥|]弋_、l uf uf N瓮ca■LG∥UD尹IJsTDA一菩旦瓦面Fq’I=I ‘ 其中，G尹和DP分别表示第t帧内的第i个匹配的 GT目标和检测目标，Nh一表示该序列的帧数， N。删表示在视频序列级别上匹配的目标总数，G和 Df分别表示在序列级别上的第i个匹配的GT目标 和检测目标，N(GUD：／t0)表示存在Gf或者Di的帧数． 可以发现，式(1)的分子是检测目标与GT目标 的重叠率，与运动检测里非常相似．其区别在于跟踪 任务中，需要同时考虑时间和空间上的重叠率，而在 检测任务中，仅仅考虑空间上的重叠率．STDA是 度量序列上所有目标的跟踪性能的指标，它同时惩 罚了漏检和误检． 将STDA在序列所有目标(检测目标和GT目 标)取平均，得到平均跟踪精度(averagetracking accuracy，ATA)，其中体现了对目标分裂情况的惩 罚，而在STDA中没有体现．而对整个序列集的 ATA求取均值，可以得到算法在整个测试序列集上 的性能． CLEAR中定义了与STDA类似的指标MOTP (multipleobjecttrackingprecision)，即 ”苌掣”专竿广fG≯nD(f)I] 鲁鲁LG∥U联D JMOTP一』型—』去#二二I_二二—二_二二 ∑睢州 ，=1 其中，N。，pcd表示在视频序列级别上匹配的目标数， 这个指标同样反映了算法检测的精度． 文献E8，18-21]对于给定的2个轨迹A和B， 计算了轨迹之间的距离序列，并统计了均值、中位 数、标准差、最小值和最大值，以度量轨迹检测的精 度．其中，文献[-21]以每一对轨迹的时间重叠作为权 重系数，计算了整个序列上所有轨迹匹配误差的加 权平均，作为序列级的轨迹匹配误差．文献[22]使用 GT目标的大小对检测目标及GT目标在水平、垂 直方向上的距离作了归一化，然后分别统计了所得 距离序列的均值和方差．文献[-18]中指出一些轨迹 之间可能非常相似，仅仅有如图4a所示一些空间 或如图4b所示时间上的常量差距． a空间常量差距 b时间常量差距 图4轨迹对比图‘”] 为此，作者通过计算2个轨迹之间的最优空间 和时间位移，使得2个轨迹之间距离的均值最小；然 后对调整后的轨迹分别作上述的统计分析，以进一 步发现2个轨迹之间的相似度． 另外，文献[183计算了2个轨迹之间的面积，用 来评估轨迹检测的精度；而文献[-19，22]则计算了轨 迹上检测与GT目标之间的平均面积差异，即 矛一1VA1(i)一A2(i)一4 N12争 A1(i) ’ 作者使用GT目标的面积作归一化，有效地消 除了目标大小对指标的影响． 与STDA类似，文献[-21，23]中使用GT目标 与检测目标的重叠比率来衡量目标在某一时刻的跟 踪效果，并且对某一帧内的目标重叠率求平均；然后 对序列所有帧的平均重叠率取平均，从而得到在整 个序列上的跟踪精度． 3．2轨迹的完整性 轨迹的完整性主要包括跟踪时间的完整以及轨 迹ID的持续性2方面． Black等[8]提出了一种评估度量，通过GT和跟 踪目标之间的对应关系，计算TP和FP，进而用来 万方数据 358 计算机辅助设计与图形学学报 第22卷 计算下列的度量． 1)TDR(trackdetectionrate)．跟踪目标的TP 数与该目标对应的所有GT目标数的比值，这个指 标值越接近100％，说明轨迹的完整性越高． 2)丁F(trackfragmentation)．与GT轨迹匹配 的检测轨迹数量，度量了轨迹ID标号改变的次数． 分裂表明对于一个GT轨迹，系统的输出轨迹缺乏 连续性．在最理想的情况下，轨迹分裂错误应该为 0，即跟踪系统可以为GT目标生成连续稳定的轨迹． 3)oSR(occlusionsucceB$rate)．成功检测的 动态遮挡数与所有的动态遮挡数之间的比率，这个 指标衡量了跟踪算法遮挡情况下检测目标的能力． 4)TSR(trackingsuccessrate)．表示跟踪到的 没有分裂的目标与所有GT目标总数的比率． 文献E8-1提出的度量方法很好地概括了一个跟 踪算法中应当被评估的一些基础特征，然而其未对 目标大小检测的准确度进行评估． 文献l-19，21]提出了以下2个指标来评估轨迹 在时间上的性能． 1)Objectdetectionlag．度量了系统开始跟踪 一个新目标的时间与GT开始标注该物体的时间的 差异，即跟踪算法的延时．延时的理想值应该为0， 一个很大的延时意味着系统的灵敏度不够，不能及 时地触发跟踪，或者说明检测性能不够好，从而能够 触发跟踪． 2)Trackincompleteness．度量了轨迹在时间 上的完整性，即 了1妇cklncompZe￡e靠已5s2—N——f．—=+丁—N—一fp． 』f 其中，N如表示漏检帧数，N如表示误检帧数，t 表示GT和检测结果同时出现的帧数． ETISEO中为了评估跟踪算法检测轨迹的完整 性，提出了以下的一系列度量指标①． 1)Linkbetweentwoframes．以2个在连续时 刻检测到的物理目标之间的关联为单位，统计GT 目标关联数、漏检关联数、误检关联数；然后计算检 测率和检测准确率以及调和平均．它反映了算法在 目标时间关联方面的检测能力． 2)Trackingtimeevaluation．衡量了GT目标 被观察和跟踪的时间百分比(ID保持不变)．通过空 间重叠率来判断GT目标和检测目标是否匹配．选 择与GT目标匹配的第一个物理目标或者与GT目 标时间重叠最大的目标作为有效匹配，然后计算 GT目标被跟踪的平均时间， TT。eked=志丢号黑舻． 3)PhysicalobjectIDfragmentation．度量了ID 的持续性，衡量整个轨迹发生时间内有多少个跟踪 目标与一个GT目标相关联，即 胁矗盯册卯一忐荟瓦而未；万丽； 其中NumObjectlD，RD表示GT目标所对应的不同 ID数，其值越高，说明算法性能越好(理想情况为 100％)． 4)PhysicalobjectIDconfusioncriterion．度量了 ID的混淆(2个相遇的人的ID互换)．NumReflDfD 表示检测目标所对应的GT目标ID数．不同的GT 目标ID由它们的边界框来定义，且它们与检测目标 时间间隔的交集之间相互脱节，即 ． 1 n 】Co咒fu肌彻一丙二施—NumRe—flDw’ 其中DMRD为detectedobjectmatchrefdata的缩 写．混淆度越接近100％，说明跟踪算法在整个时间 段上越鲁棒． 同样地，Yin等[21]提出了IDC(IDChange)指 标，用来统计轨迹在整个生存期内的ID变换次数． 他们使用了检测轨迹与某GT轨迹一一匹配(空间 重叠)的帧来估计轨迹的ID变化次数，如图5所示， 其中虚线表示检测轨迹，实线表示GT轨迹． a轨迹ID改变2次 b无ID改变(轨迹合并)三净j 图5 ID变化示意图口u 3．3 目标跟踪的综合性能 轨迹的精确度、完整性分别从不同侧面反映了 目标跟踪的性能，二者通常不能单独使用．为了获得 目标跟踪算法的一个综合性能，人们也提出了一些 综合性的指标． CLEAR提出了评估指标Mj研随(multipleobject ①http：f7唧·sop．in血．fr，or／on／E1"ISF．O／iso_album／ed-metr／a&finidon’ v2．pdf ：l口2 万方数据 第2期 李鹏飞，等：智能视频算法评估综述 359 trackingaccuracy)，用来评估跟踪算法的综合性 能，即 Ⅳf ∑(Cm(mf)+印(即f)+In(／d，)) MOTA=1一』生————可i=——————一； ∑腿 I置l 其中，m。为第t帧内的漏检数，fp。为误检数，c为相 应的惩罚函数，N毛为GT目标数，i以表示第t帧内 检测目标的ID与前一帧相比的错误匹配数．这样， 如果在跟踪过程中一个轨迹发生了分裂或者合并， 那么将其作为新轨迹来考虑，但是通过ID的变换来 惩罚． Yin等[2嵋判断系统输出轨迹与GT轨迹之间的 空间和时间重叠，统计了以下的数据： 如果系统输出轨迹与GT轨迹之间有充分的时 间和空间重叠，则认为该GT轨迹被正确检测出来， 称为TP，或者正确检测轨迹(CDT)． 如果系统轨迹与任一个GT轨迹之间没有充分 的时间重叠或者空间重叠，则认为该轨迹是一个错 误报警轨迹(FAT)，或者是FP． 如果GT轨迹与任一个系统输出轨迹之间没有 充分的时间重叠或者空间重叠，则认为该GT轨迹 未被检测出来，称为轨迹检测失败(TDF)． 在上述的统计数据基础上，文献C21]计算了轨 迹单位的检测率、误检率、漏检率指标，此种以轨迹 为单位的统计应该更接近用户的感受． Muller—Schneiders等n9]通过GT和跟踪算法 结果的边界框质心之间的距离矩阵确定阈值，该阈 值被用来寻找跟踪算法输出和GT之间对应．同样 以轨迹为单位，他们计算了漏检率、误检率指标；同 时，指出如果在降低误报方面对系统进行优化时，可 能会需要使用一些干扰信息比较强的序列(晃动的 树)．而在空场景下，因为GT轨迹总数为0，无法计 算误检率，可对公式做出修正，使用序列帧数代替 GT轨迹总数作为分母，从而可以计算一组包含空 场景序列上的该指标的均值． 与文献[19，213类似，ETISEO中提出了physical object2Dtrajectories的指标，以检验物理目标在它 们的生存期内的2D轨迹是否被正确检测，即与GT 轨迹相关的检测轨迹数目．2个轨迹之间的匹配通 过计算轨迹之间的最大距离是否大于某个阈值来判 断，如果有数个跟踪目标的轨迹与同一个GT目标相 关，则将总体时间上与GT目标的空间重叠率最大的 那个作为有效的轨迹．此指标以轨迹为单位计算检测 率、检测准确率和F-Score． 指标numberofobjectbeingtrackedduringtime， 在检测目标和GT目标的持续时间之内统计GT目 标数、漏检数、误检数，然后计算检测率和检测准确 率以及调和平均．这个指标衡量了在一定时间内系 统检测和跟踪一个目标的综合能力． 3．4小结 综上所述，目标跟踪算法的评估主要可分为轨 迹检测的精确度、完整性等几个方面．与目标检测类 似，单独使用某一方面的度量并不能够反映跟踪算 法的真实性能．从用户的直观感受考虑，应当先使用 综合性质的指标(轨迹单位的统计)获得算法的综合 性能，然后从轨迹的精度(重叠面积)和完整性(轨迹 ID变换次数、轨迹检测延时)方面对算法进行进一 步的评估．可根据用户关注点的不同选择具体指标． 4 总 结 本文介绍了目前国际上对于智能视频算法评估 方面的工作．通过对这些工作的分析可以发现，已有 的用于评估智能视频算法的度量指标虽然很多，但 是并没有形成一个公认的、统一的标准，这导致算法 的设计者在选择评估指标时无所适从，而且指标 过多，导致算法之间不容易比较．另外，前期的评估 工作中并没有给出一个基准，没有指出评估指标在 大于或者小于哪个阈值时，该算法是一个比较好的 算法． 在评估过程中，同时使用多个度量指标或者只 使用一个全面的度量指标来衡量被测系统的性能， 在不同的人看来有着不同的观点．从研究者的角度 来看，评估指标越多、越具体越好，多个指标同时使 用可以帮助研究人员发现算法的具体缺点，从而辅 助调试改进算法．然而，在最终用户看来，需要从大 量的良莠不齐的智能视频产品中选取其中的某一 个，这时，一个综合的度量指标将有助于他们最初的 分析，可以使用户迅速地排除其中的某些设备，然后 再使用其他具体的度量指标来做更深层次的分析， 帮助用户做出最后的选择． 此外，目前国际上智能视频的评估工作主要关 注算法的评估，几乎没有以产品和系统评估为目的 的工作，由于关注点的不同，已有的指标并不一定适 用于产品的评测，需要将监控设备硬件供应商、智能 视频算法设计者、智能视频用户合理的组织起来，讨 论提出一个适用于产品评估的一个标准，这将是今 后智能视频评估的一个发展方向． 万方数据 360 计算机辅助设计与图形学学报 第22卷 参考文献(References)： [13AguileraJ。WildenauerH，KampelM，eta1．Evaluationof motionsegmentationqualityforaircraftactivitysurveillances [C]／／Proceedingsof the2ndJointIEEEInternational WorkshoponVisualSurveillanceandPerformanceEvaluation ofTrackingandSurveillance，Bering，2005：293—300 [2]ThirdeD，BorgM。ValentinV，eta1．Visualsurveillancefor aircraftactivitymonitoring[c]／／Proceedingsofthe2ndJoint IEEEInternationalWorkshoponVisualSurveillanceand PerformanceEvaluationof TrackingandSurveillance， Beijing，2005{255—262 [3]YoungDP，FerrymanJ M．PETSmetrics：on—line performanceevaluationservice[c]／／Proceedingsofthe2nd JointIEEEInternationalWorkshoponVisualSurveillanceand PerformanceEvaluationof TrackingandSurveillance， Beijing，2005：317_324 [4]Lazarevic—McManusN，RennoJ，MakrisD，etal．Designing evaluationmethodologies：thecaseofmotiondetection[c]／／ Proceedingsofthe9thIEEEInternationalWorkshopon PerformanceEvaluationofTrackingandSurveillance，New York，2006：23-30 [5]GrabnerH。RothPM，BischofH．Ispedestriandetection reallyahardtask?[c]／／Proceedingsofthe10thIEEE InternationalWorkshoponPerfc}rmanceEvaluationof TrackingandSurveillance，RiodeJaneiro·2007：1-8 [6]EllisT．Performancemetricsandmethodsfortrackingin surveillance[c]／／Proceedingsofthe3rdIEEEInternational WorkshoponPerformanceEvaluationof Trackingand Surveillance，Copenhagen，2002：26—31 [7]NghiemAT，BremondF，ThonnatM，eta1．ETISEO。 performanceevaluationforvideosurveillancesystems[c]／／ ProceedingsoftheIEEEConferenceonAdvancedVideoand SignalBasedSurveillance．London．2007：476—481 [8]BlackJ，EllisT，RosinP．Anovelmethodforvideotracking performanceevaluation[c]／／Proceedingsofthe2ndJoint IEEEInternationalWorkshoponVisualSurveillanceand PerformanceEvaluationofTrackingandSurveillance，Nice， 2003：125-132 [9]NascimentoJ C，MarqueJ S．Performanceevaluationof objectdetectionalgorithmsforvideosurveillance[J]．IEEE TransactionsonMultimedia，2006。8(4)：761-774 ElO]HallD，NascimentoJ，RibeiroP，eta1．Comparisonoftarget detectionalgorithmsusingadaptivebackgroundmodels[c]／／ Proceedingsofthe2ndJointIEEEInternationalWorkshopon VisualSurveillanceandPerformanceEvaluationofTracking andSurveillance，Beijing，2005：113—120 [11]ManoharV，BoonstraM，KorzhovaV。甜a1．PETsvs． VACEevaluationprograms：acomparativestudy[C]／／ Proceedingsofthe9thIEEEInternationalWorkshopon PerformanceEvaluationofTrackingandSurveillance，New York，2006±1—6 [12]NghiemAT。BremondF，ThonnatM。eta1．Anew evaluationapproachforvideoprocessingalgorithms[C]／／ ProceedingsofIEEEInternationalWorkshoponMotionand VideoComputing，Austin，2007l 15-22 [13]KasturiR。GoldgofD，SoundararajanP．eta1．Framework forperformanceevaluationofface，text，andvehitiedetection andtrackinginvideo：data，metrics，andprotocol[J]．IEEE TransactionsonPatternAnalysisandMachineIntelligence， 2009，31(2)：319-336 [14]StiefelhagenR，BernardinK，BowersR，eta1．TheCLEAR 2006evaluationFM]／／LectureNotesinComputerScience． Heidelberg：Springer，2007，4122：1—44 [15]StiefelhagenR，BernardinK，BowersR。eta1．TheCLEAR 2007evaluation[M]／／LectureNotesinComputerScience． HeidelberglSpringer，2008，4625：3-34 [16]GelascaED，EbrahimiT．Applicationdependentvideo segmentationevaluation：acasestudyforvideosurveillance rOLl．[2009-03-04]．http：／／infoscience．epa．ch／record／91012 [17]ChuYiping，ZhangYin，YeXiuzi，eta1．Adaptivevideo segmentationalgorithmusinghiddenconditionalrandomfields [J]．ActaAutomaticaSinica，2007，33(12)：1252-1258(in Chinese) (褚一平，张引，叶修梓，等．基于隐条件随机场的自适应 视频分割算法[J]．自动化学报，2007，33(12)：1252—1258) [18]NeedhamCJ，BoyleRD．Performanceevaluationmetricsand statisticsforpositionaltrackerevaluation[M]／／LectureNotes inComputerScience．Heidelberg：Springer，2003，2626： 278-289 [19]Muller-Schneiderss，JagerT，LoosHS，eta1．Performance evaluationofarealtimevideosurveillancesystem[C]／／ Proceedingsofthe2ndJointIEEEInternationalWorkshopon VisualSurveillanceandPerformaneeEvaluationofTracking andSurveillance，Beijing，2005：137—144 [20]BashirF，PorikliF．Performanceevaluationofobject detectionandtrackingsystems[c]／／Proceedingsofthe9th IEEEInternationalWorkshoponPerformanceEvaluationof TrackingandSurveillance，NewYork，2006：7-14 [21]YinF，MakrisD，VelastinS．Performanceevaluationof objecttrackingalgorithms[c]／／Proceedingsofthe10thIEEE InternationalWorkshopon PerformanceEvaluationof TrackingandSurveillance，RiodeJaneiro。2007：17-24 [22]Zivkovicz，KrOseB．AprobabilisticmodelforanEM—like obiecttrackingalgorithmusingcolor—histograms[C]ff Proceedingsofthe6thIEEEInternationalWorkshopoff PerformanceEvaluationof TrackingandSurveillance， Prague，2004I 73—82 [23]GuhaP，MukerjeeA，VenkateshKS．Efficientocclusion handlingformultipleagenttrackingbyreasoningwith surveillanceeventprimitives[c]，／Proceedingsofthe2nd JointIEEEInternationalWorkshoponVisualSurveillanceand PerformanceEvaluationof TrackingandSurveillance， Beijing·2005：49—56 万方数据 智能视频算法评估综述 作者： 李鹏飞， 陈朝武， 李晓峰， Li Pengfei， Chen Chaow