基于H264的帧内与帧间预测方法研究

基于H264的帧内与帧间预测方法研究 ,,,,, ,, , ,,??,?越 仑肥工 雩犬 垮 ,,,,, ,,,,, ,,,,, ,, ,,;,,, ，,,, 硕士学位论文 ,,,,,, ,，,,,,,,,，,, , 论文题目: 基于,,,,的帧内与帧间预测方法研究 学位类别:—— 堂垣亟? 学科专业: 工程领域) 信号与信创蛔, 作者姓名: 壬簦室 导师姓名:——盅皇拉,,数授—蕴垂乱盟投 完成时间 蚀虹主上,,——— 基于,(,,,的帧内与帧间预测方法研究 摘 要 ，,,(, ,(,,,,,,,,(, ,,,, ,, ,,,(简称,(,,,)是最新的视频编码国际标准，由,,,,，,,的运动图像专家组,,,,和，,,—,的视频编码专家组,,,,组成的联合视频小组,,,提出。,(,,,标准中包含了很多先进的视频压缩编码方法，与以前的视频编码标准相比具有明显的进步。在相同视觉感知质量的情况下，,，,,,的编码效率比,(,,,提高了一倍左右，并且有更好的网络友好性。然而，高编码压缩率是以很高的计算复杂度为代价的，,(,,,标准的计算复杂度约为,(,,,的,倍，所以在实际应用中必须对其算法进行优化以降低其计算复杂度。 论文在第一章简要介绍了视频压缩编码的基本原理方法，以及数字视频压缩标准的发展过程。第二章介绍了,(,,,编码标准的主要功能模块。 论文实现了基于,(,,,的帧内与帧间予页测算法的优化，主要在第三和第四章进行介绍。论文的工作和研究成果如下: ，(论文根据变换量化后,,,块残差系数矩阵是否都等于零作为一个 准则 租赁准则应用指南下载租赁准则应用指南下载租赁准则应用指南下载租赁准则应用指南下载租赁准则应用指南下载 ，得到一个预测模式搜索提前退出的阈值，提出一种基于阈值的快速模式选择算法。该阚值根据量化系数,,值自适应的调整，能够适应不同,,编码情况，有效地减少了预测模式选择的次数，降低了帧内预测的计算复杂度; ,(对帧内预测预测模式选择部分进行了深入研究。利用图像编码块之间的预测模式的相似性，以及最优预测模式的方向与次优预测模式的相似性关系，提出一种基于预测方向相似性的帧内预测模式快速选择方法。该算法能够有效地减少帧内预测模式选择的个数，提高了编码速度。 ,(传统钻石搜索算法实现搜索窗的平移，能够精细的搜索到最佳匹配点，但是其使用固定模板，并在每个搜索点位置进行全向性搜索，将会搜索到冗余点，方向性不强。针对这个问题，本文提出了一种方向延伸的快速运动搜索算法。该算法以传统钻石搜索特性与运动矢量预测算法为基础，引入搜索方向延伸方案，能够快速趋于最佳匹配点;并引入自适应门限，进一步加快搜索速度。关键词:视频压缩，,(,,,，帧内预测，模式选择，运动估计 ,,,,,,;, ,, ,,, ，,,,, ,,, ,,,,, ,,,,,;,,,, ,, ,(,,, ,,,,,,;, ，,,—, ,(,,,,,,,,,, ,,,, , , ,,,,,;,, ,,,,, ,,,,,,(;,,,,,,, ,,,,,,,, ,,,(,,,,,,,),, ,,, ,,,,,, ,,,,,,,,,,,,, ,,,,, ;,,,,, ,,,,,,,,(，, ,,, ,,,,,,,,, ,,,,, ,,,,, ,,,,, ,,,,(,,,);,,,,,,,,, ,, ,,,,,,, ,,,, ，,,?,’, ,,,,, ,,,,,,,,,,,, ,,,,,(,,,,),,, ,,,,,, ,,;,,,, ,,,,,,, ,,,,,(,,,,)(,,, ,,,,,,,,,,,,,,,, ;,,,,,,,,,, ,,,,;,,,;, ,, , ,,;,,, ,,,,, ,,,(,, ,,,,,,,),,,, ,(,,,(,,,,,,, ;,,,,, ,,,,,,,, ;,,,,,,,,, ,, , ,, ,,,,, ,,,,,,,,,,, ,, ;,,,,,,,,,,,,,,;,,,;, ,, ,,, ,,, ,,,,,,,,(,,,,,,,，,,, ;,,,,,,,,,,,, ;,,,,,,,,, ,, ,,,,(,,,,,,, ,,;,,,, ,, ,,,,,,,;,,,, ,,;,,,,,, ,,;,,,, ,, ,,, ,,,,,,,,,,,, ,,;,,,？,,(,,, ,, ,,,,, ,,,,, ,,,,, ,, ,(,,,’,(,,,, ,, ,, ,,;,,,,,, ,, ,,,,,,,, ,,, ,,,,,,,,,,,,, ,,, ,,,,,,,,, ,, ,,,,—,,,, ,,,,,;,,,,,,( ,,, ,,,,; ,,,,,,,, ,,, ,,,,, ,,;,,,,, ,,, ,,, ,,,,,,,,,,, ,, ,,,,, ,,;,,,,,,,,,,,,, ,,, ,,,,,,,;,, ,, ,,,,,,, ,，,,, ,,, ,,,, ;,,,,,, ,, ,(,,, ,, ,,,,,,,;,,,, ,,,,,,, ,( ,,, ,,,,, ,;, ,,,,,,,,,,,;,,,,, ,,, ,,,,,,,,,,,, ,, ,,,, ,,, ,,,, ,,,,;,,,, ,,,(,,,，,,,;, ,, ,,,,,,,;,, ,, ,,,,,,, , ,,, ,(,,, ,,,,, ,,,,,, ,, ,,,,,, ,,,,,,,,: ,(,,,,, ,, ,,, ,,,, ,,,, ,,,,,,, ,,, ,,, ,,,;,’, ,, ,,,,,， ;,,,,,;,,,,, ,,,,,,,,,,,,,,,,,,,, ？,,,,,,,;,,,,, ,？,,, ,, ,,,, ,, ,,,，,,, , ,,,,,,,,, ,,,;, ;,, ？,,,,,, ,,,;,,, ,, ,,, ,,,,,;,,,, ,,,, ,,,,;,,,, ,,,,, ,,,(, ,,,, ,,,,,;,,,, ,,,,,,,,;,,,, ,,,;, ,, ,,,,, ,, ,,,,,,,,, ,, ,,,,,,,,(,,, ,,,,,,,,, ;,, ,, ,,,,,,,,,,,, ,,, ,, ,,,,,( ,(,,, ,,,,,—,,,,,;,,,, ,,,,,, ,, ,,,,,,,, ,,,,,,(,,,,, ,, ,,, ;,,,,,,,,,,,, ,,,,, ;,,,,, ,,,;, ,,, ,,, ,,,,,,,,,, ,,,,,,, ,,,—,,,,,,, ,,,,,;,,,, ,,,, ,,, ,,,,,,,,,,,,, ,,,,,;,,,, ,,,,，, ,,,, ,,,,,;,,,,,,,,,,,,,,;,,,, ,,,,,,,,,; ,,,,,,,,,,(,,, ,,,,,,,,, ;,,;,, ,,, ,,, ,, ,,, ,,,, ,,,,,,,, ,,,,,;,,,, ,,,, ,,,,,, ,,, ,,,, ,,,,,;,,,, ,,,,, ,, ,,,, , ,,,,;, ,,,,;,,,, ,,,,,,,(,,,, ,,,,,, ,,, ,,,,,,,,,,,, ,,,,, ,,,,,,, ,,, ,,,,,,, ,,,,,;,,,, ,,,,(,,, ,,,,,, ,,,,;,,;,,,,,,,,, ,, ,,,,, ,,,,,;,,,,( ,(,,, ,,,,,,,—,,,,;, ,,,,,,,,, ;,, ,,,,;, ,,, ,,,,,,, ,,,;,,,, ,,,,, ,,,,,,,,,, ,,, ,,,,;, ,,,,,,(,,, ,,;,,,, ,, ,,, ,,,,, ,,,,,,,,, ,,, ,,, ,,,,;,,,,,;,,,,,，,, ,,,,;,,, , ,,, ,, ,,,,,,,,, ,,,,,,(,,,,,, ,, ,,,,,,, ,,, ,,,,,,,，,,,,, ,,,,,,,,,,,,,,,,, ,,,,,,,,, ,, ,,,,,,,, ,, ,,,,,,,,, ,,,,,,,,,,,,,,,,,,,,,,,,,, ,,,,,,(,,,,, ,, ,,, ;,,,,;,,,,,,,; ,, ,, ,,, ,,,,,,,,,—,,,,;,,,, ,,,,,;,,,,，,,, ,,,,,,,,, ,,,,,,,;,, , ,,,,,;, ,, ,,,,;, ,,,,;,,,,,,,,,,,,,, ,,, , ,,,,,,,,, ,, ,,,,,,,, ,, ,,,,,,, ,,, ,,,,;, ,,,,,(,,,,,,,,:,,,,, ;,,,,,,,,,,，,(,,,，,,,,,?,,,,,;,,,,，,,,, ,,,,;,,,, ,,,,,,—,,,,,,,,,, 插图清单图,(, ,:,:,采样……………………………………………………………(,图,(, ,:,:,采样……………………………………………………………(,图,(,变换前的原始图像………………………………………………………………,图,(,小波变换后图像…………………………………………………………………(,图,(,视频编解码 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 ……………………………………………………,图,(, ,,,,一, ,图,(, ,(,,,与,(,,,两种编码标准的编码性能对比………………… 编码器流程……………………………………………………………(,图,(, ,(,,,解码器流程…………………………………………………(,图,(, ,(,,,编码系统………………………………………………………………((,,图,(, ,,,,,,,序列第一帧………………………………………………,,图,(,图像的空间相关性…………………………………………………,,图,(, ,×,块预测样本和,种预测方向示意图…………………………,,图,(,相邻,×,亮度块,、,和,的关系图………………………………,,图,(, ,,,,,,,(？,,,在,,,,,时编码后，帧解码图像……………………(,,图,(, ,,,,,,,,(？,,,,在,,,,,时编码后，帧解码图 像……………………,,图,(, ,,,,,,,,,(？,,,在,,,,,时编码后，帧解码图像…………………………,,图,(, ,,,,(？;,,在,,,,,时编码后，帧解码图像………………………,,,图,(,准最优预测模式与准次优预测模式的关系………………………(,,图,(,, ;,,,,,图像序列在,,,,,时编码后，帧解码图像…………………(,,图,(,, ,,,,,,,图像序列在,,,,,时编码后，帧解码图像………………,, ,,,,,,,,图像序列在,,,,,时编码后，帧解码图像………………(,,图,(,,图,(,视频序列中相邻两帧之间的关系…………………………………,,图,(, ,(,,,的,中分块模式………………………………………………,,图,(,相邻块运动矢量预测………………………………………………,,图,(, ,,对数搜索算法(,, ,)……………………………………………………((,,图,(,,,,步搜索算法(,,,)…………………………………………………………,,图,(,新 三步搜索算法(,,,樱 常低迹矗 ?,,,算法的搜索过程………………………………………………,,图,(,最优点分布规律……………………………………………………,,图,(,,，模版,,,,与大模版,,,,………………………………………(,,图,(,,六边形搜索算法的搜索模板……………………………………一,,图,(,,运动矢量预测关系……………………………………………………………((,,图,(,,钻石算法的搜索过程………………………………………………(,,图,(,,本算法的搜索过程………………………………………………………………(,,图,(,,钻石算法的搜索过程………………(，(…………………………(,,图,(,,本算法的搜索过程……………………………………………………………((,,图,(,,在,,,,,时编码后第五帧解码图像……………………………,,,图,(,,在,,,,,时编码后第五帧解码图像………………………………(,,图,(,,在,,,,,时编码后第五帧解码图像………………………………一,, 表格清单表,(,主观质量评价分数标 准……………………………………………,表,(,帧内,,,块预测模式选择算法实验结果对比…………………………((,,表,(,预测模式的左右关系……………………………………………((,,表,(, ;,,,,,图像序列试验结果对比……………………………………,,表,(, ,,,,,,,图像序 ,,,,,,,,图像列试验结果对比…………………………………,,表,(, 序列试验结果对比…………………………………(,,表,(, ,,,,,,(？;,,图像序列实验比较结果………………………………(,,表,(, ,,,,,,,(？;,,图像序列实验比较结果……………………………(,,表,(, ,,,,,,,,(？;,,〔〕像序列实验比较结果………………………………,, 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 盒胆王些太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者躲皂睡意 签字日期:,,年石月,么日 学位论文版权使用授权书 本学位论文作者完全了解盒匿王些盔坐有关保留、使用学位论文的 规定 关于下班后关闭电源的规定党章中关于入党时间的规定公务员考核规定下载规定办法文件下载宁波关于闷顶的规定 ，有权保留并,,国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权金蟹王、业太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采 韶妒用影印、缩印或扫描等复制手段保存、汇编学位论文。 (保密的学位论文在解密后适用本授权书) 学位论文作者签名: ，，砂 导师签名 已“ 睡伽 、 签字日期:,帅,年 签字日期:,州,年,月正日 , 学位论文作者毕业后去向 工作单位: 电话 通讯地址: 邮编 致谢 十分有幸能成为齐美彬副教授和蒋建国教授的一名研究生，感谢齐老师和蒋老师三年来对我学习、科研和生活的指引与关怀～齐老师和蒋老师他们严谨的治学态度、渊博的专业知识，敏锐的学术洞察力和宽阔的胸怀将对我以后的工作、学习和生活产生深远的影响。齐老师和蒋老师不仅仅是我三年的指导老师，更是我终生的榜样，教育我们，做科研要“顶天立地”，“顶天”是要在理论上有所深入，“立地”是要扎扎实实做事，二者缺一不可，这将使我受用终生。 感谢吴从中老师、李小红 老师、詹曙老师，夏娜博士、尤小泉老师，感谢他们这几年来在学习对我的关心和帮助( 感谢已经毕业的梁立伟、朱晓东、胡嘉凯师兄，他们在我刚入学时，对我的学习给予了很大帮助。感谢李援、尹翔、张国富、李勇、常传文、袁玮、包先雨、徐亚东、蒋庆汝、吴琼、苏兆品等同学，还有安宝磊、黄越、卢晓红、郭艳蓉等师弟师妹们，几年来我们通力合作，完成了多个项目，生活上互相关心，互相帮助，几年来大家工作在一起，建立了很深的感情，同时也营造了实验室良好的氛围。 特别感谢我的家人，他们的关爱与鞭策是我从漫长的求学道路上坚持下来的重要原因。在论文得以顺利完成之际，感谢所有亲人们对我的殷切希望和无私帮助。 最后，感谢所有关心过我，帮助过我的老师和同学。 作者: 王德宝 ,,,,年,月 , 第一章绪论,(,引言 随着信息技术和计算机互联网飞速发展，多媒体信息【,】已成为人类获取信息的很重要的载体，多媒体技术成为电子信息技术领域研究的热点。经数字化处理后的多媒体信息具有易于加密、抗干扰能力强，可再生中继等优点，但其海量数据，对信息存储设备及通信网络均提出了很高要求，从而成为阻碍人们有效获取和使用信息的重大瓶颈。 因此，研究高效的多媒体数据压缩编码方法〔,,具有重要意义。作为多媒体技术的核心及关键，多媒体数据压缩编码近年来在技术及应用方面都取得了很大进展，它的进步和完善正深刻影响着现代社会的方方面面。,(,数字视频压缩编码原理 数字视频信号【,】【,耶】的特点决定了对其压缩的可能性，主要由于视频图像数据中存在大量的冗余，这些冗余主要分为三类: ,(图像在时间和空间上只有很强的相关性，称作统计冗余。空间冗余是指在同一帧画面内，相邻的像素间存在的相关性，特别是属于同一对象的相邻像素，其相关性更强。时间冗余是指一个视频序列中，除非发生场景切换情况外，相邻两帧的像素在时间上具有相关性，即在前后两帧中往往包含相同的背景和对象，由于镜头的移动或对象的移动，而仅仅使其空间位置发生了变化。 ,(平均编码长度和信源熵之间的偏差，称作熵冗余。对于编码符号，其平均码长高于所表示信息的信息熵，这个偏差就形成了编码冗余。 ,(人眼视觉系统,,,(,,,,, ,,,,,,, ,,,,,,)对亮度和色度产生不同的成非线性变化的感觉，称作心理冗余。例如人眼视觉系统对亮度信号变化的敏感性高于色度信号变化。因此可以对色度分量降低采样率，同时保持主观视觉质量不变。,,,,:,:,色差格式就是对色度分量在水平和竖直两个方向进行,:,的降采样。 在满足对图像质量一定的要求的前提下，去处视频图像数据中的冗余，可以实现数据压缩。颜色空间 对于数字视频而言，都依赖于计算机的彩色表示，同一种颜色可以有多种不同的表示方法，邵用不同的颜色空间表示。不同的颜色空间都有其不同的产生背景和应用领域，常见的颜色空间有,,,、 ,,,等。 在现代彩色电视系统中，通常采用三管彩色摄像机或彩色点,,,摄像机，它把摄得的彩色图像信号。经分色分别放大校正得到,,,，再经过矩阵交换电路得到亮度信号,和两个色差信号,(,，,(,，这就是我们常用的,,,颜色空间。 刚,怒,(,,,曼,(,,,篓,(,,,圈,,, , , 【 一 一 , 人类视觉系统(,,,)对亮度比对色彩更敏感，因此，可以把亮度分量从色彩信息中分离出来，并使之具有更高的清晰度。彩色信息的清晰度较低，可显著压缩其带宽，实现视频压缩。采样格式 对于数字视频图像采样可以分为时间采样和空间采样。 时间采样是通过对输入的模拟信号在固定的时闻阋隔上进行捕捉形成视频帧。这样，重放这一系列的视频帧就会看到一个运动的效果。 时间采样率越高，运动也就越平滑，但是要求有更多的采样要被捕捉并被保存。通常，,,帧,秒以下的帧率主要被用于一些很低码率的视频通信中，但是运动却看起来很笨拙而且不自然;,,(,,帧每秒的帧率是比较经典的低码率视频;,,—,,帧每秒的帧率是标准电视信号图象的采样帧率;,,(,,帧每秒就可以形成平滑的运动。 空间采样是按照固定的栅格对原始图像上的某点进行取值，也就是把连续的图像离散化。因为通常作为视频输入的是模拟信号，如果要把某一时刻的视频图像转换到数字视频的话，就要进行空间采样。 图,(, ,:,:,采样 研究证实，人眼对亮度的敏感度要大于对色度的敏感度，因此可以把颜色的亮度信息和色度信息分离。并对色度信息取较低的分辨率来达到减少数据量的目的。,,,颜色空间就是采用这种方法表示彩色图像的。这样就产生了多种亮度色度采样格式，常见的有:,:,:,，,:,:,和,:,:,。其中，,:,:,采样表示在垂直和水平方向上,，,和,分量都拥有相同的分辨率，如图,(,所示;,:,:,采样表示在垂直方向上有多少个,分量就有多少个,，,分量，在水平方向上每两个,分量对应一个,分量和一个,分量;,:,:,采样表示在水平和垂直方向上每两个,分量都只有,和,分量，如图,(,所示。 幽,(, ,:,:,采样 在,:,:,采样情况下，在水平和垂直方向上每两个,分量都只有,和,分量，相对于,:,:,，对视频图像的信息量具有显著的压缩，而处理后的图像质量变化较小。 视频图像根据其图像帧大小可以分为常见的,，,、,,和,,，,。,,对于标准定义的电视和,,,视频来说是合适的，,，,和,,，,在视频会议中是常被使用的格式。,,，,和,,,，,对于移动设备的多媒体程序来说是合适的，在这样的情况下，显示分辨率和码率都是有限的。编码方法 视频序列在空间和时间上都包含许多冗余信息，视频压缩的目的就是去除这些冗余，用较少的比特数来表示视频内容【,,。视频序列中的冗余主要包含空间冗余和时间冗余等。空间冗余是指在一帧图像中，相邻的象素问存在的相关性。特别是当这些相邻象素位于同一视频对象中时，相关性很强。时间冗余是指视频序列中的前后两帧往往包含与当前帧相同的背景和对象。只是由于镜头的转动或对象的移动使得其空间位置发生变化，因此视频序列在时域存在相关性。空间冗余和时间冗余都依赖于图像数据钧统计特性，可以统称为统计冗余。 图像抽样值是以空间位置或扫描顺序组织的数据，互相之间具有较高的相关性，需要将预测差值从空间域变换到另一个域，以改变数据序列的统计特性，得到少量的信息量较大的变换系数，和大部分可以忽略不记的变换系数。图像数据通常以基于,,,或,,,,,块的二维离散形式处理，在均方误差准则下,(,变换具有最佳变换效果，变换后的系数之间互不相关，但,(,变换需要预先知道随机序列的统计特性，因此无法得到实际应用，一般用,,,离散余弦变换替代。,,,是经典的谱分析工具，不仅有与,(,变换相近的去相关效果，而且运算效率高，易于工程上快速实现。 在目前的图像编码国际标准中，绝大多数都是采用空间域变换:基于,,,、小波变换的混合编码算法。利用,,,、小波变换消除空间冗余，用运动预测和运动补偿消除时间冗余。根据信息码字出现概率的分布特征而进行统计压缩编码，寻找概率与码字长度间的最优匹配。这些编码技术都是非常优秀的纹理编码，它们能够在中等压缩率的情况下，提供非常好的图像质量。 , 图,(,是待变换的,,,,,,,图像，经过一次小波变换后的小波系数如图,(,所示( 图,(,变换前的原始图像 图,(,小波变换后图像 空 间域变换本身并不完成压缩功能，只是使得图像数据中的相对重要的信息和相对次要的信息以某种形式分离开，对图像的能量具有较好的集中效果，为压缩打下了基础。因此变换之后需要一个量化器，去除那些对图像质量影响不大的变换系数，保留信息量较大的数据。 但在非常低的码率情况下，无法为一般的序列提供令人满意的质量。究其原因是由于这些技术都没有利用图像的结构特点，因此它们也就只能以像素块作为编码的对象。,(,视频编码的基本流程 对于编码端，输入的一帧图像数据，首先，对图像内容进行预测，如帧内预测和帧间运动估计，从而消除图像的时间和空间冗余;然后计算预测结果与原始图像内容之间的残差，并对其进行变换(去除残差中的数据冗余);最后，选择合适的熵编码方法，对语法元素数据和残差变换后数据进行编码，并进行传输。解码端，可以看作是编码的逆处理。首先，根据编码的码流解码出视频图像的语法元素数据和残差变换后数据;然后，对残差变换后数据进行反变换，得到残差数据;最后，根据语法元素数据和残差数据重构出视频图像。处理过程如图,(,所示: ,————————一…’…、 ,,,, ? ——嚯竺皇—诬竺雪飞竺(。, , 州雌三,蔓,乎,—。 , , 一一,?,嘲 一 ,一 、 —。(。 ( ( ( 。(一…(。… 一。( ( ( ( ( ( 图,(,视频编解码流程 ,,(,视频质量评价 对编码视频重建后的图像质量进行评价大体上可以从主观和客观两个方面( 主观视频质量评价主要靠人的眼睛来进行，利用人的主观感受来对视频质量进行打分(由于每个人的视觉系统不尽相同 允悠的谌 , 思跎僦鞴鬯嬉庑裕 诙允悠低枷窠 兄鞴燮蓝ㄇ埃 ?莸氖煜こ潭纫膊灰谎 舾擅 液头亲 易魑 婪治 保 餐 茫导痘颍芳镀婪址椒ǘ灾亟ê蟮氖悠低枷窠 衅蓝ǎ 恚保 弊詈蟀凑占尤ㄆ骄 ㄔ虻玫阶芴宓梅帧?表，(, 主观质量评价分数标准 ,,，, ,级 评分等级 清晰度评价 总体评价 评分标准 , 不能察觉图像任何损伤 特别好 .