提高MPEG_2信噪比可分级视频编码效率的研究

提高MPEG_2信噪比可分级视频编码效率的研究 ? 提高 M P E G22 信噪比可分级视频编码效率的研究 33? 尹昊晖 张家谋 晶 李 () 中国科学技术大学研究生院 北京 1000393 ( )北京邮电大学电信 工程 路基工程安全技术交底工程项目施工成本控制工程量增项单年度零星工程技术标正投影法基本原理 学院 北京 100876 摘 要 采用信噪比可分级性的双层视频编码可以用于提供在信道资源不可靠情况下视 频信号的恢复 ,然而 ,信噪比可分级编码的这一优点是以增加总比特率为代价的 。针对这 一问题 ,提出了一个新的基于率失真理论的优化方法 ,称为最优系数调整法 。实验表明采 用该方法可以提高编码效率并且效果优于传统的 Thresholding 算法 。 关键词 视频编码 , M P E G22 , 信噪比可分级性 , 率失真理论 0 引言 随着视频通信技术的迅速发展 , 可分级视频编 码的研究日益受到重视 。由于可分级视频编码可以 实现同一视频信源的多分辨率接收 , 所以在数字 ) (HD TV/ SD TV 高清晰度电视/ 标准电视兼容传输 、 A TM 分组视频通信 、视频数据库的浏览 、视频点播 ( ) VOD、多点会议电视等许多领域都得到应用 。 图 1 信噪比可分级编码器原理框图M P E G22 视频编码标准对 M P E G21 编码标准 Qb : 其本层量化器DC T : 离散余弦变换- 1 VL C : 变长码压缩编码 Qb : 基本层反量化器 的扩展之一就是增加了可分级性 。其基本思想是将 Qe : 增强层量化器 IDC T : 离散余弦反变换 那些对解码图像重要的信息放在有保障的信道中传 - 1 MCP : 运动补偿预测 Qe : 增强层反量化器 输 ,这些重要信息组成的码流为基本层码流 ;而将次 要的信息放在没有保障的信道中传输 ,这些数据信 信噪比可分级编码器中 ,基本层码流是源视频息组成的码流为增强层码流 。分级编码的缺点就是 信号经 DC T 变换后 , 经过一个粗量化器 Q b 量化 , 再对量化后的系数 Zb 进行变字长编码形成的 。量 使总码率增大 ,一般比相同图像质量的单层编码要 - 1 化后的 DC T 系数经过反量化器 Q b 形成 x ,并没 b ^增大 10 %,20 %的码率 ,从而使编码效率降低 。本 有象一般编码器中那样直接进行反离散余弦变换 ,而 文在 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 了信噪比分级编码的特性后 ,提出了一种 是与原先保留下来的量化前的 DCT 系数值 x 相减 , 基于率失真理论的优化法 ,达到了降低码率 ,提高编 ( 即 x - x ,形成剩余量化误差信号 residual quantifica2 b ^码效率的目的 。 ) tion error , 简称 RQ E, RQ E 信号的 DCT 系数再经细 量化器 Qe 和变字长编码形成增强层码流。经过细量 - 1 化的 DCT 系数经反量化器 Qe 形成 x,将它与 x e b ^^ 1 信噪比可分级视频编相加 , 相加值再经过反离散余弦变换与运动补偿预 测值相加 ,形成一个完整的 MPEG22 编码系统。 码的实现基本方案 为了解码同步 ,在增强层上复制必要的头文件 M P E G22 定义信噪比可分级 信息 ,作为区分不同层次数据的识别标志 ,因此而导 ( ) 性 SN R Scalabilit y ,简称 SN RS 致的码率增加是不可避免的 。另外 ,信噪比可分级 是将一个视频信源产生两个具有 相同的空间分辨率和不同视频质 编码还由于增强层的比特分配效率低而使编码效率 量的视频层 。其原理框图如图 1 下降 。主要因素有以下两个方面 : 所示 。 ( ) ? 国家自然科学基金资助项目69672037。? 女 ,1972 年生 ,硕士生 ,工程师 ;研究方向 :视频编码 ,图像处理 ;联系人。( )收稿日期 :2001204213 高技术通讯 2001 . 8 ( ) () R D 的信源 , 若有平均失真度 D , 并有两个任意小1增强层中熵编码的部分丢失 δε在增强层中 RQ E 是基本层量化后的剩余误差 , 的整数 和, 则必存在一种信源编译方法使信息 ( ) δε它受到基本层量化因子 qb 的影响 ,使得增强层的系 率 R > R D + , 平均失真度 D < D + 。码率 R 3 ( ) D 确定了达到失真 D 所需的最小码率 R 。限定 数受限于 ?| RQ E| 之间 ,它们之间的关系为: max ) 比特率的问题可以表示为 : ( 4 qb - 1 , 6 qb + 2/ 4 ] - I n t ra R Q E = max R ;当 D < Dbu d get 时 , 求 :最小比特率I n te r [ 4 qb - 1 , min ( ) 1 根据拉格朗日定律 ,上述求极值的问题可以转 ,增强层中量化后的系数| Ze| 的最大值也受到同样 换为一个确定性公式 ,即 )( qb 和增强层的量化因子 qe 的影响 ,| Ze| 与 qb 和λ) λ4 (J = D + R max3 qe 的关系为: λλλ) ( 这里 ,是拉格朗日算子 ,> 0 。J 称为拉格朗日开 [1 - 3 ] () λ销 。实际上 ,公式4R2D 曲线的切线。是切 是 Ze = max λ( ) 线的斜率 ,的不同取值 , 对应着不同的 D , R 数据 ) ) ((4 qb - 1 - 6 qb + 2/ 4 ] + 6 qe + 2/ 4 ] [ ,Int ra 4 qe () 对。本文的优化法就是在公式4基础上形成的。 () 4 qb - 1 2 . 2 Thresholding 算法[ , I nter 4 qe 对 DC T 系 数 进 行 优 化 , 比 较 典 型 的 方 法 是 ( )2 1 Thresholding 算法。这种方法是将一个较细的量 其中 , qb 和 qe 均取整数 , 其取值范围是 :1 ?qe ?30 ,化因子 q量′化的 DC T 块进行最优处理 , 删除一些 qe < qb ?31 “;”表示取整。不重要的 DC T 系数 , 在保证失真不大于目标失真 ( ) 取 qb = 10 , qe = 3 , 代入公式 2 中的帧间编码公D的情况下 ,使比特率减少 。图 2 是采用 Thresh2 0 式 ,得出| Ze| = 3 ,则概率 p [ | Ze > 3| ] = 0 , 导致码 max olding 法对 M P E G 序列图像进行优化的 R2D 曲线 表中对 level > 3 的码字无效。而保留下来的有效码 示意图 。图中 a 和 b 两条曲线分别对应 q = 8 和 q 也就不能真实的体现增强层系数的概率分布 ,增强层 的比特分配存在误差 ,造成编码效率降低。 = 10 的优化曲线。A 和 B 两点分别是 q = 8 和 q = () ( ) λ2增强层系数的概率分布受到基本层的影响 10 时未进行优化所得的 R , D 数据对 。随着 的 实验证明 ,一般图像的 DC T 系数的概率服从拉 增大 ,删除 DC T 系数就越多 ,从而使比特率减少 ,失 3 ,4 ( ) 真增大。优化曲线从起始点 A 或 B 呈二次凸曲线上 普拉斯 L aplacian 分布, 它与 VL C 码表中的 ( ) r u n , level 的 Huff man 编码码字相对应 。而在增 , a , 当曲线上升到 D = D时 ,其 升 对于细量化曲线0 强层中 , 要处理的是基层 DC T 系数的量化剩余误 比特率也下降到 R,′而此时 R′要比在粗量化曲线 b 差 ,该误差受限于 ?| Ze | 之间 ,其概率分布不再 max ( ) ( ) 上与同样失真DRR<′对应的比特率 要小 ,即 00 ( 服从拉普拉斯分布 。通过对序列图像的帧内 In2 ( ) R。从而达到失真D不变 ,比特率减少的目的。0 0( ) ) t ra编码 、帧间 Inter编码和 Zb = 0 或 Zb ?0 的情 况下的| R Q E| 进行概率统计 ,发现其概率分布与基 层量化后的系数 Zb 是否为零有关 ,即 ) ) ( ) ( ( ) ( P[ Ze = iZb ?0] ?p[ Ze = iZb = 0, ( )0 < i < Ze 3 max 由此可见 ,增强层的系数分布与上述条件概率 相对应 ,所以 , 在增强层上使用 M P E G22 提供的标 准码表必然会降低编码效率 。要想降低码率 ,提高 编码效率 ,必须对 DC T 系数进行优化 。 2 提高信噪比可分级视频编码效率的 图 2 Thresholding 优化法 R2D 曲线 方法 ( 最 优 系 数 调 整 Op timal Coefficient Adjust2 2 . 3 2 . 1 率失真理论和拉格朗日技术 ) ment , 简称 OCA算法 信源 编 码 定 理 指 出 , 一 个 具 有 率 失 真 函 数 同 Thresholding 法一样 ,OCA 法也是将一个较— 56 — 李 晶等 :提高 M P E G22 信噪比可分级视频编码效率的研究 )( Ze′ = Ze - 细的量化因子 q量化′的 DC T 系数进行最优处理 , 5 u 只不过 OCA 法对系数不是“删除”而是“调整”。由 其中 ,调整值 u 的取值范围是 : -1 < u < z 。这 于增强层上的系数是基本层的剩余量化误差 ,受限 里 u 取负值 ,主要是针对 Ze = 0 的情况 。一般地 , u 于 ?| Ze | 范围内 ,所以系数值普遍较小 。另外 , 取负值 ,导致 Ze > Ze′ ,不但不会降低比特率而max 增强层上零系数增多 ,游程较长 。以上两点导致了 且还使失真增大 。然而 ,由于在增强层中 Ze = 0 的增强 层 上 的 DC T 系 数 比 单 层 DC T 系 数 对 于 情况较多 , 游程较长 。取 u = - 1 , 则 Ze = 1 。它有 Thresholding 算 法 要 敏 感 得 多 。OCA 算 法 是 对 利于中断长零游程 , 从而避免了比特值较大的变换 Thresholding 优化法改进 ,它不象 Thresholding 法那 码的出现 。实验证明 , 这种情况下比特率减小的程 样将不重要的 DC T 系数删除为零 , 而是将系数在 度要大于由于 Ze > Ze′ 而引起的失真程度 。 0 , Ze ] 之间逐一进行调整 , 相当于对 Thresholding图 3 表示了采用优化系数法的信噪比可分级编 优化进行了细化 。码框图 。如图所示 ,在增强层量化器后面先对 DC T ( ) 具体“调整”的方法是 ,将要调整的系数减去一 系数进行最优系数调整 OCA优化 ,然后再进行变 个整数 u ,如下式 : 字长编码 。 图 3 优化的信噪比可分级编码框图 OCA :Optimal Coefficient Adjust ment ; VL C : Variable L engt h Co ding ; Q : Quantisatio n 实际上 ,OCA 算法就是通过求最小拉格朗日开中获得 , 它所对应的游程和 level 值分别是 : r u n = k销来获得增强层上最优比特分配 。图 3 中 , X 为 R Q E - j - 1 , level = k 。增强层上量化前 DC T 系数 , Ze 为量化后的系数 , 递归的整个过程分为两个阶段 :第一个阶段就 Ze′为优化后的系数 。对于一个块来说 , 其失真 D ( ) 是根据下列公式 9求出每个系数的 J , 即代表截止 可定义为原 DC T 系数 X 与 Ze之间′的均方误差 R Q E 到第 k 个系数为止的最小拉格朗日开销 。() M SE,比特率 R 是优化后系数 Ze′编码所需的比 3 3() min{ J Δ= 特值 ,根据公式 4,可以构成一个拉格朗日公式 : J +J} p redecessor k p redecessor , k ( )( ) 9 0 ? k ?63 , 0 ? p redecessor ? k - 1 3 3 3 ( )在所有的 J 中的最小值是 J , 它所对应的系 (λ) ( ) λ( )} 6 J = min{ D X , Ze′+ R Ze′ k k min R Q E 3 数 k 就是所有系数中最后一个非零系数 。根据公 ( ) 通过 6 式 , 可以动态地对 DC T 系数进行优 13 33 3 λ ( ) 化。这里 , 可通过 R2D 曲线的特性进行快速递式 9, 使第 k 个系数的 J 最小必然是系数 k 以k 归查找 ,一般地 , 只需要 8,10 次递归 。前的系数中的一个 , 即 p redecessor ?[ 0 , k - 1 ]中的 一个 。以此类推 , 便可以找到一个由非零系数组成 2 . 4 OCA 算法的具体实现 的系数子集 , 其余系数均被“删除“为零 , 那些非零系 OCA 算法的具体实现是在文献1 提出的一种 33 数就是获得最终 J 的最佳路径 。这也就是优化后快速递归算法的基础上完成的 。首先 ,按 zigzag 扫 k 的系数 。第二阶段就是从最后的非零系数回朔查找描顺序将块中的二维系数转换为一维系数集为{ z , 0 到所有非零系数 。整个递归过程如图 4 所示 , 其中 Δ, z } 。然后 , 定义 J 是第 j 个系数到第 k z , 63 j , k 1 63 个系数的增量拉格朗日开销 。2 。 E = Zk 6 k = 1 Δλ( )J 7 = - E+ R j , kk j , k 根据 OCA 算法原理 ,要对系数进行调整 ,因此( ) 公式 7 中的E是第 k 个系数引起的失真 。 k Δ 需要对 J 进行细化 ,如下式 :j , k 2 2( ^) Z( )E= - Z - Z 8 k k k k Δ() Δ) ( J10 = min{ J z′} j , k j , k Δ( ) E变为 : ,z′= z ,z - 1 ,z - 2 ,其中 ,1 ; J z′中的^k j , k 这里 Z和 Z分别是量化前后的系数值 。而 R 是k k j , k 2 2) ( ZE= - Z - Z′ ( ) 11 对系数 k 进行编码的比特率 , 其值可以从标准码表k k k k — 57 — 高技术通讯 2001 . 8 ( ) 而 R z′所对应的游程和 level 值分别是 : r u n = 研究 DC T 块编码特性以及 M P E G22 的 VL C 码表 j , k 的单调性 , 发现很多情况下 , 对 Z是不需要调整 k k - j - 1 和 level = z′。的 。首先 , 对 Z= 0 的系数 , 整个编码块中只有在 k 游程大于 31 时才进行一次调整 ; 其次 , 对 Z?0 的 k 系数 ,由于 DC T 变换使系数能量集中 ,低频部分对 失真和码率均比较敏感 ,调整次数一般很少 ,随着频 率增加 ,调整的次数才逐渐增加 ,而且由于 VL C 码 表的码字随 level 增大而单调递减 ,调整次数不会是 组合相乘的关系 ,只是组合相加的关系 。所以 ,对于 块中非零系数 ,其调整次数为 : ( )( )Z?0 = Z+ 1 13 N k k adi 6 3 计算机模拟试验 在奔腾 ?677 处理器上 ,利用一个 CC IR601 活 ( ) 动图像序列 30 帧进行了本文给出的基本方案改 进前后的性能对比试验 。序列的图像格式为 720 × 576 ,帧频为 30 Hz ,逐行扫描 ,编码采用的色分量格 式为 4?2?0 。在所进行的模拟试验中 ,每个图像组 ( ) GO P中取 M = 15 , N = 3 。优化是以一个宏块为 图 4 快速递归算法框图单元进行的 。 第 1 步 :取 q = 5 ,进行标准单层 M P E G22 编码 , 2 . 5 OCA 算法的运算量产生一个平均比特率大约为 4Mbit / s 的 VB R 比特 ) 在一个块内 ,对每个系数( , 63进Zk = 1 , 2 , k 流 。第 2 步 :取 qe = 5 , qb = 6,31 进行标准信噪比 行调整 , 它的调整次数为 Z, 所以 , 整个块所有系 k + 2 λ 可分级编码 。第 3 步 : 取 qe = 4 , qb = 5,30 ,= 16 数的组合次数则为 :采用 Thresholding 优化法进行信噪比可分级编码 。 63 ( )()= Z+ 2 12 N k λ adi 第 4 步 :取 qe = 4 , qb = 6 ,31 ,= 16 采用 OCA 优 化7 k = 1 算法进行信噪比可分级编码对增强层优化 。 根据上式 ,每个块的计算量是非常庞大的 ,但是通过 图 5 信噪比可分级编码相对与单增编码总比特率增加的百分比 — 58 — 李 晶等 :提高 M P E G22 信噪比可分级视频编码效率的研究 对第 2 ,3 和 4 步 ,分别计算出总比特率R ,供的统一的变长码码表 ,造成增强层编码失真增大 , S TD R , 并且以单层编码为基准 , 算出分级 编码效率下降 。因此 ,采用基于率失真理论的最优 R 和 ThreshOCA 系数调整法 ,在保证一定的失真不变的情况下 ,使编 编码的总码率相对于单层所增加的比特率百分比 。 码比特率最小 ,改善了增强层的编码效率 。 如图 5 所示 。由图 5 可见 ,采用系数优化后的信噪 可分级视频信源编码在视频通信领域有广泛的比可分级编码比标准分级编码减少了许多码流开 应用 。本文采用的基于率失真理论的优化方法 ,是 销 ,在 qb = 6 , qe = 5 时 ,比特率可以由原来的增加 针对 DC T 系数的优化方法 , 它对于凡是采用 DC T 16 %减少到只有 3 %左右的增加 , 减少了 13 % , 在 变换的国际标准 ,如 :J P E G、H. 261 等均适用 。 qb = 31 时 , 也可以减少 1 . 5 %左右 。由此可见 , 本 文提出的优化系数法可以使 M P E G22 的信噪比可 参考文献 :分级编码减少由于分级所造成的编码开销 。同时 , Ramchandran K , Vet terli M . I E E E T ransact ions on I m 2 1 与 Thresholding 优化法相比 ,其优化效果有所提高 , () age Processi n g , 1994 , 3 9: 700 大约提高 2 %,5 %左右 。 Ramchandran K , Ortega A , Vet terli M . I E E E T ransac2 2 () t ions on I m age Processi ng , 1994 , 3 9: 533 4 总结3 Wilso n D , Pek W L , Ghanbari M . Jou r n al of Elect ronic () I m agi n g , 1998 , 7 3: 516 () 熊玉呈 ,何芸. 通信学报 , 1997 , 18 3: 8 本文分析了影响信噪比可分级视频编码效率的4 李丽莎. 分层图像编码的研究 : 学位论文 . 北京 : 北京 主要因素 。发现增强层的 DC T 系数的概率分布完 5 邮电大学电信工程学院 ,1998 全不同于单层 ,却使用了与单层相同的 M P E G22 提 Research on Eff iciency Improvement of Using S NR Scala bil ity MPEG22 Video Coding 3 3Li J ing , Yin Hao hui , Zhang J iamo u ( ) School of Graduate , U niversity of Science and Technology of China , Beijing 100039 3 ( School of Teleco mmunicatio n Engineering , Beijing U niversit y of Po st s and Teleco )mmunicatio ns , Beijing 100876 Abstract Two2layer video co ding using SN R scalabilit y can be used to offer erro r resilience to video applicatio ns w here channel reso urces are unreliable . However , SN R scalability guarantees goo d base qualit y pict ures at t he expense of increased overall bit2rate . In acco rdance wit h t his , a novel op timum met ho d based o n rate2disto rtio n t heo ry called op timal coefficient adjust ment is p resented. The Experimental result s show t hat t he op timum met ho d may imp rove t he co ding efficiency and superio rit y to t raditio nal t hresholding algo rit hms. Key word : Video co de , M P E G22 , SN R scalabilit y , Rate2disto rtio n t heo ry — 59 —