应用于后期制作的高清编码格式
梅国平 杨飞飞 关景火
2006年11月01日 |
本文作者梅国平先生,上海文广新闻传媒集团技术运营中心技术工程部主任;杨飞飞先生,维护工程师;关景火先生,上海交通大学图像通信与信息处理研究所博士后。
关键词:高清编码格式 MPEG-2 JPEG2000 H.264/AVC DN×HD
引言
高清晰度电视是数字电视的发展方向,而视频图像的压缩编码将是推动高清晰度电视发展的最关键技术。2000年以后,各压缩标准组织相继发布了更为先进的压缩标准,MPEG组织的MPEG-4、AVC,ITU的H.264,JPEG组织的JPEG2000,以及我国AVS组织提出的AVS标准等分别代表着数字技术、压缩技术、编码技术等学科的最新成果,并且各标准组织仍不断地将最新的科学技术加以应用,以提高压缩质量和效率。与上一代算法相比较,这些新的视频压缩标准不但在效率上有较大提高,更引人瞩目的是它们都能够对大尺寸、高质量要求的图像提供支持。
高清的不断发展需要越来越多的高清节目。为了提高节目制作效率和共享素材,高清后期制作全数字化的重要性日益突出。目前,大多数高清节目制作都使用无压缩格式,因为无压缩能保证高清节目的画面质量,但随着高清节目的增多,无压缩带来的问题也越来越明显:首先,海量数据需要大容量的存储设备和昂贵的传输设备;另外,无压缩数据难以加入元数据信息,给素材的编辑和使用带来了不便。
运算速度的加快使实时编解码不再成为瓶颈。而且,由于压缩编码技术的不断优化,转码对图像造成的损害非常小,因此人们开始倾向于选择压缩技术。本文介绍和比较用于高清节目制作的几种常见的帧内压缩方式。
编码标准
由于节目制作需要精确的帧定位,因此很少使用IBP编码方式,本文主要讨论MPEG-2、H.264/AVC、JPEG2000、DN×HD以及AVS帧内编码。
1. MPEG-2
MPEG-2是由活动图像专家组和ITU-T的第15研究组于1994年制定的。MPEG-2通用标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定,编码码率从3Mb/s~100Mb/s,正式规范在ISO/IEC13818中。
MPEG-2利用图像的空间相关性和时间相关性来进行图像压缩。在保证图像质量的前提下,最大限度地去除了图像中的冗余信息。而其I帧编码方式即JPEG压缩方式已发展得相当成熟,现有制作系统都支持它。目前,电视台常用的HDV、DVCPRO HD等高清格式的帧内编码都采用这种格式。
2. H.264/AVC
H.264标准是由ITU-T的视频编码专家组(VCEG)和ISO/IEC的活动图像专家组共同成立的联合视频小组(JVT)于2003年3月公布的。H.264也称MPEG-4的第10部分,即高级视频编码(AVC)。H.264是在ITU-T增强型多媒体通信标准H.26L的基础上提出的,它继承了H.263、MPEG-1、MPEG-2和MPEG-4多项技术的优点,在沿用MC-DCT结构(运动补偿加变换编码的混合)的基础上,增添了类DCT整数变换、CAVLC和CABAC等新技术,进一步提高了编码算法的压缩效率和图像播放质量。与以往的标准相比,在相同失真率的条件下,H.264的编码效率提高了50%左右。H.264在高清领域从制作到播出的各个环节的应用日益广泛,大有取代传统的MPEG-2之势。
3. JPEG2000
JPEG2000与传统的JPEG、MPEG最大的不同在于,它放弃了以离散余弦变换(DCT)为主的分块编码方式,而采用以小波变换为主的多分辨率编码方式。相对于前期的JPEG标准,JPEG2000是一个非常完备的系列标准,它不但包括图像的压缩算法,还包括版权保护(如数字水印)、交互应用等多方面内容;与MPEG标准相比,JPEG2000对于实现大尺寸、高质量的图像压缩具有更好的支持和应用特性。自DCI组织将JPEG2000作为数字电影压缩标准以来,JPEG2000压缩格式在数字电影中间片(DI)中已得到实际应用,这对于高清电视节目的制作具有借鉴意义。
JPEG2000的主要优势在于:
(1)压缩图像尺寸可达4096×3112,同时满足数字电影及未来超高清晰度电视对图像分辨率的要求(4096×2048);
(2)支持YCbCr和RGB两种颜色编码方式,并且提供可逆和不可逆的相互转换方法,而MPEG-2只支持YCbCr编码方式。JPEG2000可以支持对RGB色彩空间图像的直接压缩,而不需要进行色彩空间的转换,从而避免了颜色的失真,最大程度地保留了原始图像信息;
(3)采用提升小波和整数变换等技术,硬件实现复杂度在新出现的压缩标准中较低。在H.264最新的FRExt(保真度范围扩展)部分,其I帧性能接近JPEG2000的图像质量,但是它的实现复杂度远大于JPEG2000;
(4)同时支持无损和有损压缩,这在以前的各类标准中是从来没有的,因此它能为视频压缩提供更加灵活的手段。JPEG2000还有核心编码部分不收取专利费用、采用标准的ISO媒体格式等优点。
4. DNxHD
DNxHD是广播电视行业巨头Avid针对高清节目开发的压缩格式,有145Mb/s和220Mb/s两种码率,号称“多次编解码良好,无明显降质”(即除第一次或前若干次出现质量损耗外,往后的编码解码反复处理不会减损质量,输入输出保持不变,PSNR维持在一个恒定值)。它同时支持8b和10b,因为在一些要求较高、操作较复杂的编辑场合,8b的数据通过某些滤镜(如对比度变换、灰度变换等)后会丢失信息,而10b数据的耐受性较好。DNxHD完全支持高清,它不作分辨率的下变换。另外,它对编码作了很好的控制,可根据图像象素的色彩属性制定编码方案,从而进一步保证了编码质量。DNxHD对象素的排列也作了考虑,以尽可能方便后续的发行编码(如MPEG-2)。
从其公布的示例代码来看,DNxHD仍然选择了DCT作为图像正交变换方式,整体上它类似于Motion JPEG或全I帧的MPEG。DNxHD以8×8块为单位进行DCT编码,然后采用Zigzag扫描收集系数,并通过带码率控制的量化编码,最后对所有信息元用Huffman表实施VLC编码,这些都和JPEG非常相似。DNxHD以MXF格式进行封装,从而和MXF标准的应用兼容。
DNxHD的优势在于多次编解码无降质。从表1中可以看出,DNxHD(3.54bpp)在5次编解码后数据不再发生改变,总PSNR(峰值信噪比)下降不到1dB;而对于DNxHD(2.34bpp),在9次编解码以后PSNR也不再发生下降,总PSNR下降约为0.2dB。
5. AVS
AVS标准是“信息技术先进音视频编码”系列标准的简称,包括系统、视频、音频三个主要标准和一致性测试等支撑标准。这是基于我国创新技术和公开技术制定的开放性标准,旨在为中国日渐强大的音视频产业提供完整的信源编码技术方案。
目前,AVS标准中涉及视频压缩编码的有两个独立的部分:AVS第二部分(AVS1-P2),主要针对高清晰度数字电视广播和高密度存储媒体应用;AVS第七部分(AVS1-P7),主要针对低码率、低复杂度、较低图像分辨率的移动媒体应用。
与其它标准相比,AVS有两大优势:它是基于自主技术和部分开放技术构建的开放标准,妥善解决了专利许可问题;中国日渐强大的产业化实力和市场为其提供了良好的土壤。自从我国于今年初将AVS“视频编码”部分作为国家标准颁布以来,AVS的影响与日俱增,广电系统开始规定某些应标产品必须采用AVS标准,这些都加速了AVS产业化的步伐;但目前实用化的AVS软硬件产品还比较少见。其与H.264性能相当,而编码复杂度有所降低。
编码标准性能比较
由于JPEG2000具备良好的压缩效率和最佳的颜色保真,适于用作参考,所以在以下的比较测试中,都以JPEG2000为参考来与其它编码格式进行比较。除了DNxHD提供的Demo外,其余使用的测试软件均为Apple公司的Final Cut Pro5自带的编解码工具。MJPEG2000为JPEG2000标准的第3部分,描述了JPEG2000图像序列(无帧间预测)的存储方式;其他编码方式也均为帧内编码:MPEG-2 I帧、H.264 CABAC、AVS Intra。
1. JEPG2000与MPEG-2 I帧的比较
如图1所示,在相同码率条件下,JPEG2000约比MPEG-2 I帧高大约3dB左右。由于采用整幅图像扫描后进行离散小波变换(DWT)的方式,JPEG2000消除了MPEG-2帧内压缩分块处理造成的块效应,图像更为细腻平滑。但是,JPEG2000采用了较为复杂的码率控制方式和算术编码,复杂度是MPEG-2帧内编码的数十倍。
随着软硬件技术的发展,随着MMX、SSE等CPU指令的引入及多核多CPU架构的成熟,JPEG2000软硬件编解码的效率得到了很大的提高。但相应地,JPEG2000编码技术在高清制作领域的应用也带来了成本的上涨。
2. JEPG2000与DNxHD的比较
如图2所示,在JPEG2000和Avid DNxHD的PSNR对码率的比较示意图中,可以明显地看出:JPEG2000在码率高于2.3bpp(136Mb/s)时始终有3dB以上的优势,而DNxHD在低于2.3bpp后PSNR值迅速跌落。
在不做YUV和RGB的转换时,两种编解码方案都是多次编解码无降质的,如图3所示。由此可见,JPEG2000在收敛位置上优于Avid DNxHD。一个有趣的现象是,Avid DNxHD在2.34bpp时收敛于保持小幅震荡。
如果在此过程中插入与RGB的相互转换,而且转换使用的是非可逆的浮点方法,则不可避免地会造成累积的质量损失。在非线性编辑环境中,这种转换可能是不可逆的。图4显示了在YUV和BMP浮点转换算法下两种方案的表现。可以看到,JPEG2000在两种码率下都保持较高的水准,Avid DNxHD在高码率下和JPEG2000一致;JPEG2000(3.54bpp)、JPEG2000(2.34bpp)和Avid DNxHD(3.54bpp)最后收敛到相近的水平上,DNxHD甚至略有赶超的趋势。
3. JEPG2000与H.264的比较
从图5可以看出,JPEG2000的性能只比H.264(帧内,CABAC)略好,最高不超过0.6dB。有文献指出,对于分辨率较低的图像,如CIF(352×288象素)、512×512象素的图像,H.264的性能要略好于JPEG2000;但对于HDTV,JPEG2000适于大图像的优势得以发挥。
至今还没有查到有文献精确地比较过JPEG2000与H.264的编码复杂度。从实验结果看,在同等条件下,JPEG2000的编码时间约为H.264的数倍。由于Motion JPEG2000没有帧间预测,不适于播出,因而在广播领域影响不如H.264,软硬件产品方面也是H.264的更为丰富完善。
值得一提的是,从获取的资料来看,AVS的性能接近H.264,它们之间的差距不到1dB。作为国产编码技术,AVS在高清制作领域大有可为。
结论
综合以上数据,可以得出以下结论:
(1)JPEG2000压缩格式得到的图像质量最好,但编码技术复杂,软硬件产品还不够丰富,所需成本也较高。
(2)对于高清节目制作,MPEG-2 I帧不具备明显优势,但是算法简单,技术成熟,非线性编辑系统和后期制作系统方面有良好的支持,可使用软件实时编解码,系统无须全面升级。
(3)DNxHD作为Avid针对高清开发的编码格式,具备一定的多次编解码无降质特性,在Avid产品线中有广泛的应用;但其不属于国际标准,因而不为更多人所接受。
(4)H.264/AVC作为目前最为热门的编码技术,综合考虑了性能与编码代价,可以说与JPEG2000不相上下;但支持它的产品更多,而且与MPEG一样可以容易地引入帧间预测用于播出,因而其在高清制作领域的应用前景看好。
(5)AVS目前处于产业化推广阶段,在HDTV等领域的全面应用还需时日。
(6)目前网络化制作系统从标清走向高清,传统双网结构面临改造的压力。JPEG2000的可分级特性开始在高清素材网络共享方面得到重视,可实现“一次采集,分级使用”,结束了高低码率素材造成的不便。因此,JPEG2000在网络化高清节目制作系统中可能有更好的应用前景。
当前高清制作的趋势是“无带化”,高清素材以文件方式从前端设备直接传输到制作设备。各大摄、录像机生产厂商已推出支持MPEG-2(DCT)、JPEG2000的前端摄录设备,松下和Sony一起发布了采用H.264帧内压缩技术的高清DV标准AVC HD,并于今年9月正式发布支持该格式的摄录机。表2为应用于高清领域的具代表性的视频压缩格式。
可见,各种编码方式各具特色,近期不可能出现统一到某种格式的局面。用户可根据自身需求选择前端摄录设备,同时也就确定了后期制作采用的编码格式。
(全文完)
来源:《世界广播电视》
出版日期:2006年11月