Siwei MA, Li ZHANG, Shiqi WANG, Chuanmin JIA, Shanshe WANG, Tiejun HUANG, Feng WU & Wen GAO. Evolution of AVS video coding standards: twenty years of innovation and development. Sci China Inf Sci, DOI: 10.1007/s11432-021-3461-9
20世纪90年代至21世纪初,MPEG和VCEG等国际标准工作组制定了系列视频编码标准,如MPEG-1,H.261,MPEG-2/H.262标准等。
在这些编码标准中几乎没有我国专利的影子,这意味着我们国家的企业如果要使用这些先进的编解码技术,需要对外支付高昂的专利费用。
为了填补这一空白,原国家信息产业部科学技术司于2002年6月批准成立中国数字音视频编解码技术标准工作组(AVS工作组),目标是制定具有自主知识产权的音视频编解码标准。
自成立以来,AVS工作组一直致力于以高效的编解码技术推动和创新数字音视频产业的发展。在这20年里,AVS工作组制定了三代音视频编码标准,为我国音视频产业自主发展奠定了坚实的基础。
最新一代AVS3标准领先国际标准VVC发布,在8K产业应用方面实现了领跑布局。在AVS3标准支持下,今年的北京冬奥会和冬残奥会也成为了奥运史上首次通过8K视频技术直播开幕式和转播重要比赛的赛事。
本文先整体介绍了AVS视频编码标准过去20年的发展历程和应用情况。
2006年发布的第一代AVS国家标准主要面向高清数字电视广播,第一代AVS国家标准的增强版本AVS+发布于2012年。
2016年发布的AVS2国家标准主要面向4K超高清应用,压缩效率与国际同期HEVC/H.265相当。
最新制定完成并发布的AVS3标准主要面向8K超高清视频(UHD)电视广播和虚拟现实(VR)等新兴应用场景。
AVS系列编码标准制定中,采用从整体到局部的技术路线,即先提出一个由若干模块组成的混合编码框架,通过对每一个模块进行技术创新来带动整体的性能提升。AVS视频编码框架由块划分、帧内预测、帧间预测、变换、量化、熵编码和环路滤波等模块组成,本文对各模块进行简要介绍。
块划分的目的是将待编码的视频帧按照其纹理内容分割成更宜于编码的小块,适合的块划分方法可以有效提升预测编码效率。
考虑到编解码实现的复杂度约束,早先的块划分方法一般是将图像分割成固定大小的小块,但是这样的划分策略对视频内容的适应性比较差,无法应对一些纹理比较复杂的情况。
在最新一代AVS3标准中提出了更灵活的扩展四叉树划分方式,能够更好地适应复杂的视频内容变化,极大地提升了编码效率。历代AVS视频压缩标准的块划分技术演进路线如图1所示。
图1. AVS系列标准中块划分模块的技术革新。随着AVS系列标准的发展,编码框架中划分结构技术变得越来越复杂,对视频内容的适应性也越来越强。
帧内预测指的是在视频编码过程中,通过左方和上方相邻像素来预测当前待编码块的像素值,这一技术可以有效地消除视频信息在空域上的冗余。
如图2所示,帧内预测的角度从第一代AVS中的8种拓展到了AVS3中的65种,越来越复杂的帧内预测模式可以大大提升预测的准确度,帧内预测也是单幅图像编码效率提升的关键。
图2. AVS系列标准中的帧内预测模式的变化。从左至右分别是AVS1中的8种预测模式;AVS2中的33种预测模式;AVS3中的65种预测模式。
帧间预测指的是在视频编码过程中,通过已编码帧和相邻帧之间的运动匹配来估计待编码帧。帧间预测可以有效降低视频内容的时域信息冗余,是整个编码框架中最重要的性能提升模块。
图3展示了AVS系列标准中帧间预测工具的发展历程,三代标准在预测结构,预测单元粒度和预测模式设计等方面做出诸多优化提升,大幅增加了预测编码的准确性。
图3. AVS系列标准中的帧间预测工具的技术发展对比
本文详细介绍了AVS3标准的压缩效率,提供与历代标准的技术讨论和对比分析,主要包括两部分:第一部分是AVS3标准采纳的各项编码工具性能,第二部分是AVS3标准和其他视频压缩标准的率失真性能对比。
在AVS3标准编码工具实验分析中,把每一个编码模块的关键技术进行了消融实验,通过开启/关闭工具开关的方式来对比每一项技术对于整体性能的贡献,进行了深入讨论,详见论文原文。
选取上一代标准AVS2为对比对象,以随机访问(Random Access, RA)配置和全帧内编码(All Intra, AI)两种最常用的编码模式作为对比配置。
实验结果表明,AVS3和AVS2相比,在降低解码复杂度的同时在YUV三个通道都获得了显著的编码性能提升,综合性能提升超过40%。
同时在标清、高清和超高清分辨率测试视频上和国际标准VVC/H.266进行了压缩效率对比,结果表明AVS3标准在各种分辨率上性能均超过VVC编码标准。
AVS建立了从技术标准到芯片终端,再到系统应用的完整产业链。
2019年3月AVS3标准技术制定完成。同年9月,海思即发布全球首款基于AVS3标准的8K@120fps超高清视频解码芯片。
2021年2月,央视开通了8K超高清电视试播频道,在春晚5G+8K直播中取得圆满成功。
图4. 5G+8K+AVS3 直播系统展示
图5. AVS3标准助力冬奥会8K直播
在今年刚刚结束的北京冬奥会和冬残奥会中,AVS3 8K超高清技术助力冬奥会和冬残奥会提供极致清晰的赛事转播服务(图4和图5),并为冰雪项目交互式多维度观赛带来了全新体验(图6)。
图6. “新视角”、“镜头智能跟踪”等冰球赛事转播新服务
来源:中国科学信息科学