多媒体技术综述

多媒体技术综述北京市多媒体与智能软件技术重点实验室

第一页，共三十三页，2022年，8月28日

多媒体数据压缩的必要性音视频压缩标准的发展图像/视频编码技术的现状及发展趋势第二页，共三十三页，2022年，8月28日多媒体数据压缩的必要性多媒体数据的显著特点：数据量非常大一张彩色相片的数据量可达10MB；一路高清晰度电视信号（HDTV），不压缩需1Gbps，利用MPEG-2压缩后，尚需20Mbps解决办法：数据压缩压缩后再进行存储和传输，到需要时再解压、还原。

第三页，共三十三页，2022年，8月28日多媒体数据压缩的必要性多媒体数据压缩的可能性：

多媒体数据存在高度的相关性（冗余度，相似性）

在位图格式的图像存储方式中，像素与像素之间在行方向和列方向都具有很大的相关性。第四页，共三十三页，2022年，8月28日多媒体数据压缩的必要性多媒体数据的冗余类型

多媒体数据表示中存在着大量的冗余，利用多媒体数据的冗余性来减少数据量。常见图像、视频、音频数据中存在的冗余类型如下：1.空间冗余2.时间冗余3.视觉冗余6.纹理的统计冗余5.结构冗余4.知识冗余第五页，共三十三页，2022年，8月28日1.空间冗余一幅图像表面上各采样点的颜色之间往往存在着空间连贯性，基于离散像素采样来表示物体表面颜色的像素存储方式可利用空间连贯性，达到减少数据量的目的。例如，在静态图像中有一块表面颜色均匀的区域，在此区域中所有点的光强和色彩以及饱和度都是相同的，因此数据有很大的空间冗余。多媒体数据压缩的必要性第六页，共三十三页，2022年，8月28日图——Bitmap——颜色相同的块——帧内压缩多媒体数据压缩的必要性第七页，共三十三页，2022年，8月28日2.时间冗余

运动图像一般为位于一时间轴区间的一组连续画面，其中的相邻帧往往包含相同的背景和移动物体，只不过移动物体所在的空间位置略有不同，所以后一帧的数据与前一帧的数据有许多共同的地方，这种共同性是由于相邻帧记录了相邻时刻的同一场景画面，所以称为时间冗余。 同理，语音数据中也存在着时间冗余。多媒体数据压缩的必要性第八页，共三十三页，2022年，8月28日多媒体数据压缩的必要性第九页，共三十三页，2022年，8月28日3.视觉冗余

人类的视觉系统由于受生理特性的限制，对于图像场的注意是非均匀的、非线性的，通常假定视觉系统是均匀的，线性地对敏感区域和非敏感区域同等对待从而产生了更多的数据。

多媒体数据压缩的必要性第十页，共三十三页，2022年，8月28日视觉系统对图像的亮度和色彩的敏感性相差很大。RGB转换为Yuv，对亮度Y的敏感性高于色彩u，v的敏感性。随着亮度的增加，视觉系统对亮度误差的敏感度降低，因此，在高亮度区，灰度的量化可以更加粗糙些。多媒体数据压缩的必要性第十一页，共三十三页，2022年，8月28日视觉系统将图像的边缘和非边缘区分对待这是将图像分成边缘和非边缘编码的主要依据。人类的视觉系统总是将视网膜上的图像分解为若干个频率通道后再进一步处理，在编码时将图像分解为符合视觉内在的特性的频率通道，则可以获得较大的压缩比。小波编码在一定程度上利用了这一特点。多媒体数据压缩的必要性第十二页，共三十三页，2022年，8月28日4.知识冗余

有些图像的理解和某些基础知识有相当大的相关性，人脸的图像有固定结构这类规律性的结构可由先验知识和背景知识得到，称此类冗余为知识冗余。对于某些图像中的物体构造其基本模型，创建对应的各种特征的图像，这样图像的存储只存储某些特征参数。多媒体数据压缩的必要性第十三页，共三十三页，2022年，8月28日5.结构冗余

有些图像的纹理区域，图像的像素值存在明显的分布模式，如方格状的地板图案等，称之为结构冗余。已知结构模式，通过某一过程生成图像。6.纹理的统计冗余

有些图像的纹理尽管不服从明显的分布模式，但在统计意义下符合某一分布规律，利用这种性质可以减少图像的数据量。多媒体数据压缩的必要性第十四页，共三十三页，2022年，8月28日多媒体数据压缩的必要性

音视频压缩标准的发展图像/视频编码技术的现状及发展趋势第十五页，共三十三页，2022年，8月28日庞大的数字音视频产业音视频产业是电子信息产业的三大组成部分之一（通信、计算机、音视频）音视频产业产值约占大陆信息产业总产值的三分之一数字化是音视频产业的发展方向，也是上个世纪前十年产业增长的最重要的因素音视频压缩标准的发展第十六页，共三十三页，2022年，8月28日

庞大的数字视频产业

自从1948年信息论之父在论文中第一次给出信息熵的数学表达式，数据压缩技术已经发展了60年头。以音视频编解码核心技术为基础的行业标准，一直以来都是该领域的“兵家必争之地”

音视频编解码技术发展的理想方向--全球统一标准，(使信息管理系统具有普遍的互操作性并确保未来的兼容性)

音视频领域存在多种标准有其历史原因，不同的标准代表了不同的利益。音视频压缩标准的发展第十七页，共三十三页，2022年，8月28日音视频压缩标准的发展多种互不兼容标准共存的现象应用领域重叠，造成标准竞争激烈第十八页，共三十三页，2022年，8月28日编码分类信道编码：面向传输卫星、有线、地面

互联网、移动网、光盘、便携存储信源编码：面向内容文字编码：ASCII，GB18030，所有信息系统需要音视频编码：所有音视频系统需要标清数字视频原始数据超过200Mbps，高清超过1Gbps

音视频压缩标准的发展第十九页，共三十三页，2022年，8月28日音视频压缩标准的发展ISO/IEC推出的MPEG系列压缩标准：MPEG-1,2,4ITU-T推出的H.26X系列压缩标准H.261,2,3,3+,3++,4第二十页，共三十三页，2022年，8月28日

1993年，MPEG-1由ISO/IEC的MPEG（活动图像编码专家组）发布，标准编号ISO/IEC11172，视频压缩是其中的第二部分，即ISO/IEC11172-2,目标是在大约1.2Mbps(音频＋视频共1.5Mbps)时提供接近家用录像机质量的视频，在VCD产业获得广泛的应用。MPEG-1达不到广播电视质量的要求。1995年，MPEG-2发布,标准编号ISO/IEC13818，视频压缩是其中的第二部分，由于该标准是由ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）联合组建的联合视频组（JVT：JointVideoTeam）共同开发，因此有两个标准号：ISO/IEC13818-2,H.262,MPEG-2的目标是在大约4-8Mbps时提供标准清晰度电视质量的视频。在大约10-15Mbps时提供高清晰度电视质量的视频。在DVD、数字电视产业获得广泛的应用。音视频压缩标准的发展第二十一页，共三十三页，2022年，8月28日

2000年，在支持单向播放的同时，为了满足交互应用，MPEG-4V1版本发布，标准编号ISO/IEC14496，视频压缩是其中的第二部分，即ISO/IEC14496-2,其目标是在大约1.5-8Mbps时提供可交互的家用录像机质量的和标准清晰度电视质量的视频，在流媒体播放领域广泛应用。2001年，MPEG-4V2版本发布，它在MPEG-4V1的基础上增加了部分压缩工具。2003年，为了进一步提高压缩效率ISO/IEC和ITU两个标准组织联合发布了新的标准，在两个标准化组织的标准号分别为14496-10(MPEG-4,Part10,也称MPEGAVC)和H.264。其目标是在768Kbps、2-4Mbps、6-10Mbps时分别提供可交互的家用录像机质量、标准清晰度电视质量和高清晰度电视质量的视频，是目前为止压缩效率最高的编码标准，标准已经被DVB标准组织采用，而国内业界通常所说的MPEG-4是MPEG-4的V2版本。音视频压缩标准的发展第二十二页，共三十三页，2022年，8月28日

AVS：数字音视频编解码技术标准工作组2002年经信息产业部科技司批准成立，同时也是MPEG-China(ISO/IECJTC1SC29/WG11中国代表团）

工作范围：

面向大陆的信息产业需求，联合大陆企业和科研机构，制（修）订数字音视频的压缩、解压缩、处理和表示等共性技术标准，为数字音视频设备与系统提供高效经济的编解码技术，服务于高分辨率数字广播、高密度激光数字存储媒、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应用。从产业化角度看：H.264,MPEG-4除了对终端用户收取高额的许可费（2.5美元/台）

还要向运营商收取许可费，MPEG-4对编码解码时间收费，H.264对节目提供商收取参加费，最高封顶每年350万元，严重影响产业的正常发展，AVS标准只象征性地向终端设备制造商收取1元人民币/台的专利费，无疑对产业的良性发展起到最大的推进作用.己经称为国家标准，但缺乏一个完整、成熟的产业链，这个问题正在解决之中。音视频压缩标准的发展第二十三页，共三十三页，2022年，8月28日数字音视频标准正在更新换代

一般认为，压缩效率提高一倍，技术标准就会面临更新换代。MPEG-2是1994年完成的，新的技术组合压缩效率已经以超过MPEG-2的2倍以上，所以该换代了。

MPEG-4AVC/H.264AVS但是，成熟的行业不愿意换得太早例如有线电视行业所以，机会在新的行业，例如高清电视、地面传输、IPTV、3G、数字影院等等音视频压缩标准的发展第二十四页，共三十三页，2022年，8月28日音视频压缩标准的发展视频编码效率的进步第二十五页，共三十三页，2022年，8月28日多媒体数据压缩的必要性音视频压缩标准的发展

图像/视频编码技术的发展现状及趋势第二十六页，共三十三页，2022年，8月28日

图像/视频的预测编码

对于预测编码技术，压缩编码后传输的并不是像素本身的取样幅值，而是该取样的预测值和实际值之差。同一幅图像的邻近像素之间有着相关性，或者说这些像素值相似。而且同帧图像中邻近行之间对应位置的像素之间也有较强的相关性。编码端：X－A=q解码端：q＋A=X

图1像素间相关性解释图2帧间相关性解释图像/视频编码技术的发展现状及趋势第二十七页，共三十三页，2022年，8月28日

图像/视频编码技术的发展现状及趋势图像/视频的变换编码

变换域编码是目前最广泛采用的图像压缩编码方法，乎所有的图像/视频压缩标准均以变换编码为重要工具。通常视频信号中包含大量的低频成分，即图像的平坦部分，也有少量的高频成分，即图像的细节。变换图像编码技术是根据图像包含的几乎都是低频特征为前提，即大部分能量都集中在变换的低频部分，在编码中对高频系数的进行粗糙量化。第二十八页，共三十三页，2022年，8月28日基于模型编码技术例如：talkingheadmodel:编码器对一个包含肩－头场景分析，然后对头部建立3D模型，解码端有自己的3D模型，编码端只需要发送驱动模型的参数和场景间的差异，与上述方法相比，编码效率高，但运算复杂性较高。图像/视频编码技术的发展现状及趋势第二十九页，共三十三页，2022年，8月28日混合编码技术混合编码框架的技术主要包括：运动补偿、预测编码、变换编码以及熵编码等。近年来混合编码的研究主要集中于如何在技术细节方面进行进一步完善，使编码效率得到进一步的提高。其典型代表为2003年由联合专家组JVT制定的新一代视频编码标准H.264/AVC。图像/视频编码技术的发展现状及趋势第三十页，共三十三页，2022年，8月28日可伸缩编码技术

可伸缩技术将视频编解码技术从传统的压缩技术转变为了更多考虑网络适应性和灵活性的编解码框架。2005年2月，JVT将可伸缩性编码（ScalableVideoCoding,SVC)作为H.264标准的扩展，并起草了H.264标准的可伸缩性扩展第一草案。可伸缩视频编码具有时域、空域和质量等多方面的灵活性。SVC不仅适合网络传输，而且应用到视频监控领域中还能满足监控视频资料的存储、检索、分析等方面的种种特殊需求。在SVC的需求文档中已将视频监控列为可伸缩视频编码技术的主要应用领域之一。可伸缩技术的方法大致上可以划分为两种：基于小波变换的可伸缩技术和基于传统的混合编码结构的可伸缩技术。图像/视频编码技术的发展现状及趋势第三十一页，共三十三页，2022年，8月28日视频自适应技术未来多媒体网络的发展，是计算、通信与网络的结合，固定服务与移动服务的结合，多样化服务与个性化服务的结合。通用媒体访问(universalmediaaccess)被认为是多媒体应用需满足的一项本质性的要求，它指用户可以使用多种终端设备，通过各种网络形式，无缝连接地访问所需要的媒体信息。但是，当前媒体应用环境中存在的网络的异构性、终端设备的多样性、多媒体应用的复杂性给实现通用媒体访问带来了很大挑战。目前，已经建立了多个视频编码国际标准，这些标准的基