数字视频处理

1、数字视频处理Digital Video Processing第一章第一章 绪论绪论n 1.1数字视频基本概念图像图像(Picture/Image)n当光辐射能量照在物体上，经过它的反射或投射，或由发光物体本身发出的光能量在人眼中所重现出的物体的视觉信息n 图像分类： 按色调分：无色调的灰度(黑白)图像和有色调的彩色图像两种 按产生机制或捕捉方法分：红外图像、微波图像、CT图像、遥感图像 视频视频(Video)n 视频是一组图像序列按时间顺序的连续展示，是利用人类视觉暂留（视觉惰性）的原理，通过播放一系列的图像，使人眼产生运动的感觉序列(Sequence)帧(Frame)像素(Pixel) 像素

2、像素n “像素”（Pixel） 是由 Picture(图像) 和 Element(元素)这两个单词的字母所组成的n 一个像素通常被视为图像的最小的完整采样 视频视频n 其内容随时间变化的一组动态图像，所以又叫运动图像或活动图像(Motion picture)n 它是一种信息量最丰富、直观、生动、具体的承载信息的媒体 图像分辨率图像分辨率(Picture Resolution)n 图像分辨率是指组成一幅图像的像素密度的度量方法，一般用图像水平和垂直的像素数目表示n ABn 对同样大小的一幅图像，如果组成该图像的像素数目越多，则说明图像的分辨率越高，看起来越逼真；相反，图像显得越粗糙 显示分辨率显

3、示分辨率(Display Resolution)n 显示分辨率是指显示屏上能够显示出的像素数目。屏幕能够显示的像素越多，说明显示设备的分辨率越高 分辨率分辨率n 图像分辨率与显示分辨率是两个不同的概念。图像分辨率是确定组成一幅图像的像素数目，而显示分辨率表示显示屏上可用于显示图像的像素的数量 640X480 320X240 160X120 80X60 分辨率分辨率640X480 分辨率分辨率320X240 分辨率分辨率160X120 分辨率分辨率80X60 视频视频n 按照视频的存储与处理方式不同，可分为模拟视频和数字视频两种模拟视频模拟视频(Analog Video)n 一种用于传输视频图像

4、的随时间连续变化的电信号n 普通广播电视信号是一种典型的模拟视频信号n 电视摄像机通过电子扫描将所描述的景物进行光电转换后，得到电信号，即用一个电信号来表征景物，这种电视信号称为模拟电视信号 模拟视频模拟视频(Analog Video)n 电视接收机通过显示器进行电光转换，产生为人眼所接受的“模拟”信号的光图像n 模拟视频指的是视频的记录、存储和传输以模拟的形式进行，通常在普通电视上看到的、摄像机录制的、录像机播放的信号都是模拟视频信号n 模拟视频图像可由摄影用电子摄像机获得，并记录在录像带上；也可用电影摄像机采集，并存入电影胶片中模拟视频特点模拟视频特点n以连续的模拟信号形式记录视频信息n模

5、拟设备编辑处理n用模拟调幅的手段在空间传播n在磁带或胶片中存放n视频信号随存储时间、拷贝次数和传输距离的增加衰减较大，产生信号的损失，不适合网络传输，也不便于分类、检索编辑模拟信号处理设备模拟信号处理设备数字视频数字视频(Digital Video)n 要使计算机能够对视频进行处理，必须把模拟视频信号进行数字化，形成数字视频信号n 数字视频是以离散的数字信号方式表示、存储、处理和传输的视频信息，所用的存储介质、处理设备以及传输网络都是数字化的 数字视频特点数字视频特点n 以离散的数字信号形式记录视频信息n 用数字化设备编辑处理n 通过数字化宽带网络传播n 存储在数字存储媒体上数字视频优点数字视

6、频优点n 视频信号数字化以后，克服了模拟视频的局限性，有着模拟信号无可比拟的优点： 再现性好：模拟信号由于是连续变化的，所以不管复制时采用的精确度多高，失真总是不可避免的，经过多次复制以后，误差会很大。数字视频可以不失真地进行无限次复制，其抗干扰能力是模拟图像无法比拟的。它不会因存储、传输和复制而产生图像质量的退化，从而能够准确地再现图像数字视频优点数字视频优点 适合于网络应用：在网络环境中，视频信息可以很方便地实现资源的共享，通过网线，数字信号可以很方便地从资源中心传到办公室和家中。视频数字信号可以长距离传输而不会产生任何不良影响（无传输差错条件），而模拟信号在传输过程中会有信号损失数字视频

7、优点数字视频优点 便于编辑处理：模拟信号只能简单调整亮度、对比度和颜色等，极大地限制了处理手段和应用范围。而数字视频信号可以传送到计算机内进行存储、处理，很容易进行创造性的编辑与合成，并进行动态交互第一章第一章 绪论绪论n 1.1 数字视频基本概念n 1.2 数字视频的典型应用1.2.1 1.2.1 视频压缩（视频编码）视频压缩（视频编码）n 未经过压缩的原始视频的码率 标清电视7205762581.5 119Mbps未经过压缩的原始视频的码率未经过压缩的原始视频的码率 720p高清电视12807203081.5 316Mbps 1080p高清电视192010806081.5 1424Mbps

8、n 100分钟的标清视频节目大小可达约86.9GB！视频压缩的必要性视频压缩的必要性n 有限的信道带宽n 在不经过数据压缩情况下，CD/DVD视频播放机根本无法达到实用目的n 结论：要使数字视频信号适合于实际存储和传输，必须压缩数据量，降低传输数据码率n 前提：压缩后图像质量要满足视觉要求n 时间冗余n 空间冗余n 信息熵冗余n 知识冗余n 视觉冗余n u 利用视频冗余性，对视频利用视频冗余性，对视频进行压缩编码进行压缩编码视频的冗余性视频的冗余性 帧内地面结构相似帧内地面结构相似 帧间运动员动作连续帧间运动员动作连续数据与信息的区别数据与信息的区别n 数据用来记录和传送信息，是信息的载体；数

9、据的处理的结果是信息n 压缩的对象是数据，而不是“信息”n 压缩的目的是在传送和处理信息时，尽量减小数据量n 数据量与信息量的关系：数据量=信息量+冗余数据量无损无损/有损压缩有损压缩n 从信息在压缩过程中有否丢失来区分n 无损压缩 压缩前和压缩后还原的数据完全一致 多采用概率统计编码 如winrar文档压缩无损无损/有损压缩有损压缩n 有损压缩 压缩过程中会丢失视频中的一些信息 通常压缩比例比较大 如现有的绝大多数视频压缩标准视频压缩标准视频压缩标准Video Encoding/Decoding国际电信联盟国际电信联盟ITUn 国际电信联盟ITU（International Telecomm

10、unication Union）n ITU的历史可以追溯到1865年。为了顺利实现国际电报通信，1865年5月17日，法、德、俄、意、奥等20个欧洲国家的代表在巴黎签订了国际电报公约，国际电报联盟（International Telegraph Union ，ITU）也宣告成立国际电信联盟国际电信联盟ITUn 随着电话与无线电的应用与发展，ITU的职权不断扩大。1906年，德、英、法、美、日等27个国家的代表在柏林签订了国际无线电报公约n 1932年，70多个国家的代表在西班牙马德里召开会议，将国际电报公约与国际无线电报公约合并， 制定国际电信公约，并决定自1934年1月1日起正式改称为“国际

11、电信联盟”国际电报电话咨询委员会国际电报电话咨询委员会CCITTn CCITT是国际电报电话咨询委员会的简称，它是国际电信联盟（ITU）的常设机构之一。主要职责是研究电信的新技术、新业务和资费等问题，并对这类问题通过建议使全世界的电信标准化n 从1993年3月1日起，国际电报电话咨询委员会（CCITT）改组为国际电信联盟（ITU）电信标准化部门，简称ITU-TMPEG专家组专家组n MPEG（Moving Picture Expert Group）诞生于1991年，由国际标准化组织(International Organization for Standardization，ISO)和国际电工

12、委员会(International Electrotechnical Commission，IEC)联合成立的专家组，负责开发影视图象、声音的处理、压缩、解压缩、编码和它们的组合标准。这个专家组开发标准称为MPEG标准n 由ITU提出n 针对ISDN网络上的视频应用，目标码率为n64kbps (64-2048 kbps)，典型为128kbpsn 首次提出变换编码预测编码的混合编码架构，并一直被后续编码标准采用n 支持较小的分辨率图像H.261n 由ISO/IEC 提出n 针对视频存储应用，如CD-ROM存储，最大目标码率1.86Mbps(1.2Mbps-1.5Mbps)n 典型应用：VCD、M

13、P3(MPEG Audio Layer III)MPEG-1n 由ITU和ISO/IEC联合提出n 采用更高的目标码率（ 4Mbps-15Mbps，最大80Mbps,），更高的图像分辨率（最大1920 x1152），以获得更好的图像质量n 典型应用：DVD，有线电视网、卫星直播提供的广播级的数字视频MPEG-2/H.262n 由ITU提出n 针对低带宽条件下的视频通信应用n 以附录的形式引入编码工具，增加灵活性n 典型应用：可视电话H.263n 由ITU提出n 进一步提高视频压缩率，同时针对网络传输应用，提高错误鲁棒性n 以附录的形式引入编码工具n 过多的附录选项阻碍了H.263+/H.263

14、+的应用H.263+/H.263+n 由ISO/IEC提出n 不仅是针对一定码率(564kbps)下的编码，更加注重多媒体系统的交互性和灵活性n 面向对象的编码概念（并没有实质应用）n 典型应用：视频监控，把DVD里面的文件转换为数据量更小的文件MPEG-4n 由ITU和ISO/IEC的JVT(联合视频组)提出n 与其它现有的视频编码标准相比，在相同的带宽下提供更加优秀的图像质量n 典型应用：视频会议，视频监控等n 编码效率是MPEG-4/H.263的两倍以上H.264/MPEG-4 Part10/AVCn 由中国的音视频编码专家组提出，有关政府部门认可的n 我国具备自主知识产权的编码标准，节

15、省音视频标准专利费n 在节省很大计算资源的情况下取得与H.264相近的编码效果n 典型应用：视频会议、视频监控等AVSn 以召开多方会议为目的，采用数字化、编码压缩技术，同时双向多方传输图像和声音，能够满足人们开会需求的新型高科技通信系统1.2.2 视频会议视频会议n 长距离传输n 多方同时召开n 实时交流n 多种媒体结合n 使用经济的网络和带宽视频会议视频会议视频会议给用户带来的好处视频会议给用户带来的好处 n 降低商用费用n 更加方便的沟通和信息共享n 提升整体办公效率，增加竞争力低低高高 高高低低n 数字视频水印技术是近十几年兴起的一种新兴技术，它横跨信号处理、数字通信、密码学、计算机网

16、络技术等多门学科。数字水印技术主要用于多媒体版权保护等领域1.2.3 数字视频水印数字视频水印n 人们对“水印”一词并不陌生，纸张中的水印可以跟踪纸张的来源以及对纸张的式样、质量和价格进行鉴定，纸币中的水印可以起到标识和防伪的作用n 数字水印与纸张水印的基本思想相似，即数字作品中的水印，可以起到标识和防伪的作用水印水印n 顾名思义，数字视频水印就是加载在数字视频上的数字水印n 把表征版权的水印信息嵌入到数字视频内容中，以此作为版权保护的依据和凭证，从而既不影响视频质量，又能达到版权保护的目的数字视频水印定义数字视频水印定义n 根据嵌入水印的可见性，视频水印可分为可见水印和不可见水印 n 根据嵌

17、入的数据域不同，视频水印可分为时空域水印和变换域水印 数字视频水印分类数字视频水印分类n 根据被嵌入视频载体是否压缩，视频水印可分为压缩域水印和非压缩域水印 n 根据水印是否与内容相关，可分为基于内容的水印和与内容无关的水印 数字视频水印分类数字视频水印分类可见水印可见水印可见水印可见水印可见水印可见水印不可见水印不可见水印n VOD Video On Demand，其中文意思就是根据用户的要求播放节目的视频点播系统。VOD泛指一类能在用户需要时随时提供交互式视频服务的业务，即“想看什么就看什么，想什么时候看就什么时候看”1.2.4 视频点播系统视频点播系统n 视频点播具有提供给单个用户对大范围的影片、视频节目、游戏、信息以及其它服务进行访问的能力视频点播系统视频点播系统n 视频信息检索是指根据用户的查询从视频数据库中提取相关的视频信息的技术n 直接根据描述媒体对象内容的各种特征进行检索，它能从数据库中查找到具有指定特征或含有特定内容的视