数字视频1课件

第5章数字视频(1)2022/11/221南京大学多媒体研究所内容1.视频基本知识2.数字视频3.数字视频的输入和输出2022/11/222南京大学多媒体研究所一、视频的基本知识2022/11/223南京大学多媒体研究所1什么是视频视频(video)：随时间变化其内容的一组图象(24,25,30帧/秒)，又叫运动图象或活动图象(motionpicture)。常见视频信号：电视，电影，动画等.视频信号的特点：内容随时间而变化,伴随有与画面动作同步的声音(伴音),人类接受的信息70%来自视觉,其中活动图象是信息量最丰富、直观、生动、具体的一种承载信息的媒体。视频信息的处理是多媒体技术的核心。2022/11/224南京大学多媒体研究所电视电视是当代最有影响力的信息传播工具!3种彩色电视制式:NTSC制(正交平衡调幅制),美国、加拿大，台湾、日本、韩国、菲律宾等采用PAL制(逐行倒相正交平衡调幅制),德国、英国，中国、朝鲜等采用SECAM制(顺序传送彩色与存储制),法国、苏联及东欧国家采用.2022/11/225南京大学多媒体研究所电视图象摄取,传输和重现的过程

拍摄图像和播放图像都采用“光栅扫描”(rasterscan)的原理。摄象机摄取景物时，把自然景物的颜色分解为R,G,B三个分量在彩电信号传输中，用Y,C1,C2分别表示亮度信号和两个色差信号，C1,C2的含义与彩电的制式有关。电视接收机把Y,C1,C2信号重新转换为R,G,B进行显示.2022/11/226南京大学多媒体研究所光栅扫描(rasterscan)隔行扫描(interlaced,电视图象采用)奇数场偶数场1帧图像逐行扫描(progressive,计算机显示图象时采用)2022/11/227南京大学多媒体研究所2视频信号的空间特性575625垂直回扫水平回扫(PAL)485525垂直回扫水平回扫(NTSC)verticalresolutionaspectratio(4:3or16:9)2022/11/228南京大学多媒体研究所视频信号的时间特性（1）动作连贯性感觉的要求：帧频>=15f/s；无闪烁感觉的要求：画面刷新速率必须>=每秒50次。

PAL制式：帧频为25帧/s,场频50场/s；NTSC制式：帧频是30帧/s,场频是60场/s电视扫描信号的行频：PAL：625x25=15.625kHz，周期为64μs;NTSC：525x30=15.75kHz，周期为63.5μs2022/11/229南京大学多媒体研究所575625(4/3)*575视频信号的时间特性（2）模拟信号传输电视节目时的带宽：PAL制式是8.0MHz（亮度信号为5.5MHz，2个色度信号均为1.8MHz），NTSC制式是6.0MHz（亮度信号为4.2MHz，2个色度信号均为1.0MHz）。全屏光点总数:575*(4/3)*575=440kb(P)484*(4/3)*484=310kb(N)视频信号最高频率:440k*25/2=5.5MHz(P)310k*30/2=4.65MHz(N)2022/11/2210南京大学多媒体研究所3电视信号的彩色空间（1）在彩色电视中，用Y、C1,C2彩色表示法分别表示亮度信号（Luminance或Luma）和两个色度信号（Chrominance或Chroma）。C1，C2的含义与具体的电视制式有关:电视制式C1的含义C2的含义NTSCIQPALUVCCIR601数字电视CrCb2022/11/2211南京大学多媒体研究所电视信号的彩色空间（2）YUV空间(PAL)亮度分量

Y=0.3*R+0.59*G+0.11*B色度分量

U=(B-Y)*0.493色度分量

V=(R-Y)*0.877YIQ空间(NTSC)亮度分量

Y=0.3*R+0.59*G+0.11*B色度分量I=0.6*R-0.28*G-0.32*B色度分量

Q=0.21*R-0.52*G+0.31*B(优点：与黑白电视兼容；有利于压缩信号带宽)2022/11/2212南京大学多媒体研究所电视信号的彩色空间（3）YCrCb是国际通用的CCIR601数字电视信号中使用的彩色空间，它由YUV彩色空间经过缩放和平移得到。Y值的额定范围在16-235之间，Cr和Cb在16-240之间，具体的转换公式如下：Y=(77/256)*R+(150/256)*G+(29/256)*BCr=(131/256)*R-(110/256)*G-21/256)*B+128Cb=-(44/256)*R-(87/256)*G+(131/256)*B+1282022/11/2213南京大学多媒体研究所电视信号的彩色空间（4）使用Y、C1，C2彩色空间的优点：①Y和C1，C2是独立的，因此彩色电视和黑白电视都可以使用，Y分量可由黑白电视接收机直接使用而不需做任何进一步的处理；②可以利用人的视觉特性来节省信号的带宽和功率，通过选择合适的颜色模型，可以使C1，C2的带宽明显低于Y的带宽，而又不明显影响彩色图像的质量。2022/11/2214南京大学多媒体研究所4彩色电视信号的若干形式模拟形式：模拟复合信号模拟分量信号模拟S-video信号数字形式：数字复合信号数字分量信号2022/11/2215南京大学多媒体研究所（1）复合电视信号复合电视信号(compositevideosignal)：由亮度、色度信号及同步信号复合而成的单一信号，也称为全电视信号.复合电视信号适合于进行远距传输，其质量称为VHS（家用级)。彩色空间转换RGB=>YUV图象信号编码信号复合RGBYUVCVBSVSyncHSync复合电视信号（模拟电视信号的编码）2022/11/2216南京大学多媒体研究所复合电视信号为便于电视信号远距传输，必须把三个分量信号以及同步信号复合成一个信号，然后才进行传输。CVBS=Y+a*U*Sin(Wsc*t)+b*V*Cos(Wsc*t)

(Wsc

为副载波频率)伴音信号与视频信号也复合在一起传输。亮度色度6MHz(NTSC)-1.00.01.02.03.04.05.0图象载波声音载波色度副载波音频2022/11/2217南京大学多媒体研究所（2）分量电视信号为保证视频信号质量，近距离时可用分量视频信号(componentvideosignal)传输,分量信号是指每个基色分量(R,G,B或Y,U,V)作为独立的电视信号传输。(Betacam，广播级或专业级).视频节目制作时使用的是分量视频信号计算机输出的视频信号，是分量形式的视频信号。2022/11/2218南京大学多媒体研究所（3）S-Video信号

S-Video是亮度(包含同步信号)和色度(2个色度信号复合在一起)互相分离的一种电视信号，优点：①减少亮度信号和色度信号之间的交叉干扰；②不需要使用梳状滤波器来分离亮度信号和色度信号，这样可提高亮度信号的带宽。信号电平=1V阻抗=75ohms信号电平=0.3V阻抗=75ohms

S-Video使用单独的两条信号线分别传输亮度信号和色度信号，这两个信号称为Y/C信号。

S-Video使用4针连接器2022/11/2219南京大学多媒体研究所二、数字视频2022/11/2220南京大学多媒体研究所1为什么使用数字视频？易于编辑、修改等操作处理用户接收的图像质量更好(可达演播室水平)有利于存储，信息复制不会失真有利于传输(抗干扰能力强)节省频率资源(占用频道较窄)可以通过公共电信网和计算机网传输可以与其它媒体组合使用可以生成描述信息（bitsaboutbits）,便于信息的检索和使用2022/11/2221南京大学多媒体研究所2视频信号的数字化视频信号数字化过程:(8-10bits)滤波取样量化PCM编码数字视频信息模拟视频信号VUYUVY亮度信号的取样频率:13.5MHzU,V色度信号的取样方式有多种不同格式2022/11/2222南京大学多媒体研究所亮度信号的取样（CCIR601）ITU-RBT.601标准(CCIR601,美国称为D1标准)，对3种制式电视的取样频率和有效分辨率都作了统一规定。每一行的像素数目:PAL:13.5MHz=625×25×N=15625×N,

N=864NTSC:

13.5MHz=525×30×N=15734×N,

N=858

有效（可显示）像素均统一为：720720pel(有效取样样本)12/16

pel

132/122

pel水平扫描线(64us)蓝色为NTSC蓝色为NTSC2022/11/2223南京大学多媒体研究所色度信号的取样（CCIR601）人对颜色的敏感程度远不如对亮度信号那么灵敏，所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量。色度信号的取样频率有4种:

格式取样频率平均每个像素的样本数4:4:4同亮度信号取样频率3样本/像素4:2:2亮度信号取样频率的一半2样本/像素

4:1:1亮度信号取样频率的1/41.5样本/像素

4:2:0亮度信号取样频率的一半,1.5样本/像素但隔行处理2022/11/2224南京大学多媒体研究所色度信号的4种取样格式4:2:2亮度信号色度信号4:4:44:2:04:1:12022/11/2225南京大学多媒体研究所

名称

亮度(Y)

色度(Cb,Cr)

(行数/帧)

(像素/行)(行数/帧)

(像素/行)取样格式CCIR6015767205763604:2:2CIF288360 144 1804:2:0QCIF144180 72904:2:0SQCIF96 12848644:2:0常用数字视频信号的规格(CCIR601＝ITU-R601)

亮度的取值范围:16(黑)-235(白)色度的取值范围:16-2402022/11/2226南京大学多媒体研究所3视频信号的数字化视频信号数字化有2种情况:1模拟复合视频信号的数字化视频信号数字化芯片复合视频信号Y／C信号(S-video)CCIR601数字视频24位RGB数字视频视频信号数字化芯片RGB分量模拟视频信号CCIR601数字视频2模拟分量视频信号的数字化.2022/11/2227南京大学多媒体研究所模拟复合视频信号的数字化把复合视频信号或Y／C信号进行模数转换。例如使用8位A／D转换器，得到8位数字化的值把亮度(Y)和2个色度(C)信号分开。分离后Y的数值范围为4-200，仍包含同步和消隐信息；色度信号是经调制的色度信号，取值范围为0±82(NTSC)或0±87(PAL)。接收调制的数字色度信息，经过解调，输出基带I,Q(NTSC)或U,V(PAL)色度信号，即恢复出NTSC或PAL制的色度信号按需要对对比度、亮度和饱和度进行调节完成从YIQ或YUV颜色空间到RGB和YCrCb颜色空间的转换模数转换Y/C分离色度信号解调信号调节颜色空间转换复合视频信号数字视频信号S-Video信号2022/11/2228南京大学多媒体研究所分量视频信号的数字化(方案1)5.75MHz低通滤波器5.75MHz低通滤波器查找表A/D13.5MHz时钟A/D13.5MHz时钟A/D13.5MHz时钟查找表查找表5.75MHz低通滤波器5.75MHz低通滤波器2.75MHz低通和筛选滤波器RGB到YcrCb转换矩阵2.75MHz低通和筛选滤波器MUXMUX视频时序插入控制RGBCbCrY辅助数据数字RGB输入4:2:2数字视频信号GAMMA校正模拟分量电视信号进行低通滤波,防止走样现象的发生进行取样和8位A/D转换(配置成能产生16-240/235范围内的数据输出)使用ROM(RAM)组成的查色表实现必要的γ校正把采样频率从13.5MHz降到6.75MHz，产生4:2:2YCrCb数据输出2022/11/2229南京大学多媒体研究所分量视频信号的数字化(方案2)5.75MHz低通滤波器2.75MHz低通滤波器查找表A/D13.5MHz时钟A/D6.75MHz时钟A/D6.75MHz时钟查找表查找表2.75MHz低通滤波器模拟RGB到YUV转换矩阵MUXMUX视频时序插入控制RGBCbCrY辅助数据4:2:2数字视频信号GAMMA校正YUV模拟分量视频信号进行低通滤波彩色空间转换输出范围为16-235(Y)和16-240(Cr和Cb)2022/11/2230南京大学多媒体研究所4常见数字视频格式AVIRM，RMVBASF和WMV文件MOV文件MPEG文件DAT文件2022/11/2231南京大学多媒体研究所3计算机中视频信息的I/O2022/11/2232南京大学多媒体研究所1PC机视频应用举例视频帮助窗口（Videohelpwindows）；电子文档中的视频标注(Videonoteswithinadocument)；远程视频会议（Videoteleconferencing）；CD-ROM及网络服务器上的视频播放（CD-ROMandnetworkservers）；视频编辑和教学等（Videoediting）；收看电视（Videoviewing）；视频辅导/交互式教学(Videotutorials/interactiveteaching)2022/11/2233南京大学多媒体研究所视频信号I/O的复杂性(1)计算机图形显示技术发展迅速,使模拟视频信号的图像分辨率和画面刷新速率与计算机图形显示器有很大差别。(2)计算机显示器是逐行扫描方式，显示质量很高。这就需要在视频输入时进行扫描方式由隔行到逐行的转换(又称逐行化)，而在视频输出时再进行逐行到隔行的转换。(3)视频信息应纳入到图形用户界面(GUI),与图像/图形进行统一的操作;反之，计算机屏幕上任意位置任意窗口的显示内容也应该能转换成为视频信号输出。2022/11/2234南京大学多媒体研究所PC中音/视频信息I/O的概念结构模拟音频R模拟和数字音频输出RAMDAC隔行化/缩放/帧速率转换模拟NTSC/PAL/SECAM编码器模拟音频R数字分量视频编码器数字复合视频编码器图形控制器&帧存储器模拟和数字音频输入数字分量视频解码器数字复合视频解码器模拟NTSC/PAL/SECAM解码器音频编码视频编码音频解码视频解码模拟音频L数字音频数字分量视频数字复合视频模拟视频信号模拟音频L数字音频数字分量视频数字复合视频模拟视频信号CRT显示器(模拟RGB）逐行化/缩放/帧速率转换波表合成器FM合成器网络接口网络接口2022/11/2235南京大学多媒体研究所2视频获取设备2022/11/2236南京大学多媒体研究所视频卡视频卡的产品类型:1视频采集(捕获)卡。将模拟视频信号转换为数字视频并存入硬盘,采集的视频数据可以压缩或不经压缩存储2视频输出卡。将计算机输出的视频信息转换成标准的模拟电视信号,供录像带记录或用电视机收看，具有这种编码功能的接口卡叫视频输出(编码)卡(TVCoder)3电视接收卡。视频采集卡缺少高频电视信号的接收、调谐电路，电视接收卡即用来完成这一任务4视频压缩卡。目的是压缩数字视频的数据量，需遵循国际标准,分成实时处理和非实时处理两种。2022/11/2237南京大学多媒体研究所视频捕获(采集)卡的功能从多种视频源中选择一种作为视频输入;支持不同的电视制式;能同时处理图像信号的伴音;可在显示器上监看输入的视频信号,其位置及大小可调;能将计算机生成的图像/图形/文本与视频图像迭加处理;可随时冻结(定格)一幅画面,并按指定格式保存;可实时压缩与存储视频及其伴音信息;可实时解压缩并播放视频及其伴音信息,输出设备可选(VGA监视器、电视机、录相机等)2022/11/2238南京大学多媒体研究所视频采集(捕获)卡的结构videograbbervideobufferoverlayconversionTVcoderVGAgraphicsVGAVRAMMMCPUDSPCodecPCIbusvideoRGBmonitorTVsetdisc2022/11/2239南京大学多媒体研究所数字摄像头最高分辨率为640×480，一般都是352×288，速度一般在30fps（每秒30帧）以下，镜头的视角可达到45-60度,支持USB接口或FireWire（火线）接口。2022/11/2240南京大学多媒体研究所数码摄像机

提供480线以上的分辨率，清晰度高，自动对焦(Autofocus)，自动曝光(AutoExpose)，使用M-JPEG或MPEG-2进行压缩编码，然后记录在磁带或磁盘上，提供录音功能，数据量很大，采用USB接口或IEEE1394（FireWire）接口，后者传输速率可以达到200-800MB/s。2022/11/2241南京大学多媒体研究所3视频信息在图形显示器上的显示图形控制卡也称显示卡、视频卡等，作用是：存储正在屏幕上显示的图像数据；将RGB三基色的数字信号转换为模拟信号，协助CPU完成图像的生成和修改(更新)图形卡及CRT显示器的分辨率、帧频、扫描方式、彩色空间等与视频信号差异较大，为了在图形/图像显示设备上监看输入的视频信息,图形控制卡的结构必须进行修改和扩展;2022/11/2242南京大学多媒体研究所(1)图形/视频简单叠加方案要求视频的时序必须与计算机图形数据的时序相同。如果输入视频信号是50Hz或60Hz隔行扫描方式，那么图形控制器必须也能以50Hz或60Hz隔行扫描方式操作。处理像素数据,完成γ校正,生成模拟RGB视频信号控制视频和图形数据之间的切换把输入视频的时序信号(HSYNC,VSYNC和像素时钟)来控制图形控制器的时序RAMDAC

MUX图形帧存储器视频解码器CRT显示器(模拟RGB）图形控制器时序发生器色键检测模拟或数字视频信号同步和时钟信号2022/11/2243南京大学多媒体研究所(2)分离的图形帧存储器

与视频帧存储器结构RAMDACMUX视频解码器CRT显示器(模拟RGB）图形控制器时序发生器色键检测模拟或数字视频信号1模拟或数字视频信号2模拟或数字视频信号3视频帧存储器逐行化处理缩放处理视频解码器逐行化处理缩放处理视频解码器逐行化处理缩放处理图形帧存储器视频帧存储器与图形帧存储器的大小一样切换或按优先权叠加定义视频窗口以双缓冲存储器方式工作,实现帧速率转换2022/11/2244南京大学多媒体研究所分离的图形帧存储器

与视频帧存储器结构功能:输入的视频信号可以与图形/图像同时进行显示;视频显示窗口可任意大小,任意位置;视频信号的帧频容易与图形显示器的帧频同步;缺点:使用额外的存储器