多媒体技术应用课件第5章.ppt

第五章视频信号处理技术 知识要点 掌握视频信号特点级视频文件格式 理解时间和彩色掩蔽效应 理解视频信号压缩技术 理解运动图像压缩的国际标准MPEG 1 2 4 掌握视频操作的基本和方法 5 1视频信号的基本概念 5 1 1视频信号的特点视频 Video 泛指将一系列的静态影像以电信号方式加以捕捉 纪录 处理 储存 传送与重现的各种技术 画面更新率 指视频格式每秒钟播放的静态画面数量 交错扫描 是早年广播技术不发达 带宽甚低时用来改善画质的方法 循序扫描 每次画面更新时都会刷新所有的扫描线 此法较消耗带宽但是画面的闪烁与扭曲则可以减少 视频分辨率 各种电视规格分辨率比较视频的画面大小 长宽比例 传统电视与常见的电影画面长宽比例之比较长宽比 Aspectratio 是用来描述视频画面与画面元素的比例 色彩空间像素比特量 U V YIQ YUV YDbDr等模型 像素比特量 代表每个像素当中可以显示多少种不同颜色的能力 例如Y I Q为4 4 4 4 2 2 4 2 0 视频品质 可以利用客观的峰值信噪比 peaksignal to noiseratio PSNR 来量化 或借由专家的观察来进行主观视频品质的评量 视频压缩技术 MPEG 1 MPEG 2 MPEG 3等等 比特率 一种表现视频串流中所含有的信息量的方法 可变比特速率 是一种追求视频品质提升并同时降低比特传输率的手段 5 1视频信号的基本概念 5 1 1视频信号的特点 5 1 2时间域与色彩掩蔽效应 如右图所示在0 1 0 3之间对比度灵敏度较低 这表明人的感觉和光敏信号间有个延时和侧抑制 又称横向抑制 5 1视频信号的基本概念 1 时间域的掩蔽效应人眼对水平方向的敏感性高于垂直方向 人眼对垂直方向的敏感性高于对角线方向 左图看起来垂直线段比水平线段长 原因是眼睛作上下运动比作水平运动困难一些 人们看垂直线段比看水平线段费力 因而垂直线段看起来长一些 右图一条直线的中部被遮盖 看起来不再是直线了 原因是对图形左半部分 大脑首先会将左边平行线识别成由左边直线向两线之间夹角的锐角方向 逆时针方向 倾斜而成的 5 1视频信号的基本概念 人眼对图像边缘轮廓的失真敏感 存在 图像中两条边界碎片之间的一致程度决定了它们能看作一条边界的可能性 这种心理学现象 上图是一张非连续线条构成的图画 由于人类的知觉 图中缺少的线条可以从我们头脑中的知识和经验得到补充 因此每个人可以很容易地看出其英文含义为阴影SHADOW的阴影字 5 1视频信号的基本概念 德国科隆动物园的标志 不仅隐藏着长颈鹿和犀牛 大象后腿和尾巴形成的白色部分又是科隆的标志 最著名的哥特式建筑 科隆大教堂的双子塔尖 匹茨堡动物园的标志里 大树中隐藏着大猩猩和狮子 5 1视频信号的基本概念 2 彩色的掩蔽效应彩色的掩蔽效应是指在亮度变化剧烈的背景上 例如在黑白跳变的边沿上 人眼对色彩变化的敏感程度明显地降低 类似地 在亮度变化剧烈的背景上 人眼对彩色信号的噪声 例如彩色信号的量化噪声 也不易察觉 5 1视频信号的基本概念 彩色的掩蔽效应的应用在电视系统中彩色的掩蔽效应得到了充分的应用 如图所示亮度Y信号占据了主要带宽 而表示彩色的2个1 3MHz的U和V的信号则插在亮度Y信号的高频段 因为亮度信号的频谱高端信号较弱 而且间隔较大 5 1视频信号的基本概念 5 1 3视频文件的格式 因为电视视频与监控视频的环境不同 流媒体与手机视频的平台各异 高清信号与动画片的受众有别 所以 视频文件会有多种不同的格式 5 1视频信号的基本概念 1 MPEG MPG DATMPEG包括了MPEG 1 MPEG 2和MPEG 4在内的多种视频格式 MPEG 1被广泛地应用在VCD的制作和一些视频片段下载的网络应用上面 MPEG 2则是应用在DVD的制作 同时在一些HDTV 高清晰电视广播 和一些高要求视频编辑 处理上面也有相当多的应用 2 AVI可以将视频和音频交织在一起进行同步播放 这种视频格式的优点是图像质量好 可以跨多个平台使用 其缺点是体积过于庞大 而且更加糟糕的是压缩标准不统一 AVI格式视频是目前视频文件的主流 这种格式的文件随处可见 比如一些游戏 教育软件的片头 多媒体光盘中 都会有不少的AVI 5 1视频信号的基本概念 5 1 3视频文件的格式 3 nAVInAVI是NewAVI的缩写 是一个名为ShadowRealm的地下组织发展起来的一种新视频格式 它是由MicrosoftASF压缩算法的修改而来的 视频格式追求的无非是压缩率和图像质量 所以nAVI为了追求这个目标 改善了原始的ASF格式的一些不足 让nAVI可以拥有更高的帧率 4 ASFASF使用了MPEG 4的压缩算法 压缩率和图像的质量都很不错 因为ASF是以一个可以在网上即时观赏的视频 流 格式存在的 所以它的图像质量也要比VCD逊色 但比同是视频 流 格式的RAM格式要好 5 1视频信号的基本概念 5 1 3视频文件的格式 5 WMVWMV的主要优点在于 可扩充的媒体类型 本地或网络回放 可伸缩的媒体类型 流的优先级化 多语言支持 扩展性等 其压缩率甚至高于MPEG 2标准 同样是2小时的HDTV节目 如果使用MPEG 2最多只能压缩至30GB 而使用WMV HD这样的高压缩率编码器 在画质丝毫不降的前提下都可压缩到15GB以下 5 1 3视频文件的格式 5 1视频信号的基本概念 6 MOVQuickTime是Apple公司用于Mac计算机上的一种图像视频处理软件 Quick Time提供了两种标准图像和数字视频格式 即可以支持静态的PIC和JPG图像格式 动态的基于Indeo压缩法的MOV和基于MPEG压缩法的MPG视频格式 7 RA RM RAM在RealMedia规范中主要包括三类文件 RealAudio RealVideo和RealFlash REALVIDEO RA RAM 格式由一开始就是定位就是在视频流应用方面的 也可以说是视频流技术的始创者 它可以在用56KMODEM拨号上网的条件实现不间断的视频播放 8 RMVB先进之处在于RMVB视频格式打破了原先RM格式那种平均压缩采样的方式 在保证平均压缩比的基础上合理利用比特率资源 这样可以留出更多的带宽空间 而这些带宽会在出现快速运动的画面场景时被利用 这样在保证了静止画面质量的前提下 大幅地提高了运动图像的画面质量 5 1视频信号的基本概念 5 1 3视频文件的格式 9 DivX这是由MPEG 4衍生出的另一种视频编码 压缩 标准 就是使用DivX压缩技术对DVD盘片的视频图像进行高质量压缩 同时用MP3或AC3对音频进行压缩 然后再将视频与音频合成并加上相应的外挂字幕文件而形成的视频格式 10 FLVFLV就是随着FlashMX的推出发展而来的新的视频格式 其全称为Flashvideo 由于它形成的文件极小 加载速度极快 使得网络观看视频文件成为可能 它的出现有效地解决了视频文件导入Flash后 使导出的SWF文件体积庞大 不能在网络上很好的使用等缺点 5 1视频信号的基本概念 5 1 3视频文件的格式 11 F4VF4V是Adobe公司为了迎接高清时代而推出继FLV格式后的支持H 264的F4V流媒体格式 它和FLV主要的区别在于 FLV格式采用的是H263编码 而F4V则支持H 264编码的高清晰视频 码率最高可达50Mbps 12 3GP3GP是一种3G流媒体的视频编码格式 主要是为了配合3G网络的高传输速度而开发的 也是手机中的一种视频格式 3GP是新的移动设备标准格式 应用在手机 PSP等移动设备上 优点是文件体积小 移动性强 适合移动设备使用 缺点是在PC机上兼容性差 支持软件少 且播放质量差 帧数低 较AVI等格式相差很多 5 1视频信号的基本概念 5 1 3视频文件的格式 13 AMVAMV是MP3 MP4上播放的一种视频格式 AMV格式具有较高压缩比例以及画面质量 通过AMV转换工具转换出来的影音文件一分钟的容量大约在1 6MB 1 8MB左右 换算后可得知 一部256MB的视频MP3播放器可存放约130分钟的AMV格式的电影 5 1视频信号的基本概念 5 1 3视频文件的格式 5 2视频信号的压缩技术 5 2 1块匹配法与像素递归法若要保持画面中物体运动的连续性 则要求视频的帧率为25Hz 这是基于与我国电网同步 高于临界闪烁频率25Hz和保持画面中物体运动的连续性的3项要求 显然 每秒25帧的画面中有大量的冗余 因为相邻帧的前景位移是很小的 如果能将相对于当前帧的后续帧中前景看做是在当前帧物体运动后的结果 则只需确定运动物体的不断的位移量和方向即可将后续帧用一系列数字加以简化 问题是如何确定不同画面中的运动物体 1 块匹配法 块匹配算法将当前帧划分成尺寸为M N个像素的一个个像素块 并假设一个像素块内所有的像素作速度相同的平移运动 对当前帧中每一个像素块B 在以前一帧的对应位置为中心 上下左右四个方向偏开相等距离dm的范围内 即 M 2dm N 2dm 个像素的搜索区内进行搜索 寻求与其最匹配的像素块B 这一对像素块在水平和垂直方向的距离即是求得的运动位移矢量 dx dy 5 2视频信号的压缩技术 M N像块与搜索区的几何关系 5 2视频信号的压缩技术 5 2视频信号的压缩技术 对于匹配搜索算法 由于全搜索方式的计算量过大 为了加快搜索速度 人们提出了以下的算法即三步法 第一步 以起始点 i j 为中心 由MAD准则检测包括中心和外围8个方向共9个搜索点 在图5 8中以圆黑点表示 这一步中搜索间隔相对较粗 即步长较大 在图5 8中设点 i 3 j 3 在第一步中通过MAD准则检测 它的MAD值最小 而被视为位移矢量的一级近似 在图5 8中标为1 第二步 围绕点 i 3 j 3 周围再搜索8个点 在图5 8中以黑方块表示 而搜索间隔缩小一些 找到二级近似点 i 3 j 5 在图5 8中标为2 如此一直重复直到所要求的精度为止 5 2视频信号的压缩技术 三步法搜索过程示意 5 2视频信号的压缩技术 图5 8 2 像素递归法 像素递归法的具体作法是 首先将图像分割成运动区和静止区 在静止区内像素的位移为零 不进行递归运算 对运动区内的像素 利用该像素左边或正上方像素的位移矢量D作为本像素的位移矢量 然后用前一帧对应位置上经位移D后的像素值作为当前帧中该像素的预测值 如果预测误差小于某一阈值 则认为该像素可预测 无需传送信息 如果预测误差大于该阈值 编码器则需传送量化后的预测误差 以及该像素的地址 收 发双方各自根据量化后的预测误差更新位移矢量 5 2视频信号的压缩技术 5 2 2帧间预测 采用预测编码的方法消除序列图像在时间上的相关性 即不直接传送当前帧的像素值 而是传送x和其前一帧或后一帧的对应像素x 之间的差值 这称为帧间预测 当图像中存在着运动物体时 简单的预测不能收到好的效果例如当前帧与前一帧的背景完全一样 只是小球平移了一个位置 如果简单地以第k 1帧像素值作为k帧的预测值 则在实线和虚线所示的圆内的预测误差都不为零 如果已经知道了小球运动的方向和速度 可以从小球在k 1帧的位置推算出它在k帧中的位置来 而背景图像仍以前一帧的背景代替 将这种考虑了小球位移的k 1帧图像作为k帧的预测值 就比简单的预测准确得多 从而可以达到更高的数据压缩比 即具有运动补偿的帧间预测 5 2视频信号的压缩技术 MPEG三种类型图像 5 2 2帧间预测 5 2视频信号的压缩技术 具有运动补偿的帧间预测编码是视频压缩的关键技术之一 它包括以下几个步骤 首先 将图像分解成相对静止的背景和若干运动的物体 各个物体可能有不同的位移 但构成每个物体的所有像素的位移相同 通过运动估值得到每个物体的位移矢量 然后 利用位移矢量计算经运动补偿后的预测值 最后对预测误差进行量化 编码 传输 同时将位移矢量和图像分解方式等信息送到接收端 下图是具有运动补偿的帧间预测器的原理框图 5 2视频信号的压缩技术 5 2 2帧间预测 5 2 3帧间内插与运动估值 活动图像的帧间内插编码是在系统发送端每隔一段时间丢弃一帧或几帧图像 而在接收端再利用图像的帧间相关性将丢弃的帧通过内插恢复出来 以防止帧率下降引起闪烁和动作不连续 恢复丢弃帧的一个简单办法是利用线性内插 设x i j y i j 分别代表两个传输帧中相同空间位置上像素的亮度 在中间第n个内插帧对应位置的亮度z i j 可用如下的内插公式 n 1 2 3 N 1 5 2视频信号的压缩技术 带有运动补偿的帧间内插 5 2视频信号的压缩技术 5 3视频的国际压缩标准 视频压缩技术标准化有着非常重要的意义 因为不同的视频压缩技术 不同的视频格式 以及在计算机 电信以及家用电器行业中有着不同视频应用设备 只有实现标准化 才能够带动集成电路的大量生产 大幅度降低视频压缩产品成本 解决不同厂家设备的通用性 5 3 1MPEG 1压缩标准 1 MPEG 1的特点 随机访问 灵活的帧率 可变的图像尺寸 定义了I 帧 P 帧和B 帧 运动补偿可跨越多个帧 半像素精度的运动向量 量化矩阵 GOF结构 slice结构 技术细节 输入视频格式 2 应用范围 应用MPEG 1技术最成功的产品非VCD莫属了 VCD作为价格低廉的影像播放设备 得到广泛的应用和普及 MPEG 1也被用于数字电话网络上的视频传输 如非对称数字用户线路 ADSL 视频点播 VOD 以及教育网络等 同时 MPEG 1也可被用做记录媒体或是在INTERNET上传输音频 3 数据压缩的总体框图 5 3视频的国际压缩标准 4 MPEG视频数据流的分层结构 5 3 1MPEG 1压缩标准 5 3视频的国际压缩标准 5 MPEG视频压缩算法MPEG专家组对图像序列进行了分类 定义了三种类型 帧内编码的图像称为 Intrapictures I帧 前向预测编码的图像 Predictedpictures 称为P帧 双向预测编码的图像 BidirectionalPrediction 为B帧 下图是MPEG三种类型的图像及其之间的预测关系 5 3 1MPEG 1压缩标准 5 3视频的国际压缩标准 6 运动补偿由于直接将相邻的两帧相减 会产生较大的误差 由于摄像机的运动或者是画面中的运动物体 更有效的方法是 检测出帧间相应区域的位移 再比较它们之间的差值 这种方法就是基于运动补偿MC的视频压缩算法 它分三个主要步骤完成 运动估计 搜索运动矢量 基于运动补偿的预测 计算预测误差 5 3 1MPEG 1压缩标准 5 3视频的国际压缩标准 实际上 在做运动估计和运动补偿时 是以16 16的块 称宏块 逐个进行的 如下图所示 这是将当前帧划分为N N 16 16 的块 对每块在过去帧范围为的范围内进行搜索 以求得最优匹配 从而得到运动矢量的估值 dx dy 衡量匹配好坏的准则可以是均方误差最小准则 搜索方法可以是全局搜索法 即对搜索范围内的每一点都计算均方误差 选最小值即对应最优匹配 如下图所示 5 3 1MPEG 1压缩标准 5 3视频的国际压缩标准 7 缩减空间冗余度静态图像与运动视频信号都具有相当高的的空间冗余度 降低空间冗余度的方法很多 因为运动补偿是基于宏块的 所以也应该采用宏块为单元的处理技术 在这些方法中 变换编码和矢量量化编码技术较为常用 混合采用变换编码 基于视觉加权的标量算法和行程编码等技术 整个过程分为三个阶段 1 基于DCT的正交变换 计算变换系数 2 对变换系数进行量化 把数据按Z型扫面顺序重组 3 变换系数按行程编码进行熵编码 已达到进一步压缩数据的目的 5 3 1MPEG 1压缩标准 5 3视频的国际压缩标准 5 3 2MPEG 2压缩标准 H 262 1 MPEG 2标准的基本算法 MPEG 2标准的基本算法也是运动补偿的预测和带有DCT的帧间内变长编码 与MPEG 1的主要区别是 1 能够有效地支持电视的隔行扫描格式 2 支持可分级的可调视频编码 这适用于需要同时提供多种质量的视频业务的情况 5 3视频的国际压缩标准 2 空间可扩展性 增强层用以提供更高的空间分辨率 空间可扩展性编码首先对原始视频图像进行子采样得到低分辨率的图像 编码得到基本层码流 然后对基本层视频进行空间插值后与原始视频求差值 编码得到增强层码流 5 3 2MPEG 2压缩标准 H 262 5 3视频的国际压缩标准 3 时间可扩展性 增强层用以提供更高的帧速率 时间可扩展性编码通常是通过增加B帧来实现的 首先对原始信号进行时间分离 基本层编码器输出与原始信号空间分辨率相同但帧速率降低的基本层码流 然后可以用基本层的先前的和后续的I帧或P帧对增强层的B帧进行预测 对相应运动补偿数据编码输出增强层码流 由于B帧并不作为其他帧的参考帧 在传输中丢失后也仅仅会降低帧速率 而影响不到其他帧的质量 5 3 2MPEG 2压缩标准 H 262 5 3视频的国际压缩标准 5 3 3MPEG 4压缩标准 MPEG 4标准主要应用于视频电话 视频邮件 电子新闻等 它更适于交互视音频服务以及远程监控 是第一个使用户由被动变为主动的动态图像标准 它起初定位在低比特率传输 移动应用时为4 8 64kbps 对于其他应用最高2Mbps 但目前 MPEG 4视频的比特率可覆盖很宽的范围 为5kbps 10Mbps 5 3视频的国际压缩标准 一 MPEG 4标准基于对象的视频编码MPEG 4标准可以对视频对象VO进行插入 删除 平移 旋转 缩放等简单操作 5 3 3MPEG 4压缩标准 5 3视频的国际压缩标准 MPEG 4的视频数据流与MPEG 1和MPEG 2的结构非常不同 它用如下五层来描述一个视听场景 下图是MPEG 4视频对象数据流的分层结构 1 视频对象序列VS 用以传送一个完整的MPEG 4视觉场景 可以由2D或3D的视频对象组成 通常 一个VS可以包含一个或多个自然的或合成的VO 5 3 3MPEG 4压缩标准 5 3视频的国际压缩标准 2 视频对象VO 是指场景中用户感兴趣的一个特定的物理对象或背景 可以为任意的形状 3 视频对象层VOL VOL更易于支持可扩展性编码 一个VO可包含多个采用可扩展性编码的VOL 或只包含一个不采用可扩展性编码的VOL 4 视频对象区组GOV 作为一个可选层 GOV负责将VOP编组 5 视频对象区VOP 属于相同物理对象的连续的视频对象区 VOP 组成VO 即VOP是一个特定时刻的VO 反映了这一时刻VO的形状 纹理和运动参数 通常VOP是一个任意形状的图像 在最低要求下 向下兼容MPEG 1和MPEG 2 可以将一个视频帧视作一个VOP 5 3 3MPEG 4压缩标准 5 3视频的国际压缩标准 二 MPEG 4的编码过程 5 3 3MPEG 4压缩标准 5 3视频的国际压缩标准 三 MPEG 4与MPEG 1和MPEG 2的比较与MPEG 1和MPEG 2相比 MPEG 4的特点是其更适于交互AV服务以及远程监控 MPEG 4是第一个使观看者由被动变为主动 不再只是观看 允许观看者加入其中 即有交互性 的动态图像标准 它的另一个特点是其综合性 从根源上说 MPEG 4试图将自然物体与人造物体相溶合 视觉效果意义上的 MPEG 4的设计目标还有更广的适应性和更灵活的可扩展性 5 3 3MPEG 4压缩标准 5 3视频的国际压缩标准 MPEG 4的优点 1 基于内容的交互性MPEG 4提供了基于内容的多媒体数据访问工具 如索引 超级链接 上传 下载 删除等 利用这些工具 用户可以方便地从多媒体数据库中有选择地获取自己所需的与对象有关的内容 并提供了内容的操作和位流编辑功能 可应用于交互式家庭购物 淡入淡出的数字化效果等 2 高效的压缩性MPEG 4基于更高的编码效率 同已有的或即将形成的其它标准相比 在相同的比特率下 它基于更高的视觉听觉质量 这就使得在低带宽的信道上传送视频 音频成为可能 同时MPEG 4还能对同时发生的数据流进行编码 一个场景的多视角或多声道数据流可以高效 同步地合成为最终数据流 这可用于虚拟三维游戏 三维电影 飞行仿真练习 5 3视频的国际压缩标准 5 3 3MPEG 4压缩标准 MPEG 4的优点 3 通用的访问性MPEG 4提供了易出错环境的鲁棒性 来保证其在许多无线和有线网络以及存储介质中的应用 此外 MPEG 4还支持基于内容的的可分级性 即把内容 质量 复杂性分成许多小块来满足不同用户的不同需求 支持具有不同带宽 不同存储容量的传输信道和接收端 5 3视频的国际压缩标准 5 3 3MPEG 4压缩标准 5 3 4MPEG 7压缩标准 描述多媒体内容数据的标准 满足实时 非实时以及推 拉应用的需求 MPEG 7并不是应用标准化 但可利用应用来理解需求并评价的技术 它不针对特定的应用领域 而是支持尽可能广泛的应用领域 MPEG 7潜在的应用主要分为三大类 第一类是索引和检索类应用 主要包括 视频数据库的存储检索 向专业生产者提供图像和视频 商用音乐 音响效果库 历史演讲库 根据听觉提取影视片段 商标的注册和检索 第二类是选择和过滤类应用 主要包括 用户代理驱动的媒体选择和过滤 个人化电视服务 智能化多媒体表达 消费者个人化的浏览 过滤和搜索 向残疾人提供信息服务 第三类是专业化应用 主要包括 远程购物 生物医学应用 通用接入 遥感应用 半自动多媒体编辑 教学教育 保安监视 基于视觉的控制等 5 3视频的国际压缩标准 5 3 5MPEG 21压缩标准 5 3视频的国际压缩标准 MPEG 21多媒体框架定义了7个关键要素 数字项发布 数字项识别和描述 内容处理和使用 知识产权管理和保护 终端和网络 内容表示 事件报告 数字项是MPEG 21框架中的基本单元 它由资源 原数据和结构共同组成 是一个带有标准化的结构化数字对象 其构成及与MPEG系列标准的关系 如下图所示 5 3 5MPEG 21压缩标准 5 3视频的国际压缩标准 5 3 6H 261压缩标准 H 261是第一个实用的数字视频编码标准 H 261的设计相当成功 之后的视频编码国际标准基本上都是基于H 261相同的设计框架 包括MPEG 1 MPEG 2 H 262 H 263 甚至H 264 同样 H 261开发委员会 由SakaeOkubo领导 他的日文姓名是大久保荣 的基本的运作方式也被之后的视频编码标准开发组织所继承 H 261使用了混合编码框架 包括了基于运动补偿的帧间预测 基于离散余弦变换的空域变换编码 量化 Zig Zag扫描和熵编码 5 3视频的国际压缩标准 后来的视频编码标准都可以说是在H 261的基础上进行逐步改进 引入新功能得到的 现在的视频编码标准比起H 261来在各性能方面都有了很大的提高 这使得H 261成为了过时的标准 除了在一些视频会议系统和网络视频中为了向后兼容还支持H 261 已经基本上看不到使用H 261的产品了 但是这并不妨碍H 261成为视频编码领域一个重要的里程碑式的标准 5 3 6H 261压缩标准 5 3视频的国际压缩标准 5 3 7H 263压缩标准 一 H 263标准的特点H 263标准在低码率下能够提供比H 261更好的图像效果 两者的区别有 H 263的运动补偿使用半象素精度 而H 261则用全象素精度和循环滤波 数据流层次结构的某些部分在H 263中是可选的 使得编解码可以配置成更低的数据率或更好的纠错能力 H 263包含四个可协商的选项以改善性能 H 263采用无限制的运动向量以及基于语法的算术编码 采用事先预测和与MPEG中的P B帧一样的帧预测方法 H 263支持5种分辨率 即除了支持H 261中所支持的QCIF和CIF外 还支持SQCIF 4CIF和16CIF SQCIF相当于QCIF一半的分辨率 而4CIF和16CIF分别为CIF的4倍和16倍 5 3视频的国际压缩标准 在H 261和H 263编码算法之间的主要不同 作为运动补偿 H 263使用半像素精度 而H 261使用带一个 环形滤波器 loopfilter 的全像素精度 一些部份的数据流层次结构在H 263中是可选的 所以其codec能配置为比较低的位率或比较好的误差校正 H 263包括四个可选 可协商的参数以改进性能 无限制的运动矢量模式 基于语法的算术编码模式 5 3视频的国际压缩标准 5 3 7H 263压缩标准 先进的预测模式 前向和后向帧预测 类似于MPEG中的P和B帧 借助改进的可协商的选项 H 263通常能使用少一半的位率而达到H 261一样质量的性质 H 263支持五种分辨率 除了支持H 261的QCIF和CIF外 H 263也支援SQCIF 4CIF和16CIF SQCIF约为QCIF分辨率的一半 4CIF和16CIF分别对应4和16倍CIF的分辨率 支持4CIF和16CIF意谓着codec无疑地能与其他的高位输率编码标准如MPEG等竞争 5 3视频的国际压缩标准 5 3 7H 263压缩标准 二 图像准备不像JPEG H 261定义一种非常精确的图像格式 在输入处图像刷新频率必须是30000 1001 29 97帧 s 在编码期间 可能用产生一个具有较低帧率 例如每秒10 15帧 的被压缩图像序列 图像不能够使用隔行扫描在输入处呈现到编码器 图像依照CCIR601子抽样方案 2 1 1 被编码成一个亮度信号 Y 和两个色度信号Cb Cr 此方式后来被MPEG采用 5 3视频的国际压缩标准 5 3 7H 263压缩标准 三 编码算法1 基于语法的算术编码模式定义使用算术编码代替变长度编码 这使得同一图像恢复能力具有更好的压缩效率 2 PB 帧模式通过将两个图像编码成一个单元 能够不改变位率而增加帧率 图像一定是一预测帧 或P帧 以及从前一P帧和当前P帧双向预测产生的B帧 如MPEG定义的 3 无限制的运动矢量模式为可能的运动矢量指出图像外部边界 这特别对运动方向在边沿的小图像运动有用 4 先进预测模式P 帧亮度使用交叠的块运动补偿 OBMC OverlappedBlockMotionCompensation 技术 每个宏块编码器能使用一个16 16矢量或4个8 8矢量 使用比较小的矢量需要更多的位元但是产生更好的预测 5 3视频的国际压缩标准 5 3 7H 263压缩标准 四 数据流依照H 261 H 263 一个数据流被分为一些层 底层包含被压缩的图像 数据流包含差错校正信息 虽然推荐使用外部差错校正 在H 261中的每个图像包括一个5位数 可作为临时参考 H 263使用8位图像数 在解码期间 可以向解码器发送一个命令 冻结 freeze 最后显示的视频帧 使其成为一个静止帧 这允许应用不用任何附加的力就能停止 冻结和开始 播放一个图像场景 使用编码器发送的一个附加指令 可以在静止图像和运动图像之间切换 代替使用此命令 也可以使用一个时间结束信号 5 3视频的国际压缩标准 5 3 7H 263压缩标准 5 3 8H 264压缩标准 一 H 264视频编码主要特性1 多种更好的运动估计高精度估计 在H 264中采用1 4像素的运动估计 即真正的运动矢量的位移可能是以1 4为基本单位 显然 运动矢量位移的精度越高 则帧间预测误差越小 相应数据率越低 即压缩比越高 多宏块划分模式估计 在H 264的预测模式中 一个宏块 MB 可划分成7种不同模式的尺寸 这种多模式的灵活 细微的宏块划分 更切合图像中的实际运动物体的形状 多参考帧估计 在H 264中 可采用多个参考帧进行运动估计 5 3视频的国际压缩标准 2 小尺寸4 4的变换块视频压缩编码中以往的常用单位为8 8 像素 块 而H 264中采用了小尺寸的4 4块 由于变换块的尺寸变小了 运动物体的划分就更为精确 而且图像变换过程中的计算量小了 在运动物体边缘的衔接误差也大为减少 3 更精确的帧内预测H 264中 每个4 4块中的每个像素都可用17个最接近先前已编码的像素的不同加权和来进行帧内预测 5 3 8H 264压缩标准 5 3视频的国际压缩标准 4 统一的VLCH 264中关于熵编码有两种方法 统一的VLC 变长编码 可使用一个相同的码表进行编码 而解码器很容易识别码字的前缀 另一个为内容自适应二进制算术编码 性能稍好 但复杂度较高 5 使用循环去块效应滤波器基于块的视频编码在图像中存在块效应 如果块边沿的绝对差值相对比较大 出现块瑕疵的可能性就很大 自适应去块效应滤波技术主要应用在4 4块的边缘 能有效地消除块效应 显著提高视频的主观质量 5 3 8H 264压缩标准 5 3视频的国际压缩标准 二 H 264的分层结构 5 3 8H 264压缩标准 5 3视频的国际压缩标准 H 264编码的总体框图 5 3 8H 264压缩标准 5 3视频的国际压缩标准 5 4应用与实例 视频的工具软件有很多 但是由于PremierePro具有简洁快速的特点 得到广泛的应用 下面就以PremierePro为例 讨论简单的视频处理操作 5 4 1字幕特效制作 淡入淡出滚动字幕制作实例步骤一 打开 运行premierepro 在弹出的 新建项目 窗口中 选择 自定义设置 标签 在 常规 选项中选择 编辑模式 为 桌面编辑方式 帧尺寸设置为320 240 像素外观比设置为 方形像素 1 0 名称输入 淡入淡出滚动字幕 单击 OK 进入premierepro 首先单击菜单 窗口 工作区 编辑 进入工作界面 单击 文件 导入 将 歌手大赛 AVI 视频素材导入premierepro的项目窗口 作为背景视频 将项目窗口中的 歌手大赛 AVI 剪辑拖动到时间线窗口的Video1轨道上 结果显示如下 步骤2 创建滚动字幕 单击菜单文件 新建 字幕 显示效果如下图所示 名称为 滚动字幕背景 点击 确定 字幕设计界面 在字幕设计界面单击矩形工具图标 在字幕下方制作一个矩形条 如下图所示 在右边的字幕属性参数中将填充选项中的颜色设置为蓝色 透明度设置为44 单击菜单文件 保存 如下图所示 然后将 滚动字幕背景 prtl 剪辑拖动到时间线的Video2轨道上 如下图所示 再建一个字幕文件 字幕类型设置为爬行 即横向滚动字幕效果 如图所示 单击旁边的按钮 进行设置 单击选中 开始于屏幕外 结束于屏幕外 字幕类型设置为 向左滚动 点击 确定 如下图所示 单击输入字符工具 在屏幕右下方输入 随着视频的播放 可以看见屏幕下方出现从右到左的滚动字幕 保存 并将保存的 横向滚动字幕 prtl 剪辑拖动到时间线的Video3轨道上 与Video2轨道上的剪辑对齐 若字幕在滚动过程中非常闪烁 并伴有边缘锯齿 则在Video3轨道上的 横向滚动字幕 prtl 剪辑上单击鼠标右键 在弹出的快捷菜单中选择 场选项 如右图所示 在弹出的 场选项 对话框中的处理选项中选择 总是反交错 如下图所示 步骤三制作从上到下的滚动字幕 创建一个字幕文件 将字幕制作界面左上角的字幕类型设置为 滚动 即纵向滚动字幕效果 这是字幕编辑界面会自动出现纵向滚动条 如下图所示 单击按钮进行设置 单击 开始于屏幕外 如下图所示 输入文字 注意纵向滑动条在起始位置和结束位置是字幕的位置 如图所示 保存为 纵向滚动字幕 prtl 在时间线窗口中新建Video4轨道 然后将 纵向滚动字幕 prtl 剪辑拖动到时间线的Video4轨道上 末端对齐 如下图所示 步骤四淡入淡出特效 使用PHOTOSHOP 用premierepro的抠像特效中的 轨道遮罩色键 来完成淡入淡出特效 在PHOTOSHOP中新建图片文件 名称 淡入淡出遮罩图片 宽度设为320 高度设为240 分辨率为72像素 英寸 模式为RGB 内容为白色 确定 如下图所示 有矩形选框工具在画布下方拖出矩形选框区域 单击渐变图标 在矩形区域中央拖出一段长度 这样就完成一个渐变色填充矩形 将刚才制作的渐变矩形框在复制一个 单击 编辑 变换 垂直翻转 将复制的渐变矩形框拖动到画布最上方 如下图所示 保存 步骤五添加抠像特效 回到premierepro主界面 单击 菜单 导入 导入 淡入淡出遮罩图片 jpg 将其拖到时间线上新建的Video5轨道上 末端对齐 如下图所示 下面对 纵向滚动字幕 prtl 添加抠像特效 单击 项目 窗口中的 效果 标签 如下图所示 将 视频特效 中的 键 中的 轨道蒙板键 拖动到Video4轨道上的 纵向滚动字幕 prtl 剪辑中 在打开 效果控制 设置其参数 如下图所示 在效果控制中 对 轨道蒙板键 进行参数设置 如图所示 将 蒙板 设置为 淡入淡出遮罩图片 剪辑所在轨道 Video5轨道 将 合成使用 设置为 蒙板亮度 如图所示 将Video5轨道上的图标去掉 观看预览效果如下图所示 5 4 2合成特效制作 本节中以流行动态镜框效果制作为实例 1 完成效果如下图 2 制作步骤步骤1运行PremierePro 新建一个项目文件 在弹出的新建项目窗口中单击自定义设置标签 设置常规选项 如下图所示 在常规选项中 设置编辑模式为桌面编辑模式 画幅大小为320宽 240高 像素纵横比为方形像素 名称输入 特炫流行镜框效果实例 单击确定进入PremierePro主界面 点击菜单文件 导入 将 千山 mov 剪辑导入PremierePro的项目窗口中 并将其拖动到时间线的视频1轨道上 如下图所示 单击视频1轨道上的 千山 mov 编辑剪辑选中它 再按Ctrl C组合键复制一个该编辑 下面将时间线窗口中的游标定位在时间码为 00 00 00 00 的