（通信与信息系统专业论文）视频镜头边界检测与h264至mpeg4视频转码.pdf

北京邮电大学硕上学位论文 视频镜头边界检测与h 2 6 4 至m p e g - 4 视频转码 摘要 随着信息技术的飞速发展，视频信息的采集更加容易，由此产生 了海量的视频数据和各种各样的视频应用。人们对视频数据的检索和 传输提出了更高的要求。视频镜头边界检测是进行视频分析和检索的 基础。视频转码是视频进行网络自适应传输的关键技术。 本文对视频镜头边界检测和h 2 6 4 至m p e g - 4 视频转码两个方面 进行研究和实践。 1 视频镜头边界检测 本文从当前视频镜头边界检测的主要技术出发，将影响镜头边界 检测性能的因素归纳为三点：视觉内容的表示、序列图像上下文关系 的构建和模式分类和识别方法三个方面。在此基础上考虑镜头边界检 测的特征描述、切变渐变检测策略及检测系统框架，从而提出了一种 多层次特征描述和s v m 分类的实时镜头边界检测的系统方案。为了 评估该算法，我们参加了t r e c v i d 2 0 0 7s b d 的评测。评测结果显示 本文算法的检测速度远超实时要求，对切变检测的平均查全率和查准 率都在9 6 以上，对渐变的检测效果还有待提高。 2 h 2 6 4 至m p e g 一4 视频转码 本文在比较分析h 2 6 4 和m p e g 一4 编码标准异同和常用视频转码 框架的基础上，提出了一个高效的h 2 6 4 至m p e g 4 的级联像素域转 码器框架。并针对视频转码的功能需求，实现和改进了如下视频转码 关键技术模块： ( 1 ) 针对h 2 6 4 至m p e g 4 视频转码的特点及码流结构，设计 和改进了基于线性信源的p 域模型的码率控制算法，可以对g o p 层、 帧层及宏块层进行码率控制。实验结果显示，与x v i d 的“s i n g l ep a s s 码率控制算法相比，本文提出的速率控制算法的输出码率更接近目标 码率，码率波动更平稳，输出码流的平均p s n r 值也相当。 ( 2 ) 通过统计分析方法，提出了宏块类型转换和运动矢量映射 方法。实验结果表明，与全解全编算法相比，本文算法在分辨率不变 时的转码p s n r 值下降均在0 5 d b 以内，转码速率提高了3 0 以上， 而在2 ：1 图像下采样转码中，转码速度也能提高近2 0 。 北京邮电大学硕士学位论文 ( 3 ) 在任意比率图像下采样转码中，设计了8 抽头的任意比下 采样滤波器，并采用覆盖面积加权平均法进行宏块类型转换及运动矢 量映射。实验结果表明，与全解全编算法相比，本文算法的转码p s n r 在多数情况下降约l d b 。 关键词：镜头边界检测，视频转码，速率控制，运动矢量映射，h 2 6 4 ， m p e g 4 北京邮电大学硕士学位论文 v d e os h o tb o i 粕a r yd e t e c t i o na n d h 2 6 4t o 田e g 4 e ot r a n s c o d i n g a bs t r a c t w i t hr a p i dd e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y , v i d e oc o l l e c t i o n b e c o m e se a s i e r , a n dm a s s i v ev i d e od a t aa n da l lk i n d so fv i d e oa p p l i c a t i o n s h o wu p p e o p l ep u tf o r w a r dh i g h e rr e q u i r e m e n t sf o rv i d e or e t r i e v a la n d t r a n s m i s s i o n v i d e os h o tb o u n d a r yd e t e c t i o ni st h eb a s i so fv i d e oa n a l y s i s a n dr e t r i e v a l v i d e ot r a n s c o d i n gi st h ec r i t i c a lt e c h n i q u ef o rv i d e o t r a n s m i s s i o nw i t hn e t w o r ka d a p t a t i o n v i d e os h o tb o u n d a r yd e t e c t i o na n dh 2 6 4t om p e g 4v i d e o t r a n s c o d i n ga r es t u d i e da n di m p l e m e n t e di nt h i sp a p e r 1 v i d e os h o tb o u n d a r yd e t e c t i o n b a s e do nt h ea n a l y s i so fp r e s e n tm a i nm e t h o d so fs h o tb o u n d a r y d e t e c t i o n ，t h i sp a p e rc o n c l u d e st h r e ep o i n t so fs h o tb o u n d a r yd e t e c t i o n p e r f o r m a n c e a f f e c t i o nf a c t o r s ：v i s u a lc o n t e n t d e s c r i p t i o n ，p i c t u r e s e q u e n c ec o n t e x tc o n s t r u c t i o n ，p a t t e r nc l a s s i f i c a t i o na n dr e c o g n i t i o n c o n s i d e r i n gf e a t u r ed e s c r i p t i o n ，d e t e c t i o ns t r a t e g yo fc u ta n dg t ，a n d d e t e c t i o n s y s t e mf r a m e w o r k ，ar e a l t i m e s h o tb o u n d a r yd e t e c t i o n a l g o r i t h mb a s e do nm u l t i p l e l e v e lf e a t u r ed e s c r i p t i o na n ds u p p o r tv e c t o r m a c h i n ei s p r o p o s e d i no r d e rt o e v a l u a t et h ep e r f o r m a n c eo ft h e a l g o r i t h m ，w et o o kp a r ti nt r e c v i d 2 0 0 7s b de v a l u a t i o n t h er e s u l t s s h o wt h a td e t e c t i o ns p e e do ft h ea l g o r i t h mi sm u c hf a s t e rt h a nr e a l t i m e a v e r a g ep r e c i s i o na n dr e c a l lo fc u td e t e c t i o ni so v e r9 6 a n dg t d e t e c t i o nn e e d st ob ei m p r o v e d 2 h 2 6 4t om p e g 4v i d e ot r a n s c o d i n g a ne f f e c t i v ec a s c a d ep i x e ld o m a i nt r a n s c o d i n ga r c h i t e c h t u r ei s p r o p o s e df o rh 2 6 4t om p e g 一4v i d e ot r a n s c o d i n gi nt h i sp a p e r , b a s e do n t h ea n a l y s i so fs i m i l a r i t ya n dd i f f e r e n c eb e t w e e nh 2 6 4a n dm p e g 4a n d p o p u l a r v i d e o t r a n s c o d i n ga r c h i t e c h t u r e s c o n s i d e r i n gt r a n s c o d i n g 北京邮电大学硕士学位论文 f u n c t i o n a ln e e d s ，f o l l o w i n gk e yt e c h n o l o g ym o d u l e sa r ei m p l e m e n t e da n d i m p r o v e d ： ( 1 ) a ni m p r o v e dr a t e c o n t r o la l g o r i t h mw i t hg o p f r a m e m a c r o b l o c kt h r e el a y e r sc o n t r o lb a s e do nl i n e a rs o u r c epd o m a i nm o d e li s p r o p o s e d ，c o n s i d e r i n gt h e c h a r a c t e r i s t i co fh 2 6 4t om p e g 一4v i d e o t r a n s c o d i n ga n di n p u tb i ts t r e a mc o d i n gt y p e e x p e r i m e n tr e s u l t ss h o w t h a t ，c o m p a r e dw i t h “s i n g l ep a s s r a t ec o n t r o li nx v i de n c o d e r , o u t p u tb i t r a t ep r o d u c e db yt h ep r o p o s e da l g o r i t h mi sc l o s e rt ot a r g e tb i tr a t e ，b i t r a t ec h iv ei ss m o o t h e r , a n dp s n ro f o u t p u tb i ts t r e a mi sc l o s e r ( 2 ) t h i sp a p e ra l s op r o p o s e sm e t h o d so f m a c r o b l o c kt y p ec o n v e r s i o n a n dm o t i o nv e c t o rm a p p i n gb ys t a t i s t i c a la n a l y s i s e x p e r i m e n tr e s u l t s s h o wt h a tc o m p a r e dw i t hc o m p l e t ec a s c a d ep i x e ld o m a i nt r a n s c o d i n g m e t h o d ，p s n ra r eb o t hl e s st h a n0 5 d bl o w e r , a n dt r a n s c o d i n gr a t ea r e p r o m o t e do v e r3 0 a n da b o u t2 0 r e s p e c t i v e l yi nn os p a t i a lr e s o l u t i o n r e d u c t i o nt r a n s c o d i n ga n d2 ：1 s p a t i a l r e s o l u t i o nr e d u c t i o nt r a n s c o d i n g f r o mh 2 6 4t om p e g 4 ( 3 ) f o rt r a n s c o d i n g w i t h a r b i t r a r y r a t i o s p a t i a l r e s o l u t i o n d o w n s a m p l i n g ，a l la r b i t r a r yr a t i os p a t i a lr e s o l u t i o nd o w n s a m p l i n gf i l t e r w i t h8 t a pc o e f f i c i e n t s i sd e s i g n e d ，a n dw e i g h t e da v e r a g em e t h o do f m a c r o b l o c kc o v e r a g ea r e ai sa d o p t e df o rm a c r o b l o c kt y p ec o n v e r s i o na n d m o t i o nv e c t o rm a p p i n gi nt h i sp a p e r e x p e r i m e n tr e s u l t ss h o wt h a t c o m p a r e dw i t hc o m p l e t ec a s c a d ep i x e ld o m a i nt r a n s c o d i n gm e t h o d ， p s n ri sa b o u t 】d bl o w e ri nm o s tc a s e s k e yw o r d s ：s h o tb o u n d a r yd e t e c t i o n ，v i d e ot r a n s c o d i n g ，r a t ec o n t r o l ， m o t i o nv e c t o rm a p p i n g ，h 2 6 4 ，m p e g 一4 i v 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 日期： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位 本人签名： 导师签名： 适用本授权书。 日期： 日期： 第一章绪论 第一章绪论 1 1 视频镜头边界检测的研究背景及意义 在计算机和通信技术高速发展的今天，随着宽带网络技术、音视频压缩技术 以及计算机硬件技术的发展，使得电脑有足够的能力来传输和存储大容量的多媒 体数据，并能建立大规模的多媒体数据库。与此同时，对多媒体数据的需求又加 速了多媒体数据库技术的发展，而视频媒体因为其信息容量大而在其中处于重要 的地位，数字视频技术也得以迅速发展。基于内容的视频检索技术就是其中的一 个重要领域。 基于内容的视频检索可以在没有人工参与的情况下，自动提取并描述视频的 特征和内容。这是一门交叉学科，以图像处理、模式识别、计算机视觉、图像理 解等领域的知识为基础，从认知科学、人工智能、数据库管理系统及人机交互、 信息检索等领域，引入新的媒体数据表示和数据模型，从而设计出可靠、有效的 检索算法、系统结构以及友好的人机界面。目前，基于内容的视频检索研究，除 了识别和描述图像的颜色、纹理、形状和空间关系外，主要的研究是视频分割、 特征提取( 包括视觉特征、颜色、纹理和形状及运动信息和对象信息等) 、关键帧 提取和结构分析等方面。另外，由于人们习惯从高层语义来理解事物、查询信息， 视频语义概念的提取和查询也成为基于内容的视频检索重要的研究内容。 视频内涵丰富且结构复杂的特点，给视频数据的表示与检索带来了很大的困 难。因此，将视频数据进行有效的分解与组织，对视频进行结构化处理，是进行 视频分析与检索的基础。而视频镜头的分割是视频结构化处理的关键技术之一。 镜头是视频中一段连续且相似的图像的集合，是视频序列的一个基本结构。 将视频分解为一系列的镜头，是进行进一步视频分析与检索的基础。 1 2 视频镜头边界检测的研究现状 近年来随着基于内容检索技术的发展，镜头检测技术也得到了很大的进展， 并且应用在很多优秀的检索系统中。现有的镜头边界检测算法可以分为基于像素 域的方法和基于压缩域的方法两大类。 但是由于相关理论还不成熟，距离实用还有一些问题需要解决： 1 镜头渐变检测精度相对偏低：镜头切变检测的精度通常都能达到9 0 左 第一章绪论 右。但是由于视频编辑中视频编辑特效层出不穷，而通常的镜头渐变检测方法都 只适用于某一种情况下或者某一种特定的镜头渐变类型，镜头渐变的检测精度相 对偏低。 2 视频特征繁多：视频数据是海量的，其代表图像内容的特征也是多种多样 的，现有很多方法大多未给出究竟何种特征对镜头边界检测更为有效。因此，在 保持检测准确率的前提下，为提高检测效率，有必要对镜头边界的特征集进行特 征约简。然后再根据选择的特征建立相似度函数。 3 大运动降低镜头检测精度：摄像机运动、视频序列中的物体运动运动都能 造成视频帧图像的视觉内容剧烈变化，而镜头检测的基本原理是检测视频中帧与 帧之间的视觉差异。因此运动通常会造成镜头检测算法的误检测。现有的方法采 用了特征补偿以及运动检测来对视频序列中的物体运动进行消除。但是，仍然没 有非常有效的方法。摄像机运动方面也有很多的研究，但对于摄像机较大的运动 还是不能很好地检测。 4 镜头检测速度偏慢：由于视频数据的巨大数据量，每秒钟大约3 0 帧，一 般的视频长度为两小时左右，也就是2 1 6 0 0 帧，计算量非常巨大。因此对镜头检 测算法的速度要求非常高，通常的算法都是逐帧计算帧间相似度，速度非常慢， 不能满足实时处理的要求。 1 3 视频转码的研究背景及意义 随着通信网络技术与多媒体业务的发展，基于视频的应用越来越多。视频应 用依赖于网络和终端，要更好地促进视频应用的发展，就需要解决几个关键的问 题。一是网络的异构性。不同网络的传输带宽、信道条件和传输协议存在差异。 二是终端的差异。不同的终端计算能力不同，显示屏大小也不相同。三是视频编 码格式的多样性。现在的视频编码标准有很多，而终端可能只能支持某种特定编 码格式的视频流。为了适应在不同的网络中向不同终端传输视频，必须对视频进 行动态自适应地处理。 为了解决上述问题，可以采用几种不同的方法。 第一种方法就是将数字视频源压缩成满足各种码率、分辨率和格式的码流， 具体应用时根据实际的网络和终端条件来选择合适的码流。这种方法看似很好， 能适应各种不同的应用，但是实际上是不可行的，因为网络带宽和终端能力具有 不可预知性，所以无法预先根据这些条件来压缩视频。另外，压缩和存储具有多 种码流、分辨率和格式的视频码流，需要耗费极大的处理和存储资源。 第二种方法就是分层编码，它也是一种预先编码的方式，只不过要比前一种 方法灵活一些，因为它把视频数据分成了不重叠的基本层和增强层，基本层可以 2 第一章绪论 满足较低的需求，加上增强层信息就能满足更高的应用需求。但是分层编码要求 发送端和接收端采用相同压缩标准的视频编解码器，为了正确解码，用户需购置 额外的解码设备，对于老用户将增加较大的成本开销，这点制约了分层编码的广 泛使用。另外，分层编码的高运算复杂度也是制约其发展和应用的一个原因。 第三种方法就是采用视频转码，将已有的压缩视频转换成满足当前网络条 件、终端能力和用户需求的另一种压缩视频。最简单的视频转码方法就是先将原 始的不满足实际需求的已压缩视频完全解码，然后按照实际需求再重新压缩编码 即可得到新的码流，即传统的全解全编的方法进行转码。这种方法实现简单，但 是编码端需要重新进行运动估计，复杂度过高。事实上，现有的各种视频编解码 框架，都是采用混合预测编码模式，因此原视频流中的编码信息大部分可以被重 复利用，从而降低运算复杂度，实现快速转码。视频转码非常灵活，它可以实现 不同标准、不同码率、不同分辨率和不同帧率之间的转换。而且与可伸缩视频编 码相比，将视频转码技术用于媒体网关，终端用户的解码器不需要做任何的更改 就可以正确播放转码后的视频流，节省了终端用户的花费。所以视频转码技术具 有很高的实用价值和良好的市场前景。 1 4 视频转码的研究现状 1 4 1 同构视频转码 同构视频转码是指按相同的视频编码标准压缩的码流间的转码，即不同码 率、帧率或空间分辨率间的转码。转码一般是向低码率、低帧率或低空间分辨率 进行。因此，同构视频转码可分为码率缩减、帧率缩减和分辨率缩减转码，当然 也存在上述3 种情况同时进行的情况。分辨率( 空间分辨率、时间分辨率即帧率) 缩减转码的关键是如何高效地从输入运动矢量中重新估计( 或映射) 目标运动矢 量。有这样一种运动矢量映射情况：输入宏块有4 个运动矢量，而输出宏块只能 有一个运动矢量。问题是如何从输入的4 个运动矢量中得到1 个目标运动矢量。 目前已提出了一些策略以从输入矢量中合成目标运动矢量，主要有：1 ) 从4 个 输入矢量中随机选择一个【l 】( 因为相邻宏块的运动矢量通常是相似的) ；2 ) 在 考虑预测误差基础上进行加权平均【2 】，例如中值滤波、取平均值【3 】等。上述方法 主要适用于按2 ：1 的比例缩减的情况。对于任意比例的缩减，其处理过程略有不 同，主要体现在需要考虑相应输入矢量的不均等作用【4 1 。特别是当缩减比例较高 时，一个目标矢量需要从多个输入宏块下采样得到，输入宏块的矢量将更为不一 致。对于不同帧率码流的转码，由于丢帧需要从输入视频流的运动矢量中得到一 组新的运动矢量。尽管新的运动矢量在输入的视频流中并不存在，但可以推导得 3 第一章绪论 到。对于帧率缩减转码，当丢掉的帧越多时，需要更多的修正，其修正范围可依 据运动矢量的幅度和跳过的帧数动态地进行调整。前向主要矢量选取f d v s 是 一个常见的方法【5 1 。经实验发现，在合成的运动矢量2 范围内搜索可获得接近 全搜索的性能。对d c t 域的空间分辨率缩减转码，研究者提出了一种快速的运 动矢量修正算法【6 】，它利用了相邻2 个检测点d c t - m c 的冗余。由于帧率空间 分辨率缩减，开环转码器的漂移问题将比较严重。因此，c p d t 体系结构可以取 得更好的质量。 1 4 2 异构视频转码 异构视频转码是指按一种编码标准压缩的视频流可能需要转换为另一种标 准的码流。与同构视频转码类似，它也可以分为比特率转码、帧率转码和空间分 辨率3 种情况。尽管对于比特率转码、帧率转码和空间分辨率转码，在同构和 异构视频转码中，其处理方法不尽相同，但是同构转码实现比特率缩减、帧率缩 减和空间分辨率缩减的思路在异构转码中仍然基本适用【2 】。一般来说，不同的编 码标准采用不同的编码特征，导致按不同编码标准压缩的码流语法也不尽相同， 相互兼容存在困难。另外，同一种视频编码标准还区分了不同的档次( p r o f i l e ) 和 等级( 1 e v e l ) ，以保证互操作性。因此，异构视频转码既包括了按不同编码标准压 缩的视频流相互转换，也包括了同一编码标准不同档次间的转码。因此，异构视 频转码包括以下内容【7 】：1 ) 视频流的头信息调整；2 ) 视频数据从一种语法转换 为另一种语法；3 ) 因不同的视频标准不同的系统同步所要求的必要的码流转换 和填充。其中，第1 ) 和第3 ) 所涉及的头信息调整等因计算量小可解码后再完成 语法转换，第2 ) 是最主要的。目前，m p e g 1 2 4 和h 2 6 1 3 间的相互转码已 研究较多【8 】，相对而言比较成熟。m p e g - 4 和h 2 6 4 是目前较新的视频编码国际标 准，在视频业务的各领域有着广泛的应用，它们之间的码流转换是异构视频转码 领域的研究热点。 1 5 本文的工作与安排 1 5 1 本文的研究内容 本文的研究内容分为两部分：一部分是视频镜头边界检测技术的研究和检测 系统的实现；另一部分是h 2 6 4 至m p e g 4 视频转码。 1 视频镜头边界检测 本文研究和分析了目前视频镜头边界检测的主要技术，对影响镜头边界检测 4 第一章绪论 性能的因素进行归纳整理，得到了视觉内容的表示、序列图像上下文关系的构建 以及模式分类和识别方法三个主要的影响因素。在此基础上，提出了镜头边界检 测的特征描述方法、镜头切变渐变检测策略及检测系统框架，实现了一个快速有 效的镜头边界检测系统。 2 h 2 6 4 至m p e g - 4 视频转码 本文比较了h 2 6 4 和m p e g - 4 两个编码标准的异同以及不同视频转码框架的 性能和适用性，并在此基础上设计了h 2 6 4 至m p e g - 4 的高效视频转码框架。同 时针对视频转码的几个关键算法做了实现和改进。 速率控制是视频转码研究的一个重要方面。本文从速率控制模型、目标比特 数分配两方面分析m p e g - 4 h 2 6 3 h 2 6 4 编码中的v m l 8 t m n 8 j m 等码率 控制算法的特点。在此基础上针对h 2 6 4 至m p e g - 4 视频转码特点及码流结构， 设计了基于线性信源的p 域模型，g o p 层、帧层及宏块层三层控制的码率控制 算法。 对h 2 6 4 至m p e g - 4 视频转码中的图像分辨率不变转码、2 ：l 图像分辨率 下采样转码及任意比率图像下采样转码中的图像下采样滤波器、宏块类型转换及 运动矢量映射方法进行研究。从而软件实现h 2 6 4 至m p e g 4 视频转码器。 1 5 2 论文结构安排 本文的具体内容安排如下： 第一章分别介绍视频镜头边界检测和视频转码的研究背景及意义，以及它们 的研究现状。最后简要介绍本文的研究内容和论文的结构安排。 第二章对视频镜头边界检测技术进行研究，实现快速有效的镜头边界检测系 统。 第三章从h 2 6 4 和m p e g 4 编码标准的异同、视频转码框架和视频转码关键 技术三个方面对h 2 6 4 至m p e g 4 视频转码进行研究，并给出了本文采用的 h 2 6 4 至m p e g 4 的视频转码框架。 第四章将详细阐述h 2 6 4 至m p e g 4 视频转码中的图像分辨率不变转码、2 ： 1 图像分辨率下采样转码及任意比率图像下采样转码中的图像下采样滤波器、宏 块类型转换及运动矢量映射方法及码率控制算法。 第五章全面总结本文研究成果，指出后续研究工作的方向。 5 第二章视频镜头边界检测 2 1 引言 第二章视频镜头边界检测 视频图像的一个特点是数据量很大，但同时其视觉内容常有较大的冗余。为 访问视频内容，需要对视频进行浏览和对视频信息定位，这需要将视频分解。对 视频节目，一般可将其分解为一系列基本的单元镜头。在这分解的基础上可 对视频进一步组织，以进行非线性浏览和基于内容的查询检索。镜头检测也是进 一步对视频进行分析( 如更高层次分段、情节检测等) 的基础。 镜头之间的转换方式主要有两大类：切变和渐变。其中渐变的方式类型很多， 但实际中绝大多数的镜头编辑方法都可归为3 类：切变、叠化和淡入淡出。切变 是镜头间的突然变化，在相邻的两帧图像间完成。渐变则是从一个镜头缓慢变化 到另一个镜头，常延续十几到几十帧。 镜头检测中，选取抗干扰( 如果图像噪声、亮度变化和物体运动等) 效果好 的特征和通用有效的检测方法是研究的重点。 2 2 镜头边界检测技术分析 现有的镜头边界检钡i i ( s b d ) 算法数量众多，一些研究者从镜头边界的时空特 性、视频特征的分类和提取、特征的距离度量、以及检测性能比较等诸多方面进 行了综述【9 】【1 0 】【l l 】。大多数综述将算法分为非压缩域和压缩域两类。对非压缩域的 算法又根据帧间差度量方法的差异，分为基于像素比较、基于直方图比较、基于 分块比较的等；而压缩域的算法常根据所用特征的不同，分为基于d c t 系数、 d c 系数、宏块类型、运动矢量、比特流信息等几类。这些综述详细介绍了各种 算法的优缺点，具有较大的参考价值。本章不再详尽罗列现有的各种算法，而把 目光集中在一些经典的和新近有影响的s b d 算法的分类和分析上，我们将影响 s b d 性能的因素归纳为视觉内容的表示不够理想、序列图像上下文关系的构建 不够紧密、模式分类和识别的性能有待提高三个方面，并分别加以详细阐述。 1 视觉内容的表示方法 对视觉内容的表示是s b d 的重要工作之一。视觉内容表示的好坏直接影响 算法的性能，为此研究者提出了各种表示方法，例如基于像素、基于直方图、边 缘、运动、颜色矩等。实际上，图像表示可以从内容的不变性( i n v a r i a n c e ) 和 6 第二章视频镜头边界检测 敏感性( s e n s i t i v i t y ) 两方面来分析。 基于像素来表示图像内容能够建立最简单最直接的映射，然而，像素表示法 由于捕获了图像中的所有细节，因而对于全局运动( 摄像机) 和局部( 对象) 运 动都过于敏感。于是研究者提出了统计特征法，其中，全局颜色直方图最为简单 有效而被广泛采用。全局直方图描述不同颜色分量在图像中的比例，对图像的旋 转和视角缓慢变化具有不变性【1 2 1 ，因而能够减少一部分运动带来的影响。但它 的一个明显不足之处是内容完全不同的两幅图像很可能具有相同直方图特征，因 此对同一个场景中的镜头而言，全局直方图不具备足够的区分度。因此有研究者 提出了基于块匹配( b l o c k - m a t c h i n g ) 的分块直方图来改善全局直方图在空间信 息上的缺失【1 3 1 【1 4 1 ，因而能够取得更好的效果。 此外，g a r g i 等人【1 5 】对基于r g b 、h s v 、y i q 、l 畅畅、m u n s e l l 和吃屹 六 个不同颜色空间直方图的s b d 算法性能进行了比较。结果表明，从总体上看， y i q 、工屹场幸和m u n s e l l 颜色空间精度较高，其它依次是h s v 、三屹和r g b 。 从r g b 到其他颜色空间转换的计算复杂度看，h s v 和y i q 最简单，其次是 三屹畅宰、l * u * v * f f 茸lm u n s e l l 空间。 除了颜色外，一些描述图像结构信息的特征也在s b d 中应用。例如z a b i h 等人提出的基于边缘改变率( e c r ) 的方法【1 6 】，作者通过分析连续图像亮度边缘 的变化情况来完成s b d 。在切变和渐变中，新的亮度边缘出现的位置不同于以 前的边缘，这样通过统计新进入和退出边缘像素的比例，就能检测出镜头的切变、 淡入淡出和溶化。l i e n h a r t 将该方法与基于颜色直方图的方法作了比较，结果表 明，基于边缘的方法计算量大，但性能并不优于后者【l o 】。尽管如此，边缘特征 在消除由于光照条件突然变化带来的误检上，比颜色直方图好很多。有研究者正 是利用边缘的这一优点为s b d 设计了独立的闪光检测子( f l a s h l i g h td e t e c t o r ) 来 从候选镜头边界集合中过滤掉误检的切变【1 7 l ，取得了不错的效果。 综上，色彩和结构信息都是视觉内容的重要组成，而视觉内容包含整体和细 节两个方面。当描述图像的整体时，人们希望特征具有不变性，而当描述细节时， 又希望特征能足够敏感。但一个单一的算法很难既对局部的干扰保持不变，又同 时能捕获图像细节，因此集成多个互补特征来描述视觉内容成为了一种有潜力的 方法。 2 序列图像上下文关系的构建 为了检测镜头问的变换，相邻帧之间的相似性要首先被计算出来，当图像内 容由特征表示后，图像的相似性就转换为帧间特征差异的计算上，即对特征曲线 的连续性和不连续性的计算上。当图像在一个镜头内时，特征的连续性保持一个 较高的幅值，当幅值降低时就可能出现镜头的变换。然而，只通过相邻两帧获得 7 第二章视频镜头边界检测 的帧间差曲线并不总是稳定，它经常受到运动、光照变化等因素的影响。因此一 个改进的方法是同时考虑相邻的前后多帧，这就是图像的上下文关系( c o n t e x t ) 。 现有的算法绝大部分只依靠前后两帧的差信息，只有少数研究者利用了图像的上 下文关系。 1 ) 基于帧间差的比较法 该类方法描述内容所采用的具体特征可以有所不同。基于像素的方法根据相 邻帧图像对应位置的像素差值对镜头边界进行判断；基于直方图的方法可以采用 f 测试以及直方图交等进行判断；而基于边缘的算法则可以通过计算相邻帧的边 缘改变率【1 6 1 来判断；为了减少运动的敏感性，帧间差还可以通过块匹配来实现。 帧间差法的一个主要缺点是对干扰敏感。如果序列图像中的某帧受到干扰，例如 大物体进入，那么当前帧和它的前后两个相邻帧的连续性将会突然降低，从而导 致镜头边界的误检。针对这类问题，一些研究者提出了改进的方法，如通过对原 始图像进行高斯滤波来消除部分干扰的影响【1 8 1 ；还有研究者提出一个所谓二级 差的方法【1 9 1 ，即通过对帧问差再求差值来测量特征曲线的跳变，实验结果显示 该方法能够有效减少低速运动的干扰。实际上，这些改进暗示着采用序列图像上 下文信息的必要性。 2 ) 基于上下文信息的方法 阿姆斯特丹大学h a n j a l i e 等人【2 0 】的实验指出：要有效减少不同干扰的影响， 在镜头边界检测时应该加入尽可能多的信息。也就是说，不仅是相邻两帧的变化， 而且是一个时域窗内的特征变化都应该被考虑在内。按照这一想法，有研究者提 出了一个基于上下文的内容分析框架【2 l 】：首先计算邻域窗内所有图像帧两两问 的相似性矩阵；然后利用核函数来计算窗内图像帧的连续性，改善了s b d 的性 能。 3 模式的分类和识别 在早期的算法中，基于规则的阈值法由于简单而被广泛使用，然而，此类方 法由于存在闽值选择的困难，而且鲁棒性较差，已逐渐被基于统计的机器学习法 取代。 1 1 基于规则的阈值法 此类方法要预定义一个或多个阈值，当帧间差超过该阈值，即宣布镜头变换 的出现。早期的工作多采用经验的全局阈值，但要为不同类型的视频选择合适的 阈值是很困难也是不现实的。为了克服这一缺点，自适应的阈值方法被提出。自 适应阈值的基本思想是在以当前帧为中心的一个滑动窗内计算局部阈值，这种局 部自适应策略本质就是将图像内容的上下文信息考虑在内，实验证明，该方法要 明显优于全局阈值法。然而，基于规则的阈值法仍然存在自适应阈值如何调整、 8 第二章视频镜头边界检测 运算复杂度高等问题，因此多数研究者倾向于统计的机器学习法。 2 ) 统计学习法 最近几年，研究者把s b d 看成一种模式识别问题，并借助机器学习进行分 析。模式分类方法一般有两种：生成法( g e n e r a t i v e ) 和判决法( d i s c r i m i n a t i v e ) ， 相应地分类器也分为两种：生成分类器和判决分类器。生成分类器通常更有利于 添加诸如先验知识等附加信息，有研究者将镜头的平均持续时间被作为辅助信息 加入分类器来改进检测结果【2 0 】；而基于判决模型的s b d 系统只能依赖当前特征 的变化信息。然而，先验知识假设的好坏和分类模型的条件分布往往决定了产生 模型的性斛勿，因此在使用生成分类器前必须确认先验假设的正确性，如果这 一要求得不到满足，那么判决模型将更为可靠。 目前，包括k 近邻( 1 心n ) 、k - m e a n 、支持向量机( s ) 、以及a d a b o o s t 等不同的判决法被运用来检测镜头边界。通过统计的机器学习，判决模型的多个 参数可以通过交叉验证( c r o s sv a l i d a t i o n ) 来自动选择，最优分类超平面也可以 在训练过程中自动建构。使用机器学习方法存在两个关键问题：第一个是如何为 分类器选取并构建最合适的特征矢量；第二个是如何构造一个好的训练集使得正 负样本的比例比较合适，从而获得更好的分类效果。为了解决这些问题，f c n g 等 人【2 3 】采用了一个滑动窗内的小波系数作为特征送入s v m ，而y u a n 2 4 1 等人采用 了主动学习策略来处理正负样本的不平衡。 相比于阈值法，机器学习方法让判决成为一个对镜头变换模式的识别过程， 代替了前者仅对内容变化幅度的判断。更重要的是，机器学习方法能有效地利用 图像序列的上下文信息，也能得更好的结果。 4 渐变检测方法 由于渐变的类型多样，对它的检测也存在较大难度，因此我们对渐变的检测 作进一步分析。从t r e c v i d 的测评来看【2 5 】，迄今为止，还没有任何g t 检测算 法达到c u t 检测的效果。现存的算法部分被设计来单独检测某种渐变，例如， d i s 、f o i 、w i p e 等，而另一些则可以同时检测多种渐变类型。 1 ) 溶化：在溶化的过程中，相邻的两个镜头无论在时域还是空域上都相互 混叠。有研究者基于溶化效果的制作模型提出了一个检测方法【2 6 1 ，但此方法高 度依赖色彩缩放函数的定义。因为不同的溶化效果，色彩混合的持续时间变化范 围很大，所以很难定义一种缩放函数来满足不同的溶化。此外，此方法还假设在 溶化的过程中不存在运动，而这一条件通常不满足，所以实验的结果也不令人满 意。另一种较有影响的方法是基于亮度方差的变化特性的【2 7 1 ，即在两个镜头混 合的过程中，像素的亮度方差将从溶化开始减小，到溶化的中部达到最小，作者 将溶化的检测转换成方差曲线上特殊模式的识别。 9 第二章视频镜头边界检测 2 ) 淡入淡出：有研究者通过检测两个相邻镜头间的单色帧( m o n o c h r o m e ) 来从时域和空域上区分f o i 1 2 1 ，但也造成了很多误检。l i e n h a r t 则提出首先将所 有的单色帧作为候选的f o i ，然后再用其他方法来确认f o i 9 1 。 由于检测f o i 的一个关键点是对单色帧的识别，所以一般采用颜色的均值和标准差来描述图像 内容。 3 ) 扫换：有实验结果【2 8 】显示，相邻镜头间的扫换不能在时域、但可以在空 域上很好地识别。还有研究者对不同类型的扫换( 从左到右，从上到下等) 建立 了不同的模式特征，并将扫换的检测转换成对不同的模式特征的识别【2 9 1 。 4 ) 通用的渐变检测方法 研究者通过实验发现，全局特征( 例如全局颜色直方图) 在诸如扫换、溶化 等不同类型的g t 中具有相似的特征曲线，因此，为多种g t 开发一个统一的 检测框架是可行的。例如z h a n g 等人【3 0 】提出的两次比较法( t w i n - c o m p a r i s o n ) 就能同时检测扫换、溶化，然而，它采用的全局低阈值经常将长渐变截断成两个 或多个部分；此外，在如何减小运动的敏感性上也存在困难。 综上，一个好的s b d 算法应该将视觉内容的表达、序列图像的上下文联系 和机器学习三者综合起来考虑，这正是本章工作的重点。 2 3 镜头边界检测系统框架 为了达到快速有效地检测视频镜头边界，本文设计并实现了一个基于支持向 量机( s v m ) 的视频镜头检测系统。此系统包括五个部分，分别是m p e g 解码 与特征提取模块、切变( c u t ) 检测模块、淡入淡出( f o i ) 检测模块、渐变( g t ) 检测模块和运动检测模块。切变检测模块和渐变检测模块分别使用了一个s v m 分类器。 系统框架如图2 1 所示。系统检测流程可以分为五步。1 ) m p e g 视频解码。 为了达到实时检测，我们设定了一个滑动窗来控制处理的视频帧数量。2 ) 特征 提取。对解码得到的视频数据提取视觉特征，如灰度块差值、h s v 直方图、r g b 直方图、分块灰度排序、摄像机运动参数、主导运动矢量等。相邻两帧的特征被 用于一些距离度量公式来计算帧间的不相似度，即得到帧间差特征。另外，根据 镜头内部和镜头之间的图像内容的相关性，我们为切变检测器和渐变检测器分别 构造了切变特征向量和渐变特征向量。3 ) 各个检测器对输入特征进行检测，得 到候选的切变渐变检测结果，以及运动检测和边缘变化结果。4 ) 候选切变渐变 结果过滤与融合。5 ) 为了避免连续多个渐变帧被分离在两个不同的滑动窗中， 滑动窗起始位置滑动至最后一个渐变位置，再进行下一个滑动窗内的视频处理与 镜头检测。下面将详细介绍特征提取与切变渐变检测方法。 l o 第二章视频镜头边界检测 崮 过咂囱 富 i一 叵马 2 4 多层次特征描述 囱 区自崮 过滤立一j 图2 - 1 视频镜头边界检测系统框架 f 检测结果 视觉内容包含整体和细节两方面。当描述整体时，具有不变性的特征效