（通信与信息系统专业论文）数字视频监控系统后端软件设计与实现.pdf

华中科技大学硕士学位论文 摘要 厂 l 随着科学技术和经济水平的飞速发展，人们对安全防范要求也越来越高。 近年来网络通信技术、数字视频处理技术的发展以及国内各企事业单位网络 基础设旎建设的日益完善，大大促进了数字视频监控系统的研究和发展w 本文主要讨论了本视频研发中心自行开发的数字视频监控系统中的后端 软件系统的设计和实现。文中首先介绍了视频监控系统的发展现状和趋势， 然后提出了我们的自行开发数字视频监控系统的系统设计方案。在这之后介 绍了系统实现中软件部分所涉及到的两项关键技术：h 2 6 3 视频压缩标准和 i p 组播技术；同时也介绍了网络编程的基本算法和技术。文章重点在文中 的第四和第五部分。第四部分，详细讨论了视频监控软件系统的功能、体系 结构设计、应用层通信协议的设计以及数据库的设计。第五部分，分别针对 后端软件系统中的客户端、服务器、录像服务器三部分软件子系统，在实现 中一些关键的技术细节进行讨论，并就实现中遇到的一些问题进行细致的分 析和提出了我们自己的一些解决方案，如在语音传输中的去除网络抖动的影 响，视频解码显示速度自适应算法，数字地图功能，辅助调试软件开发等。 本数字视频监控系统已于去年完成系统样机的研发工作，并通过测试， r 达到设计目标。慨在该数字视频监控系统正在进行，并已基本完成设备( 包 【 、 括硬件和软件) 的产品化工作，预计将在今年投入市场。少y 关键词：数字视频监控，h 2 6 3 ，i p 组播，客户机，服务器，视音频传 输，录像 华中科技大学硕士学位论文 ! = = = = = 2 1 = ! ! ! = ! ! = ! = 。! ! = ! = = ! ! ! = = ! ! = ! = = 3 a b s t r a c t r e c e n t y e a r s ，w i t h t h eh i g h s p e e dd e v e i o p m e n to ft h e c o m p u t e r n e t w o r k t e c h n i q a e m u l t i m e d i a i m a g ec o m p r e s s i n gt e c h n i q u e a n d d i g i t a c o m m u n i c a t i o n t e c h n i q u e t h ed i g i t a l v i d e om o n i t o rs y s t a m g a i n e dg i a n tp r o g r e s s t h i st h e s ism a i n l yd i s c u s s e st h ed e s i g na n di m p l e m e n t a t i o no ft h e b a c k e n ds o f t w a r ef o rd i g i t a iv i d e em o n i t o rs y s t e m d e v e l o p m e n t0 f i ) i g i t a lv i d e om o n i t o ts y s t e mi st r a c e df i r s t t h e np r e s e n tt h es c h e m e a n dt w ok e yt e c h n o l o g yo fo u rs y s t e m s ：h 2 6 3v i d e oc o d i n gf o rl o wb i t r a t ec o m m u n i c a t i o i ns t a n d a r d ，i pm u l t i c 8 s t i n g t h i st h e s i sp l a c e s ：m p h a s i s o nc h a p t e rf o u ra n df i v e i nc h a p t e rf o u r ，w ed i s q u s st h e f u n c t i o na n da r c h i t e c t u r eo fs o f t w a r e t h ed e s i g no fa p p l i c a t i o n r o t o c o la n dd a t a b a s e i nc h a p t e rf i v e ，w ed i s c u s ss o m et e c h n o l o g i c a l d e t a i l si nt h ep r o g r a m m i n g t h is d i g i t a l v i d e om o n i t o r s y s t e mp r o t o t y p e m e e t st h ed e s i g n r e q u i r m e n ta n dw o r k sw e l l i t c o u l db ee x p e c t e dw h i c hs y s t e mw o u d b e t h r o w ni n t ot h em a r e k e tt h i sy e a r1 a t e r k e y w o r d s ：d i g i t a l v i d e o m o n i f o r ，h 2 6 3 ， i p m u l t i c a s t i n g c l i e n t s e v e r ，v i d e o & a u d i 0t r a n s m i s s i o n ，r e c o r d i n g 一- _ - _ _ _ _ - - - _ - - _ - - _ _ _ - _ _ - - _ _ _ _ - - _ _ 一 i i i 华中科技大学硕士学位论文 1 绪论 1 1 引言 随着科学技术和经济水平的飞速发展，人们对安全防范要求也越来越高。近 年来网络通信技术、数字视频处理技术的发展以及国内各企事业单位网络基础设 施建设的日益完善，大大促进了数字视频监控系统的研究和发展。比之传统的模 拟视频监控系统而言，数字视频监控系统的设备成本更低廉、性能更加可靠，对 多媒体数据的处理更加灵活方便，能满足用户的不同需求。基于这些优越性，数 字视频监控系统大有取代传统的模拟视频监控系统的趋势。基于企业内部局域网 络的视频监控系统采用先进的计算机数字化处理技术、网络通信技术、多媒体技 术、视音频压缩技术，集监视、遥控、遥测和报警于一体，实现对图像、语音、 报警和数据的实时监视、控制和传输，在电力、交通、金融等领域中有着广泛的 应用。 1 2 监控系统的发展 伴随电子技术与通信技术的发展，视频图像监控系统的发展也经历着从模拟 到数字，功能日益强大的发展的阶段。 1 2 1 本地模拟图像监视 从摄像机、电视机出现的那天起，最早的图像监视系统就己诞生。它被广泛 应用于保安、生产管理等场合。本地图像监控系统主要由摄像机、视频矩阵、监 视器、录像机等组成，由视频线、控制线缆等连接。本地图像监控系统一般采用 模拟方式传输，采用视频电缆( 少数采用光纤) 。监控图像一般只能在控制中心查 看。模拟系统设计制造都比较简单，缺点是传送距离比较短，安装、使用以及数 据的保存都比较麻烦，主要应用于小范围内的监控，如大楼监控等。 1 华中科技大学硕士学位论文 ! = 2 1 = = ! = 1 2 1 1 1 1 1 1 = ! ! = ! = ! ! ! = = = ! ! ! = ! = = = = ! = 1 2 2 基于p c 的多媒体数字监控系统 数字视频压缩编码技术的成熟，微机的普及化，为基于p c 机的多媒体监控创 造了条件。多媒体监控系统一般采用下面的结构：在监控现场有若干各摄像头、 检测报警探头和数据设备，通过各自的传输线路，汇接到多媒体监控终端上，多 媒体监控终端可以视一台p c 机，也可以视专用的工业机箱组成多媒体监控终端。 基于p c 的多媒体监控系统功能较强，但稳定性不够好，功耗高，需要有人值守。 1 2 3 基于网络技术的远程视频监控系统 随着技术的进步，现在出现了一种新型专用的网络化远程视频监控前端设备， 代替了视频监控系统在前端p c 机。 数字监控系统有着模拟监控系统不可比拟的优点，例如，传送距离远，图像质 量好，安装、操作以及监控数据的保存简单，组网方便灵活，应用范围广；并且 信号的数字化，使各种信号处理方便灵活；各种基于该系统平台的新功能的增加 更加简单经济。而这些正是视频监控系统的基本要求。因此，数字视频监控系统 正在全面取代模拟系统。“1 1 3 本课题研究的主要内容 凭借本实验室在数字视频方面的长期开发经验和业绩，2 0 0 1 年3 月由武汉国 测电力新技术公司提供资金，课题组开始基于局域网的数字视频监控系统的研发 工作。在我的导师一王宏远博导的领导下，课题组成员认真进行了需求分析、方 案设计和系统开发。经过近一年的努力，我们成功开发出具有自主知识产权的数 字视频监控系统( 包括前端视频编码硬件和后端软件) 。笔者作为后端软件系统开 发的负责人，与其他几位软件组同学一起完成了后端软件系统的设计和开发。在 这之中我的主要工作有：认真分析用户的需求，利用网络资源调查目前国内、国 际上的数字视频监控系统研究情况，和现有的一些视频监控系统方案。在王老师 和胡波博士的指导下进行后端软件的系统结构设计、模块划分、应用通信协议和 软件接口的制定。并针对方案设计，在p c 机上进行模拟试验，完成方案可行性论 证，同时和软件组其他同学完成软件的编制，以及和前端硬件设备进行系统联调， 并最终完成整个数字视频监控系统。 华中科技大学硕士学位论文 本文的主要内容有：一、绪论，介绍了监控系统发展状况和作者主要工作。二、 系统方案介绍，对我们开发的视频监控系统的整体方案进行介绍。三、关键技术 介绍，介绍了本系统实现过程中所用到的几项关键技术，h 2 6 3 视频压缩协议、i p 组播技术。四、软件主要功能及总体设计，描述了后端软件系统的主要功能、总 体结构设计、应用层通信协议和数据库设计。五、软件设计中的关键技术细节， 具体分析了后端各部分软件实现时的一些关键和值得探讨的一些技术细节。六、 结论和展望。 3 华中科技大学硕士学位论文 = = ! = = ! = ! ! ! = = = ! ! = ! = = ! = = = = ! ! = 2 = ! ! ! = ! = ! ! 1 2 系统方案介绍 2 1 系统应用环境 本系统主要应用于县市级变电站对其下属小型变电站的远程监控，是电力五遥 系统( 遥测、遥信、遥控、遥调、遥视) 的一个组成部分。一个典型县市级电力 局在其下级有若干小型变电站，它们在地理上往往分布较远，中心变电站要实现 对这些小型变电站的远程监控。在这些下级小型变电站和中心变电站之间的物理 通信信道，主要是以两兆的e l 通道为主，但为适应电力系统五遥系统的发展需要， 许多下级小型变电站和中心变电站之间物理通信信道正在进行或将要进行改造， 铺设l o 兆的光纤信道。这些信道将作为视频监控的专用信道。 对于我们的监控系统，我们的源端数据采集和编码设备将放置于下级小型变电 站内，编码后的数据将通过这些下级小型变电站和中心变电站之间的e 1 或光纤信 道传送到中心局端。视频数据到达中心局端后将送入中心局端的内部局域网，供 局域网上的监控计算机进行监控。监控计算机的各种控制信息也是通过小型变电 站和中心变电站间的专用信道下传到源端控制设备。 2 2 系统整体方案 此方案应用于基于t c p i p 网络的远程视频监视( 包括音频) 和遥控。该方案 涉及到网络通信技术、多媒体技术、视音频压缩技术，集监视、遥控、遥测和报 警于体，实现对图像、语音、报警和数据的实时监视和控制，同时包括视频录 像和回放，服务质量的保证，较强的安全性能和一定的网络管理功能。整个系统 建立在比较完善的i n t r a n e t 基础上，可以充分利用现有的物理网络，具有较强的 适应性和延展性。对于应用层软件来说，整个网络都基于t c p i p ，只不过网络中 的某些链路可能是速率相对较慢或具有完全独立的双向信道。从层次上系统可划 分为源端模块( s o u r c e ) 、源端子网( s n e t ) 、用户子网( u n e t ) 、主网( n e t ) 。 2 2 1 源端模块 源端模块位于被监控端，用于产生视音频流及其它数据，并接收用户或系统 4 华中科技大学硕士学位论文 发出的控制命令控制云台及其它设备， 图2 1 源端模块 粗线为数据流，细线为控制流，箭头为传输方向。虚线框内为我们自行开发 的硬件设各。 源端模块，它通常装在小盒子中并挂于某个摄像头附近。多个视音频信号通 过模拟线路分别进入s w i t c h ( 切换矩阵) 中，s w i t c h 输出的云台控制线通过r s 4 8 5 线路控制云台，也可以将多种线路合并。s w i t c h 接受婀乙( m i c r oc o n t r o lu n i t ) 的控制，将所需的一路视音频送入后级模块编码。同时，s w i t c h 将m c u 送来的云 台控制信号转发给相应的云台。在局域网较完善的被监控点，可以将每路视音频 信号分别编码，即取消s w i t c h 模块，将一路视音频直接送入后级模块编码。每个 摄像头附近安装一个s o u r c e 模块，编码完后就近接入局域网，这样既减少了重新 走线长度，也使得用户有可能同时监视多个点。在没有局域网的被监控点，可采 用p s t n 或c d m a 等有线或无线接入。由于信道速率很低，用户只能同时监视一个 点，所以可采用s w i t c h 以降低成本。也可以将上述两种方法结合起来。 2 2 2 源端子网 地理上相对集中的s o u r c e 构成s n e t ( 源端子网) ，并通过路由器或交换机接 入到i n t r a n e t 。一个s n e t 配备一个d s ( d i s t r i b u t i v es e r v e r ) 来管理此子网内 s o u r c e 。 一一 华中科技大学硕士学位论文 2 = ! = = = = = ! = = 2 = ! ! ! = = = = ! ! = = = ! = = 1 2 = = ! ! = ! 1 2 = 图2 2 源端子网( s o u r c en e t ) 对于局域网较完善的被监控地点，将若干s o u r c e 通过h u b 连接到路由器或交 换机。由于局域网具有足够的带宽，每个s o u r c e 连接一个摄像头，这样用户有可 能同时收看多路图像。对于没有局域网但有电话线的被监控地点，可采用p s t n ( i s d n 、a d s l 等) 连接到路由器或交换机。对于没有局域网和电话线的被监控地 点，可采用c d f a 等无线方式连接到路由器或交换机。如果带宽有限，只能传输一 路视频的接入方式，s o u r c e 可接多个摄像头，然后根据需要进行切换。如果可同 时传输多路视频，则可用多个d s p 同时压缩，然后经一个m c u 传输上网。d s ( 分 布服务器) 配置和管理同一个s n e t 中的s o u r c e 。对于某些功能，d s 可以不用( 或 很少) 和中心服务器( g a t e k e e p e r ) 交互就能直接配置和管理s o u r c e ，减轻中心 服务器( g a t e k e e p e r ) 负担。d s 同时还负责该s n e t 内的录像，如果用户要求对 该s n e t 的某个s o u r c e 录像，贝q s o u r c e 发出的视频流可直接送往该s n e t 内的d s ， 这些视频流不会流到其它网络，即不会加重其它网络的负载。d s 也还可以完成 p s t n 或c d m a 的接入转换。 2 2 3 用户子网 用户子网由相对集中的用户计算机构成。 一- _ - _ _ _ _ _ - - 一 6 华中科技大学硕士学位论文 图2 3 用户子网 用户通过用户计算机接收视音频，发出控制命令。这些用户计算机通过局域 网( 例如e t h e r n e t ) 连接到i n t r a n e t 。用户通过在用户计算机上键入用户名和密 码向中心服务器( g a t e k e e p e r ) 申请登录认证，一旦通过登录认证，用户就可以 在权限允许范围内接收视音频信号和控制相应设备。 2 2 4 主网 主网由若干s n e t 和u n e t 以及一个g k ( 中心服务器g a t e k e e p e r ) 组成。 图2 - - 4 主网( n e t ) n e t ( 主网) 以i n t r a n e t 为核心，若干s n e t $ f l u n e t 以及一个g k 接入到 i n t r a n e t 。g k 在物理上可靠近某个u n e t 甚至可安装在某个u n e t 内，它用于管理 7 华中科技大学硕士学位论文 = = = = ! = = = = ! ! = ! = ! ! ! ! ! ! ! = ! = ! ! ! = = = = = ! ! ! = = = ! ! ! = ! 用户权限以及其它一些全局集中策略。为了减轻g k 的负担，可将一些工作分布给 d s 。 2 3 硬件编码器方案 从市场上已经开发的数字视频监控系统来看，对于视频编解码部分采用下列几 种形式：1 采用硬件编码和硬件解码方案实现，即使用专用芯片对运动图象进行 一 p e g 方法或者h 2 6 3 标准压缩；2 采用硬件编码和软件解码方案，如采用小波 压缩方法进行单帧图象压缩；3 采用软件解码和软件编码方案，利用p c 机视频采 集技术进行各种动态图象压缩方法。我们采用的是第2 种相对折中的方法，硬件编 码，软件解码，而且采用d s p 的设计方案进行视频压缩，这种方法灵活多变，升级 潜力大，这种方案在市场上还未见到成熟产品。 t i 的c 6 0 0 0 系列是前端压缩编码的首选芯片，我们选用的t m s 3 2 0 c 6 2 1 l 是一 款较高性价比的d s p ，是c 6 2 0 x 系列的简化产品。其特点是：体系结构采用 v e l o c i t i 超长指令集内核( v l i w ) ，片内有8 个并行处理单元，在最高频率上峰值运 算速度达到1 3 3 3 m i p s ；片内集成2 级存储器3 2 k b i tl i d 数据c a c h e ；3 2 k b i tl i p 程 序c a c h e ；5 1 2 k b i tl 2c a c h e p ；集成3 2 位外部存储器接口( e m i f ) ；外部数据 传输e d m a 方式；还有多功能串行口( m c b s p ) ，中断控制器以及主机接口( h p i ) 下图是编码器的系统方案结构图： 接口 图2 5 编码器的系统方案结构图 一_ _ - - - _ _ - i - - _ _ _ _ _ - _ _ _ _ _ _ _ - - _ - _ _ - _ _ - 一 8 华中科技大学硕士学位论文 前端摄像头的模拟视频信号( p a l 或n t s c 带4 ) 进来后，e 自p h i l i p s 公司的专用 视频解码芯片s 从7 ll l a 进行数字采集的处理，并采用同步f i f o ( s y n c h r o n y c l o c k e df i f o ) 对视频数据进行缓冲，再利用d s p 的s b s r a 的端口读出。音频模 拟信号经过p c m 的a d 量化后，以6 4 k b i t 的速度通过d s p 的同步串口( m c b s p ) 输入。 d s p 的编码数据输出通过灵活方便的主机接口( h p i ) 传输到以1 4 p c 8 5 0 为核 心的嵌入式网络处理器，进行t c p i p 的协议打包。m p c 8 5 0 可以同时提供以太网以 及e l 等常见接口。同时它还可以作为主机( h o s t ) 通过h p i ( h o s tp r o c e s s i n t e r f a c e ，1 6 位宽度的并行端口) 与d s p 连接，主机掌管该接口的主控权，通过 它可以直接访问d s p 的存储空间。 c 8 5 0 微处理器是一个多用途的通用芯片，它内 部集成了微处理器和常用外围组件，可应用于各种通信控制领域。它是r 1 , f f c 8 6 0 应 用于通信系统的低成本实现，具有更高的性价比，并在通信方面有所增强，比如 通用串行总线( i ：s b ) 的支持。m p c 8 5 0 集成了嵌入式p o w e r p c 核( e m b e d d e dp o w e r p c c o r e ) 、系统接口单元s i u ( s y s t e mi n t e r f a c eu n i t ) 和一个为通信使用的专门的 r i s c 的通信处理器模块c p m ( c o m m u n i c a t i o np r o c e s s o rm o d u l e ) 。m p c 8 5 0 的c p m 支持7 个串行通道：两个串行通信控制器( s c c ) ，支持以太网传输，一个通用串 行总线通道( u s b ) ，两个串行管理控制器( s i c ) ，一个1 2 c ( i n t e r i n t e g r a t e d c i r c u i t ) 接口，和一个串行外围接口电路( s p i ) 。还包括一个时隙分配器( t i m e s l o ta s s i g n e r ) 。允许s c c 和s m c 复用和( 或) 非复用，支持e 1 传输。由于c p m 分 担了嵌入式p o w e r p c 核的外围工作任务，这种双处理器体系结构比传统体系结构的 处理器具有更高的效率。 在本方案中，m p c 8 5 0 ，还可以根据从网络上接收的用户控制命令，控制s w i t c h 的切换和云台的转动。m p c 8 5 0 还从网络上接收q o s 命令，从而控制d s p 的视频压 缩比和q o s 整形参数。如果存在其它设备，其它设备可通过串口( r s 2 3 2 ) 或通用 i o 口( p i o ) 来向m p c 8 5 0 发送数据和接收m p c 8 5 0 的控制，m p c 8 5 0 将数据转发 到网络或从网络上接收用户对其它设备的控制命令。”1 2 4 软件方案 本系统软件主要分为四个子系统( 不包括前端d s p 的h 2 6 3 视频编码软件) ：源 端i h p c 8 5 0 控制部分软件、客户端软件、中心服务器端( g a t e k e e p e r ) 软件以及分 布式服务器端( d i s t r i b u t i v es e r v e r ) 软件。软件的主要功能包括音视频数据在 华中科技大学硕士学位论文 网络上的传输，在用户端的解码及显示，对源端设备控制( 如编码器控制、云台 控制等) ，视频录像、备份及管理，对用户权限管理和对系统报警的处理。详细软 件方案将在第四章中介绍。 在软件结构设计上我们借鉴了经典的网络通信协议软件的分层设计思想，四 部分软件子系统的软件结构模型如第四章图4 - l 所示。“1 华中科技大学硕士学位论文 3 关键技术介绍 基于电力系统网络的视频监控系统采用先进的计算机数字化处理技术、网络通 信技术、多媒体技术、视音频压缩技术，集监视、遥控、遥测和报警于一体，实 现对图像、语音、报警和数据的实时监视和控制，在电力、交通、金融等领域中 有着广泛的应用。本系统关键技术亦可以应用于其它领域，如：可视电话业务、 多媒体会议系统、远程医疗系统、远程教学系统等。在本系统的实现中对于视频 图像的压缩采用的是h 2 6 3 视频压缩标准，对于图像的传输采用的是i p 组播方式 进行传输。下面对这两个方面技术以及网络编程技术进行介绍。 3 1h 2 6 3 协议介绍 近1 0 年来，随着视频应用的日益普及，人们制定了一系列视频编码标准。最 著名的两个标准化组织分别是i s o i e cm p e g 活动图像专家组和i t u t 视频编码专 家组。i s 0 i e c 冲e g 推出的编码协议包括, d p e g l 、淝p g 2 、m p e g 4 等；i t u - t 先后 制定的标准有h 2 6 1 、h 2 6 3 、h 2 6 3 + 和h 2 6 3 + + 等。 h 2 6 3 的前身是i t u - t 于9 0 年代初制定的视频编码协议h 2 6 1 。h 2 6 3 系列编 码标准是专门针对低比特率视频通信应用制定的，已被工业界广泛采用。例如， 可视电话标准i t u th 3 2 4 ( p s t n ) 、h 3 2 0 ( i s d n ) 和h 3 1 0 ( b - i s d n ) 等均采用了 h 2 6 3 为视频部分的编码协议。1 9 9 6 年3 月推出h 2 6 3 标准第一版有4 个高级模 式。1 9 9 8 年1 月通过了h 2 6 3 第二版本，俗称h 2 6 3 + ，增加了1 2 个高级模式， 并修正了第一版中的1 个高级模式。2 0 0 0 年n 月，又讨论了h 2 6 3 第三个版本， 又称h 2 6 3 + + ，新增3 个高级模式。h 2 6 3 版本的升级主要体现在增加或修改了一 些高级编码模式，对旧版本保持兼容，但功能有了新的增强，主要体现在：提高 视频压缩效率、增强传输鲁棒性、扩大适用范围等。 3 1 1 h 2 6 3 关键技术 h 2 6 3 支持s u bq c i f 、q c i f 、c i f 、4 c i f 和1 6 c i f 等5 种分辨率。h 2 6 3 采用 的基本编码方式是帧内编码和帧间编码。帧间编码是基于运动估计和运动补偿的 帧间预测编码方法。协议本身没有规定具体运动估计算法。研究发现，运动估计 和i z i 是h 2 6 3 实现中最耗时的两个运算环节，因此人们针对这两个环节研究了 一 华中科技大学硕士学位论文 各种快速算法，以提高它们的运算效率。 3 1 1 1 快速运动估计算法 预测编码可以有效去除时间域上的冗余信息，运动估计则是预测编码的核心环 节。运动估计是要在参考帧中找到一个和当前帧图像块最相似的图像块，即最佳 匹配块。搜索结果用运动向量来表示。运动估计算法分为像素递归和块匹配两大 类。前者由于算法复杂，而且对于一些图像序列收敛速度很慢，甚至不收敛，因 而其应用受到很大限制。目前的研究热点集中在两个方面：快速搜索算法和块匹 配准则。全搜索法( f s ) 精度高，但计算量过于庞大，为了克服这个缺点，人们提 出了很多快速算法，如：三步法( t s s ) 及基于三步法的改进算法、二维对数法 ( l o g s ) 、交叉搜索法( c s ) 、四步法( 4 s s ) 、预测搜索法( p s a ) 、钻石搜索法( d s ) 等。 三步法的第一步搜索区较大，为9 9 窗，更适合于运动幅度较大的视频序列。 钻石搜索法因其搜索窗是钻石形而得名，它是基于这样一个事实：实际视频序列 中相邻两帧的相对运动幅度都比较小。钻石搜索法因其特殊的搜索窗而能很快搜 索到匹配块，因而平均搜索次数更少：同时由于3 x 3 的钻石形窗比3 3 的矩形 窗小，所以精度也更高。它是迄今为止综合性能最优的快速搜索算法之一。块匹 配准则决定何时终止搜索进程。传统上的准则有绝对平均误差函数( m a e ) 、互相关 函数( c c f ) 、均方误差函数( m s e ) 、最大误差最小函数( - e ) 等。由于传统方法没有 考虑人眼视觉特性，所以判断结果和人眼的感知相差较大。近来，人们正在努力 把人眼视觉特性引入到块匹配准则，提高恢复图像的主观感受质量。 3 1 1 2d c t 快速算法 视频图像信号在原始空间域中的能量分布比较均匀，不利于压缩编码。经过 d c t 变换之后，能量在频率域中将集中在低频部分。此外，由于人眼对高频信号不 十分敏感，编码时可以被大幅度压缩。因此d c t 变换编码可以大量去除视频信号 的空间冗余信息。 d e 快速算法大体上分为两类：间接法和直接法。间接法把其他已经存在的变 换算法( f t r 、f h t 等) 映射到d c t 计算中来，然而这又多了一个映射环节，增加了 计算的复杂度。直接法由于其简单直接，易于和具体应用结合，引起了人们的重 12 华中科技大学硕士学位论文 视，例如在h 2 6 3 应用中，人们注意到：能量集中在少部分d c t 系数上：随 着量化步长的增大，被量化为零的d c t 系数增多，而且对d c r 计算的精度要求降 低。于是提出了零系数预判策略：根据量化步长，首先对d c t 变换的输入数据分 类，对于给定的量化步长，如果将被量化为0 的系数就不必做d c t 运算，而直接 将变换结果置为0 。这样只需对部分数据进行d c t 变换，节省了大量的无效运算。 3 1 2h 2 6 3 高级模式的应用 h 2 6 3 基本框架对视频压缩能力、算法可行性等提供了基本保障。高版本h 2 6 3 除扩展适用范围外，主要通过高级模式进一步提高压缩效率、增强传输鲁棒性。 3 1 2 1 提高压缩效率 为尽量减少需要的传输资源，希望用尽量少的比特对视频信号编码，因此利 用h 2 6 3 的基本压缩技术往往是不够的。h 2 6 3 提供了许多高级模式用来提高视频 压缩比，在具体应用设计中可以选用，具体包括：高级帧内编码模式、大运动向 量模式、基于句法的算术编码模式、高级预测模式、( 增强) p b 帧模式、( 增强) 参考帧选择模式、帧间v l c 选择模式、去方块滤波器、修正量化模式等。从对压 缩效率的贡献角度看，大运动向量模式、高级预测模式和p b 帧模式和增强p b 帧 模式是最重要的4 个高级模式。 3 1 2 2 增强传输鲁棒性 由于视频传输环境方面的原因，码流到达视频接收端时可能会出现误比特、数 据包丢失等现象，此时，视频传输鲁棒性问题就突显出来了。h 2 6 3 采用了熵编码 方式以获得较高压缩效率，而熵编码的最大缺陷是对误比特十分敏感。缺省模式 下，即使h 2 6 3 码流中出现极少误比特，都可能导致视频质量严重恶化，甚至整 帧图像无法恢复。为此，h 2 6 3 利用多项高级模式增强视频传输鲁棒性，包括：大 运动向量模式、时间域、s n r 域、空间域上的分级编码模式、( 增强) 参考帧选择 模式、条结构模式、段独立解码模式、数据分割模式等。”“”“1 13 华中科技大学硕士学位论文 = ! = = = = = ! ! = ! = ! ! ! = ! ! = = = ! = = ! ! = = = ! = ! ! = = = = ! = ! ! = = = = ! = = = ! ! = = ! = = 3 1 3h 2 6 3 协议码流格式0 1 上面介绍了h 2 6 3 支持s u bq c i f 、q c i f 、c i f 、4 c i f 和1 6 c i f 等j 种分辨率。 下表列出了这五种图象格式的每行象素个数和行数： 表3 一tf l2 6 3 各种图象格式表 图象格式亮度取样的亮度取样的色度取样的象色度取样的行数 象素个数行数( d y )素个数( d x 2 )( d y 2 ) ( d x ) s u b q c i f1 2 89 6 6 44 8 q c i f 1 7 61 4 48 87 2 c i f3 5 22 8 81 7 61 4 4 4 c i f7 0 45 7 63 5 22 8 8 1 6 c i f1 4 0 81 1 5 27 0 45 7 6 3 1 3 1h 2 6 3 帧结构 h 2 6 3 标准中每帧图像都被分为许多块组。一个块组( g o b ) 由k x1 6 行组成。k 值由图像格式决定( 对s u b q c i f ，q c i f 和c i f 格式而言k = 1 ，对4 c i f 而言k = 2 ，对1 6 c i f 而言k = 4 ) 。每幅图像的g o b 个数是：s u b q c i f 格式6 个；q c i f 格 式9 个；c i f 、4 c i f 和1 6 c i f 格式1 8 个。g o b 的编号方式是按对g o b 块由上而下 的垂直扫描进行，最上的g o b 块为0 号，以最下的g o b 块结束。每个0 0 8 的数据 包含了一个g o b 头( 也许是空的) ，紧接着是宏块数据。g o b 数据按g o b 编号依次 传送。每个g o b 被分为多个宏块。每个宏块包含1 6 行每行1 6 个象素的y 信息， 和8 行每行8 个象素的c 。和c 。信息。每个宏块包含四个亮度块和两个空间相关的 色差块。每个亮度块或色度块包含8 行每行8 象素的y ，c n 或c a ，在s u b q c i f ，q c i f 和c i f 格式中，一个g o b 包含一个宏块：在4 c i f 格式中有2 个宏块；在1 6 c i f 格 式中有4 个宏块。 3 1 3 2h 2 6 3 码流格式 h 2 6 3 视频流数据是通过一个四层的分层结构来管理的。从上到下，这四个层 l4 华中科技大学硕士学位论文 分别是：图象块组，宏块，块。 图像层： 每帧图象的数据包含一个图象头，并紧跟着块组数据，最后是一个 e n d o f - s e q u e n c e 码和填塞位。下图说明了这个结构。p s b l 只有在被c p m 说明后 才出现。c p m 、t r b 和d b q u & n t 只有在p t y p e 指明了p b 帧才出现。p s p a r e 和 p e t 的组合不可以出现。e s t u f 只有在e o s 出现才可以出现。不传送丢失帧的图象 头。 口五玉丑王王圈圈 叵圈 图象层结构 图像开始码( p s c ) ( 2 2b i t s ) p s c 是一个2 2 比特的字段。它的值是0 0 0 00 0 0 00 0 0 00 0 0 0l0 0 0 0 0 。所有 的图像开始码都应该以字节对齐。这通过在开始码之前插入p s t u f 来完成，因此 开始码的第一位是一个字节中的第一位( 也是最重要的一位) 。 时域参照( t r ) ( 8b i t s ) 一个8 比特的数可以有2 5 6 种可能值。通过将它在前一帧传送的图像头中的 值加l 再加未传送的帧数( 以2 9 9 7h z 计) 来形成这个值。只对8 个l s b 进行计 算。在可选的p b 帧模式下，t r 只指定p 帧地址：对于b 帧的时域。 类型信息( p t y p e ) ( 1 3b i t s ) 关于整帧图象的信息： 位l始终为“l ”，为了避免混淆开始码。 位2始终为“0 ”，与h 2 6 1 相区别。 位3屏幕分割指示位，“0 ”关，“l ”开。 位4文件相机指示器，“0 ”关，“l ”开。 位5静止图象释放位，0 关，“l ”开。 位6 - 8信源格式，“0 0 0 ”禁止，“0 0 1 ”s u b q c i f ，“0 1 0 ”q c i f ， “0 l l ”c i f ，“1 0 0 ”4 c i f ，“1 0 1 ”1 6 c i f ，“l l o ”保留， “l l l ”保留。 华中科技大学硕士学位论文 位9 位l o 位l l 位1 2 位1 3 图像编码类型， 0 i n t r a ( i p i c t u f e ) ， “l ”i n t e r ( p - p ic t u r e ) ， 可选无限制矢量模式，0 关，“l ”开。 可选基于句法的编码模式，0 关，“1 ”开。 可选高级预测模式，0 关，“l ”开。 可选p b 帧模式，“0 ”关，“l ”开。 屏幕分割指示位是一个用于表示解码图像的上下部分可以并排显示的信号。这个 位对编码和解码图像没有直接影响。 静止图像释放位是一个来自编码器并表示要求重发信息包( 如果没有得到通知) ， 或表示快速更新请求，并允许解码器从它的静止图象模式中退出而正常状态显示 编码图象。 如果6 8 位指示了和前面帧图像头中所指示的不同的信源格式，那么当前图像必 须是i 帧图像。 位1 0 1 3 表示了在编解码器之间的协商后可选模式是否被使用，如果第9 位为“o ”， 则第1 3 位也必须为0 。 量化器信息( p q u a n t ) ( 5b i t s ) 这是一个固定长度为5 比特的码字，它指示了为图像使用量化器q u a n t 直到 披更新为g q u a n t 或d q u a n t 。这个码字以二进制方式表示了q u a n t 的半步距，即从 l 到3 l 。 连续出现的多点( c p m ) ( 1b i t ) 这是一个只有一个比特位的码字，它通知了是否使用可选的连续出现多点模 式( c p m ) ；0 关，“l ”开。 图像子比特流指示位( p s b i ) ( 2b i t s ) 这是个固定长度位2 比特位的码字。只有在c p m 指示了连续出现多点模式为 有效时，这个码字才出现。这个码字以二进制形式表示图像头和后续直到下一帧 图像或g o b 开始码的信息的予比特流数。 华中科技大学硕士学位论文 b 帧的时间参照( t r 。) ( 3b i t s ) 如果p t y p e 指示了“p b 帧”则t r b 出现，并指示了从上一个i 帧或p 帧到现 在这个b 帧所未传送的帧数。这个码字以简单的二进制形式表示了未传送整数加1 。 最大的未传送帧数是6 。 b 帧的量化信息( d b q u a n t ) ( 2b i t s ) 如果p t t y p e 指示了“p b 帧”则明q u a n t 出现。在译码过程中，对每个宏块可 以得到个量化参数。p b 帧中对p 块使用q u a i n t ，对b 块使用另一个量化参数 8 q u 从t 。q u & n t 的范围是l 到3 i 。d b q u p u n t 指示了q u a u n t 和b q u m n t 之间的关系。 b q u & n t 的范围是l 到3 l ，大于3 l 的值则被剪切到3 l 。 额外插入信息( p e i ) ( 1b i t ) 这个位如果被设置位“l ”，则标志存在着后续的可选数据域。 空信息( p s p a r e ) ( 0 8 1 6 b i t s ) 如果p e i 被设置为”l ”，则后续的9 个比特位包含了8 个数据位( p s p a r e ) 和 另一个p e i 位以指示后续是否还有9 个位，。在i t u 指明之前编码器不要插 入p s p a r e 。译码器在p e i 位为“l ”时要能够分解p s p a r e 。就允许i t u 在p s p a r e 中添加向后兼容的信息。如果p s p a r e 后紧跟着p e i = o ，p s p a r e = x x 0 0 0 0 0 0 是不允 许的，以避免和开始码相混淆。 填塞( e s t u f ) ( 变长) 这是一个长度可变的包含由少于8 个“o ”位的码字。编码器可以直接在e o s 码字前插入这个码字。如果有e s t u f 则e s t u f 的最后一位应该是该字节的最后一 位( 这不重要) 。所以e o s 码字的开始处是字节对齐的。译码器应被设计成可抛弃 e s t u f 。 序列结束( e o s ) ( 2 2b i t s ) 这个码字由2 2 个比特位。它的值为0 0 0 00 0 0 00 0 0 00 0 0 0ll l l l l 。由编码 器来决定是否插入这个码字。e o s 可以是字节对齐的。在开始码前插入e s t u f 可使 开始码字节对齐。 l7 华中科技大学硕士学位论文 = = = ! = = ! = = ! ! = ! ! = = ! ! = ! = = = ! ! = ! ! ! = ! ! = = ! = = = ! = = = ! 填塞( p s t u f ) i 变长) 这是一个长度可变的包含由少于8 个0 位的码字。编码器应将这个码字插 入在下一个p s c 之前以实现字节对齐。p s t u f 的最后一位应该是该字节的最后一位， 因此包含p s t u f 的视频比特流到h 2 6 3 比特流开始处的偏移比特数是8 的倍数。 译码器应该能够抛弃p s t u f 。如果由于某些原因编码器停止编码了段时间后又继 续进行编码，编码器停止之前应发送p s t u f ，以防止出现将上一帧图象编码的最后 几位( 最多可达7 位) 保留到重新编码开始。 注：在本系统的实现中，图像层的码流格式标准对于h 2 6 3 图像数据的接收和显 示操作有着很大作用，所以这里做了较详细介绍。 块组层： 每个块组层( g o b ) 包含了一个g o b 头，紧跟着宏块数据。每个g o b 包含了一行 或多行宏块。对于每帧图像的第一个g o b ( 0 号) ，不需要传送g o b 头。而对于其 它的g o b ，g o b 头可以为空，这决定于编码策略。译码器可以通过外部手段发送信 号