（信号与信息处理专业论文）有线电视视频图像故障监测系统设计开发.pdf

商北l 业大学硕士学位论文摘要 摘要 有线电视视频监测系统对控制、提商有线电视系统的传播、播出质童，保证 良好的收视效果有着重要的作用。本文利用视频压缩、数字图像识别理论和单片 机技术，设计开发了一有线电视视频监测系统，该系统可同时监测多路c a t v 或 a v 电视节目的图像和伴音信号，实现了对图像、声鸯、非法信号入侵等故障的 自动报警功能。 首先介绍了视音频压缩卡的工作原理和结构组成，分柝了h 2 6 4 括准的帧内 预测、运动估计等算法的主要特点；讨论了数字图像识别的原理过程，对图像预 处理、闽值分割、边缘检测、特征提取等算法做了详尽论述。其次，在v i s u a l ( 汁+ 开发平台上，完成了多通道有线电视视频监测软件的系统框架和功能模块的设 计。针对电视信号出现的视频图像故障现象设计了相应的捡测算法，并将其用程 序加以实现：应用本监测软件实时地进行了大量的监澍测试，成功地实现了多种 视频图像故障的监测和报警。最后，针对有线电视前端非法信号的入侵问题，设 计了一种基于m c s 5 1 单片机的检测卡，详述了其检测鳆理和电路构成，多次测试 结果表明凌板卡有较高的检测灵敏度和准确率。 关键词：有线电视、故障监测、图像识别、单片机 西北 = ：她大学硕士学位论文摘要 j o ! 詈ii 目日e 自e e g = = t i t e 日e 日日目e t _ ! # 4 1 $ 日目目自_ 自目目j 目| j e j | = = z | z = = e i i ! 一 b s t l l 孵r v i d e od e t e c t i o nh a sa ni m p o r t a n tr o l e i nt r a n s m i s s i o na n db r o a d c a s to fc a t v s i g n a l av i d e od e t e c t i o ns y s t e mb a s e do nv i d e oc o m p r e s s i o n ，i m a g ei d e n t i f i c a t i o n a n dm c u t e c h n o l o g yi sd e v e l o p e dt om o n i t o rt h ei m a g ea n ds p e e c h ，a n dt og i v e a u t o m a t i c a l l yw a r n i n g t ov i d e of a u l to fm u t t i c e n t e rc a t vo ra v f i r s t l y , ab r i e fi n t r o d u c t i o ni sg i v e da b o u tt h es t r u c t u r ea n dp r i n c i p l eo fv i d e ) c o m p r e s s i o nc a r d m a i nf e a t u r e so fi n t r a f r a m ep r e d i c t i o na n dm o t i o ne s t i m a t eo ft h e h 2 6 4s t a n d a r da 糟a l s oa n a l y z e d a f t e rt h i s 。t h ea l g o r i t h m so fi m a g ei d e n t i f i c a t i o na l e d e t a i l e d l yr e s e a r c h e ds u c ha sp r e t r e a t m e n t , t h r e s h o l dv a l u es e g m e n t a t i o n e d g e d e t e c t i o na n df e a t u r ee x t r a c t i o n s e c o n d l y , t h em u l t i - c h a n n e lv i d e od e t e c t i o ns y s t e m a r ed e s i g n e da n dt h es o f t w a r ei sp r o g r a m m e di nv i s u a lc + + p l a t f o r m u s i n gt h e s o f t w a r em a n yk i n d so fv i d e oe l l o r sa r es u c e e s s f i a l l yr e c o g n i z e d ，l a s t l y ，am c s 51 m c uc i r c u i ti sd e v e l o p e df o rp r e v e n t i n gi l l e g a lv i d e os i g n a l , a n dt h er e s u ho fas e r i e s o fe x p e r i m e n t ss h o w st h a ti th a ss u p e r i o rs e n s i t i v i t ya n da c c u r a c y k e y w o r d s ：c a t v , f a u l td e t e c t l o n ，i m a g ei d e n t i f i c a t i o n ，m c u l l 西北工业大学硕士学位论文 第一章绪硷 1 1 有线电视及其发展 第一章绪论 电视作为一种大众化的传媒工具，以其跨时空的传播特性、超越文字的感染 能力，正在推动着人类社会在政治、经济、文化等诸方面的进步和发展。电视书 目通过作用于人们的视、听两个主要感官的实时广搔方式，已进入了全球6 0 的 家庭，遍及人们生活的许多场合。 有线电视的出现给广播电视的发展带来了“划时代意义的变革”，它具有的 信息量更大，业务内容更丰富，服务方式更灵活，观众参与性更强等特点，使其 传播的效果更好，已经成为广播电视发展的重要领域。据统计，到1 9 9 8 年底全 球有线电视用户达到2 5 8 亿户，约占全球静电视机家庭的2 6 ，其中我围约为 8 0 0 0 万户，已成为全球规模最大的有线电视用户市场。预计到2 0 0 6 年，全球有 线电视用户将达到4 4 5 亿户，届时约占全球电视钒用户的4 5 ，其中我国按年 净增5 0 0 万户保守估计也将达到1 2 亿户，仍将屠世界首位。显然，无论是现存： 还是将来，有线电视都将是最有前景的大众传媒l l j 。 有线电视的前身一共用天线系统( c a t v ：c o m m u n i t ya n t e n n at v ) 也称公用 天线系统( m a t v ：m a s t e ra n t e n n at v ) 1 2 1 ，起源于1 9 4 8 年美国宾夕法尼蹶州豹曼 哈尼i 土j 城。它由一套主接收天线接收电视信号，经与电力线共轩豹同轴电缆进行 信号传输并分配入户。但随着城市建设的逐步发展，高屡建筑物越来越多，对电 视信号形成的遮挡以及各类电波的干扰，使凇t v 系统的应用和发展受到了限制。 为解决电视信号的遮挡和干扰问题，人们一嘉在掇寻一种能有效提高电视节 目传送质量并能增加节日容量的办法，这就是电缆电视系统( c a t v ： c 曲l 。 t v ) 。电缆电视在2 0 世纪6 0 - 7 0 年代得到发展，它采用了邻频传输技术，提高 了频带利用率，增加了频道容量，同时采用了电平控制技术，提高了信号传输的 幽北：f 业火学硕士学位论文 第一章绪论 质量。它是在有线电视台( 站) 配备前端设备，并用同轴电缆做干线传输，以闭路 的方式组建电视台网络，其规模小到几十户，大到上万户。 伴随着微波技术、卫星电视技术和光纤传输技术的发展，在2 0 世纪8 0 年代 多路微波分配系统、光纤传输技术等在干线和超干线传输中的实用，使有线电视 的网络结构更为合理，规模更加扩大，大范围布网成为可能。 从2 0 世纪9 0 年代中期开始以数字化技术为核心的网络传输技术取得了突破 性进展，从而使有线电视网络处于从模拟传输体制向数字传输体制过渡的变革时 期。其标志是在大量数字传输系统实验的基础上陆续发表了一系列有线电视网 络数字阐述系统的国际标准。例如图际电联( i t u ) 在： 9 9 8 年发表的ir i u t j - 8 3 建议有线电视的电视、声音和数据分配业务数字多节目系统及其衍变和扩展 后于1 9 9 9 年初发表的i t u - t j 1 1 2 建议交互式有线电视业务传输系统。同时 进入2 0 世纪9 0 年代后的广播数字化进程加快，尤其是在国际电联发布了一系列 数字电视传输标准( a t s c 、d v b 、i s d b ) 后，主要发达国家于1 9 9 8 年底开始的数 j # 电视广播，也同样预示了今后1 0 年间，已有半个多世纪历史的模拟电视体制 终将退出历史舞台而让位给数字电视。 1 2 有线电视系统的维成与监测 1 2 。1 有线电视恭维翻孽雏娥 有线电视系统一般是由信号源、前端、干线传输和用户分配网几个子系统组 成的整体系统 3 】。雨各个系统包含多少部件、设备，将视具体需要决定。 有线电视系统的构成如雷1 1 所示。 子系警+ 一土一亍系统 子系统 监测系统； ! 一一一i 图1 1 有线电视系统的构成 2 电视州户 i 撕：l l 工业大学硕士学位论文第一章绪沧 # 篁ii 日目# = t t e | j 目目! 目$ e 目自自j 自h t e 目日| | e = # 目 e e 自e t 自自d 自e 目目目e = 自s e ! ! ! ! 自繁 前端是指在有线电视系统中，用以处理需要分配的出天线接收的各种无线信 号和自办节目信号的设备部分。它包括：天线放大器、解调器、调制器、混合器、 光发射机等。 传输系统是一个传输网，它主要是把前端接收、处理、混合后的电视信号传 到用户分配系统的一系列传输设备，主要有各种类型的干线放大器、干线电缆、 光放大器、光缆、多路微波分配系统等。 分配系统是有线电视系统的最后部分。它以广泛的分布直接将来自干线传输 系统的信号，分配传送到各家各户的电视机。它包括：光接收机、线路延长放大 器、分配放大器、分支器、分配器、电缆、用户终端等。 1 2 。2 有线窀橇熊蓝溯 为了保证电视信号的正常传播，经常需要在前端系统向传输系统提供音视 频信号时，辅助于监测环节对其图像和声音进行监测，以保证进入用户终端的音 视频信号正常无误( 如图1 1 虚线框所示) 4 - 7 o i ：- i 前，我国各级广播电视台播出、发射、检测部门以及有线电视电视剐前 端机房的电视信号监测基本采用多台监视器组成电视墙，幽值班人员耳听眼露观 察监测信号是否正常、有无不法信号的侵入：以录像带、磁带记录监测数据。其 主要缺点在于：准确性低、自动化程度麓、效率低下，同时这一传统的工作方式 存在着劳动力强度大、故障信息获取不及时、故障定位不准确等弊端，且各个单 一系统不能形成一个整体的地区性监测网络，无法实现监测数据的信息共享最大 价值。 有线电视信号监测系统能将多路电视播出的图像和声音信号以多域丽的方 式简洁形象豹显示；自动、精确、霹靠地监测多路c a t v 或a v 信号中各频道电视 节目的载波、图像和伴音信号，并且具有信号图像故障报警、非法信号入侵等功 能；在信号出现故障时能及时判定，并识别出何种故障类别；将故障发生前后的 电视信号自动记录到多媒体数据库；及时通过通信网络以手枫短信、电话语音、 光电显示等方式告知相关人员。从而全面地实现电视信号监测韵数字化、智能化、 两北：j ：业大学硕士学位论文第一章绪论 g = 目目= e ! | = e = = 口= 目目! e = j # 目= | a 目| e o 日$ 口= t e t 自e ! = e t ! 自e 自蝴i i 目= t 自= e = ! ! ! ! ! ! = = ! ! = ! = ! 网络化管理。 电视监测系统是广播电视事业极为重要的缀成部分。它对控制、改善、提高 j 。播电视的传播、发射、播出质量，核查广播电视的覆盏效果，维护广播电视的 空中无线电波秩序、严格保护并有效利用频谱资源，检测传输网络的正常运行， 保证良好的收听收视效果都有着重要的作用。同时，对于防止敌对分子破坏二r 扰 广播电视的正常播放，保证党和政府的重大政策信息及时传达到各级地方政府和 群众中都有着重大的社会意义和影响。 1 3 电视监测系统的国内外现状 目前，国内外广播电视监测系统同类或者相似产品主要有美国a v i t e c h i n e r n a t o n a lc o r p 公司的虚拟电视墙、中科大洋公司的多茵蕊监看系统、j b 京 博汇科技有限公司的多频道实时检测报警系统等产品。 其中美国a v i t e c h 的a v m s 虚拟显示墙系统通过多讯号输入、呵程序化控制， 采用a 1 1 一i n o n e b o x 、o n es c r e e n 方式，模块化视讯控制接口，满足控制中心 显示作业环境的需求。a v m s 系统可以将4 6 0 路视频信号同时显示 二同一显示 终端上，但是它没有冗余系统及显示的模扳编辑，操作不太灵活。在2 0 0 3 年美 国的n a b 展会上，l e i t c h 公司推出多匦面显示系统：s u i t - v i e w ，它采用前面 板热插拔的方式，使用维护更加方便，各种控制方式也已经具备。其具有输入信 号模拟、数字自动识别的功能。 2 0 0 3 年在c c b n 上展出的大洋多画蕊显示系统，青岛电视台在进行数字信号 监控机房设备改造的工程种采用了大洋公面的这套产品。与传统的电视墙粮比， 大洋公司研发的m a g i c w a l l 系统，每套均能监视1 6 路视频信号，在空的使用 上有明显的优势；m a g i o w a l l 本身使用的是大屏幕的筲离子戥示器，具有辐射低、 功耗和发热曩低的特点，这不仅能大幅度提高系统韵安全性，还对保护操作入受 的健康起到了很大的作用。而且，它可以解决传统电视瑙无法监视音频的问题， 在画面种显示节目的声音信号，免除了额外的音频般祝系统。m a g i c w a ll 多威面 监视控制系统可以有效的显示所监看信号的大量相关信息，并在监控信号出现错 误( 如出现信号丢失) 时提供报警功能，进行报警h 志的记录f 8 1 们。 i 撙北正业大学硕士学位论文第一章绪论 ! = = ! = = ! ! 自# e 目j _ _ 目目_ _ z = e = z t # = $ 自t 日目t = 邕ii e _ 目目 目e 目_ | 自_ e 目_ # # 女自 ! e 自 自! ! ! ! 相比而言，这些同类产晶有的监测指标比较单一或者仅针对某一具体指标 范围内的监测，国外产品功能强大，但是价格高居不下，难以满足困内f 电视监测 市场需求量日渐增长的要求。因此，研制符合我国国情、监测功能全面、价格相 对低廉同时使用简便的电视信号监测系统是十分必要的。 1 4 系统结构和功能 多通道有线电视监测系统构成：音视频服务器、多路射频放大分配器、 4 8 1 6 路a v 信号处理卡、4 8 1 6 通道射频信号实时解调器、系统报警控制器、 系统监测软件和实时网络远程客户端软件等。 系统组成如图1 2 所示： 图1 2 系统结构图 系统主要功能和技术指标： 视频监测：无视频信号、视频图像黑场、图像定帧、色彩丢失、图像滚动、 图像扭曲、电视测试卡； 音频监测：无电视伴音信号、信号刺音、声音越变； 线路检测：场强实时检测、同步丢失梭测、非法信号检测； 报警方式：现场声讯图文报警、手记短信报警； 视音频信号监测数据记录：单系统支持8 至1 6 路监测视音频数据流的采集、 髑北j 一业犬学硕士学位论文第一罩绪论 压缩、网络传输、存储、查询、编解码、播放以及对各类数据库信息和系统进行 管理。 网络数据回放：使用局域网络、广域网络，同步浏览录象服务器征在处理的 电视图像和语音信号，查询、点播磁盘中的历史声像资料库，系统可以同时支持 2 0 个授权点的浏览查询。 多通道有线电视信号监测软件是该系统的核心内容，它能实现对视频信号采 集压缩、实时播放、多种视频信号故障检测、音频信号的故障检测并提供多种报 警方式。 监测软件的功能原理图如图1 3 所示： 图i 3 监测软件系统功能原理图 1 5 本文研究的内容及章节安排 1 5 i 本文鹩研究内謇 电视嘲络输出端 本文是对多通道有线电视监测系统研发工作的总结，主要内容包括： ( 1 ) 在介绍海康威视d s - 4 0 0 0 h c 系列视音频压缩卡韵基础上，总结视音频压 6 阳北1 ：业大学硕士学位论文第一章绪论 缩卡的基本原理与结构，以及相关的h 。2 6 4 压缩标准。 ( 2 ) 在v i s u mc + + 软件平台惭础1 上完成多通道有线电视信号监测软件的系 统架构和备子模块的设计。 ( 3 ) 应用数字图像处理以及图像识别的理论方法 3 “，针对多种电视图像 故障( 无视频图像、黑场、定帧、色彩丢失、测试卡、图像滚动、图像扭曲等) 设计检测识别算法，并用程序实现。 ( 4 ) 应用本系统实时采集多路有线电视信号，进行监测测试和实例分析。 ( 5 ) 基于m c s 5 1 单片机剐设计能够预防有线电视前端非法电视信号入侵的非 法电视信号检测卡。 1 5 2 论文章节安捧 第一章前言部分，主要论述了有线电视技术及其播报监测的定义和方法，给 出了多通道有线电视信号监测系统的结构与功能。 第二章针对海康威视d s 一4 0 0 h c 系列视音频压缩卡，总结了视音频噩缩卡的 基本原理与结构，以及相关的h 2 6 4 压缩标准。 第三章基于数字图像识别的原理过程，介绍了相关的数字图像处理、分析 理论和算法。 第四章总结了有线电视信号监测软件的设计开发，说明了电视图像故障检 测算法及其设计流程。 第五章介绍了本文所开发监测软件的操作过程，提供了多种实际故障图像 的监测结果。 第六章设计了种基于m c s 5 1 单片机的非法电视信号检测卡，阐述了其设汁 原理、电路组成和测试结果 第七章总结了本文的工作，并对今后工作提出了建议。 嘲，i e 工业大学硕士学位论文第二章数字视音频雎缩卡及h2 6 4 标准 第二章数字视音频压缩卡及h 2 6 4 标准 有线电视信号监测系统软件是基于海康威视d s 4 0 0 0 h c 视音频压缩卡设计 开发的。该软件通过对来自视音频卡的音、视数据进行分析处理，实现对异常情 况的监测、报警功能。本章对d s 一4 0 0 0 h c 视音频噩缩板卡原理、结构及功能做了 详细介绍，并对相关的h 。2 6 4 压缩标准1 扣1 9 1 及其主要特性做了论述。 2 1 视音频压缩卡的结构原理 视频压缩卡是将摄像机、录像机、电视机，有线电视等输如的模拟视音频混 合信号进行压缩，然后再通过p c i 接口把征缩的视频数据传送到计算机，根据压 缩算法可以将视频存储为a v i 或者m p e g 格式钓文件。 一般来说，视音频压缩卡系统的主要由音频编鹃、视频压缩、年兕频编码、s d r a m 和p c i 接口芯片等组成，系统框图如图2 1 所示： 基本原理是：输入的模拟音、视频信号先经过解码芯片转怯为数字信号，分 为两路，一路是视频预览信号，经p c i 接口芯片赢接进入计算祝，可以在照示器 上实时监控，另一路视频压缩信号按照所需要的的格式，经视频压缩芯片完成压 8 龋北工业大学硕士学位论文篇二章数字视音频艇缩卡投h2 6 4 标准 编、音视频同步处理，再经过p c i 接口总线与预览信号复用数据线，通过p cl 总 线进入计算机进行存储【1 3 州】。 备部分的功能： ( 1 ) a d 转换：外部输入的视音频模拟信号首先进行a d 转换，视频a d 转 换采用视频信号预处理芯片，其主要作用是把输入的模拟视频信号解硒成标准 “v p o ”信号，相当于是一种“a d ”器件。经过a d 转换的数字啬视频信号分为 两路，路送p c i 接口芯片，另一路进行压缩编码处理。 ( 2 ) 压缩编码：经过a d 转换后的一路音视频数字信号被送到d s p 压缩芯片 进行m p e g - 4 压缩编码，以g 0 7 0 0 7 s b 芯片为例：g o t 0 0 7 s b 是多格式的视频压缩 编码芯片，它运用多种算法将未加工信号缓冲，匿缩成视频数据流。输出的视频 数据流可以是m p e g l 、m p e g 一2 、 i 2 6 4 或者h 2 6 3 格式，既可以通过h p i ( h o s t p a r a l l e li n t e r f a c e ) 接口输出数据，也可以通过u s b ( u n i v e r s a ls e r i a ib u s ) 接口输出。 ( 3 ) p c i 接口芯片：压缩好的视频数据流孝日预览音视频信号，通过p c i 接口 进入计算机，主要功能是：接受d s p 压缩芯片产成韵压缩数据流传输到内存；通 过视频接口接受p c i 接口芯片输出的数字视频信号，荠进行亮度、色度、饱和度 的控制，实现视频预览功能；通过音频接口，接受p c i 接口芯片输出的数字音视 频编码信号，传输到内存，实现声音监听功能。 2 海康威视压缩卡技术指标 海康威视d s 一4 0 0 0 h c 系列视音频压缩卡采用了目静最先进的h 2 6 4 ( , l p e g - 4 p a r t l 0 ) 视频压缩算法和o g g v o r b i s 音频蕊缩技术的专业数字监控产 品，完全依靠硬件实现了视频及音频的实时编码( c l f 格式2 5 帧p a l 3 0 帧n t s c ) 并精确同步，实现了动态码率、可控帧率、帧模式选择、动态图像质量控制，音 频预览、视频丢失报警、能独立谒整备遁道参数。4 0 0 h c 系列板卡在功耗大大 降低的同时提供了更高静性熊，在一块压缩卡上最多实现t 6 路c i f 分辨率的实 时编码，同时还提供更灵潘鹳配置方式，可以在4 路c l f 编码和l 路4 c l f 编码 之闻任意切换。 9 蹦北工业大学硕士学位论文第二章数字视音频雎缩卡及h2 6 4 标准 d s 一4 0 0 h c 系列板卡采用硬件的技术实现音视频编码、活动视频预览、音频 预览、运动检测，视频图像由板卡直接传送到显存，压缩的码流也由板卡直接传 送到内存，无需主机c p u 介入操作，大大节省了主机的c p u 资源，一台p c 能够 稳定、可靠地支持6 4 路音视频输入，每路都能进行实时编码，控制参数完全可 以独立可调。该系列板卡还能够和硬件解码卡配套使用，将视频输入至模拟监视 器，符合我国广电领域从模拟向数字过渡地现实情况。 主要技术指标： ( 1 ) 视频： 视频输入：l 1 6 路复合视频信号 支持制式： p a l 、n t s c 分辨率：p a l ：1 7 6 1 4 4 ( q c i f ) 、3 5 2 * 2 8 8 ( c i f ) 、7 0 4 * 2 8 8 ( 2 c i f ) 、 5 2 8 * 3 8 4 ( d c i f ) 、7 0 4 蝻7 6 ( 4 c i f ) ： n t s c ：1 7 6 1 2 0 ( q c i f ) 、3 5 2 * 2 4 0 ( c i f ) 、7 0 4 * 2 4 0 ( 2 c i f ) 、 5 2 8 * 3 2 0 ( d c i f ) 、7 0 4 * 4 8 0 ( 4 c i f ) 。 帧率： 2 5f s 、3 0f s 输出码率；3 2k b p s - - 1 0 0 0k b p s ( c i f ) 、7 0k b p s - - 4 0 0 0k b p s ( 4 c i f ) ( 2 ) 音频： 语音输入：l 一1 6 路语音线路输入 采样率： 1 6k h z 输出码枣： 1 6k b p s 特点功能： 采用h 2 6 4 ( m p e g 一4 p a r t l o ) 视频压缩标准，压缩比极高，图像质量 好。 采用o g g v o r b i s 语音压缩标准，1 6 k h z 采样，输出褐率1 6 k b p s 。 实时完成视频和音频压缩，不丢颧。 预览分辨率和编码分辨率可达4 c i f 。 兼容p c i2 2 规范，1 台p c 可支持6 4 路 支持w i n d o w s2 0 0 0 x p 操作系统。 提供完熬的s d k 开发包、d e m o 软件及其源程序。 1 0 豫此二业大学硕士学位论文第二：章数字甜音频h 兰缩卡及h2 6 4 标准 = = = ! 日t = = e e e e e 自 目，i i i , # 嚣 提供p c 完成擢放器的s d k 和网络s d k ，局域网延时不超过1 妙( 无b 帧时更短) 。 可设嚣编码的帧格式( i 、1 3 、p 帧序列) 。 可设嚣图像质量和码率。 可设置视频信号的亮度、色度、对比度。 支持运动监测。 支持0 s d 、l o g o 和区域屏蔽。 支持水印( w a t e r m a r k ) 技术。 支持双编码。 2 3 视频压编h 2 6 4 标准 h 2 6 4 标准是由i t u t v c e g 和i s o ，i e cm e p g 联合组成的j v t 开发的最新 一代视频压缩标准，是目前图像通信领域研究的热点。h 2 6 4 的编码框架与以衲 提出的标准，如：h 2 6 1 、h 2 6 3 及m p e g l 2 4 并无显著变化，也是基f ：混合编 码的方案。但是它采用“回归基本”的简洁漫计，不同众多的选项，获得比h 2 6 3 十+ 更好的压缩性能；加强了对备种信道的适应能力，采用“网络友好”的结构和语 法，有利于对误码和丢包的处理；应用目标范围较宽，可以满足不同速率、不同 解析度以及不同传输( 存储) 场合的需求。 h 2 6 4 的编解码器系统【l 蝴2 l 的原理框架图如图2 2 所示： 幽北工业大学硕士学位论文第二章 数字祝音频压缩卡驶h 2 6 4 标准 图2 2h 2 6 4 编解码器系统的原理框图 2 3 1 标准发晨历史 h 2 6 4 标准是在以前标准的基础上发展起来的，在1 9 9 5 年，n u t 所属的 v c e g 在完成h 2 6 3 标准后，为了弥补h 2 6 3 标准的缺点，增加一些耨的特性， 就开始着手制定了短期( s h o r t t e r m ) 和长期( l o n g t e r m ) 的计划。短期计划的 结果产成了h 2 6 3 + 和h 2 6 3 + + ，而长期计划的目的是形成一个与现有标准相比有 较大性能改善的新一代视频压缩标准。该标准在初期的卷定过程中形成的草案成 为h 2 6 l ，经过i t u t 所属的v c e g 和i s o i e c 所属的m p e g 以及该方面的其 他一些专家的共同努力，该标准不断的完善，最终正式的标准称为h 2 6 4 或 m p e g + 4a v c 。h 2 6 4 标准的具体发展过程如下所示： 1 11 9 9 8 年1 月，v c e g 向全世界征集视频编码方案： ，2 ) 1 9 9 8 年1 1 月，v c e g 形成了第一份正式的评价文献： 3 ) 1 9 9 9 年8 月，v c e g 形成了第一个草案文档和第个溅试模型t m l 1 ： 4 12 0 0 1 年7 月，m p e g 对“a d v a n c e d v i d e o c o d i n g ”进行招标。同年底， 在目睹了基于h h 2 6 l 标准的软件编码后的视频滚质量远远优于当时基于 m p e g 4 标准的软件编码后的视频流质量后，i s o 履e c 的m p e g 就与i t u 。t 的v c e g 联合形成了j v t 来共同研究开发该标准； 5 ) 2 0 0 2 年5 月，j v t 形成委员会草案c d ( c o m m i t t e ed r a f t ) ： 6 12 0 0 2 年5 月，j v t 形成了最终溪际标准擎案f d i s ( f i n a ld r a f t i n t e r n a t i o n a l ) ； 7 ) 2 0 0 3 年3 月，h 2 6 4 被正式确认为国际标准i s 。 2 。3 2 标准箍槊 h 2 6 4 标准分为三个框架，分别为基本框架( b a s e l i np r o f i l e ) 、主要框架 ( m a i np r o f i l e ) 何扩展框架( e x t e n dp r o f i l e ) ，不同的框架应用的范围不同： 1 )基本框架主要包含低复杂度、低延迟的技术特征，主要针对交曩： 式的应用，考虑到恶劣环境下的客错性，内容基本都被其他更高级别的 1 2 阳，i lj z 业大学硕士学位论文 第一i 章数宁观音频艇缩卡及h2 6 4 标准 p r o f jl e 所包含，只对is 1 i c e 及bs 1 j c e 进行操作； 2 ) 主要框架是针对更离编码效率的应用，如视频广播，它不支持 f m o ( f l e x j b l em a c r o b l o c ko r d e r i n g ) 、a s o ( a r b i t r a r ys i i c eo r d e r in g ) 及r s 等技术，只支持对i 、p 、bs 1 i c e 的处理操作； 3 ) 扩展框架的设计主要针对流媒体的应用，在这一框架终所有容错 技术、对比特流的灵活访问及切换拽术都将包括其中。 2 4h 2 6 4 标准的新技术 虽然h 2 6 4 的编码框架与以前提出的标准，如h 2 6 1 、h 2 6 3 及m p e g i 2 4 并无显著变化，而且该标准也是在以往标准的基础上发展起来的，但 1 2 6 4 中出 现了许多在以往标准中不曾使用过的新的技术特性，主要有以下几点： ( 1 ) 帧内预测1 2 7 2 8 1 帧内编码用来缩减图像的空间冗余。在以前的h 2 6 x 系列和m p e ( ；一x 系列标 准中，采用i n t r a ( 帧内) 模式编码时，通常是直接对宏块进行d o t 变换，然后 对变换系数进行熵编码。这样虽然在一定程度上消除了帧内韵空间冗余，但是由 】二_ d c t 只是利用宏块内部像素之间的相关性，丽没有考虑到相邻宏块之闻的相关 性，因而传统的i n t r a 模式编码对视频序列空闯冗余度的利用不是很完备，编码 效率不高。 在h 2 6 4 中，为了提高i n t r a 模式的编码敲率，当编码i n t r a 图像时可以采 用帧内预测。它利用相邻宏块对待编码宏块进行预测，对预测的残差进行变换编 码。针对不同的块的大小( 1 6 x 1 6 ) 、不秘的块类型( 亮度、色度) ，采用不同的 预测方法。 1 ) 4 x 4 亮度块预测 4 x 4 亮度块的预测是通过其上方、斜上方和左侧的1 3 个像素来实现的。如 图所示的a 州。a m 像素是已经被编码并被重建的僚索，因为在编码器端和解码 器端都可以用来作为预测参考。 西北工业大学硕士学位论文 第一章 数字视爵频雎缩卡及h2 6 4 标准 图2 34 x 4 亮度块的预测元素位置 a - p 所在的4 x 4 块为当前块，该块可以通过上述的1 3 个像素来得到当前块 的预测块，其预测的模式有g 种，分别为：垂直预测、水平预铡、d c 预测、沿 对角线左下侧、沿对角线右下侧、垂直向右预测、水平向下预测、垂直向左预测 和水平向上预测，如图示： 图2 44 x 4 亮度块9 种预溅模式 在有些情况下，并不是这些像素都是可用的，比如：有些像素可能与当前块 不再同一片( s l i c e ) 中，或者有些像素不在图像的内郝等。对于不同的情况可 以选择不同的预测模式。在具体的编码中预溅模式的选择是通过计算当前块与预 测块的差值来确定的，逶常使用的评价指标为绝对差分和s a e ( r h es u mo f a b s o l u t ee r r o r s ) s a e 值最小的那种预测模式即鸯最优的预测模式。 2 ) 1 6 x 1 6 亮度块预测 在实际的编码过程中，可以将一个宏块分割为1 6 个4 x 4 的小块分别进行预 测( 适合于图像细节部分如人眼、嘴等部位) ，也可以对整个1 6 x i 6 的宏块进行 预测( 用于变化平缓的区域) ，共有4 种预测模式，分别为： 出i - l l j ：业大学硕士学位论文 第二二章数字视啬频压缩卡艘h2 6 4 标准 垂直预测：利用当前块上侧的已被编码并解码重建的像素进行预测。 水平预测： 利用当前块左侧的被编码并解码重建的像素进行预测。 d c 预测： 利用当前块上侧和左侧的被编码并解码重逢的像素进行预测。 平面预测： 利用当前块上侧和左傩的被编码并解码重建的像素进行预测。 4 种预测方法如图所录! 图2 51 6 x 1 6 亮度块的4 种预测模式 假定预测块的各个像素值为肌，( x ，y ) ，以当前块的左上角为坐标零点，水 平向右为x 轴，垂直向下为y 轴，则上侧的1 6 个像素为p ( x ，一1 ) ，其中x ：0 1 5 。 舂二侧的1 6 个像素表示为：p ( 一l ，曲，其中y = o 1 5 。则不同的预测模式的预测 块的计算方法如下： 轧垂直预测( 上侧1 6 个像素点可用) ： p r e ( x ，y ) = p ( x ，一1 ) ，工= 0 - 1 5 ，y = 0 1 5 ( 2 - 1 ) b 水平预测( 左侧1 6 个像素点可用) p r e ( 工，y ) = 烈- 1 ，y ) ，x = 0 一1 5 ，_ y = 0 1 5 ( 2 - 2 ) c d c 预测( 左侧和上侧的像素点都可用) p r e ( x ，y ) = ( p ( x ，一1 ) 十p ( - 1 ，j ，) + 1 6 ) 5 ，x = o 1 5 ，y = 0 1 5 ( 2 3 ) 如果上侧像素并菏用： 删 l s p r e r ( x ，_ y ) = ( p ( 一1 ，y ) + 8 ) 4 ，x = o - 1 5 y = o 1 5 ( 2 4 ) 如果左侧像素不可用：y = o 1 5 p r e l ( x ，y ) = ( p ( x ，一1 ) + 8 ) 4 ，茹= o 1 5 ，y = o - 1 5 ( 2 5 ) d 平面预测( 左侧和上树的像素都可用且与誊 i 茸榴邻的左上角像素可用) p r e l ( x ，y ) = c l i p l ( ( a + b + ( x 一7 ) + c + ( y 7 ) + 1 6 ) 5 ) ，x = 0 - 1 5 ，y = 0 - 1 5 ( 2 6 ) ” 两北上业大学硕士学位论文 第二章 数字观音额压缩卡及h2 6 4 标准 式中： 口= 1 6 + ( p ( 一1 ，1 5 ) + p 0 5 ，一1 ) ) ，b = ( 5 + h = 3 2 ) 6 ，c = ( 5 + v + 3 2 ) 6 ， ( 2 7 ) 其中h 和v 的定义为： 日：窆州烈7 + x , - 1 ) 一p ( 7 - x , - 1 ) ) ，矿：窆y 坳( _ l 7 + _ y ) p ( _ 1 ，7 一埘 x ；】 y = l c l i p l ( x ) = c 3 ( o ，2 5 5 ，x ) ，c l i p 3 ( a ，b ，c ) ( 2 - 8 ) 通过上述的计算方法，就可以得到不同预测模式下鹩预测块，然后对当前块 与预测块的差进行变换、量化、熵编码。 3 ) 8 x 8 色度块预测 一个8 x 8 的色度块包含4 个4 x 4 的子块，其预测模式仅有一种，因此预测模 式的信息不需要编码传输。其预测也是通过与当前块捅邻的左侧和上侧的像素来 实现的，如图2 6 所示： 图2 68 x 8 色度块预测 图中a 、b 、c 、d 分别代表4 x 4 的子块，s 。s ，、& 和s ，分别为相邻的4 个像 素值的和。a 、b 、c 、d 四个块的预测方式如下： 如果s 。、s 。、s ：和岛都在帧内，则： a = ( s o + s l + 4 ) 3b = ( s l + 2 ) 2c = ( s 3 + 2 ) 2d = ( s 1 + s ，+ 4 ) 3( 2 - 9 ) 如果仅s 。和s ，在帧内，则： a = ( s 。+ 2 ) 2 b 工( s 1 + 2 ) 2 c _ ( s o 十2 ) 2 d 气s + 2 ) 2 ( 2 - 1 0 ) 如果仅s 。和s ，帧内，则： 1 6 焉舵 泊r 西北e 业大学硕士学位论文第二章 数字视啬频压缩卡及h2 5 4 标准 # ! ! ! 口! ! e ! = 口! e e | | # d 目_ _ 目目_ _ _ _ _ _ t 自日基i 自目自 j _ e = j 自_ 女_ 自# _ 自j _ _ _ 自_ e 自目女e e ! ! ! = = 目! 目自一 a = ( s 2 + 2 ) 2 b ( s 2 + 2 ) 2 c = ( s 3 + 2 ) 2 d = ( s 、+ 2 ) 2 ( 2 - 1 i ) 如果s 。、s 。、s ：和s ：。都不在帧内，则： a = b = c ；d = 1 2 8 ( 2 ) 高精度的运动估计 在h 2 6 4 和m p e 6 4 种都采用了1 2 像素精度的运动估计算法。在新标准种 这种精度达到了1 4 像素。而实际的参考图像中分像素的位置是不存在的，因此 必须通过插补来得到分像素的位置。首先通过相邻像素利用6 抽头滤波器来实现 2 像素精度，然后用l 2 像素和邻近的像素通过线性插补得到1 4 像索精度。 高精度的运动估计算法，可以得到更佳匹配块，从而可以产生较小的运动残 差，达到降低码率的作用，但其算法相对复杂。夔像素和分像素精度的运动矢量 如图所示： 圈2 7 整像素和分像素运动矢量 ( 3 ) 多模式宏块划分 在h 2 6 3 和m p e g 一4 中已经提出过可变太小的概念，但在h 2 6 4 中提供了更 多和更灵活的块划分模式。支持运动补偿蛱尺寸的范匿从1 6 x 1 6 刭4 x 4 。一个宏 块1 6 x 1 6 的亮度可以划分成1 6 x t 6 、1 6 x 8 、8 x 1 6 和8 x 8 四种形式，丽如果选择了 8 x 8 的形式还可以进一步划分成8 x 8 、8 x 4 、4 x 8 和4 x 4 翻种形式， 如图2 8 所示： 积北工业大学硕士学位论文 第二章数字桃膏撅压糯卡放h2 6 4 标准 图2 8 宏块分割和亚分割 这些宏块的分割和疆分嫠可以组合成许多的宏块分割方法。块豹大小对运动 估计的精度效果有很大的影响。当使用较小的块时，可以使得运动估计更加精确， 从而产生较小的运动残差，达到降低码率的作用。但同时也应考虑到一个压缩后 的码流是由若干部分组成，其中一部分就包含运动矢量信息和预测残蓑数据。当 块较小时，确实可以使得预测残差部分所占的码流商所降低，僵需要传输的运动 矢量的信息将会增加，这是因为每个块都有自己独立的运动矢量。如一个1 6 x 1 6 的宏块不再进行分割，其需要传输的运动矢量只有一个，但如果将个 6 x 1 5 的 宏块分割为4 x 4 的予块每个子块都有自己的运动矢量，刚共需传输1 6 个运动 矢量，反而增大了数据萤，尤其时在低码率的情况下，瓣运动矢璧编码输出占粥 了相当大的部分码流。因此，具体的宏头划分形式应该综合考虑模式的选择。 ( 4 ) 整数d c t 变换 以往标准中的变换是基于8 x 8 的浮点d c t 变换。h 2 6 4 中的变换也是采用离 散余弦变换d c t ( d i s c r e t ec o s i n et r a n s f o r m ) ，但它是基予4 川x 4 韵整数o c t 变 换，计算复杂度低，峰值信噪比p s n r 却只降低0 0 2 d b ，其正反变换矩阵分别为： 拍北工业大学硕士学位论文第二章数字锐音频雎稚卡及l 2 5 4 标准 h = 1ll l一12 一l11 221 1 4 , 。= 1ll 上 1 二 一1- 1 1 一一1 1l 1 1 1 一二 ( 2 1 2 ) 注意到其中的系数基本上都是整数( 1 2 可以用移位来代替) ，整数变换避 免了浮点运算中的四舍五入的误差，雨且其核心算法只有加法和移位运算，没有 乘法运算，大大提高了运算速度。变换单位是4 x 4 块，而不是以往常用的8 x 8 块。 i i l 于用于变换块的尺寸缩小，运动物体的划分更精确，这样不但变换计算两比较 小，而且也有助与减少块效应。 图2 9 亮度块和色度块的d c l 变换 宏块的大小为1 6 x 1 6 ，根据4 ：2 ：0 的采用关系，亮度蛱的大小为】5 x 1 6 ， 而两个色度块的大小分别为8 x 8 。h 2 6 4 中对每个残差宏块都要进行变换、量化 和熵编码。h 2 6 4 中对不同的块采用不同类型的变换，分为三种：一种是亮度的 】) c 系数组成的4 x 4 块的变换( 标号一1 ) ，采用的是4 x