已阅读5页,还剩57页未读, 继续免费阅读
(通信与信息系统专业论文)音视频压缩技术在多媒体监控系统中的应用研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要 摘要 以语音、图像处理为主的多媒体通信技术在当今的网络时代获得了蓬勃的发展; 然而,由于宽带网络尚未普及,便产生了以远程监控、视频会议、可视电话及移动 多媒体通信系统为代表的低比特率通信系统。面对庞大的音视频数据量,作为语音 及图像处理基础的压缩技术便在多媒体通信中显得极为重要。 本文设计了一个多媒体远程监控系统的方案,采用了专用的a s i c 进行音视频数 据的压缩和解压缩。论文首先分析了视频压缩所采用的关键技术小波变换,并 介绍了一块基于小波变换专用芯片a d v 6 0 1 及通用d s p 的视频处理板卡;然后对 音频压缩及相关标准进行了讨论,在系统方案中参考i t u 标准g 7 2 3 1 进行音频处 理,选用了d s pg r o u p 公司的c t 8 0 2 0 芯片实现音频压缩:最后提出整个系统的设 计方案,给出了系统框图和主程序流程。本文对于开发多媒体远程监控系统有一定 的参考价值。 关键字: 低比特率通信系统多媒体远程监控系统视频压缩小波变换 语音压缩g 7 2 3 1音视频复用a d v 6 0 1a d v 6 1 1c t 8 0 2 0 d s p a b s t r a c t a b s t r a c t w i t ht h eb o o m i n gd e v e l o p m e n to fm u l t i m e d i at e c h n o l o g y ,t h ea u d i oa n dv i d e o s i g n a lp r o c e s s i n gt e c h n i q u ep l a yam o r e a n dm o r ei m p o r t a n tr o l ei no u r d a i l yl i f e b e c a u s et h eb a n d w i d t ho fn e t w o r k si sv e r yi i m i t e d t h ed e m a n do fi o wb i tr a t e c o m m u n i c a t i o ns y s t e m ss u c ha sd i s t a n ts u r v e i l l a n c es y s t e ma n dv i d e om e e t i n g s y s t e mi sr a p i d l yg r o w i n g t h i st h e s i sp r e s e n t sab l u ep r i n to fam u l t i m e d i ad i s t a n ts u r v e i l l a n c es y s t e m , w h i c hu s e ss p e c i a la s l c st oc o m p r e s sa n dd e c o m p r e s sa u d i oa n dv i d e od a t a a f t e ra n a l y s i s i n gt h ew a v e l e tt r a n s f o r m ,t h ek e y t e c h n i q u eo fv i d e oc o m p r e s s i o n 。 t h i st h e s i si n t r o d u c e sav i d e op r o c e s s i n gp c bb o a r db a s e do nat m s 3 2 0 c 5 4 10 d s p c h i pa n da d v 6 0 1 ,as p e c i a lw a v e l e tt r a n s f o r mc h i pd e v e l o p e db ya n a l o g d e v i c e sc o r p o r a t i o n ;t h i st h e s i sa l s od i s c u s s e sa u d i oc o m p r e s s i o nt e c h n i q u e a n du s e sc t 8 0 2 0t o c o m p r e s sa n dd e c o m p r e s sa u d i od a t aa c c o r d i n gt ot h e p r o t o c o lo fg 7 2 3 1 a tl a s tt h es c h e m eo ft h ew h o l es y s t e mi sp r e s e n t e d ,w h i c h h a ss o m ev a l u eo fr e f e r e n c ef o rt h e d e v e l o p m e n to f am u l t i m e d i ad i s t a n t s u r v e i l l a n c es y s t e m k e y w o r d s : l o wb i tr a t ec o m m u n i c a t i o ns y s t e mv i d e o c o m p r e s s i o n m u l t i m e d i ad i s t a n ts u r v e i l l a n c es y s t e m w a v e l e tt r a n s f o r m a u d i oc o m p r e s s i o ng 7 2 3 1a d v 6 0 1a d v 6 1 1c t 8 0 2 0 d s p n 西北工业大学硕士学住论文:音视频压缩技术在多媒体监控系统中的应用研究 第一章绪论 以语音、图像处理为主的多媒体通信技术在当今的网络时代获得了蓬勃的发展, 在数字化视频广播系统中,在交互式网络系统如视频点播( v o d ) 系统中,在以p c 为主的桌面系统中以及在目前流行的i p 电话中,无处不见多媒体技术的影子。然 而,由于宽带网络尚未普及,现阶段的带宽便显得极为珍贵。基于现状,便产生了 以视频会议、可视电话、远程监控及移动多媒体通信系统为代表的低比特率( 比特 流在传输信道中的速率低于6 4 k b p s ) 通信系统。在这类系统中,一般不需要高质量 的语音及图像效果,而首先考虑的是带宽资源。在有限的带宽中,获得尽可能高的 语音图像质量。然而,我们知道,无论是语音还是图像,其信息量都是大得惊人, 要在区区6 4 k b p s 的带宽内获得较好的语音图像质量谈何容易。表1 列出了一些多 媒体信源的大致信息量。面对如此庞大的数据量,如何建造低比特率的多媒体通信 系统呢? 答案就是压缩。做为语音及图像处理基础的压缩技术便在多媒体通信中显 得极为重要。由于压缩算法的多样性,如果不用标准加以约束,容易在多媒体处理 中产生混乱。因而,基于不同的应用系统,国际上制定了相应的经过专家评议的通 用的多媒体压缩标准。例如,针对v c d 系统的m p e g 一1 标准、针对d v d 、h d t v 等的 m p e g 一2 标准及由此扩展的用于计算机网络的低比特率压缩标准m p e g 一4 等标准,除 此之外,还有用于传真系统的j b i g 标准,用于影院系统的d o l b ya c 一3 标准以及线 性预测语音编码标准( i t ug 7 2 1 g 7 2 1g 7 2 3 1g 7 2 8g 7 2 9 等) ,在此不一一赘 述。 表1 未压缩信源的大致信息量 电话( 2 0 0 一3 4 0 0 h z )9 6 k b p s ( 8 0 0 0 样本数秒1 2 比特样本) 宽带语音( 5 0 - - 7 0 0 0 h z )2 2 4 k b p s ( 1 6 0 0 0 样本数秒1 4 比特样本) 宽带音频( 2 0 - - 2 0 0 0 0 h z )1 4 1 2 m b p s ( 4 4 1 0 0 样本数秒1 6 比特样本2 信道) 图像6 3 m b p s ( 5 1 2 5 1 2 像素2 4 比特像素) 视频2 2 1 m b p s ( 6 4 0 4 8 0 像素2 4 比特像素x 3 0 帧秒) 高清晰电视 1 3 g b p s ( 1 2 8 0 1 0 2 4 像素2 4 比特像素6 0 帧秒) 里苎三兰奎兰璺主兰些笙查童垫塑竺塑垫查查兰堡竺些墨墨苎! 竺生璺竺垄 随着多媒体技术的日益发展,多媒体监控系统已经广泛应用于交通、银行、宾 馆、机场、医院、住宅小区等。己成为安全防范技术体系中不可缺少的重要组成部 分。该系统是根据某种特定的使用目的和应用条件,由音、视频采集,传输,监视 和系统控制等相关电子设备和传输介质组成的一个有机整体。多媒体监控系统的主 体是对目标的实时监视和控制。控制设备的作用是为了调整监视区域及更准确、清 晰的获取音视频信息,控制的目标是再现图像和音频的质量。现有的模拟监视系统, 维修困难、操作紊乱、管理复杂,而且维护费用昂贵。而数字化系统则可以轻松、 可靠有效地完成监视工作,必定会代替模拟监视。数字监视系统,就是通过设置在 不同位置的摄像头采集数据,经过变换系统、视频压缩系统将数据汇集并处理,在 监视器上显示并存储,实现监控和录像功能,为管理人员提供实时和直观的视觉资 料。远程监控是数字监控系统中非常重要的一环,主要是为了实现社会上一些重要 行业的集中监控,统一调度管理,以及恶劣环境工作场所下的无人作业。它以数据 传输网络作为载体。如基于m o d e m 的电话线路、i n t e r n e t 、a t m 、光纤等等,以实 时或者接近实时的方式直接进行远程监控。远程监控系统具有如下的优点和特点: 1 、可以将分散的信息集中管理,优化了人力资源,并给决策者提供实时的势态 全貌,从而优化管理。 2 、可连续监视目标景物的活动、变化。 3 、可对危险场合和人类难以到达的目标进行监控。 4 、准确和及时的报警,及时发现系统性能和服务异常,提醒操作人员排除故障 等。 目前,对于图像压缩许多实用的编码算法都是基于d c t 的,如有关静止图像和 视频压缩编码的国际标准i s oj p e g ,阢p e g l ,m p e g 一2 等。但基于d c t 的算法有 其固有的缺点一方块效应( b l o c k i n ge f f e c t ) ,在压缩率比较高时,图像质量很糟, 因此人们一直在努力探寻更有效的编码方法。小波变换由于可以描述非平稳图像信 号和适应人的视觉系统特性的特点而受到图像编码领域的不断关注。小波变换的最 大特点是能够多分辨率( m u l t i r e s o l u t i o n ) 的描述图像,并可以将图像分解成一 组不同频带的子图像,对各个子图像采取合适的编码方法,从而获得较高的压缩效 率。跟传统的块编码不同,小波变换编码不会出现方块效应,这是因为小波对图像 的变换是全局的,各种失真会随机的分布在整幅图像中,人眼不易察觉。此外,经 西北工业大学硕士学位论丈:音视频压缩技术在多媒体监控系统中的应用研究 小波变换的图像可实现分层传输,这也是多媒体通信的研究方向。而对于语音压缩 我采用g 7 2 3 1 标准,该标准是一种用于多媒体通信的编码速率为5 3 k b i t s 和 6 3 k k bit s 的双速率语音编码方法。 视频图像的压缩可以利用高速数字信号处理器( d s p ) 实现,但要得到较高的压 缩比,必须使用高速浮点d s p ,而且软件设计比较复杂,开发周期也较长。本文提 出了一种基于硬件的远程视频压缩解压缩方案,从而大大缩短了开发周期。美国a d 公司是世界上第一个推出基于小波变换理论的视频压缩解压缩芯片a d v 6 x 系列, 能实现高比特率的压缩。本文的方案就是利用了该系列中a d v 6 1 l 。方案充分利用了 该芯片所特有的性质,能可靠地实现远程监控。而语音的压缩也采用了专用的芯片 c t 8 0 2 0 来完成,能很好的完成g 7 2 3 1 的编解码功能。 我的论文共分五章,第一章为绪论,主要介绍了多媒体远程监控系统的应用前 景和发展方向;第二章,详细介绍了小波变换以及在远程监控系统中的应用:第三 章,介绍了语音压缩的标准g 7 2 3 1 和实现此功能的一种专用芯片;第四章,介绍 了基于a d v 6 0 1 的视频压缩板卡,该板卡出现的问题及其解决方法:第五章,基于 视频压缩板卡提出了一个多媒体远程监控系统方案。 西北工业大学硕士学位论文:音视频压缩技术在多媒体监控系统中的应用研究 第二章小波变换 第一节小波变换简介 小波变换( w a v e l e tt r a n s f o r m ) 是8 0 年代后期发展起来的应用数学分支。虽 然从历史上追溯,此前已有一些学者零散地进行过一些工作,但是理论上构成较系 统的构架则主要是法国数学家y m e y e r 、地质物理学家j m o r l e t 和理论物理学家 a g r o s s m a n 的贡献。而把这一理论引入工程应用,特别是信号处理领域,法国学者 i d a u b e c h i e s 和s m a l f a t 则起着极为重要的作用。因此人们有时把小波分析的兴 起归功于所谓“法国学派”。 小波变换的含义是:把某一被称为基本小波( 也叫母小波) 的函数1 l ( t ) 作位 移t 后,再在不同尺度a 下与待分析信号x ( t ) 作内积: 胛x ) = 砉,川矿( 旱) 蛳 。 等效的频域表示是: 胛xg ,r ) =辱了m 矿国 式中x ( m ) ,( ( i ) ) 分别是x ( t ) ,v ( t ) 的傅里叶变换。 粗略地比喻,小波变换( 简记w t ) 的作用如图2 1 1 所示。用镜头观察目标 x ( t ) ( 也就是待分析信号) ,1 l r ( t ) 代表镜头所起的作用( 例如:滤波或卷积) 。t 相当于使镜头相对于目标平行移动,a 的作用相当于镜头向目标推进或远离。由此 可见,小波变换有以下特点: 1 具有多分辨率( m u l t i r e s o l u t i o n ) ,也叫多尺度( m u l t i s c a l e ) 的特 点,可以由粗及精地逐步观察信号; 2 也可以看成用基本频率特性为k u ( 。) 的带通滤波器在不同尺度a 下对信 号作滤波。由于傅里叶变换的尺度特性( 如1 i r ( t ) 的傅里叶变换是v ( u ) ,则l l ,( t a ) 的傅早叶变换为j a l i j ( a u ) ) ,因此这组滤波器具有品质因数恒定,即相对带宽( 带 堡苎三些苎兰翌主! 堡笙圭! 童塾塑墨蔓垫查垩兰苎堡些丝墨竺! 竺里旦竺墨l 一 宽与中心频率之比) 恒定的特点。注意,a 越大相当于频率越低; 3 适当地选择基本小波,使1 l r ( t ) 在时域上为有限支撑,v ( u ) 在频域上也 比较集中,便可以使w t 在时、频两域具有表征信号局部特性的能力,因此有利于 枪测信号的瞬态或奇异点。 、d d 燃分析 ccd 、口7 _ 7 :二一料黝率作分析 平移方向t 、 ,7 、_ r f ,以较低频率作分析 口一一 图2 1 1 小波变换的粗略解释 由于上述特性,因此有人把小波变换誉为分析信号的“数学显微镜”。 在小波理论的发展过程中,发现它与工程技术上一些已发展起来的问题密切相 关。它们都可以用小波变换作为理论基础,看成是从不同角度应用小波所得的特例。 例如g a b o r 在1 9 4 6 年提出的g a b o r 变换,b u r t 在1 9 8 2 年提出的金字塔式图像压缩 编码概念,通信及语音处理中的予带编码( s u b b a n dc o d i n g ) ,数字信号处理中的 多采样率滤波器组( m u l t i r a t es a m p l i n gf i i t e rb a n k ) ,计算机视觉中的多分辨 率分析等。这些工程应用领域大大丰富了小波变换的实用意义,也促进了小波分析 理论的进一步发展。小波变换理论已由一维发展到多维。二维情况下它除了“显 微”能力外还具有“极化”能力( 即方向选择性) ,因而引人注意。它在图像数据 压缩方面的潜力已经得到确认。目前在语音、图像、通信、雷达、水声、地震、生 物医学、机械振动、化工等领域都有应用,是多学科关注的热点,是信号处理的前 沿课题。在小波变换的基础上,m v w i c k e r h a u s e r 等人提出的“小波束”( w a v e l e t 5 西北工业大学硕士学位论文:音视频压缩技术在多媒体监控系统中的压用研究 d a c k e t ) 的概念,并且从数学上作了比较严密的推导,从而进一步发展了小波理论。 可以预见,小波变换必将在工程应用中具有辉煌的发展前景。介于此,我在硕士毕 业论文中对小波变换在视频压缩中的应用方面进行了一定的探索与实践。 然而,作为- - f 前沿学科,小波变换理论建立在极强的数学基础之上,其中公 式诸多且推导繁琐,并不适合工科学生作理论研究。但是,小波变换在工程上的应 用却与其理论相比要容易的多,且概念形象、鲜明,易于掌握。尤其是,在工程应 用中,我们往往抛弃了许多纯数学的理论,而将小波变换与概念鲜明的多分辨率分 析及多采样率滤波器组联系起来。实践证明,这样的做法实际上是殊途同归,不同 的分析方法不过是同一问题的不同方面而已。因此,我的论文中对小波变换的阐述 将本着工程应用的目的,将小波理论与多分辨率分析及多采样率滤波器组结合起来 介绍。实际上,毕设中的视频压缩板卡的核心芯片,来自a d 公司的采用小波变换 技术的a d v 6 0 1 压缩芯片中固化的压缩算法也是建立在多采样率滤波器组的概念之 上的。这也从实例的角度反映出,上述概念的确是密切相关、不可分割的。 第二节二维小波变换及其在图像处理中的应用 1 、二维小波变换 小波变换用于图像处理是小波变换应用效果比较突出的领域之一。由于图像是 二维信号,因此首先要把小波变换由一维推广到二维。下面对连续小波变换加以推 广: 令f ( x ,x :) 表示一个二维信号,x 、x 2 分别是其横坐标与纵坐标,1 i r ( x ,x :) 代表 二维的基本小波。贝t - - 维连续小波变换可定义如下:令1 l r 。,。:( x ,x :) 表示 1 l r ( x ,。x 。) 的尺度伸缩与二维位移 6 1 6 :( x l , x 2 ) = l 口妒( 半,号) ( 2 _ 1 ) 则 胛,( 日;b 1 ,b 2 ) 。 = i li i f ( m x z 渺c 半,旦导煳z , 式2 一l 中的因子1 a 是为了保证小波伸缩前后其能量不变而引入的归一因子。 西北工业大学硕士学位论文:音视频压缩技术在多媒体监控系统中的应用研究 但是,这个简单的二维连续小波变换的推导还不够全面,下面还要进一步加以 改进。 前文已经讲过,二维小波变换较之一维情况更复杂之处在于:在尺度伸缩的同 时还可以进行坐标旋转,也就是说尺度因子a 可以改写成矩阵表示: 式中 c o s 0s i n 0 r o2 l s i n 0 c o s 0 i 是旋转因子。 因此,比式,】j l 、1 2 更具一般性的表示是: 妒彳,奈五= 音矿【a - 1 ( j 一- ) = 1 av 万1 ( 半) ( 2 _ 1 a ) 呵破,( _ 扣) - 吉p 啊1 孚炻。, r 式中,a = d e t a ,;= x ,x : ,r = b 。,b : 1 。 要注意的是式 2 a 只是数学上的简记表示。它的具体含义是: 吁蚴螺1 伽m ( x l - b t ) c o s o - 口( x 2 - b 2 ) s i r a ,蛐等等塑啦 ( 2 3 ) 具有旋转能力的小波变换,其优点是:作为“数学显微镜”,它不但有放大能 力而且有“极化”眭质,可以选择最佳“偏振”方向进行分析。 同一维情况一样,也存在离散栅格上的二维小波变换,其定义如下: ,茅工2 i 彳0l 一7 彳i 。( 工一胛) 】( 2 1 b ) v u ,行= = i a oi 一 x , m 孙 一聆 l 一 一x 一o 4 y x , t_卜jx 西北工业大学硕士学位论文:音视频压缩技术在多媒体监控系统中的应用研究 式( j - 2 b ) 的具体含义是: 聊7 ( ,, n l , n 2 ) 刮- 4 0i - j 肛( 孙x z ) 以a p x t + a 留x 2 一a 押研+ 口( j ;) x - n 2 ) 嘲西眨 爿。: :笔 ,贝。4 i ,= f :妻;:d a 5 ( 2 i 2 j ) 对于一维信号,t 轴上的离散采样一般总是按二进制方式逐级渐半进行的,如 ) z f 图;二5 所示。可是对二维信号,在( x 。,x 。) 二维平面坐标上,离散采样方式却有多 种多样,决定于尺度矩阵a 0 的具体取值。为了说明这一问题,设沿x 。,x 。两个方向 的原始栅格都是均匀采样的,x 。、x 。是其坐标序号,如图卜1 6 所示。现在按 一 一一 t t t 胛= a o 门( 行= n l ,n 2 1 1 , = n l ,n 2 1 ) ( 2 5 ) 关系进行抽取。1 2 。、n 。是抽取出各点的新坐标序号 x i x l m 瓜 图2 2 1 二维情况下的各种离散采样方案 ,当知2 : 时,式一z z 为: 曼:i 2 x l n 1 西北工业大学硕士学住论文:音视频压缩技术在多媒体监控系统中的应用研究 可见其作用是在x 。,x :两轴方向上都作行和列的二抽取。因此被抽取各点在栅格上的 位置如图2 2 1 ( a ) 所示。其总效果相当于四抽取。 z 凯2 一卜式1 - 2 2 赶 垆n ! = n 1 + n 。2 : 其作用是沿相邻两行和两列都是奇偶交错的行和列内作二抽取,如图2 2 1 ( b ) 所 示。其总效果是二抽取。 3 此外还可以有更特殊的抽取法。 例如靴2 卜- 2 2 为: 旷n i = 3 川n 1 + 地n 2 这种抽取情况如图2 2 1 ( c ) 所示,其效果是另一种四抽取。 图2 2 1 ( a ) 抽取可以看成是分两步进行的。例如先沿x 。方向作二抽取,再沿 x z 方向作二抽取( 次序颠倒无妨) ,如图2 2 2 所示,因此称为可分离情况。而( b ) 、 ( c ) 两图却不能作这样的两步分解,因此它们属于不可分离情况。其中图( b ) 的抽取 点的排列类似“五株”,故称为“五株抽取法”。图2 2 1 ( a ) 、( b ) 两种抽取法是 最常用的。 - - r 图2 2 2 可分离情况 隔列辐1 6 卜、 在可分离与不可分离两种多分辨率分析法中,可分离情况的优点是引入直接, 算法简便,而且可以直接引用一维情况下的滤波器组。但缺点是它突出的是x 。、 里些三些垄兰堡主兰竺笙查! 童垫塑竺竺垫查圭兰堡堡些茎墨竺竺墨旦! 垄 x 。两个方向,对其它方向不够敏感。而不可分离情况则是二维多分辨率分析法中更 具一般性的情况,它的优点是可以采用两通道形式作多分辨率分析,而且基本公式 与一维情况的两通道基本公式类似,也存在二维理想重建条件( p r 条件) 。自然界 许多景象其图像信息多集中在二维频谱的所谓“钻石形”区域中,而采用五株排列 的栅格能较好地提取这一区域内的信息。目前已有人把此法用于子带编码器,取得 了约5 0 :1 的压缩比,而且重建图像质量较好。由于在我的毕设中使用的a d v 6 0 1 芯片采用2 2 2 ( a ) 即可分离的抽取法,故限于篇幅,这里只介绍可分离情况下的二 维图像的多分辨率分析方法。 2 、可分离情况下的二维图像的多分辨率分析 在可分离情况下,二维空间v 。2 ( x ,x 2 ) 可分解成两个一维空间v “( x 。) 和 v ( x 。) 的张量积: v ,。( x l ,x 2 ) = v ( x 1 ) ov j 1 ( ) ( 2 6 ) 在此条件下很容易把多分辨率分析由一维推广到二维。如低通的尺度函数巾 ( x 。,x 2 ) 是v 。( x ,x 2 ) 空间内的整数位移正交归一基,则中( x ,x 。) 必可分解 为: 巾( x ,x :) = 巾( x ) 巾( x 2 ) 同理,如果小波函数1 l r ( x 。,x 2 ) 是补空间w 。“( x 。,x 。) 中的整数位移正交归 一基,则1 l r ( x ,x 。) 必可分解为: 1 l r ( x i ,x 2 ) = 1 l r ( xl ) v ( x 2 ) 在此基础上,再结合二维空间剖空的性质( 此处略) 可得到二维可分离情况下 对函数空间v 。( x ,x 2 ) 的多分辨率分析结果: v h 。( x 1 ,x 2 ) = vj 1 ( x j ) 圆vj 1 ( x 2 ) w ,1 ( xl ) 0v ,1 ( x 2 ) v ,“( x 1 ) 0w 。“( x 2 ) o w 。“( x ) w ,“( ) ( 2 7 ) 式2 7 由四部分构成,第一部分为 v “( x 。) v 。“( x 2 ) = v “( x 。,x 2 ) , 其正交归一基为巾( x ) 中。( x :) ,由于审。( x 。) 与中。( x :) 都是低通的尺度 函数,因此第一部分v 。“( x ,x 。) 是v 。( x 。,x 。) 的平滑逼近; 第二部分为 w “( x ,) v “( x 。) ,其f 交归一基为由。( x 。) 1 l r 。( x 。) ; 西北工业大学硕士学位论丈:音视频压缩技术在多媒体监控系统中的应用研究 第三部分为 v 。“( x ,) ow 。“( x :) ,其正交归一基为1 l r m ( x - ) 巾m ( x z ) : 第四部分为 w “( x 1 ) ow “( x 2 ) ,其正交归一基为1 l “( x - ) v ( x z ) 。 后三部分的正交归一基中都至少包含一个带通的掣 x 。) 或v ( x 。) ,因此它们 都是带通的。这三部分的张量积相对于第一部分低通空间便组成了反映高通细节的 二维小波变换。 以上分析结果说明,在可分离情况下,二维多分辨率可分为两步进行。先沿x 。 方向分别用巾( x ) 、l i t ( x 。) 作分析,把f ( x ,x 。) 分解成平滑逼近和细节这两部分, 如图2 3 3 左半部分所示:然后再对这两部分沿x :方向分别用巾( x 2 ) 、1 l r ( x z ) 作 类似分析,如图l 1 8 右半部分所示。这样得到的四路输出中经巾( x 。) 和中( x 2 ) 处理所得的一路是f ( x ,x 。) 的第一级平滑逼近a f ( x 。,x 。) ;其作三路输出d i f ( x ,y ) 、 d 。f ( x ,y ) 和d 1 ( a ) f ( x ,y ) 都是细节函数。其中: a i f ( x 1 。x _ ) = d ,“f ( x ,y ) = d 。f ( x ,y ) = d 。”f ( x ,y ) = 这是j = 0 ( 即a = 1 ) 级时的分析。和一维情况相似,类似的分解可对平滑逼近 a 。f ( x ,x :) 重复进行下去。对于j 级分析,结果为: a 。f ( x 。,x 2 ) = d , m f ( x ,y ) = d j 2 1 f ( x ,y ) = d 。f ( x ,y ) = x 1 方向的 细节函数 0 2 方向的 平滑逼近 图2 2 3 可分离情况 d l ( ”f ( x i ,x 2 ) d 1 ( 2 ) f ( x l ,x 2 ) d i ( i ) f ( x i ,。2 ) a 1 f ( o l ,x 2 ) 望苎三些苎兰堡圭兰堡垒查! 童垫堡璺竺垫查查兰堡堡苎丝墨竺主竺生旦竺查 联系多采样滤波器组,仿照第二章的分析可得与图2 2 3 对应的滤波器组结构 如图2 2 4 所示。 图2 2 4 可分离的滤波器组结构 a ( 离散平 滑系数) 通过图2 2 4 可看出,每一级处理要经两次二抽取,因此处理后图像尺寸减到 原来的1 4 ,但一幅图像分解成四幅。如图2 2 5 所示,其中左上角一幅是平滑逼 图2 2 5 可分离二维多分辨率的第一级( 使用双正交( 6 ,8 ) 二维小波变换) 近,其余三幅都是细节函数。 和一维情况相似,如图2 2 3 的分解可以对平滑逼近a 。f ( x 。,x :) 重复进行下去 如图2 2 6 所示。一维的重建过程也可以类似地推广到二维,如图2 2 7 所示。 数系波小 l、lllll厂illl_、 j ,_ k u 苎! ! 三些查兰塑主兰竺丝圭! 童塾塑竺堕兰查查兰兰堡些垄墨竺竺生望竺垄 图2 2 6 可分离处理的多级重复 图2 2 7 可分离的二维重建滤波器组 最后应当提到的是,上述设计采用的滤波器组虽然可以采用一维情况下的各种 滤波器( 例如c q f 滤波器组、d a u b e c h i e s 滤波器组等) ,但是,这类正交滤波器的 西北工业大学硕士学住论文:音视频压缩技术在多媒体监控系统中的应用研究 缺点是不能构成具有线性相位的滤波器,因而相位失真较大。而人类视觉对相位失 真比较敏感,因此在图像处理中更常采用具有线性相位的双正交滤波器组。 另外,鉴于可分离二维小波变换的多分辨率分析方法的简捷算法与清晰的概念, 它是目前应用最广泛的一类二维小波变换。 第三节基于小波变换的低码率视频压缩技术 在世纪之交,出现了许多新颖和特殊需求的应用领域,例如会议电视、移动通 信中的视频传输及多媒体网络等等。这些应用的出现,为低码率视频编码研究注入 了新的动力。并且,随着多媒体通信技术和v l s i 技术的飞速发展,低码率视频编 码技术将会出现在众多领域。 低码率视频通信的主要技术问题是视频压缩编码技术,即用来实现在满足足够 图像质量和硬件成本的条件下降低所需的码率。目前的编码标准,如m p e g - 1 2 、 h 2 6 1 2 6 3 ,目的主要是消除图像数据中的统计冗余度。由于没有充分利用人眼的 视觉特性,当用于高压缩比系统时,重构图像会出现快效应、蚊子效应、模糊等等 令人讨厌的现象。因此,人们继续研究其它的更有发展前景的图像压缩方法,如矢 量量化、非规则碎片压缩、子带编码及小波变换等所谓第二代方法。其中,小波变 换是一种非常有应用前景而且理论也很成熟的方法,尤其适用于二维图像压缩处 理。联合图像专家组( j p e g ) 在最新制订的静止图像压缩标准j p e g 2 0 0 0 中已采纳 了小波变换算法。由于小波变换技术能充分利用人眼的视觉特性,因而将小波变换 引入低码率视频编码将会获得比现有标准好得多的压缩效果。目前,基于小波变换 的视频编码已开始用于实际,并已相应的芯片问世。 下面从两个方面来介绍小波变换用于视频编码的重要特性: 1 小波变换具有视频分解特性,即将一幅图像按频段分解为多幅图像,每一 幅图像都是完整的,这一点不同于d c t 的分块( 它是将图像在空间上划分为许多小 块,每一小块都是不完整的图像) 。 这一特性非常适于会议电视和多媒体网络等领域。在会议电视系统,由于信道 是普遍电话线,受到带宽的限制。因而为提高信道利用率,视频服务提供商希望可 由粗到精地向用户传输视频数据,而用户也可先得到粗略的图像,然后决定是否继 曼! ! 三兰苎兰翌主兰竺丝圭! 童垫塑竺兰丝查堡兰兰竺些垄至竺竺壁望竺垄 续接收,而不必等到所有数据传送完才作决定。在多媒体网络中,网络拥塞是不可 避免的问题,这种情况一旦发生在视频业务中,将对图像质量产生很大的影响。控 制拥塞的方法之一就是在网络上传输两个或多个优先级的数据流,通过协议保证高 优先级的数据流,在拥塞发生时可抛弃低优先级的数据流。由于高优先级的数据流 保证了图像的基本质量,而低优先级的数据流仅是基本图像的细节补充,即使丢失 也不会影响图像的基本质量。这种控制网络拥塞的方法显然也要求能将视频图像进 行分解。此外,这种服务在进行例如大型视频或图像数据库浏览、移动通信等领域 内也是需要的。 上述应用对于视频编码的要求用基于d c t 的第一代视频压缩标准是难以完成 的,而小波变换的视频分解特性则恰恰满足了这种需求。通常,通过小波变换可将 一幅图像进行水平( 水平方向为高频分量、垂直方向为低频分量) 、垂直( 水平方 向为低频分量、垂直方向为高频分量) 和对角线( 水平、垂直方向均为高频分量和 水平、垂直方向均为低频分量两部分) 方向分解,成为四个予图像。由于人眼的视 觉特点,对于其中的水平、垂直方向均为低频分量的子图像尤其敏感因而可将该 子图像作为核心数据进行传输,对于其它包含了高频分量的子图像人眼的敏感度很 低,因而可将其作为非核心数据进行传输。对于水平、垂直方向均为低频分量的子 图像这种分解过程还可继续进行下去,得到多级子图像。随着多级分解的进行,核 心数据量会越来越小,直到满足传输的需求。这种分解后文将有详细叙述。 2 与第一代视频编码所用的d c t 相比,利用小波变换进行视频编码可获得更 大的压缩比。 在对图像进行d c t 变换时,要将图像分割成能够准确描述细节的不重叠的块, 以适应块匹配运动补偿算法,去除帧间冗余;同时对每一小块进行d c t 变换,去除 帧内冗余。由于运动矢量不够精确,这种块在图像运动时会产生可察觉的的块失真: 同时,由于d c t 变换是对每一个块独立进行的,故块间的的冗余度无法利用。从编 码效率来讲,这是一种低效率的编码方案。 针对现有编码标准的缺陷,人们提出了改进的算法:利用小波变换将图像多级 分解,对多个子图像利用子带编码技术并加以符合人类视觉特性的分段量化,比起 基于块处理的方法可更大幅度地降低帧间冗余度。而且,由于图像是从整体上进行 处理的,因而比起d c t 变换的分块效应,其图像要圆润的多。对于帧问压缩,基于 西北工业欠学硕士学位论文:音视频压缩技术在多媒体监控系统中的应用研究 小波变换的编码方案通常采用分级运动补偿算法。该算法对不同子图像采用不同大 小的运动块,对于包含多数能量的低频子图像采用精确的运动块,而对于包含少数 能量的高频子图像采用粗糙的运动块,显然这种划分更合理。该算法与块匹配运动 补偿算法相比,虽然计算量会增大,但搜索到的运动矢量的精确度会得到明显提高, 因而帧间压缩也优于传统的块匹配算法。因此,基于小波变换的视频编码是一种高 效率的方案。 实际上,由于小波变换具有除以上特性外的众多优点,所以在最近颁布的运动 图像压缩标准5 d p e g 一4 中的视觉纹理模式就支持视觉纹理和静态图像编码。这种模 式基于零高度树小波算法,在非常宽的比特率范围内具有很高的编码效率。这使得 小波变换在走向视频编码国际标准中迈出了可喜的一步。 当前,小波研究的一个迫切问题是如何将小波研究所取得的重要成果变为工程 技术人员所掌握的重要工具,使之尽快应用到工程技术实践中去,特别是将小波分 析很好地用于多媒体图像和信号处理中去。因此,我的毕业论文取材于此,对小波 变换在视频压缩中的工程应用进行一定的实践与探索。 第四节小波变换芯片a d v 6 0 1 通过前面章节的讨论,已经对小波变换在视频压缩中的应用有了一定的认识; 以下介绍一种小波变换的芯片a d v 6 0 1 ,它也是本系统的“心脏”。a d v 6 0 1 是由 a d 公司生产的低价、单片、多功能、全数字的c m o s 超大规模集成电路,它支持 对c c i r 一6 0 1 数字视频进行高画质的无损或有损视频压缩和解压缩。小波压缩核采 用双正交( 7 ,9 ) 小波变换。片内集成了视频接口、主机接口和s r a m ,适用于视 频会议、远程监控、视频捕捉、非线性视频编辑等众多领域。 主要性能: ,精确的压缩码率控制,压缩的数据率由输入数据率和选择的压缩率决定。 场独立压缩,一帧信号被作为两场独立的信号进行处理。 支持电影质量数字视频的国际标准c c i r 一6 0 1 ,最大可用场图像尺寸为 7 6 8 2 8 8 ,最大像素率为1 4 7 5 m h z 。 带8 1 6 3 2 位主机接v i ,带深度为5 1 2 的3 2 位f i f o ( 先入先出缓冲区) 。 里! ! 三兰苎兰堡主兰竺丝苎! 童塾塑苎竺垫苎鱼兰堡堡些苎墨竺! 生璺旦旦墨一 带d s p 同步串行接口。 - 压缩率从无损压缩到3 5 0 :1 。 自然图像的典型视觉无损压缩比为4 :l 。 ,针对隔行扫描数字视频的实时压缩和解压缩进行了优化。 可实现接近恒比特率码流功能。 内部结构: 数 宝 视 频 2 5 6 k * 1 6 d r a m ( 场存贮器) d s p ( 司f 选) 图2 4 1a d v 6 0 l 功能框图 a d v 6 0 1 由九个模块组成,其中四个是接口模块,另五个是处理模块。接口模 块有数字视频i o 口、主机i o 口、外部d r a m 管理器和d s p 串行i o 口:处理模 块有小波变换核、片内变换缓冲器、可编程量化器、行程编码器和霍夫曼编码器。 其逻辑功能参见图2 4 1 。 主机i o 接口负责与主机间传输控制信号、状态信号和压缩后的数据。d r a m 管理器执行所有与d r a m 相关的读写、刷新操作。串行口负责与可选的d s p 之间 进行通信。小波变换核是整个芯片的核心部分,主要完成二维离散小波变换,由于 使用了内部变换缓冲器,避免了使用高速外存。片内变换缓冲器为小波变换核进行 二维小波变换提供内部s r a m 。可编程量化器对小波系数进行量化。在视频压缩过 程中,由外部d s p 或主机处理器计算量化系数和反量化系数并由a d v 6 0 1 自动将 其一并送入压缩数据流中:在视频解压缩过程中,反量化系数直接由压缩的数据流 中得到,无需额外的计算。 西北z - 业大学硕士学位论文:音视频压缩技术在多媒体监控系统中的应用研究 值得注意的是,视频数据经过小波变换核后并未获得压缩,而是将图像分解为 4 2 级二维子带图像,并给出了每一子带图像的统计数据( 亮度与色度的最大最小值、 总和值等) ,此时产生中断信号s t a t sr ,通知主机来取统计数据。这一过程非常 快,大约几个微秒的时间。因而在一场图像的场消隐期间,绝大多数时间留给使用 者,使用者可对统计数据进行分析计算,或按自己的要求给出图像每子带的量化 系数与反量化系数,在下一场同步信号来之前应将其送入a d v 6 0 1 相应的寄存器, 否则a d v 6 0 1 仍然使用上一场的量化系数。数据真正的压缩发生在自适应量化、行 程编码及霍夫曼编码过程中,这一过程随着场消隐期的结束而开始,耗时大约几个 微秒。此后将压缩数据存入f i f o ,当满足a d v 6 0 1 所设定的中断条件后马上产生 中断通知主机来取压缩数据。这一过程可用示意图2 4 2 来表示。 场同步 1l i 视频波形 变换小波压缩压缩结柬 开始变换 开始产生f i f o s r q 中断 结束 产生s t a t s r 中断 图2 4 ,2a d v 6 0 1 压缩过程示意图 a d v 6 0 1 的众多功能是通过主机访问其内部寄存器来实现的。它有两种寄存器 四个直接访问寄存器,1 4 2 个间接访问寄存器。下面一一介绍。 ( 1 ) 直接访问寄存器( 3 2 位) : a ) 间接地址寄存器 地址为o x o ,它存贮间接访问寄存器的地址。 b ) 间接数据寄存器 地址为o x 4 ,它存贮间接访问寄存器的数据。 c ) 压缩数据寄存器 西北工业走学硕士学位论文:音视频压缩技术在多媒体监控系统中的应用研究 地址为o x 8 ,它存贮视频压缩数据,是访问f i f o 的入口。 d ) 中断屏蔽状态寄存器 地址为o x c ,它包含a d v 6 0 l 中断使能屏蔽控制位和中断状态指示位。 a d v 6 0 1 能产生的中断有: a ) c c i r 6 5 6 数据流错误中断; b ) s t a t sr 中断( 对小波变换后的子段数据统计结束后产生,告诉主机可以 访问统计数据寄存器) ; c ) l c o d e 中断( 指示下一次访问f i f o 将会读或写一场的最后一个压缩数据) : d ) f i f o s r q 中断( f i f o 内的数据量满足在f i f o 控制寄存器中定的条件时产 生,告诉主机可以访问f i f o ) ; e ) f i f o e r r ( 在压缩模式中,当主机对f i f o 中的数据读出速度较快而导致 f i f o 空间充满时产生指示:在解压缩模式中,当主机对f i f o 的输入速度较 慢而导致f i f o 空间充满时产生指示) ; f ) f i f o s t p ( 在压缩模式中,当主机对f i f o 中的数据读出速度较快而导致 f i f o 空间清空时产生指示:在解压缩模式中,当主机对f i f o 的输入速度较 慢而导致f i f o 空间清空时产生指示) ; g ) m e r r 中断( d r a m 控制出错、压缩数据流出错或主机访问速度根不上压缩 数据流的产生速度时产生中断) : 上述任一中断产生,都会导致h i r q 中断( 主机请求中断) 的产生。 ( 2 ) 间接访问寄存器( 1 6 位) : 对间接访问寄存器的访问是通过对上述的间接地址寄存器和间接数据寄存器的 访问来实现的。 a ) 模式控制寄存器 该寄存器含有如下控制位: 视频接口格式( c c i r 一6 5 6 、p h i l i p s 、m u l t i p l e x
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 电子竞技赛事裁判培训与考核指南
- 2026小学教资面试道法答辩高频考题题库
- 初中生物教资面试答辩易错题题库及解析
- 高中英语教资面试试讲高频考题题库
- 企业级数据丢失与恢复工具手册
- 2026事业单位计算机岗面试高频考题试卷及解析
- 索取售后服务评价结果的联系函(4篇)
- 初中英语教资面试答辩题库及参考答案
- 2026事业单位档案岗面试高频考题题库及答案
- 项目进度报告及预算调整通知函4篇
- PLC应用技术(西门子S7-1200)(第二版)
- 中国再保险集团笔试题型
- 大树移植监理实施细则
- FZT 01108-2025 再生对苯二甲酸技术要求标准立项发展报告
- 广西广电网络公司招聘笔试题库2026
- 病区卫生间使用管理制度
- 2025广东揭阳揭东农商银行小微金融部人才招聘(公共基础知识)测试题附答案解析
- 肾动脉栓塞介入术
- 军队职工抚恤管理办法
- GB/T 39542.3-2025技术制图活动铅笔第3部分:黑铅芯HB铅芯弯曲强度
- 《ERP软件实训》教学大纲
评论
0/150
提交评论