




已阅读5页,还剩3页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要 摘要 随着经济高速发展和人们生活水平的不断提高,安全问题越来越受到重视。 市场需求的扩大和信息技术的发展,促进视频监控技术迅速发展,视频监控应用 领域拓展到生活的各个方面,如教育、政府、交通、娱乐、医疗等,数字化、网 络化和无线化是现代视频监控技术的发展趋势。 本文首先综述了现代视频监控技术现状及发展,分析了i p 视频监控技术的 关键是视频快速处理和降低传输带宽,为了支持多路视频同时压缩、传输,系统 必须提高数据的压缩比,降低传输时的带宽,提高视频数据的处理速度,因此, 视频监控器中编码器的高效实现十分重要。在此基础上,制定出多路口视频监 控器的设计方案,采用t m s 3 2 0 d m 6 4 4 6 硬件平台和基于高效h 2 6 4 压缩算法软 件平台,实现实时多路编码。 本文着重于口视频监控器的视频编码器的研究与实现,通过对h 2 6 4 数字 视频压缩原理的分析,对其中若干关键技术进行研究的基础上,分析其优缺点, 它具有高的压缩比,节省了传输时的带宽,却带来了计算量开销增大,选择合适 的处理平台实现高效的h 2 6 4 编码算法是关键。针对c 6 4 + 体系结构软硬件的特 点,首先对h 2 6 4 实现算法级优化,对代码结构和数据结构进行改进从而实现代 码级的优化;再使用c 6 4 + 处理器的媒体指令集对编码器关键模块进行优化,使 编码器执行效率得到很大提高;最后为了方便项目中其他模块的调用,设计出符 合x d m 接口标准h 2 6 4 算法模块,该模块可以运行在d s p 上,并可以被运行在 a r m 上的l i n u x 应用程序调用。 通过在硬件平台上实验,验证所设计的h 2 6 4 算法模块对c i f 格式的视频数据 的压缩速度为6 3 f p s 左右,图像质量良好,可以满足2 路口视频监控器项目提出的 要求。该编码器的实现对i p 视频监控器的设计与实现起到关键作用,且本算法具 有自主知识产权,可广泛地应用于如手机电视、无线车载多媒体终端等需要高效 图像压缩的领域,对视频传输的产品研发具有关键的实际应用价值。 关键词:多路i p 视频监控;h 2 6 4 :t m s 3 2 0 d m 6 4 4 6 :x d m a b s t r a c t w i t ht h er a p i de c o n o m i cd e v e l o p m e n ta n dc o n t i n u o u si m p r o v e m e n to fp e o p l e s l i v i n gs t a n d a r d ,m o r ea n dm o r ea t t e n t i o nh a sb e e np a i dt os e c u r i t yi s s u e s t h e e x p a n s i o no fm a r k e td e m a n da n dt h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g yp r o m o t e t h ec o n t i n u o u sd e v e l o p m e n to fv i d e os u r v e i l l a n c et e c h n o l o g i e s v i d e os u r v e i l l a n c e a p p l i c a t i o n sc o n t i n u et oe x p a n di n t oa l la s p e c t so fl i f es u c ha se d u c a t i o n ,g o v e m m e n t , t r a n s p o r t a t i o n ,e n t e r t a i n m e n t , m e d i c a ls e r v i c e s d i g i t a l i z a t i o na n dn e t w o r k i n g 铷哈 t r e n d so fm o d e r nm o n i t o r i n gt e c h n o l o g y i n t h i sp a p e r , f i r s t , w es u m m a r i z et h ec u r r e n ts i t u a t i o na n dd e v e l o p m e n to f m o d e mv i d e os u r v e i l l a n c et e c h n o l o g y ,a n da n a l y z et h a tt h ek e yt om o d e r nv i d e o s u r v e i l l a n c ei st op r o c e s sv i d e oq u i c k l ya n dr e d u c et h et r a n s m i s s i o nb a n d w i d t h t o s u p p o r tm u l t i - c h a n n e lv i d e oc o m p r e s s i o na n dt r a n s m i s s i o ns i m u l t a n e o u s l y ,t h e s y s t e mm u s ti m p r o v ed a t ac o m p r e s s i o nr a t i o ,r e d u c et r a n s m i s s i o nb a n d w i d t ha n d i m p r o v ep r o c e s s i n gs p e e do fv i d e od a t a ;t h e r e f o r e ,e f f e c t i v ep e r f o r m a n c eo fv i d e o e n c o d e ri nm o n i t o r sb e c o m e sv e r yi m p o r t a n t o nt h i sb a s i s ,am u l t i - c h a n n e li pv i d e o s u r v e i l l a n c e d e s i g ns c h e m ei sm a d e ,i nw h i c hh a r d w a r ep l a t f o r m sb a s e do n t m s 3 2 0 d m 6 4 4 6a n de f f i c i e n th 2 6 4c o m p r e s s i o na l g o r i t h ma r ea d o p t e dt or e a l i z e r e a l - t i m em u l t i - c h a n n e lc o d i n g t h i sa r t i c l ef o c u s e so nt h ei pv i d e os u r v e i l l a n c ev i d e oe n c o d e r sr e s e a r c ha n d i m p l e m e n t a t i o n a n a l y s i so ft h ep r i n c i p l eo fd i g i t a lv i d e oc o m p r e s s i o na n ds t u d yo n c e r t a i nk e yt e c h n o l o g i e so fh 2 6 4 ,w eg e ti t sa d v a n t a g e sa n dd i s a d v a n t a g e s t h e e n c o d e ro fh 2 6 4h a sh i g hc o m p r e s s i o nr a t i o ,a n ds a v e st r a n s m i s s i o nb a n d w i d t h ,b u t i tc o s t sal a r g e rc o m p u t a t i o no v e r h e a d ;t h e r e f o r e ,as u i t a b l ep r o c e s s i n gp l a t f o r mi st h e k e yt or e a l i z ee f f i c i e n th 2 6 4a l g o r i t h m a c c o r d i n gt oc 6 4 + sh a r d w a r ea n ds o f t w a r e a r c h i t e c t u r ef e a t u r e s , i i m p r o v et h ec o d es t r u c t u r ea n dd a t as t r u c t u r et op e r f o r m a l g o r i t h m l e v e la n dc o d e - l e v e lo p t i m i z a t i o n ;f o rt h eu s eo fm u l t i m e d i ai n s t r u c t i o ns e t o fc 6 4 + p r o c e s s o rt oo p t i m i z et h ek e ym o d u l e s ,t h ec o d e r s e f f i c i e n c yi sg r e a t l y i p 视频监控器的视频编码器的研究与实现 i m p r o v e d ;f o rt h ec o n v e n i e n c eo fo t h e rm o d u l e sr e f e r e n c e ,id e s i g nt h eh 2 6 4 e n c o d e rm o d u l ei nl i n ew i t ht h ex d mi n t e r f a c es t a n d a r d t h r o u g he x p e r i m e n t so nh a r d w a r ep l a t f o r mw ev e r i f yt h a tt h eh 2 6 4a l g o r i t h m m o d u l ec a r lp e r f o r mc i ff o r m a tv i d e od a t ac o m p r e s s i o n ,a n di ti sc o m p r e s s i o nr a t e a c h i e v et oa b o u t6 3 f p s ,w i t hg o o di m a g eq u a l i t yt om e e tt h e2 - w a yi pv i d e o s u r v e i l l a n c ep r o j e c t s r e q u e s t s t h er e a l i z a t i o no ft h i sv i d e oe n c o d e ri so fg r e a t i m p o r t a n c et oi pv i d e os u r v e i l l a n c ep r o j e c t a n dt h ee n c o d e rh a si n d e p e n d e n t i n t e l l e c t u a lp r o p e r t yr i g h t s ,c a nb ew i d e l yu s e di na r e a sn e e d i n ge f f i c i e n ti m a g e c o m p r e s s i o n ,s u c ha sm o b i l et va n dw i r e l e s sm u l t i m e d i at e r m i n a lf o rc a r i th a s p r a c t i c a lv a l u et ot h er e s e a r c ha n dd e v e l o p m e n to fv i d e op r o d u c t s k e y w o r d s :m u l t i - c h a n n e lv i d e os u r v e i l l a n c e0 1 1i p ;h 2 6 4 ;t m s 3 2 0 d m 6 4 4 6 ;x d m 厦门大学学位论文原创性声明 本人呈交的学位论文是本人在导师指导下,独立完成的研究成 果。本人在论文写作中参考其他个人或集体已经发表的研究成果,均 在文中以适当方式明确标明,并符合法律规范和厦门大学研究生学 术活动规范( 试行) 。 另外,该学位论文为( ) 课题( 组) 的研究成果,获得() 课题( 组) 经费或实验室的 资助,在() 实验室完成。( 请在以上括号内填写课 题或课题组负责人或实验室名称,未有此项声明内容的,可以不作特 别声明。) 声明人c 签孙磅 凇j 7 盯肘1 日 厦门大学学位论文著作权使用声明 本人同意厦门大学根据中华人民共和国学位条例暂行实施办 法等规定保留和使用此学位论文,并向主管部门或其指定机构送交 学位论文( 包括纸质版和电子版) ,允许学位论文进入厦门大学图书 馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国 博士、硕士学位论文共建单位数据库进行检索,将学位论文的标题和 摘要汇编出版,采用影印、缩印或者其它方式合理复制学位论文。 本学位论文属于: () 1 经厦门大学保密委员会审查核定的保密学位论文, 于年 月日解密,解密后适用上述授权。 () 2 不保密,适用上述授权。 ( 请在以上相应括号内打“ 或填上相应内容。保密学位论文 应是已经厦门大学保密委员会审定过的学位论文,未经厦门大学保密 委员会审定的学位论文均为公开学位论文。此声明栏不填写的,默认 为公开学位论文,均适用上述授权。) 声明人c 签孙枷 加哆年佣予f 日 第l 章引言 1 1 研究和应用背景 第1 章引言 1 1 1 现代视频监控的现状及发展 视频监控技术正在经历由模拟视频监控,数模混合监控逐步发展到口视频 监控的阶段。传统的模拟监控设备用卡带录像机v c r ( v i d e oc a s s e t t er e c o r d e r ) 来存储视频图像,耗费大量的存储资源,已经不能满足市场需求;随着硬盘刻录 机d v r ( d i g i t a lv i d e or e c o r d e r ) 的出现,数字监控逐渐发展起来,其视频传输采 用模拟方法,并由硬盘录像主机对视频压缩存储;网络视频监控由于采用m 网 络,可以实现远程监控和低成本扩展监控范围;随着宽带无线通信的发展,特别 是3 g 的投入使用,也出现了基于无线网络的视频监控。 应用领域的不断拓展为i p 视频监控带来前所未有机遇。视频监控技术和现 代信息技术相融合,在生活各个领域中不断渗透,传统意义上的视频监控技术广 泛应用于安防领域,随着生活各方面对监控需求不断增加,视频监控应用领域正 在不断拓展到生活各个方面,如教育、政府、交通、娱乐、医疗等。传统的本地 视频监控的方式,已经在某些应用领域不能满足要求。而i p 视频监控有无可比 拟的优势,只要有网络存在的地方,就可以随时随地进行远程访问和远程控制。 同时,口视频监控可以利用现有的网络资源,也带来了成本的降低。 根据著名咨询公司i n s t a t 的统计,2 0 0 7 年i p 视频监控在视频监控市场中只 占到1 0 的份额,远远低于d v r 系统5 0 的份额,甚至不及以v c r 为代表的 c c t v ( 闭路电视监控系统) 。另一家分析机构i s u p p l i 认为2 0 0 8 年是i p 视频监控 高速发展的一年,i p 监控摄像头市场将接近3 0 亿美元,2 0 0 9 年有望占据整个视 频监控系统半壁市场【l l 。口视频监控从上世纪9 0 年代末到现在经过十多年的发 展视频监控经过近三年的快速发展,在各行业中的应用已经颇具规模,已经成为 视频监控市场的主涮2 1 。 i p 视频监控器的视频编码器的研究与实现 1 1 2i p 视频监控技术关键技术 近年来,网络技术、计算机技术、图像处理技术与应用需求相融合,促进数 字化和网络化的i p 视频监控技术不断发展。i p 视频监控技术是多个不同领域技 术的综合应用,其关键技术主要有: ( 1 ) 视频编解码技术 视频编解码技术是视频监控技术数字化的基础,是实现对海量视频数据的压 缩,存储、复制及实现视频数据网络传输的基础。i p 视频监控技术中的视频编 解码技术的发展逐步从m j p e g 、m p e g 2 、h 2 6 3 、m p e g 4 到h 2 6 4 逐步在演进, 目前,m p e g 4 已经逐步被h 2 6 4 所取代【2 1 。另外,国内也正在大力发展自主产 权的a v s 编码格式。就视频的分辨率而言,传统的c i f ( 3 5 2 x 2 8 8 ) 格式在某些 应用领域已经不能满足需求,出现了d 1 ( 7 2 0 ) ( 5 7 6 ) 的甚至高清的监控产品。 ( 2 ) 网络传输技术 网络技术方便用户进行远程访问、数据传输、远程控制、集中存储、集中调 度等。i p 视频监控基于i n t e m e t ,使用t c p i p 协议在网络上传输媒体流和控制信 令,拥有授权的用户可以随时通过互联网访问监控设备。目前,i p v 6 技术已经 相当成熟,在服务质量、网络性能、安全性方面相比l p v 4 有很大的改善提高, 但还未大规模商用。而在3 g 的带动下,网络化监控从有线向无线发展,3 g 最 明显的特征是提高了无线传输的带宽,以承载更多的视频业务,应该说,3 g 移 动监控业务大大扩展了监控行业商用市场空间。网络化的视频监控,扩展了布控 的范围,摒弃了地域的概念,使得监控的应用领域更加广泛。 ( 3 ) 嵌入式技术 基于嵌入式系统的视频监控设备体积小、功耗低、成本低且容易进行布控。 嵌入式视频监控设备具有视频编码处理、网络通信、系统控制等功能,通过嵌入 式操作系统支持视频网络传输和设备管理,使得监控设备的布控范围达到前所未 有的广度。为了满足不同的功能需求,嵌入式监控设备中还有可能有嵌入式解码 器、控制器、录像服务器等独立的硬件模块,它们可单独安装。视频监控市场的 巨大需求,促使各大芯片厂商纷纷研发并推出嵌入式视频处理方案,从而推动了 i p 视频监控器的发展。 2 第1 章引言 ( 4 ) 视频监控的智能化技术 视频监控的智能化是,对海量的视频数据进行分析理解,以实现目标跟踪、 目标识别、自动告警等目的。随着智能图象处理技术的发展,一些成熟的行为分 析或模式识别技术逐步应用到i p 视频监控中来,实现“实时监控,即时反应 。 1 1 3 视频编码器的重要性 视频监控技术发展的关键问题是视频处理和传输带宽问题。在现代的视频监 控系统中,要进行视频图像的压缩、存储、实现视频监控智能化必须处理大量的 视频数据,特别是对视频进行编解码要耗费大量系统资源,因此在嵌入式视频监 控设备中进行视频的高速处理是实现系统的关键;同时,实现视频的存储和传输, 又受限于有限的存储容量和传输带宽,无论是基于i n t e m e t 的传输还是基于无线 的传输,带宽总是有限的,而人们总是希望进行多路传输或是提高传输的视频分 辨率,也就是希望在有限的带宽中传输越多的信息量,所以在监控技术的发展过 程中人们总是在不断的提高传输带宽和提高编码器压缩比。 可以看出,为了解决视频监控中视频处理和传输带宽问题,数据的高效表示 和快速压缩技术成为实现现代视频系统的关键。 1 2 课题来源 课题来源于厦门大学一厦门立林科技有限公司市产学研项目,根据实际应用 需求设计一个支持多路视频( 2 c i f 或4 c i f ,c i f :3 5 2 x 2 8 8 ) 实时传输的m 视频 监控器中的视频编码部分。本文致力于设计一个2 路c i f 实时进行压缩的h 2 6 4 视频编码器,为下一步实现4 c i f 的编码器打下基础。为了支持多路视频同时压 缩、存储和传输,提高数据的压缩比,降低传输时的带宽,提高视频数据的处理 速度,视频监控器中编码器的实现显得十分重要。 在口视频监控系统中,尽管m j p e g 、h 2 6 3 、m p e g 4 等视频压缩技术已十 分成熟,但因编码效率不高,占用带宽大,使得视频数据经常出现抢占带宽的问 题,造成视频质量不高,出现图像不连续等现象。h 2 6 4 可以达到比较高压缩比, 可以有效地节省带宽,在低码率视频传输上取得了突破性的进展。 h 2 6 4 具有高的压缩比,节省了传输的带宽,却带来了计算开销的增大,如 3 i p 视频监控器的视频编码器的研究与实现 何实现高效的h 2 6 4 算法和选择合适的处理平台,是实现实时多路同时压缩传输 的关键。因此,对h 2 6 4 编码技术和编码器的d s p 优化技术进行研究对于实现 多路i p 视频监控具有重要的意义。 1 3 论文章节安排 论文共分6 章。 第l 章是引言。本章阐述了课题的研究和应用背景、课题来源。分析了现代 视频监控技术现状及发展,分析了视频编码器在多路i p 视频监控系统中的重要 地位。 第2 章介绍了本课题依托的多路i p 视频监控器的原理和总体设计方案,包 括硬件平台的选型、基于d m 6 4 4 6 的硬件和软件实现方案。同时指出论文课题 在整个项目中的位置。本章还简要介绍了h 2 6 4 编码器的关键概念和技术。 第3 5 章根据多路i p 视频监控器的对编码器提出的要求,对h 2 6 4 进行算 法级和代码级优化,并开发出可以供l i n u x 环境调用的编码器代码包。 第3 章主要是从算法的角度对h 2 6 4 编码器进行算法级优化,包括帧内预测 和帧间预测算法的优化。 第4 章从代码级的角度对h 2 6 4 编码器进行优化,调整c 语言的代码和对 关键模块进行线性汇编改写。 第5 章从多路i p 视频监控器项目的软件系统框图要求出发,开发出符合 x d m 标准的h 2 6 4 编码器软件包,能在l i n u x 环境中供其他模块调用。最后得 出符合x d m 标准的h 2 6 4 编码器在达芬奇平台和p c 上的测试结果。 第6 章是总结和展望。该章对全文进行总结,同时指出在此基础上可以进一 步继续努力的方向。 4 第2 章多路m 视频监控器方案 第2 章多路ip 视频监控器方案 2 1多路i p 视频监控器原理 如图2 1 所示,一般i p 视频监控系统分为p 视频监控器和运程用户端,两 者通过m 网络进行互联。而坤视频监控器主要由视频处理单元和网络传输单元 组成,视频处理单元对摄像头采集的视频信号进行压缩,便于进行视频流的传输 和存储;网络传输单元通过t c p i p 协议对视频流和控制流进行传输。 为了降低成本和进行多点进行布控,出现了多路i p 视频监控器。远程用户 可以通过t c p i p 网络选择某一路进行访问,也可以同时对多路视频进行访问。 多路i p 视频监控器在视频处理单元上有所不同,一般需要对多路视频进行合路 处理,再送到视频处理单元,然后视频处理单元要以足够快的速度对每路视频数 据分别进行压缩处理。这样,即使用分时方法对每路数据分别进行处理,但只要 视频处理速度足够快,对每路来说仍然是实时处理。 由此可见,为了支持多路视频进行实时处理,编码器的快速实现是很重要的, 另外,为了支持多路视频同时传输,系统的带宽必然增加,因此必须提高编码器 的压缩比,这样才能降低传输带宽。 摄像头1 碉 摄像头2 i l 摄能 ii 远程用户 嘲 i路视频处理单元 一7 图2 - 1 :多路i p 视频监控器原理 5 回 元单输传络网与 i p 视频监控器的视频编码器的研究与实现 2 2 多路i p 视频监控器方案 2 2 1 平台选型 前文已经提到,m 视频监控技术的关键问题是视频处理速度和传输带宽问 题。为了节省传输的带宽,采用具有高压缩比的h 2 6 4 视频编码器,却带来了计 算开销的增大。同样,在多路p 视频监控器项目中既面临传输带宽的问题,也 面临实现数据高速、高效压缩的问题,这就需要视频处理芯片一方面具备更强的 运算能力,另一方面能实现广泛灵活的应用。 近年来,视频监控市场的巨大需求,促使各大芯片厂商纷纷研发并推出基于 h 2 6 4 编码器的视频处理方案。目前市场流行的基于h 2 6 4 编码器方案的有,华 为海思的h i 3 5 1 0 、飞思卡尔的i m x 2 7 、t i 的达芬奇系列、a d ib l a e k f m 系列等。 这些方案可以大致分为单d s p 视频处理器方案( 如a d i 的b f 5 6 1 、t i 的 d m 6 4 2 d m “3 7 ) 和多核单芯架构处理器方案。而多核单芯架构的方案又大致可 以分为s o cd s p ( t i 的d m 6 4 4 6 ) 和s o ca s i c ( 华为海思的h i 3 51 0 、飞思卡 尔的i m ( 2 7 ) 两种方式。这些方案各有利弊: 单d s p 视频处理器方案专注于视频处理,视频的网络传输功能和人机界面 往往被弱化,视频处理以外的功能在扩展上比较困难。 在多核单芯的方案中,a r m + d s p 或a r m + a s i c 硬件解码器的方案使用最 为广泛。其中a r m + d s p 方案,以a r m 和d s p 为核心并集成视频单元和丰富 的外围接口,d s p 通过软件编程来实现视频编解码且能扩展特色化功能; a r m + a s i c 方案中,a s i c 是专用硬件视频编码器,也会集成一些外围接口,由 硬件实现视频编解码,所开发出的产品功能较为单一且具有同质性,在灵活性上 存在一定缺陷。 基于a s i c 系统设计不像基于d s p 系统那样容易规划,缺少连续性,能够 持续应用的时间往往有限。基于d s p 平台则不然,它不仅全面支持数字视频编 解码的实现,而且将推进更多数字视频监控中的增值应用,如智能图像识别和实 时视频分析,以及车牌识别、人脸识别、行为分析等。 综合来看,单一d s p 方案和多核单芯的a s i c 与d s p 芯片各具优势和特点。 单d s p 方案由于资源限制,功能扩展相当有限;多核单芯的a r m + a s i c 方案, 6 第2 章多路口视频监控器方案 易于产品设计、方便使用,而且成本较低,但是由于很多功能以及算法都固化在 芯片上,不够灵活,硬件设备厂家在做产品开发时容易受制于芯片厂商;多核单 芯的a r m + d s p 采用软件编程,能够获得更大的灵活性和更强的高性能,在硬 件平台确定之后很容易使用不同的视频编解码器。 本文采用t i 公司的多核单芯的t m s 3 2 0 d m 6 4 4 6 方案( 以下简称d m 6 4 4 6 ) , 其独特的d s p 和a r m 双核结构不仅能同时满足视频应用在运算能力和控制功 能上的要求,而且大大简化了系统设计的复杂性,很有可能成为今后视频应用处 理芯片的主流解决方案。 d m 6 4 4 6 采用了t i 先进的达芬奇( d a v m c i ) 技术,它涵盖了达芬奇技术中 所有的硬件结构,能适应编解码等场合的应用。同时满足视频应用在运算能力和 控制传输功能上的要求。如图所示,该芯片具有 7 1 : ( 1 ) 高性能双核架构。采用低功耗、高性能的3 2 位c 6 4 x + 内核和a r m 9 2 6 e j s 内核,工作频率分别高达5 9 4 m h z 和2 9 7 m h z ;支持多媒体处理技术,采 用的是c 6 4 x + d s p 内核,处理速度高达4 7 5 2 m i p s 。 ( 2 ) 低功耗设计。采用多电源管理模式,双内核电压供给为1 8 v ;a r m 9 2 6 e j s 内核具有1 6 k b 指令和8 k b 数据c a c h e ,c 6 4 x + 内核具有3 2 k b 程序 r a m c a c h e 、$ 0 k b 数据r a m c a c h e 及6 4 k b 未定义r a m c a c h e ;支持 3 3 v 或1 8 v 的i o 接口和存储器接口。 ( 3 ) 专用视频处理子系统。视频处理子系统包括1 个视频前端输入接口和1 个 视频末端输出接口,视频前端输入接口用于获得视频源图像,视频末端输 出接口输出图像到具有r g b 、s 端子,n t s c p a l 接口的显示设备上。 ( 4 ) 存储容量。有2 5 6 m b 的3 2 位d d r 2s d r a m 存储空间,1 2 8 m b 的1 6 位 f l a s h 存储空间。 ( 5 ) 众多的外设。“通道增强型d m a 控制器:串行端口( 3 个u a r t s 、s p i 、 音频串口) ;3 个6 4 位通用定时器;1 0 1 0 0 m 以太网;u s b 2 0 端口;3 个 p w m 端口;多达7 1 个通用i o 口;支持m m c s d c f 卡等。 ( 6 ) 时钟控制。时钟源:2 7 m h z 系统振荡器;2 4 m h z u s b 振荡器。 7 i p 税频监控器的视频编码器的研究与实 图22 :t l j s 3 2 0 d m 6 4 4 6 功能模块框图”1 2 22 基于d m 6 4 4 6 的多路i p 视频监控硬件方案 为了实现多路i p 视频监控器,采用t e c h w e l l 公司的t w 2 8 3 5 作为数字视频 输入,通过符合b t 6 5 6 标准的接口把数字视频信号输出到t m s 3 2 0 d m 6 4 4 6 的 视频前端进行编码处理。 t w 2 8 3 5 是t e c h w e l l 公司推出的四通道视频和音频控制器,t w 2 8 3 5 可以作 为多路视频的输入和合成设备它有l b 】:4 个高质量的n t s c p a l 视频解码器、 4 个音频模拟数模转换器、一个音频复用器,双视频译码器以及一个先进的 o s d 。同时,它还有一些特殊的功能,如运动监测、放大以及水平与垂直缩放控 制等功能。 单个t w 2 8 3 5 作为t m s 3 2 0 d m 6 4 4 6 的视频前端输凡,最多可以同时实现4 路c 1 f ( 或l 路d i ) 韵数字视频数据输入。t w 2 8 3 5 可以满足的输入2 c i f 数据 的要求,并为今后实时处理4 路c i f 的视频数据打下了基础。以下是基于 t w 2 8 3 5 + d m 6 4 4 6 方案的多路i p 视频监控器的实现框图: 多路p a l n t s c 复合视频信号经过t w 2 8 3 5 中的视频解码器进行解码和a d 转换后合成l 路符合b t 6 5 6 标准的数字视频信号,通过d m 6 4 4 6 的视频前端输 入,并由多路h 2 6 4 视频编码器进行压缩编码,压缩后的视频数据通过1 0 1 0 0 m 第2 章多路m 视频监控器方案 网络接口进行传输或存储在本地硬盘中。为了能进行本地监控,视频可以通过本 地的l c d 显示器进行回放,也可以通过界面在本地对系统进行参数设置。 图2 - 3 :多路i p 视频监控器的实现框图 2 2 3 基于d m 6 4 4 6 的多路l p 视频监控软件实现方案 在软件的实现上,多路口视频监控器项目采用图2 - 4 所示的软件架构。由 于采用了多核单芯a r m + d s p 方案,在软件实现上分工非常明确: 在a r m 端,运行的是l i n u x 操作系统,并在此之上完成设备的驱动、网络 协议栈、远程命令控制、媒体流控制和人机界面。 ( 1 ) 远程命令控制,建立在t c p 协议之上,利用网络通信对i p 视频监控器进 行控制,可以完成设备连接、控制视频单路多路切换、控制视频储存、对 设备进行参数设置等; ( 1 ) r t p r t c p 主要用来进行媒体流传输。项目中采用了开源o r t p 协议栈,该 协议栈符合r f c l 8 8 9 ( r t p ) 标准,使用c 语言编写。o r t p 协议栈为了避免 音视频传输时的延时抖动,采用调度缓冲缓冲技术,同时采用了r t c p 控 制等技术保证了音视频的传输质量; ( 3 ) m e d i a s t r e a m e r 是d 视频监控软件系统中重要的组成部分,它负责完成媒 体流的r t p 接收发送、媒体流的播放、媒体流的存储、媒体流从编解码器 的输入输出等工作的抽象和调度,这是软件系统的核心。m e d i a s t r e a m e r 中 的每一个处理实体( 如r t p 接收、r t p 发送、文件设备、播放设备,c o d e c s 9 口视频监控器的视频编码器的研究与实现 等) 都用一个m s f i l t e r 对象来抽象。m s f i l t e r 对象有数据的输入和输出, 例如,m s r t p r e c v 就是一个m s f i l t e r 对象,它表示从r t p 协议栈中接收数 据,解包后把数据输出到缓冲区。 ( 4 ) m i n i g u i 在本地实现人机接口,通过图形界面对设备进行控制、设置,并且 可以在本地可以通过l c d 显示器显示来自摄像头的图像。 ( 5 ) a r m 端通过t i 公司提供的v i s a 的a p i 来访问d s p 端视频编码器。 在d s p 端,运行了基于d s p b i o s 操作系统的d s ps e r v e r ,在此之上运行视 频编码器; 。 删端和d s p 端的通信由d s pl i n k 模块完成。 d r j v e r s lv 弋器曲vi d s p l i n k - 9 1 a r m 卜一d s p 一- 图2 4 :多路i p 视频监控器的软件实现方案 2 2 4h 2 6 4 视频编码器在项目中的位置 本文的主要工作是完成2 c i f 的i p 视频监控的h 2 6 4 视频编码器部分,通过 对h 2 6 4 数字视频压缩原理的分析,对开源的x 2 6 4 进行d s p 的移植、裁剪、 算法级优化、线性汇编优化;同时,为了方便项目中其他模块的调用,设计出符 合x d m 接口标准( e x p r e s s d s pd i g i t a lm e s a ,x d m ) 的h 2 6 4 算法模块。该模 块可以在a r m 端通过t i 公司提供的v i s a 接口对d s p 端的h 2 6 4 编码器进行 访问。 在图2 4 所示的软件架构中,已经用斜体字标注出本文实现模块在项目中的 位置。可以看出,这两个部分是实现多路视频监控器的关键部分。 1 0 圈 第2 章多路口视频监控器方案 2 3h 2 6 4 ,a v c 编码器原理 为了满足各种应用,如视频会议、无线通信的需求,h 2 6 4 视频编码以适应 各种网络环境,并且降低视频传输带宽为目标: ( 1 ) 提高压缩编码效率,节省传输带宽。在相同视频质量下,h 2 6 4 比m p e g 4 节省5 0 左右的码率,也就是说用一半数据量就可以得到同样质量的画面。 ( 2 ) 增强网络适应能力,提高抗误码能力。标准中引入网络适应层n a l ( n e t 、v o r ka b s t r a c t i o nl a y e r ) ,使得h 2 6 4 视频流可以适应不同网络上传 输( 例如互联网、c d m a 等) ,具有更好的网络友好性。h 2 6 4 加强了对误 码和丢包的处理,提高抗误码能力。 2 3 1 基本概念 2 3 1 1 宏块和片 h 2 6 4 标准仍然是基于块的编码。一幅图像中所有像素分成若干个宏块 ( m a e r o b l o c k ) 。每个宏块包含一个16 x 1 6 像素亮度宏块,一个8 x 8 像素c b 宏块,和 一个8 x 8 像素c r 宏块。图像中宏块编号采用光栅扫描顺序。 为了进行更准确的预测,h 2 6 4 标准对宏块进一步划分到块( b l o c k ) 。h 2 6 4 标 准亮度宏块包含6 种不同大小的块,1 6 x 8 ,8 x 1 6 ,8 x 8 ,8 x 4 ,4 x 8 ,4 x 4 。色度块 类似,大小减半。 一幅图像可编码成一个或多个片( s l i c e ) 。每片由多个宏块构成。片的编解码 独立,以限制误码的扩散和传播。 2 3 1 2档次和级 h 2 6 4 a v c 和早期的一些视频编码标准一样,提出了档次( p r o f i l e ) 和级 ( 1 e v e l ) 的概念。档次定义了可以用来生成标准比特流的一组编码工具和算法, 级定义了对比特流某些关键参数的限制( 如取样速率、图像尺寸、编码比特率等) 。 h 2 6 4 标准包含3 个档次【6 】【1 0 】: ( 1 ) 基本档次:i 和p 片编码,支持基于上下文的自适应变长编码( c a v l c ) 。 i p 视频监控器的视频编码器的研究与实现 主要用于低延时和低功耗应用,如视频电话,视频会议,无线实时通信等。 ( 2 ) 主要档次:i ,p ,b 片编码,支持隔行编码,基于上下文的自适应变长编 码( c a v l c ) 和基于上下文的自适应算术编码( c a b a c ) 。主要用于数字 广播与数字视频存储。 ( 3 ) 扩展档次:i ,p ,b ,s p ,s i 片编码,支持基于上下文的自适应变长编码 ( c a v l c ) ,不支持基于上下文的自适应算术编码( c a b a c ) 和隔行编码。 主要应用在流媒体中。 2 3 2h 2 6 4 a v c 视频编码器的结构 2 3 2 1 视频编码层和网络抽象层 h 2 6 4 a v c 编码器系统可以分为两个独立的层,视频编码层( v c l ) 和网络 抽象层( n a l ) 。视频编码层的主要任务是高效的表示视频数据,也就是进行视 频数据的压缩;网络抽象层n a l 则根据网络的特性对数据进行封装,使其适用于 网络传输。在v c l 和n a l 之间定义了一个基于分组方式的接口。 2 3 2 2h 2 6 4 编码器结构 图2 5 所示的为编码流程。可以看出,编码过程分为两条路径。其中正向路 径的数据流程为:输入的当前帧经过帧间预测或帧内预测后,进行整数变换和量 化;量化后的数据经过基于上下文的自适应变长编码后,经网络抽象层打包,再 送出。反向路径主要包括整数反变换、反量化及为去除块效应引入的去块滤波器, 最后得到重建帧。该重建帧用作下一次预测的参考帧,以使解码后的图像不失真。 1 2 第2 章多路口视频监控器方案 图2 - 5 :h 2 6 4 编码器结构n 0 1 2 3 3h 2 6 4 编码器的关键技术 2 3 3 1 。帧内预测 帧内预测是利用相邻宏块空间的相关性来进行帧内预测编码,有效地降低了 空间冗余度。对于帧内预测的当前宏块,是基于已编码重建、未滤波的相邻块( 通 常是左边,上边,左上边和右上边的块) 预测而得到的。 为进一步提高帧内预测编码效率,h 2 6 4 标准制定了三种帧内预测模式:亮 度的帧内预测编码分为4 x 4 ( i n t r a 4 x 4 ) 和1 6 x 1 6 ( i n 仃a 1 6 x 1 6 ) 两种,另外,色度 的帧内预测编码只用8 x 8 。i n t r a 4 x 4 有9 种预测模式,适用于有丰富的细节内容区 域;i n t r a l 6 x 1 6 有4 种预测模式,适用于平坦变化区域。色度的帧内预测编码,共 4 种预测模式,和亮度的1 6 x 1 6 模式类似。 2 3 3 2 帧间预测 帧间预测主要利用帧间图像的内容变化比较小,也就是帧与帧之间存在很强 的相关性( 时间相关性) 。这种帧间相关性,一般比帧内相关性要大,这使得利用 帧间预测可以获得帧内预测更高的压缩比。 帧间预测从在已经编码的一帧或多帧图像中,选取和当前帧的当前宏块最相 1 3 m 视频监控器的视频编码器的研究与实现 似的块作为预测数据,然后将当前编码帧宏块数据与预测数据相减得到残差信息 并进行编码。h 2 6 4 帧间预测是基于块的,主要包括运动估计与运动补偿。运动 估计搜索最佳运动向量。运动补偿根据最佳运动向量确定最佳预测值和残差。对 于在h 2 6 4 标准中,帧间预测涉及的技术主要有多参考帧、运动估计算法、运动 矢量块、小数像素搜索、运动补偿。 2 3 3 3 整数变换和量化 在进行帧内预测和帧间预测后,对所得的残差进行整数变化和量化。 h 2 6 4 a v c 根据要编码的残差数据类型使用三种变换:( 1 ) 对所有4 x 4 残差数据 块使用d c t 的整数变换,( 2 ) 帧内1 6 x 1 6 模式预测的宏块中,对亮度d c 系数的 4 x 4 矩阵使用哈达码变换,( 3 ) 对任何宏块色度d c 系数的2 x 2 矩阵使用哈达码变 换。 完成整数变换后进行量化操作,量化就整数变换后的数值送到量化器编码成 数字,量化是针对空间变换系数进行的,量化过程就是以某个量化步长去除变换 系数。 2 3 3 4 熵编码 如果是预测的残差编码,采用基于上下文的自适应变长码( c o n t e x tb a s e d a d a p t i v ev a r i a b l el e n g t hc o d i n g ,c a v l c
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024抚州幼儿师范高等专科学校辅导员招聘笔试真题
- 2025年铁路货物运输服务项目合作计划书
- 2025年金华市级机关基层遴选公务员考试试题【答案】
- 2025年经典心理健康知识竞赛考试练习题库(250题)【答案】
- 2025年教师资格证考试常考知识点归纳总结【答案】
- 2025年吉林通化市东昌区事业单位招聘考试笔试试题【答案】
- 2025年精密陶瓷劈刀项目合作计划书
- 2025年南通市少年宫选聘教师考试笔试试题【答案】
- 消费升级视域下体育用品制造业高质量发展的内在机理、现实困境及推进路径
- 2025年电子计步器实验分析仪器项目合作计划书
- 北师大版八年级物理上册课件【全册】
- nord stage 2用户手册简体中文版
- 北京东城二中分校高一分班考试数学试题
- 周三多管理学5版课后答案
- 伦敦三一口语GESE3级内部讲义
- SB/T 10439-2007酱腌菜
- 1IEC62660-1中文电动道路车辆用二次锂离子蓄电池锂离子电池性能试验
- HPE 3PAR8400、HPE 3000B SAN Switch安装及维护手册
- 汽轮机厂工业驱动技术介绍
- 梁平法识图PPT通用通用课件
- 新概念英语第一册单词汇总打印版已排版
评论
0/150
提交评论