（计算机应用技术专业论文）嵌入式监控系统关键技术研究及客户端研制.pdf

摘要 摘要 随着信息技术的发展，图像压缩技术已经成为电视广播、视频监控和多媒体 娱乐等应用中最重要的一部分。h 2 6 4 作为最新的视频压缩编码标准，也是目前 图像通信领域研究的热点。网络多媒体监控是一个集多媒体信息的综合性、计算 机的交互性、通讯的分布性和监控的实时性于一体的综合系统。而嵌入式的网络 监控系统以稳定性好、体积小、能耗低、使用方便等优点，成为监控系统的一个 发展趋势。本文首先详细讨论了对h 2 6 4 中最耗时的模块之一的帧内预测模式选 择部分的改进；然后在局域网上开发了基于h 2 6 4 标准的嵌入式网络监控系统的 实验平台；最后给出了一个网络视频监控系统的应用实例。 h 2 6 4 在带来性能大幅提高的同时，其运行非常耗时。本文在对h 2 6 4 标准 进行系统深入的分析，对最耗时模式之一的帧内预测模式选择算法进行了改进； 根据图像自身的内在纹理结构和相邻预测模式的相关性，提出了一个改进的帧内 模式选择预测算法。在降低计算复杂度的同时，还考虑到图像本身的纹理特点， 对不同类型的图像序列都有良好的适应性；实验也表明了本算法具有良好的性 能。 本论文提出一种嵌入式网络视频监控系统的客户端软件的设计方案，该系统 分为前端部分嵌入式服务器软件和远程监控客户端两部分。论文的核心部分是远 程监控客户端的设计，本文提出基于c s 模式的客户端软件结构，客户端软件的 设计与实现采用面向对象的思想和模块化的设计思想，将客户端软件功能分为几 个独立的部分，每个部分独立于其他的模块，模块之间依靠设定的参数进行通信， 这样可以避免由于疏忽而错误传播到其他部分。实验表明系统具有稳定、可靠、 成本低和易于实现等特点。 最后论文介绍了嵌入式视频监控系统的总体结构和功能模式划分，同时也给 出了系统的运行和应用展望。 关键词： h 2 6 4 ：视频压缩；帧内预测；嵌入式视频监控；监控客户端 a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ec o m p u t e rt e c h n o l o g y , c o m p r e s s i o nc o d i n gh a sb e e n w i d e l yu s e di nt e l e v i s i o nb r o a d c a s t i n g , v i d e os u r v e i l l a n c ea n dh o m ee n t e r t a i n m e n t a n ds oo n a st h en e w e s tv i d e oc o m p r e s s i o ns t a n d a r d , h 2 6 4i sa l s oo n eo ft h e r e s e a r c hh o t s p o t si nt h ei m a g ec o m m u n i c a t i o nf i e l d n e t w o r km u l t i m e d i as u r v e i l l a n c e c o m b i n e so fv a r i e t yo fm u l t i m e d i ai n f o r m a t i o n ，i n t e r a c t i v i t yo fc o m p u t e r s ，a n d d i s t r i b u t i o no fc o m m u n i c a t i o n t h ee m b e d d e dn e t w o r kv i d e om o n i t o r i n gs y s t e mi s b e c o m i n gau e n do fm o n i t o r i n gs y s t e m sb e 4 阻t l s eo fi t sa d v a n t a g e ss u c ha ss m a l l v o l u m e , g r e a t e rs t a b i l i t y , r e s o u r c ：es a v i n ga n dc o n v e n i e n c e i nt h i st h e s i s ，t h e i n t r a - f r a m em o d es e l e c t i o no fh 2 6 4c o d i n gi sd i s c u s s e d ，a n da l li m p r o v e da l g o r i t h m i sp r o p o s e d t h e nt h ed e s i g no fas u r v e i l l a n c es y s t e mi si n u o d u c c d a tl a s t , a d e m o n s t r a t i o ni sg i v e n t h o u g hh 2 6 4o b t a i n sas u p e r e x c e l l e n tc o d i n ge f f i c i e n c y , i t sc o m p u t a t i o n a l c o m p l e x i t yi sv e r yh i g h t h i st h e s i sa n a l y s e sh 2 6 4s t a n d a r da n d i t sk e yt e c h n o l o g i e s w i t ht h er e s e a r c ho fi m a g et e x t u r ea n dt h ec o n c i s i o no ft h ea b u tm o d e ，t h i sp a p e r p r o p o s e s an e wi n t r a f r a m em o d es e l e c t i o na l g o r i t h mw h i c hc a l ld e c r e a s et h e c o m p u t a t i o n a lc o m p l e x i t y , e x p e r i m e n t a lr e s u l t ss h o wt h a ti th a sag o o dp e r f o r m a n c e a n dc a np e r f o r mw e l lt oa l lk i n do fi m a g es e q u e n c e s a ne m b e d d e dn e t w o r kv i d e om o n i t o r i n gs y s t e mi sp r o p o s e di n t h i st h e s i s t h e s y s t e mi sc o m p o s e do f af r o n tn e t w o r k i n gc a m e r as u b s y s t e ma n dar e m o t em o n i t o r i n g c l i e n ts u b s y s t e m t h ed e s i g no ft h er e m o t em o n i t o r i n gc l i e n ts u b s y s t e mi st h ek e yp a r t i n t h i st h e s i s i ti sat y p eo fr e m o t em o n i t o r i n gc l i e n ts o f t w a r eb a s e do nc s a r c h i t e c t u r e t h ec l i e n ts o f t w a r ei sd e s i g n e du s i n gt h eo b j e c to r i e n t e dd e s i g n 2 0 ) + ( ( g 6 1 5 5 1 4 ) 2 0 ) ( ( b x l l 9 5 3 8 ) 2 0 ) v = c r = ( 0 t - y ) x 7 4 3 9 6 2 ) ) 2 0 u - - c b - - ( ( b y ) x 5 8 9 2 4 4 ) ) 2 0 我们在这里使用y u v 2 r g b 4 2 0 0 将y 、u 、v 数据转化为r o b 2 4 格式，然 后调用s h o w i m a g e 0 函数将r g b 数据显示到屏幕上。 4 4 3 2 显示模块的流程图 图4 _ 8 ：播放显示模块的流程图 播放模块的操作过程为： 1 播放模块从显示缓冲区中取数据，若缓冲区中没有数据，则显示区域中显 示默认的填充色。 2 若显示缓冲区内有数据，则调用y u v 2 r g b 4 2 0 0 将y u v 数据转化为r g b 数据。 第五章监控系统简介 3 将r g b 数据使用s h o w i m a g e 0 函数显示到屏幕中。 4 4 4 保存回放模块 保存回访模块主要将用户比较感兴趣的监控信息存储以便以后使用而设计 的，它主要包含两个功能：将当前视频流以文件方式保存到硬盘上；另外一种是 播放本地硬盘上以往保存文件。由于保存回放模式将码流以h 2 6 4 的压缩格式存 储成文件格式，所以在回放时，需要先调用软件解码器，将文件中的h 2 6 4 码流 解码后，调用播放显示模块进行显示。 如下图4 9 所示； 图4 - 9 保存回放模块的流程图 4 4 5 主要模块之间的调用关系 基于p c 机的视频监控系统的客户端程序设计中，使用专门的线程进行数据 的接收，并把数据存放到网络接收缓冲队列中。为了提高效率并且使客户端观看 到的图像连续，我们使用双缓存区i 韧，一个缓冲区用来存放从网络接收新的数 据包，成为网络接收缓冲区，一个用来存放将数据包解码后得到的数据成为播放 显示缓冲区。播放显示模块从网络缓冲区中读取数据包，然后调用软件解码器进 行解码，将解码后得到的数据帧存放在显示缓冲区中，供保存播放回放模块使用。 用户通过保存回放模块调用软件解码器解码本地的h 2 6 4 压缩得到的文件，软件 解码器解码的数据帧保存在显示缓冲区，以供播放显示模块调用，从而实现本地 文件的回放。 第五章监控系统简介 图4 - 1 0 客户端软件主要模块之间的关系 从理论上说，客户端接收延时主要用于接收、处理第一个数据包产生的。服 务器和客户端的缓冲区设置与延时有一定的关系，如果缓冲区设置的过大，会出 现缓冲区累积的情况，可能会产生更大的延时。缓冲区设置的过小，在网络不稳 定的情况下会出现丢包的情况。在系统实现的时候要根据具体的用户延时要求设 置缓冲区大小，也可以根据用户的不同类别动态的分配缓冲区大小。 4 5 主要操作序列的设计 在客户端的设计中我们使用u m d 3 8 1 工具r a t i o n a lr o s e 3 9 1 来设计主要序列的 序列图。u m l 是面向对象建模的图形化表示法的标准，使用u m l 的方法来设 计可以使程序开发的各个阶段符号统一直观，便于交流和及时测试。 4 5 1 实时监控浏览 ( 1 ) 实时监控浏览的序列图： 第五章监控系统简介 图4 - 1 1 实时浏览操作序列图 ( 2 ) 客户端程序启动后，初始化监控界面的同时调用了c m o n i t o r v i d e o d l g 类 的o n c o n n e c t 0 函数与服务器建立连接。连接建立成功后，如果用户具备监视权 限变可以进行以下操作：调用n e t r e v 类的r e c e i v e f r o m s e r v e r o i 函数从服务器端 发送视频请求，调用d e c f r a m e 类的s t a r t d e c o d i n g p r o c e s s o $ 数开始解码数据， 调用d i s p l a y f r a m e 类的s h o w h i l a g e o 进行显示。如果登陆用户具备监控权限，还 可以控制摄像头的云台和镜头等设备。 4 5 2 回放操作 ( 1 ) 回放操作序列图 圈囝曰臣 碥 s t ar t d e c o d i n g p r 。 n 哪 。c ； 7 i f i l e e n d0 。 、必 图4 - 1 2 回放操作序列图 ( 2 ) 客户端程序使用回放按钮可以调用c m o n i t o r v i d e o d l g 类的 p i a y l 0 c a l f i l e o 来选择本地文件，选定文件后使用d i s p l a y e l o c a l f i l e 类 r e a d f i l e 0 3 8 第五章监控系统简介 从文件中读取数据，然后调用d e c f r a m e 类的s t a r t d e c o d i n g p r o c e s s 0 函数开始解 码数据，调用d i s p l a y f r a m e 类的s h o w l m a g e 0 进行显示在监控界面。 4 6 本章小结 本章主要介绍了基于c 幅模式的客户端软件的设计，首先给出了该软件的体 系结构，然后使用面向对象的思想和方法设计了系统的客户端软件，然后详细地 描述了系统的用例设计，主要模块以及主要操作序列的设计。 第五章监控系统简介 第五章监控系统简介 本章主要介绍本文内容的实际应用基于h 2 6 4 的网络视频监控系统。对 系统的试验环境以及性能指标进行描述。 5 1 系统概述 本系统总体结构可以划分为4 个部分，分别是： ( 1 ) 传感器：包括摄像机、云台和云台解码器。 ( 2 ) 嵌入式服务器端：嵌入式压缩芯片及服务器调度系统。 ( 3 ) 客户端：p c 机，p d a 或者s m a r t p h o n e ，软件处理系统。 ( 4 ) 通信线路：包括有线网络和无线网络。 图5 1 体系结构图 系统的主要功能体现在两部分：服务器端的实时预览和调度；客户端的实时 监控和远程控制。 5 2 客户端主要功能介绍 ( 1 ) 安装客户端，身份验证后进入监控窗口 ( 2 ) 实时浏览 4 0 第五章监控系统简介 a 与服务器建立连接并播放 b 切换通道，转化到其他的监控区域进行监控 c 镜头调节，包括光圈、焦距等。 d 云台控制。 e 保存回放、对感兴趣的视频数据进行保存，回放等操作。 5 3 系统实验运行 实验环境： 编解码器：使用x 2 6 4 编码器，f f m p e g 工程中的h 2 6 4 解码器 开发环境：采用v c + + 6 0s p 6 开剔4 2 1 。 运行环境：w i n d o w sx ps p 2 。 运行界面： 图5 2 服务器端运行界面 4 1 第五章监控系统简介 图5 - 3 客户端运行界面 5 4 客户端软件的主要性能指标 支持h 2 6 4 压缩格式存储 提供3 种图像浏览方式d 1 ( 7 0 4 x 5 7 6 ) ，c i f ( 3 5 2 x 2 8 8 ) ，q c i f ( 1 7 6 x 1 4 4 ) 传输帧率：1 0 2 5 帧，秒( 可调节) 解码帧率：大于3 0 帧秒 网络延迟：局域网小于1 秒 浏览方式：专用监控程序 安全性：三级用户权限管理 5 5 系统应用前景 该系统已经在实验室的局域网中进行了线程监控实验，实验运行测试表明， 系统的传输质量完全满足实时网络视频监控系统的要求：画面流畅，延时小。并 且系统在监测到异常情况时，也可以主动向用户发送图像或报警信息。随着人们 安防意识的提高，嵌入式网络监控系统具有广阔的应用前景。 第六章结论与展望 第六章结论与展望 基于嵌入式和h 2 6 4 编码技术的网络视频监控系统是监控系统的一个发展 趋势，本论文提出的嵌入式视频监控系统，经过设计、编码实现之后，我们对该 系统进行了测试。本论文中具体研究成果与工作包括以下几个方面： ( 1 ) 帧内预测模式选择优化算法 目前的帧内预测模式选择部分在降低计算复杂度和适应图像的类型方面存 在不足，本文根据图像自身的内在纹理结构和相邻预测模式的相关性，提出了一 个改进的帧内模式选择预测算法，在降低计算复杂度的同时，考虑到图像本身的 纹理特点，对不同类型的图像序列都有良好的适应性，实验也表明了本算法具有 良好的性能。 ( 2 ) 嵌入式网络监控系统的客户端设计与实现 实现了一个用于实时监控的嵌入式网络监控系统客户端，可用于对监控现场 的浏览、云台镜头的控制、用户的管理等操作。从用户的角度来说，使用方便， 只需要安装专用的客户端软件就可以实现对多个监控点同时监控。系统即插即 用，灵活性强，成本低。对用户的操作采用了权限校验方式，只有授权用户才可 对网络摄像机进行相应等级的访问。使用了目前最先进h 2 6 4 压缩标准的编解码 器，能在保证视频质量的前提下，实时、高质量、高压缩比的压缩视频。 目前本系统的c 俗模式下的网络多媒体计算机监控系统还存在一些需要改 进和完善之处： 进一步完善视频监控的网络传输部分和多路视频监控的资源管理策略，使系 统在恶劣的网络环境下，能具有良好的图像质量和流畅的监控画面。 在现有实验系统的研究基础上，实现基于w e b 的嵌入式网络多媒体监控系统 的探索和开发。 与传统的基于p c 的多媒体监控系统相比，基于嵌入式的网络监控系统具有 稳定性好、体积晓、能耗低、使用简单等优点。嵌入式网络监控系统必将取代基 于p c 的多媒体监控系统，具有更为广泛的应用前景。 参考文献 参考文献 【1 】刘富强编著数字视频监控系统开发及应用【m 1 北京：机械工业出版社，2 0 0 3 5 【2 】毕厚节编著新一代视频压缩编码标注一h 2 6 4 a v c 【m 】北京：人民邮电出版社， 2 0 0 5 5 【3 】l a i ne gr i c h a r d s o n h 2 6 4a n dm p e g - 4v i d e oc o m p r e s s i o nf o rn e x tg e n e r a t i o n m u l t i m e d i a 嗍t h er o b e r tg o r d o nu n i v e r s i t y , a b e r d e e n ，u k 【4 】d a v i ds a l o 脚n 【美1 著吴乐南等译数据压缩原理与应用( 第二版) i m 】电子工业出版 社，2 0 0 3 5 【5 】w b p e n e b a k e r , j lm i t c h e l l j p e gs t i l li m a g ed a t ac o m p r e s s i o ns t a n d a r d s 【m 】v a nn o s t r a n dr e i n h o l d ，1 9 9 3 【6 】6g r e g o r yw a l l a c e t h ej p e gs t i l lp i c t u r ec o m p r e s s i o ns t a n d a r d 【c 】c o m m u n c a t i o n so ft h e a c m ，3 4 ( 4 ) ：3 0 - 4 4 ，a p m1 9 9 1 7 j 精英科技编著视频压缩与音频编码技术【m 】北京：中国电力出版社，2 0 0 1 【8 1 胡晓峰等编著多媒体技术教程【m 1 北京：人民邮电出版社，2 0 0 2 【9 】庾露音视频编码技术标准 v s 一视频技术概述【e b o l h a p ：i n f o b r o a d c a s t h c 3 6 0 c o m h t m i 0 0 i 0 0 2 0 1 3 0 0 2 4 9 0 5 0 h t m 2 0 0 4 0 3 0 9 【1 0 】d e t l e vm a r p e ，h e 龇s c h w a r z , t h o m a sw i g a n d c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i c c o d i n gi nt h eh 2 6 4 a v cv i d e oc o m p r e s s i o ns t a n d a r d 【c 】1 e e et r a n s a c t i o n so n c i r c u i t sa n ds y s t e m sf o rv d e ot e c h n o l o g y , 2 0 0 3 ，1 3 ( 7 ) ：5 6 0 - 5 7 6 【1 1 】r r u tr e x h 2 6 4 i s o i e c1 1 4 9 6 - 1 0 , a d v a n c ev i d e oc o d i n g s ，f i n a lc o m m i t t e ed r a f t d o c u m e n tj v t f l 0 0 ，d e c e m b e r2 0 0 2 f 1 2 】f l uh 2 6 lt e s tm o d e ll o n gt e r mn u m b e r1 f i 埘1 ) d r a f t2f s 】i t u - t e l e c o m m u n i c a t i o n s s t a n d a r d i z a t i o ns e c t o rs t u d yg r o u p1 6 ，v i d e oc o d i n ge x p e r t sg r o u p ( q u e s t i o n l 5 ) 【1 3 】h 2 6 4 m p e gp a r t1 0w h i t ep a p e r c o n t e x t - b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ( c a b a c ) 【s 】2 0 0 3 0 4 【1 4 】gb j o n t e g a r r d ，kl i l l e v o l d c o n t e x t - a d a p t i v ev l cc o d i n go fc o e f f i c i e n t 【r i f a i r f a x ，v a , m a y 2 0 0 2 j v td o c u m e n tj v t - c 0 2 8 参考文献 【1 5 1 万萍等编著h 2 6 4 a v c 中的s p s 1 帧技术【j 】电视技术，2 0 0 4 1 ，2 2 2 5 【1 6 】郑翔等j v t 草案中的核心技术综述【j 】软件学报2 0 0 41 5 ( 1 2 ) ：5 8 - 6 8 【1 7 】b g i r o d ，e s t e i n b a c h , n f a e r b e r c o m p a r i s o no ft h eh 2 6 3a n dh 2 6 1v i d e oc o m p r e s s i o n s t a n d a r d 【q i ns t a n d a r da n dc o m m o n i n t e r f a c e sf o rv i d e oi n f o r m a t i o ns y s t e m s k r a o c d c r i t i c a lr e v i e w so fo p t i c a ls c i e n c ea n dt e c h n o l o g y p h i l a d e l p h i a , p e n n s y l v a n i a , o c t 1 9 9 8 , v 0 1 6 0 ：2 3 3 2 5 1 【1 8 】h a l f b a c k t p e r f o r m a n c ec o m p a r i s o n ：h 2 6 li n t r ac o d i n gv s j p e g s 1 i s o i e c j t c l s c 2 9 w g l la n di t u - ts g l 60 6 ，j v t4 岫m e e t i n gk l a g e n f u r t ，a u s t r i a ，j u l y2 0 0 2 1 1 9 f a n gp a n , x i a ou n ，e ta 1 f a s tm o d ed e c i s i o nf o ri n t r ap r e d i c t i o n 【d b o l i s o i e c j t c l s c 2 9 w g l la n dr r u - ts g l 6q 6 。胛7 mm e e t i n gp a t t a y ai i , t h a i l a n d ，7 - 1 4 ，m a r c h 2 0 0 3 h t t p ：s t a n d a r d s p l o y c o m c o m 2 0 0 3 0 3 一p a t t a y a j v t - g 0 1 3 d o e 【2 0 】b o j u nm e n g , o s c a rc a u + ，c h i - w a hw o n g e f f i c i e n ti n t r a p r e d i c t i o nm o d es e l e c t i o nf o r 4 x 4b l o c k si nh 2 6 4 【q i e e ei n t e m a t i o n a lc o n f e r e n c eo na c o u s t i c s ，s p e e c h , a n ds i g n a l p r o c e s s i n g ，2 0 0 3 【2 1 1c h a o - c h u n gc h e n g , t t a n - s h e u a nc h a n g f a s tt h r e es t e pi n t r ap r e d i c t i o na l g o r i t h m f o r4 x 4 b l o c k si nh 2 6 4 d b o l d e p t e l e c t r o n i c se n g i n e e r i n g , n a t i o n a lc h i n o - t u n gu n i v e r s i t y , h s i n c h u ，t a i w a n ，r o c 【2 2 】k i mc ，s h i hh - h ，k o oc - o m u l t i s t a g em o d ed e c i s i o nf o ri n c ap r e d i c t i o ni nh 2 6 4c o d e e 【a 1 s p i e1 6 t ha n n u a ls y m p o s i u me l e c t r i ci m a g i n g v c i p2 0 0 4 ，s a nj o s ec a l i f o r n i aj a n 2 0 0 4 1 8 - 2 2 【2 3 】r r u tr e e h 2 6 4 1 1 s o m c1 1 4 9 6 - 1 0a v c j m 8 6 c p o l h t t p ：i p h o m e h h i d e s u e h r i n g t m l d o w n i o a d 2 4 】张丽编著流媒体技术大全【m 1 北京：中国青年出版社2 0 0 1 1 1 【2 5 】i s o i e c1 4 4 9 6 - 1 ：2 0 0 1 ，i n f o r m a t i o nt e c h n o l o g y ：c o d i n g o fa u d i o - v i s u a lo b j a c t s - p a r t l ： s y s t e m s 【s l ，i s o f l e cj t c1 s c2 9 w g1 1n 3 8 5 0 2 0 0 0 1 0 1 9 【2 6 】严俊，潘建平m i c r o s o f tw i n d o w sj 不境下r t p 的实现及其适应性应用的研究【j 】数据 通信，1 9 9 9 ，2 ：2 4 - 2 6 【2 7 】朱蔓菁，黄旭慧等i p 组播技术在视频传输中的应用i j l 南昌大学学报( 工科版) 2 0 0 6 0 1 2 8 1j e f f r e yr i c h t e r w i n d o w s 核心编程 m i 北京：机械工业出版社2 0 0 0 0 5 p 1 9 5 2 0 4 4 5 参考文献 【2 9 】徐昌平等基于p s t n 网的远程传输系统的设计【j 1 计算机仿真2 0 0 0 ，1 7 ( 6 ) ：3 1 3 2 【3 0 l 符沧海基于h ，2 6 3 标准的l 鲞j 像实时压缩软件实现的研究 d i 华中科技大学硕士学位 论文2 0 0 1 3 1 】r h e el ，j o s h isr e r r o rr e c o v e r yf o ri n “：r a c t i v ev i d e ot x a n s m i s s i o no v e rt h ei n t e r n e tp 】， 髓j o u r n a lo i ls e l e c t e d a r e a si nc o m m u n i c a t i o n s ，2 0 0 0 ，1 8 ( 6 ) ：1 0 3 3 1 0 4 8 【3 2 】乔林v m u a lc + + 6 0 高级编程技术d i r 鳅x 篇【m 】北京：中国铁道出版社2 0 0 0 0 8 3 3 】d i r e e t xs d k 9 0 【m 】