（检测技术与自动化装置专业论文）视频监视系统及数字图像处理技术的研究.pdf

摘要 摘要 随着嵌入式技术、数字视频处理技术、图像处理技术以及网络技术的发展， 视频监视系统得到了飞速的发展，特别是针对不同场景的监视系统，出现了多种 不同的解决方案。本文主要论述了基于s u p e r h 架构处理器和专用视频图像处理 芯片的嵌入式视频监视系统的设计与实现技术；并针对视频处理过程中图像采集 中存在的问题设计了一套合理的视频图像处理算法。 本文首先介绍了视频监视系统和视频图像处理技术的发展历程，以及现阶段 国内外视频监视产品的状况。通过对现阶段嵌入式视频监视系统多种实现方案的 比较，并在深入了解嵌入式视频监视系统组成的基础上，提出了基于s u p e r h 架 构嵌入式处理器和专用图像处理芯片的视频监视系统实现方案。 然后，针对各种视频监视系统中普遍存在的视频图像低画质问题，本文提出 并设计了相应的图像处理算法，主要用于提高数字图像动态范围和对因传感器特 性造成的阴影进行补偿两方面。相关的算法验证结果充分表明了本算法的可行性 和有效性。 其次针对视频图像处理中高性能和高处理速度的要求，构建了由s h 7 7 2 7 处 理器和高性能专用图像处理芯片a g 9 0 2 组成的硬件平台。并在此基础上，本文 对视频监控软件进行设计。系统监控软件主要由上层应用处理程序和设备驱动程 序组成。上层应用程序实现了对整个系统所有任务的调度和管理，并在图像处理 芯片和硬件设备之间传输图像数据；设备驱动程序对硬件设备的相关操作进行封 装，以提供给上层应用程序使用。同时，由l i g h t t p d 网络服务器和f t p 服务器 组成的网络部分为视频监视系统提供了功能强大的网络功能。 最后，文中详细介绍了整个视频监视系统的调试过程和运行结果，结果显示 本文所提出的视频监视系统的方案具有可行性和正确性。 本文使用了大量的图片和表格阐述了视频监视系统的设计，使得系统的设计 方案、硬件结构和软件结构清晰，特别是在阐述和验证视频图像处理算法的过程 中，更是使用了不同场景的图片加以比较，使读者更加明晰。 关键词视频监视系统；数字图像处理；宽动态范围 北京t 业大学硕j 学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ee m b e d d e dt e c h n o l o g y , d i g i t a lv i d e op r o c e s s i n g ， i m a g ep r o c e s s i n ga n dn e t w o r kt e c h n o l o g y , v i d e om o n i t o rs y s t e mh a sd e v e l o p e d r a p i d l y i np a r t i c u l a r , i nr e s p o n s et ot h ed i f f e r e n ts c e n e s ，t h e r ea r em o r ea n dm o r e s o l u t i o n s s oi n t h i st h e s i s ，t h ed e s i g na n dr e a l i z a t i o no fa ne m b e d d e dv i d e om o n i t o r s y s t e mb a s e do ns u p e r ha r c h i t e c t u r ee m b e d d e dp r o c e s s o ra n ds p e c i a lv i d e oi m a g e p r o c e s s i n gc h i pa r ei l l u s t r a t e d m o r e o v e r , i nr e s p o n s et ot h es e r i o u sp r o b l e mo ft h e l o wi m a g eq u a l i t yd u r i n gt h ec a p t u r ep r o c e s s ，t h i st h e s i sp r o v i d e sas e r i e so fv i d e o i m a g ep r o c e s s i n ga l g o r i t h m s f i r s t l y , t h ei m p r o v e m e n ta n dd e v e l o p m e n to ft h ev i d e om o n i t o rs y s t e ma n dv i d e o i m a g ep r o c e s s i n gt e c h n o l o g yi t s e l fa r ei n t r o d u c e d t h r o u g ht h ec o m p a r i s o no nt h e m a n ys o l u t i o n sa n dt h ec a r e f u lc o l l e c t i o no ft h es y s t e ma r c h i t e c t u r e ，t h ev i d e om o n i t o r r e a l i z a t i o ns o l u t i o nb a s e do nt h es u p e r hp r o c e s s o ra n ds p e c i a li m a g ep r o c e s s i n g c h i p i sp r o v i d e d s e c o n d l y , b e c a u s et h el o wq u a l i t yi m a g ep r o b l e mi sw i d e s p r e a di nt h ev i d e o m o n i t o rs y s t e m ，as e r i e so fp r o c e s sa l g o r i t h m sa r ep r o v i d e d a n dt h ew i d ed y n a m i c r a n g ea n ds h a d i n ga l g o r i t h mp l a y sak e yr o l ei nt h ei m p r o v e m e n t a tt h es a m et i m e ， t h ep a p e rv e r i f i e st h es p e c i a li m a g ep r o c e s sa l g o r i t h m t h er e s u l t ss h o wt h e ya r e c o r r e c ta n de f f e c t i v e t h i r d l y , a c c o r d i n gt ot h eh i g hp e r f o r m a n c ea n dh i g hs p e e di nt h ev i d e oi m a g e p r o c e s s i n g ，t h i sp a p e ri l l u s t r a t e st h es y s t e mh a r d w a r e ，w h i c hi sm a i n l yc o m p o s e do f t h es h 7 7 2 7p r o c e s s o ra n da g 9 0 2h i g hp e r f o r m a n c ei m a g ep r o c e s s i n gc h i p a l s o ，t h i s t h e s i sp r o v i d e st h ev i d e om o n i t o rs o f t w a r e a n dt h es o f t w a r ei s c o m p o s e do ft h e u p p e ra p p l i c a t i o np r o g r a ma n dt h ed e v i c e d r i v e r p r o g r a m ，r e a l i z e st h ew h o l e p r o c e s s i n gt a s k so ft h ev i d e om o n i t o rs y s t e m o nt h eo n eh a n dt h eu p p e ra p p l i c a t i o n p r o g r a mr e a l i z e sa l lo ft h et a s k s ，a n dt r a n s f e r st h ed a t ab e t w e e nt h ei m a g ep r o c e s s i n g c h i pa n do t h e rh a r d w a r ed e v i c e s ，o nt h eo t h e rh a n d ，t h ed e v i c ed r i v e rp r o g r a m e n c a p s u l a t e st h er e l a t e dm a n i p u l a t i o no ft h eh a r d w a r ed e v i c e ，p r o v i d e st ou p p e r a p p l i c a t i o np r o g r a m a tt h es a m et i m e ，t h en e t w o r kp a r tp r o v i d e sc o m p r e h e n s i v e n e t w o r kf u n c t i o n ，w h i c hi sc o m p o s e do ft h el i g h t t p dw e bs e r v e ra n df t ps e r v e r l a s t l y , t h ew h o l ed e b u gp r o c e s s e sa n dr u n n i n gr e s u l t sa r ei l l u s t r a t e d t h er e s u l t s d e m o n s t r a t et h es o l u t i o ni nt h i st h e s i si sr e a s o n a b l ea n dc o r r e c t d u r i n gt h ei l l u s t r a t i o nt h ef i g u r e sa n dt a b l e sa r eu s e dt om a k et h es o l u t i o n ， h a r d w a r ea r c h i t e c t u r ea n ds o f t w a r es t r u c t u r em u c h c l e a r e r p a r t i c u l a r l yw h e n i l l u s t r a t i n ga n dv e r i f y i n gt h ev i d e oi m a g ep r o c e s s i n ga l g o r i t h m ，t h ef i g u r e so f d if f e r e n ts c e n e sa r eu s e dt om a k et h ea l g o r i t h mc l e a r e r k e y w o r d s ：v i d e om o n i t o rs y s t e m ；d i g i t a li m a g ep r o c e s s i n g ；w i d ed y n a m i c r a n g e i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：盎堕歪叁 日期： 关于论文使用授权的说明 ! 生j _ i 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文： ( 保密的论文在解密后应遵守此规定) 签名：鉴堕塑 导师签名： 瑚罗o 、2 2 第一章绪论 1 1 课题背景 第1 章绪论 随着人们生活水平的提高以及信息技术的发展，视频监视的概念已经被更多 的人所接受。作为一个应用，视频监视系统能够监控环境和事件，并且将相关视 频信息录制下来以便日后调查。 随着安全风险的提高，现阶段在日常生活中对于监视和录像的需求已变得日 趋重要，视频监视的使用范围也在逐渐扩大。例如在交通运输行业，视频监视系 统能够监控交通堵塞：在零售行业，视频监视有助于发现客户在店内的移动情况， 或在收款台排队人数应该改变时提醒管理人员。同时，产品和包裹运输机构能使 用己录制视频来帮助跟踪和确认货物的运送，以及寻找丢失的包裹。此外，视频 监视能与门禁系统集成和相互补充，对门禁卡的使用提供视频证据。 视频监视系统的广泛应用也为监视系统中的关键技术提出了更高的要求。现 阶段视频监视系统的关键技术体现在如何提高摄像头捕获视频图像的画质，和如 何提高视频监视系统的整体性能上。如何从根本上提高数字视频监控图像的质 量，从而达到监视的目的，以及如何增强系统的整体功能成为大家研究的焦点。 在视频监视系统中，数字图像处理起着举足轻重的作用，它直接决定了监视 系统的性能。数字图像处理的研究缘于两个主要的应用领域：其一是为了便于人 们分析而对图像信息进行改进；其二是为使计算机自动理解而对图像数据进行存 储、传输和显示心1 。所以，图像处理技术是否先进直接决定了视频监控系统的图 像画质的高低和视频监视系统的整体图像处理性能的优劣。现阶段视频监视系统 环境复杂，外界干扰大，针对视频监视系统设计出更先进更合理的算法显得特别 重要。 目前有很多专注于视频监控方面的研究，也取得了一定的进展。但是其相关 技术也存在一些难以解决的问题，特别是在产品化后，现有的视频监视系统在应 用过程中暴露出更多的问题。基于此，本课题在视频监视方面进行了广泛的研究， 力图在系统的整体功能上，以及监视设备的图像质量上都达到了一个更高的水 平。- 北京工业火学工学顶十学位论文 1 2 国内外研究现状 1 2 1 视频监视系统的发展历程 视频监视系统的发展与网络技术和通信技术的发展密不可分，其发展经历了 模拟监视系统、基于p c 机的视频监视系统，以及目前新型的基于嵌入式的智能 视频监视系统等阶段。最早的模拟视频监视系统采用模拟信号在电缆和光纤中传 输，然后再集中监视和录像的形式。这种监视系统主要由摄像机、视频切换矩阵、 监视器和录像机组成，通过视频线和控制线相连接。尽管价钱低廉，但是传输距 离有限且监视方式也比较单一。随着数字视频压缩技术的进步，出现了基于p c 机的板卡式视频监视系统。在这种系统中各种各样的采集卡和通信卡成为了系统 的重要组成部分，在强大的通信网络支持下构成了视频监视系统。在实际应用中 此类系统比较差的可靠性和环境适应能力成为其发展的最大阻碍引。 伴随着嵌入式系统的发展，出现了集多媒体技术、数字图像处理、嵌入式系 统及远程网络传输等最新技术为一身的嵌入式视频监视系统。嵌入式视频监视系 统不仅仅可实现图像传输、远程控制、现场信号采集等监视功能，还可提供高质 量的监视图像和便捷的监视方式。嵌入式视频监视系统的网络功能一般基于 t c p i p 架构，顺应通信技术的发展趋势，具有非常灵活的应用。在监视系统的 相关技术中，嵌入式技术和数字图像高压缩编码技术正在受到广泛的关注。 目前，嵌入式视频监视系统广泛应用在各种重要的监视场合下。例如，苏州 市移动通信营业网点视频监控联网项目中就将嵌入式d v r ( d i g i t a lv i d e o r e c o d e r ) 使用在了网络视频监视系统中h 1 。另外，中国电信的全球电子眼系统 也在使用嵌入式视频监视系统。 1 2 2 视频图像处理技术的发展 视频图像处理技术一直推动着视频监视系统的发展，作为视频监视系统关键 技术之一，视频图像技术的水平直接决定了监视系统的性能。视频图像的质量始 终贯穿于视频图像的摄取、传输、处理、再处理、显示和回放等环节，这些环节 构成了一个视频图像周期嵋1 。在视频图像处理技术领域最重要的两个方面就是图 像压缩技术和视频图像处理技术。 1 2 i2 1 图像压缩技术 从图像压缩技术的角度来讲，图像处理的性能主要取决于图像处理算法的效 第一章绪论 果，目前国内外比较常用的图像处理算法包括j p e g 、m j p e g 、m p e g 4 和h 2 6 4 。 它们各自有各自的特点，究竟使用哪一种算法取决于系统性能的指标和处理器本 身的性能。上述多种图像压缩技术性能比较如表1 1 所示哺3 。同时，很多生产厂 商也在进行相关技术的研究，不断推出各自的压缩处理算法和解决方案。 表1 - 1图像压缩技术对比表 t a b l e1 - 1i m a g ec o m p r e s st e c h n o l o g yc o n t r a s t 图像压缩技术特点 j e p g 基于d c t 的静止图像压缩算法，当压缩比为2 0 ：l 时能看到图像 的变化，超过这个比值图像质量就会变差，不适合通过网络传输 m j p e g 运动静止图像压缩技术，把运动的视频序列作为连续的静止图像来 处理，优势在于所支持的速率和图像分辨率没有太多限制，但是数据 量非常大 m p e g 4 它不是一个具体的算法，而是一种统一的数据格式，主要特点是采 用基于对象的编码理念，对不同的图像分别解码，再组成所需要的音 视频，它面向比特率低、对视觉要求低的场合，能节省存储空间和带 宽，但是图像易失真 h 2 6 4 实现高压缩比高图像质量，很强的网络适应性，引入面向i p 报的编 码机制，由视频编码层和网络层组成 从应用的角度来看，j p e g 算法主要应用在静态图像应用上，很少用在流媒 体领域内。m j p e g 压缩算法由于所需数据量比较大主要用在p c 平台下的视频 监视系统，m p e g 4 和h 2 6 4 是现阶段应用最广的两种图像压缩算法，m p e g 4 主要用在高清数字电视、交互式存储媒体、数字广播视频和有线电视领域。h 2 6 4 则由于其强大的网络适应性更多的用在网络视频监视系统中。 1 2 2 2 视频图像处理技术 在视频监视系统的前端视频图像采集部分，即摄像头部分，在很大程度上直 接决定了监视图像的清晰度。而现阶段数字摄像头采集到图像画面比较模糊，画 质较低，已成为严重影响监视系统发展的瓶颈，而这恰恰是后端图像压缩处理技 术无法弥补的。尽管随着高清晰数字技术的发展这个问题有了明显的改善，但是 由于数字图像传感器的物理特性上的限制，图像画质仍然没有从根本上得到改 善。目前新型的摄像头更多地是从物理结构上实现色彩的理想表现，松下公司的 h d c h s 9 g k 摄像机就采用3 个独立的c c d 传感器分别处理入射光中的三种不 同色彩( 红色，绿色和蓝色) 的成分1 。索尼公司的h d r s r l 2 e s r l l e 摄像 机的c m o s 影像传感器在传统像素排列的基础上，旋转4 5 度t 4 1 i 歹u ，以实现出众 画质巾】。同时，很多学者已经注重从图像本身进行研究，也就是从图像的画质上 进行处理。目前，这方面的技术进展仍处于研究阶段，产品化还有待一段时间。 北京工业大学t 学顶一l j 学位论文 1 2 3 国内外视频监视系统的发展现状及趋势 1 2 3 1 国内外视频监视的发展现状 随着视频监视系统技术的发展和城市化进程的推进，视频监视系统得到了 广泛的应用，特别是在一些高级社区和智能楼宇中已经相当普及，功能也日趋完 善。从技术角度来看，这种进展主要体现在智能化、网络化等方面。现在广泛应 用的监控系统多为嵌入式系统，使用功能强大的嵌入式处理器作为中央处理机 构，并借助嵌入式处理器丰富的外设资源，为监视系统添加更多的功能，诸如先 进的音、视频处理功能。有些功能强大的处理器甚至带有i d e 接口，直接将数 据存储到移动设备中。从图像处理的角度来看，现在流行的视频监视系统一般采 用专用的图像处理芯片，对图像进行压缩和解压缩，通常的格式为m p e g 和 h 2 4 3 。同时，当前视频监视系统的通信功能成为了决定整体性能的关键因素。 除了串行通信、u s b 传输等传统传输方式外，以太网和一些专用的无限传输协 议得到了广泛的应用。基于t c p i p 协议的以太网使得视频监视系统可以与互联 网实现无缝联系，而诸如z i g b e e 等的无限传输协议，也能够实现图像数据近距 离的快速传输1 3 1 。 从产品化的角度来看，国外企业在视频监视领域以及图像处理领域长期占据 垄断地位，高端产品也几乎被国外大厂商垄断，松下、索尼等企业的产品更是凭 借较高性能长期垄断市场。例如索尼公司的h d r s r l 2 e s r l1 e 高清数码摄像机 采用晶锐c m o s 影像传感器，该传感器在传统像素排列的基础上，旋转4 5 度排 列，结合b i o n z 影像处理器能够实现高处理速度下1 9 2 0 x 1 0 8 0 分辨率的出众画 质( 源自3 6 倍的信号容量) 、低噪点、低光照感光度和清晰图像。同时，此产 品选用德国先进的卡尔蔡思摄像头，镜头表面覆盖多层t 涂层，可有效减少耀光 和鬼影现象，同时增加对比度，进一步提高了图像质量聃1 。松下公司的 h d c h s l 0 0 d k 摄像头采用3 m o s 系统方案，即摄像头分别采用不同的m o s 传 感器摄取红色、绿色和蓝色光线分量，所以不会有光线损耗。同时，所有镜片的 表面均采用多层涂膜处理，这样有助于抑制重影和眩光。即使是在光线强烈的户 外也能拍出清晰、鲜明的影像。这款先进的摄像机镜头具有卓越的影像还原性能， 用它来拍摄富于表现力的全高清影像可以获得理想的效果h 1 。再有，三星公司的 v p d x 2 0 0 i 摄像头采用全新降噪技术将每帧图像进行分别处理，并通过不同的过 滤器，保持原始影像和边缘并消除噪点，真实还原自然影像u 劓。 值得注意的是，现在有的公司并不特别制作完整的视频监视系统，而是利用 其自身的技术优势把重点放在高端视频模块的开发上，专注于i p ( i n t e l l e c t u a l p r o p e r t y ) 的开发。例如英国的a p i c a l 公司就专门研制高端视频处理模块i r i d i x ， 第一章绪论 这款高质量动态范围控制引擎基于人眼视觉理论，并采用自适应技术，以像素为 单位进行校正，这样在最大程度上保证了图像的细节n5 | 。目前这种基于神经网络 算法的模块被很多公司采用，同时这种硬件实现方式也解决了多种视频处理关键 技术，并已经投入产品使用。 1 2 3 2 国内外视频监视的发展趋势 随着嵌入式技术、流媒体技术以及网络技术的飞速发展，现阶段视频监视系 统也进入了崭新的发展阶段，正向着视频和音频的数字化、系统网络化和管理的 智能化方向高速发展。视频监视系统的整体系统性能、图像画质、网络功能等方 面都非常重要，如何在上述方面增强系统的功能是未来研究的核心问题。 ( 1 ) 视频监视系统整体功能将更为强大，随着微电子技术的发展，视频监 视系统将采用更为先进的处理器，提高了系统的运行速率，也可以为系统增加更 多的外部设备，例如触摸屏设备可以为用户提供更直观的操作，u s b ( u n i v e r s i a l s e r i a lb u s ) 控制器等也为系统提供了更多的数据传输方式。 ( 2 ) 视频图像质量将大幅度提高。视频图像的质量主要由视频图像处理技 术和图像压缩技术决定。从图像压缩技术角度来看，目前在视频监视系统中主要 应用的压缩算法有m p e g 4 和h 2 6 4 。h 2 6 4 为目前国际上最先进的视频压缩标准， 其压缩性能在保证同样的图像质量下，比m p e g 4 有近一倍的压缩比，更加适合 在网络带宽和存储空间受到成本限制的实际条件下搭建系统n 孔。图像处理技术方 面目前已积累了很多成熟的算法，诸如图像亮度提取，边缘检测，去除噪声等等， 今后的发展将在这些算法的基础上再加以综合运用，并针对实际监视过程中出现 的个别问题进行专门研究，提出一些更有针对性的解决方法。 ( 3 ) 网络化趋势增强。思科公司最近提出的解决方案中，将视频交换功能 压缩到现有以太网交换网络上，能够进一步降低复杂度，以及部署视频监视的成 本。它还为视频监视系统所有者提供了灵活地根据其特定需求设计解决方案的能 力。此外，作为开放网络的一部分，操作员可以创建策略，允许其他安全应用， 以及其他非传统业务应用，使用作为信息源的视频，发挥其内在价值。同时，它 扩展了视频监视网关( 增强编码器和解码器) 以及n v r ( n e t w o r kv i d e or e c o d e r ) 的功能，用通常成本较低的标准以太网交换平台取代了矩阵交换机。 ( 4 ) 视频监视系统将向着智能化方向发展。未来的视频监视系统将包括远 程视频监控、云台和镜头控制、存储与回放、实时语音、图像分发、客户自主管 理、抓拍等基本功能。除基本功能外还可提供二次开发的支持，实现统计报表、 报警联动、电子地图、智能图像辩识等功能。上述这些功能将是视频监视从网络 化走向智能化的决定因素，将它们集中于一体构建一套完整的视频监视系统。中 国电信正在研制过程中的第四代网络视频监视系统就将利用智能图像识别技术 北京工业大学t 学硕士学位论文 在图像中获取信息，用于车牌识别、面部识别、目标跟踪等等n 们。 1 3 本论文研究的主要内容 现阶段视频监视系统在各个领域得到了越来越广泛的应用，但也存在一些严 重的问题，影响了视频监视系统的性能，为应用带来可很多不便。本论文为了从 根本上提高视频监视图像的画质，并在最大程度上提高视频监视系统的整体性 能，对数字图像的宽动态范围和阴影补偿技术进行了研究，并结合嵌入式技术对 嵌入式视频监视系统进行了研究。 在课题中，本文选择基于s u p e r h 架构的s h 7 7 2 7 作为系统的主处理器，采用 l i n u x 操作系统，负责系统任务的调度和数据的传输。高性能和专用图像处理芯 片a g 9 0 2 作为系统的重要组成部分，负责图像及视频数据的压缩、解压缩，以 提高系统的性能。控制终端采用触摸屏和液晶显示，为用户提供了最方便和直观 的操作环境，并加入了强大的网络服务器功能，提供了远程控制功能。基于课题 内容，本论文分为以下七章： 第一章绪论，介绍了课题的研究背景、国内外研究的现状以及视频监视系统 产品的发展，最后总结了本论文的研究内容。 第二章嵌入式视频监视系统总体方案设计，首先确定了系统性能的需求，然 后在研究嵌入式系统开发流程的基础之上提出了系统的总体设计方案并进行可 行性分析。 第三章数字视频图像处理算法研究，本章根据现阶段视频监视系统中图像画 质存在的问题，提出了扩大数字图像宽动态范围和数字图像阴影补偿的算法，并 对两种算法进行了验证。 第四章系统硬件结构设计，本章阐述了视频监视系统的硬件结构。在对系统 整体结构进行简要描述后，详细介绍了本视频监视系统的核心部分，专用图像处 理模块。 第五章系统软件设计与实现，本章首先阐述了视频监视系统软件的设计目 标，随后介绍了软件的具体实现，包括系统应用程序控制部分、系统的设备驱动 程序，以及系统网络部分程序。 第六章系统调试与运行结果分析，本章用大量的图片对系统的调试过程和运 行结果进行了论述，以证明本论文提出的视频监视系统实现方案的正确性和可行 性。 结论部分，对论文进行了总结，并提出了课题研究现阶段存在的不足之处。 6 第二章嵌入式视频监视系统总体方案设计 第2 章嵌入式视频监视系统总体方案设计 2 1 系统性能的需求分析 目前，随着嵌入式图像处理技术的发展和实际应用对视频监视系统整体性能 的要求不断增加，现用的嵌入式视频监视系统通常需要集高图像画质和全面的控 制功能为一身。在图像处理性能方面，大致存在三种实现方式： ( 1 ) 基于d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 芯片实现图像处理功能，即对摄像头 输出的格式进行j e p g 压缩，j p e g 的核心处理算法和相关音、视频信号的处理 全部在d s p 内部实现，这样的实现方式图像处理性能较好，但系统功能比较单 一，系统集成度不高。 ( 2 ) 使用高性能的c p u 处理器，如高性能a r m ( a d v a n c e dr i s cm a c h i n e ) 芯片，采集前端摄像头数据，并将捕捉的数据通过u s b 接口传输到a r m 处理 器中，压缩图像，将其保存为j p e g 格式，然后采用e n c o d e r 编码器将多幅图片 合成为数据流，实现视频回放。由于图像的处理完全是在操作系统中采用软件处 理，所以其图像信息的处理速度上会受到很大限制。 ( 3 ) 采用“高性能处理器+ 专用的图像处理芯片”方案，即将摄像头采集的图 像数据传送到专用的图像处理芯片。图像压缩解压缩的全过程由专用芯片完成， 从而不仅提高了图像处理的质量，而且减轻了c p u 的负担，被释放出来的c p u 可以与更多的外设结合，大大提高了系统的整体性能。因此在这种方案的实现过 程中，如何选择高性能的c p u 以及高性能的图像处理芯片就成为了整个视频监 视系统性能的关键因素。 在系统的整体性能方面，监视系统要求具备系统操作和数据传输功能。在系 统操作方式中主要包括传统的上、下位机控制和以触摸屏控制为代表的终端控制 两种。如果采用传统控制方式，系统就比较复杂，严重缺乏灵活性。同时这种方 式操作者只能远程控制，不够直观。后一种控制方法可以使系统操作起来比较直 观，另外操作者也可以直接控制终端。从数据传输的角度来看，现在比较流行的 就是基于t c p i p 的以太网传输，也就是网络视频监视系统。通过网络传输压缩 的音、视频信号，并传输控制和反馈数据。 此外，当前的视频控制系统都要求具备很强的扩容能力，无论从设备接口角 度还是从平台架构都需要有很大的扩展能力。 综上所述，嵌入式智能视频监视系统由以下几个部分组成： ( 1 ) 监视摄像头：监视摄像头是监视系统的视频图像信息来源，直接决定 北京t ! 比大学工学硕十学位论文 了监视图像的画质是否清晰。监视摄像头分为模拟摄像头和数字摄像头两种，模 拟摄像头系统中使用模拟信号，采用连续的电平方式；数字摄像系统中使用数字 信号，采用抽样的电平方式。当前流行的视频监视系统更多地使用数字信号，便 于后期处理。但是，即使是高像素的数字摄像系统也普遍存在着图像画面模糊的 问题，给监视带来了很大的困难。所以如何有效地提高监视摄像头的质量，尤其 是图像画质尤为重要。 ( 2 ) 中央处理器：中央处理器主要负责协调整个系统，运行操作系统，调 度系统中的任务，负责各部分之间的通信，并实现与系统外部的交互。一般选用 a s i c ( a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc i r c u i t ) 芯片实现这些功能。同时，随着微 电子技术的发展，现在的智能监视系统更多采用带有d s p 处理器核的a s i c 芯片。 芯片内部的d s p 核专门用于进行复杂的数学运算，而c p u 则用于系统的任务调 度，以提高系统的整体性能。 ( 3 ) 视频图像处理部分：视频图像处理部分主要是针对摄像头采集的视频 图像进行处理。图像处理芯片主要负责视频图像的压缩和解压缩，以及视频图像 数据的传输，有的高端图像处理芯片还能够对图像的格式、颜色进行一定程度的 变换和改变，甚至是带有画图功能。高压缩比的芯片会使大大减少系统存储芯片 的大小，减轻系统负担，增强系统功能，具有其他功能的图像芯片就在更大程度 上提高了系统的性能。 ( 4 ) 存储设备：存储设备是视频监视系统中必不可少的组成部分。一方面 存储器中要保存监视的图像信息，另一方面存储器中还可以保存一些系统内部的 配置信息，同时系统全部的实现代码也存在于存储器中。常用的存储器有s r a m 、 s d r a m 、d d r 、f l a s h 、c f 卡和s d 卡。 ( 5 ) 网络及其他通讯设备：作为现今的视频监视系统，及时有效地与外部 通信是系统必不可少的。以太网、u s b 都是有效的通信方法。网络部分还包括 嵌入式网络服务器，负责用户远程传输视频图像数据。 本课题所实现研究的视频监视系统所具有的功能包括： ( 1 ) 实时采集清晰彩色视频图像，图像格式和采样频率均可设置； ( 2 ) 视频监视系统的图像采集录制功能( d v r ，d i g i t a lv i d e or e c o d e ) 和多 通道视频信息切换功能( p o pf u n c t i o n ) ； ( 3 ) 视频监视系统的远程管理功能； ( 4 ) 实现视频监视系统的可视化控制； ( 5 ) 设计并验证适用于多种视频监视环境的前端视频图像处理算法； ( 6 ) 本系统具有足够的扩展能力，为后续开发奠定基础； 垩三茎耋全圣堡堡鳖堡垂童塞堑耋量塞錾 2 2 系统总体方案设计与可行性分析 经过仔细的调研与方案比较，并针对视频监视系统所需实现的功能，咀及对 嵌入式系统开发流程的了解，本课题所实现的视频监视系统方案如图2 - 1 所示。 图2 - i 视频监视系统设计方案圈 f i g l l r e2 - 1v i d e o m o n i t o rs y s t e ms o l u t i o n 系统选用嵌入式处理器和专用图像处理芯片构建本系统的主要硬件平台，在 此基础上，采用l i n u x 操作系统作为系统的软件平台，这样的系统方案就可以方 便地实现系统的图像采集功能和多通道切换功能。l i n u x 操作系统的多任务调度 机制可方便地添加外设资源，实现系统的集中管理。在终端部分，为实现系统的 可视化控制，选用l c d 液晶显示及配套的触摸屏，同时选用一块c f 卡和一块 s d 卡作为视频监视系统文件的存储设备，为实现系统的远程控制，本系统基于 l i n u x 操作系统搭建嵌入式网络服务器，并编写基于p h p 语言的客户端界面。 另一方面，为保证监视系统采集到高清晰的视频图像，并能够设置图像的属 性，本系统特意选择了由高性能c m o s 图像传感器构成的摄像头，并针对摄像 头图像质量上的缺陷提出了特殊图像处算法。 北京t , l k 大学t 学硕士学位论文 2 3 本章小结 本章首先对本视频监视系统的性能需求进行了深入的分析，随后针对当前嵌 入式视频监视系统的相关研究和产品进行了深入的调研。在对多种实现方案进行 比较之后，确定了使用以“嵌入式处理器+ 专用图像处理芯片”为核心的系统实 现方案，包括硬件选型、软件平台和系统分开发流程，为后续系统的软、硬件实 现奠定了坚实的基础。 第三章数字视频图像处理剪法研究 3 1 引言 第3 章数字视频图像处理算法研究 随着数字图像处理技术、计算机技术以及网络技术的发展，数字视频监视系统 的应用水平和整体功能有了很大的提高，但是视频监视系统中图像的画质本身仍 然是影响监视系统性能提高的瓶颈，特别是数字图像传感器的引入也带来了一些 原来胶片成像未曾出现的问题，例如数字图像传感器成像的动态范围相比胶片成 像的图像动态范围明显变窄。同时，就针对视频监视系统的研究现状而言，其技 术重点主要侧重于图像的压缩、传输等方面，反而忽视了图像画质本身的问题。 为此，本课题从视频监视系统的前端入手，深入研究了针对摄像头获取图像的视 频图像处理算法，意在从本质上提高监视图像的画质，从根本上提高监视系统的 质量。文中所研究的主要算法包括：数字图像的宽动态范围( w d r ，w i d ed y n a m i c r a n g e ) 以及数字图像阴影补偿( s h a d i n g ) 等。上述算法通过软件仿真验证，从 而为算法的进一步实现奠定了坚实基础。 3 2 数字图像宽动态范围算法 3 2 1 数字图像宽动态算法原理 在数字图像处理中，宽动态范围是一个重要的特征，在图像视觉和图像的复 杂分析方面起着关键作用，它直接影响了图像的最终质量和压缩效率。数字图像 的动态范围由饱和信号量( 信号的最大值) 和噪声( 平均噪声) 之比来决定。从 光能接收的角度出发，动态范围a 的可定义为： a = 2 0 宰l g ( i 。越i 。i 。) 或a = 2 0 丰l g ( e 。旺e 。i 。) ( 3 一1 ) 式中0 数字图像的动态范围； i 。传感器线性检测到的入射光强的最大值； i 。；传感器线性检测到的入射光强的最小值； e 。，图像传感像素上的光照度最大值： e 。；。图像传感像素上的光照度最小值； 在数字信号处理中，曝光量( e v ) 通常用于控制图像的曝光效果，光强、光 照度和曝光量的对应关系可以如式3 2 所示： 1 1 1 2 = e l e 2 = 2 + ( e v l 一e v 2 ) - 2 a e v ( 3 2 ) 从视觉上看，图像的动态范围与图案的深度有关。动态范嘲宽的图像，即n 值比较人的图像，从亮到暗有较为明确的灰度表现能捕获到更多的图像细节信 息，特别足能同时将图像最亮和最皓的部分同时表现出来：但如果动态范围很窄， 即a 值很小，就会出现光线暗的部分曝光不足，或者亮的部分曝光过度的现象， 从而导致图像信息丢失。实现数字图像宽动态范围的关键就是要使图像的暗部和 亮部信息同时全神的表现晰来并目挣制像素的合成以避免图像饱和。 目前数字图像的宽动态范围应用非常广泛，甚至可以随在很多领域都有着重 要的应用，例如视频监视，医疗影像等等。数字视频监视，特别是很多特殊场景 的监视环境比较复杂同时光强度变化大，如果视频图像没有比较宽的动态范围， 必然会造成很多关键视频信息的遗漏，很难达到脏视月的。 图3 - 2 短曝光图像 f i g u r e 3 - 2s h o r te x p o s u r ei m a g e 在此以隧道场景为例，说明数字图像宽动态范围算法在视频监视系统中的重 第三章数字视频图像处理算法研究 曼! ! 曼! ! ! ! ! ! 曼笪曼! 曼苎! ! ! ! ! ! ! 曼! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! 舅i l l ! ! 曼! ! ! ! 曼! ! 曼! ! 曼! ! ! ! ! ! ! ! ! ! 曼! 寰曼! 曼 要性。隧道场景最大的特点就是隧道内黑暗场景与隧道外面明亮场景的亮度对比 非常明显。当摄像头曝光时间比较长时，隧道内部的道路及标志清晰可见，但是 隧道外面出现过曝光现象，如图3 1 所示。相反，缩短曝光时间，当隧道外边的 汽车清晰可见时，隧道内部的图像信息又全部丢失，如图3 2 所示。因此在隧道 的监视过程中如果需要同时将黑暗部分和明亮部分同时展现出来，就必须采用宽 动态范围技术。 对于现阶段数字图像动态范围较窄的问题，同时针对宽动态范围在各个领域 里的实际需求出发，专家和学者们对此问题进行了广泛的研究，并取得一定进展。 从实现方法上来讲，目前用于增加数字图像动态范围的方法主要包括两种思路： 一种思路是从c c d c m o s 器件工艺角度考虑，另一种思路是也可以采用各种数字处 理方法来处理图像。从目前的工艺角度来看，c c d c m o s 图像传感器的饱和电流和 背景噪音使得一次曝光很难超过6 0 一8 0 d b 的动态范围1 ，所以在实际应用中多数 考虑采用后续的图像处理。 3 2 1 1 物理方法 提高数字图像宽动态范围的物理方法主要有两种。一种就是从物理及半导体 器件的角度提高c c d c m o s 图像传感器的感光特性，主要集中在增大饱和电流和削 减背景噪音这两个方向上。另一种就是从视频传感机械上加以改进。比如有的系 统在装置中加入一个液晶控制单元( c e l l ) ，作为系统光电自动控制反馈机制。 当没有c r t 输入时，从光阀反射到光束分裂的光就被旋转9 0 度，并且所有的光都 传到视频传感器，然而，如果从c r t 输入进来的图像作用在液晶光阀的输入视窗 上，光旋转的角度就要根据c r t 的光强度而定，这样就达到了动态改善图像画质 的目的，但是这样的装置使得系统结构过于复杂u 咄1 。 3 2 1 2 软件处理方法 目前，许多学者据此提出了许多方法，比如根据传感器的对数特性进行转换、 或根据图像的频率特性进行相应的处理。有的算法也加入了许多神经网络元素， 但上述诸多方法处理图像计算量较大，用硬件实现比较困难。另一些算法又过于 简单，比如说有些算法只是简单地将两幅图像相加或者进行简单的局部替换，这 样又达不到很好的效果，而且在合成过程中还会出现噪声等严重的问题，特别是 在图像的高频部分出现明显的“毛刺”；有的处理仅仅基于“g a m m a 亮度提升” 思想针对一张图片进行处理，但是这样的方法由于受到了图像传感器物理特性的 限制，必然不会大幅度提高图像的动态范围。所以，采用多幅曝光图像合成的方 北京丁业大学t 学硕十学位沦文 法就成为了大家研究的重点儿刎。 目前市场上出现的主流视频监视系统多数采用图像合成的算法，利用相邻两 张或三张曝光图像进行合成，同时合成时采用的曲线也有很多种，例如三角函数 曲线等等。对此本课题提出了一种对同一景物二次不同曝光图像软件合成的思 想，以期