（计算机科学与技术专业论文）基于运动检测的图像监控系统研究与实现.pdf

国防科学技术大学研究生院学位论文 摘要 图像以其直观、方便和信息丰富的特点成为了大众乐于接受的一种媒体形式， 也正因为这些优点图像监控系统正被广泛地应用于家居安防，工业生产，交通安 全和医疗卫生等领域。基于嵌入式的监控系统集成了嵌入式技术、视频压缩编码 技术和网络传输技术，在稳定性、实时性、复杂性、成本和体积等方面较传统的 视频监控系统都有较大的改观，其发展代表了未来视频监控领域的发展方向。随 着计算机技术、数字图像技术和网络技术的发展，嵌入式监控系统不再局限于简 单的拍摄，传输和存储等功能，市场对其智能化、自动化和易操作性提出了更高 的要求。 本文构建了一套全新的基于运动检测的图像监控系统，基于亮度差分的运动 检测不仅实现简单，而且以其准确性和有效性成为了整个监控系统的核心。针对 运动检测本文提出了基于运动检测的自动曝光算法和基于运动检测的压缩算法， 算法的实现有效地改善了图像的质量，通过压缩图像的大小节约了存储空间和网 络传输的带宽。系统基于a r m 9 平台以软件设计和实现了图像采集、检测控制、 图像压缩和存储四大模块。整个软件系统在l i n u x 上设计和实现，保证了硬件和软 件的可靠运行。 关键词：运动检测，自动曝光算法，j p e g 压缩，图像处理 第i 页 国防科学技术大学研究生院学位论文 a b s t r a c t i m a g e a so n eo fm a s sm e d i aw o ni n c r e a s i n g l y a c c e p t a n c e i n v i r t u eo f i n t u i t i o n i s t i c ，c o n v e n i e n ta n dc o n t e n t - a b u n d a n c ef o r m w i t ht h e s ea d v a n t a g e s ，d e t e c t i o n s y s t e mb a s e do nv i d e ow a sw i d e l yt a k e nb yh o m es u r v e i l l a n c e ，i n d u s t r ys u r v e i l l a n c e ， t r a f f i cs c o u t ，i a t r i c a li m a g ea n de t c e m b e d d e dv i d e od e t e c t i o ns y s t e mw h i c hi n t e g r a t e d t h ee m b e d d e dt e c h n o l o g y ，v i d e oc o m p r e s s i o nt e c h n o l o g ya n dn e tt r a n s m i s s i o n t e c h n o l o g y ，c o u l db em o r er o b u s t ，r e a l t i m e ，l o w - c o m p l e x i t y ，l o w - c o s ta n dp o r t a b l e t h ea d v a n c e m e n to fe m b e d d e dv i d e od e t e c t i o nt e c h n o l o g yd i r e c t st h et r e n do fv i d e o d e t e c t i o ns y s t e m b yt h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g y ，d i g i t a li m a g e t e c h n o l o g ya n dc o m p u t e rn e t w o r k s ，v i d e od e t e c t i o ns y s t e mb a s e do ne m b e d d e dc o u l d n o tb ec o n f i n e di nm o n o - f u n c t i o n s ，s u c ha si m a g ec a p t u r e ，i m a g et r a n s f e ra n di m a g e s t o r a g e t h ed e m a n d i n gr e q u i r e m e n to ni n t e l l i g e n c e ，a u t o m a t i o na n de a s y o p e r a t i o ni s a b s o l u t e l yi n e v i t a b l e w ec o n s t r u c tt h en e wv i d e od e t e c t i o ns y s t e mw h i c hw a sb a s e do nm o t i o nd e t e c t i o n t h em o t i o nd e t e c t i o na l g o r i t h mb a s e do nl u m i n a n c ed i f f e r e n c ea l g o r i t h m ，w h i c hw a s p r o v e dt ob el o wc o m p l e x i t yb u ta c c u r a t ea n de f f i c i e n t ，b e c a m et h ec o r eo ft h ew h o l e s y s t e m a c c o r d i n gt ot h ek e ym o t i o nd e t e c t i o n ，t h i sp a p e rp r o p o s e dt h ea u t oe x p o s u r e a l g o r i t h ma n di m a g ec o m p r e s s i o nb o t hb a s e do nm o t i o nd e t e c t i o n t h ea p p l i c a t i o n so f t h et w oa l g o r i t h m se n h a n c et h eq u a l i t yo ft h ei m a g ee f f e c t i v e l ya n dc o m p r e s st h es i z eo f t h ei m a g et oac o n t e n t e dl e v e lb yo p t i m i z i n gt h es t o r a g ea n dn e tt r a n s f e r s t h ew h o l e s o f t w a r es y s t e md e s i g n e da n dr e a l i z e do na r m 9p l a t f o r mw e r ed i v i d e di n t of o u r m o d u l e s n a m e da sc a p t u r em o d u l e ，d e t e c t i o na n dc o n t r o lm o d u l e ，c o m p r e s s i o nm o d u l e a n ds t o r a g em o d u l e t h es o f t w a r es y s t e mw a sb a s e do nl i n u xa n di t sr e l i a b i l i t yw a s s a t i s f i e d k e yw o r d s ：m o t i o nd e t e c t i o n ，a u t o e x p o s u r e ，jp e gc o m p r e s s i o n ，i m a g e p r o c e s s i n g 第i i 页 国防科学技术大学研究生院学位论文 表目录 表2 1 工具链可用的版本组合9 表5 1 改进算法a r m 平台与p c 机商业软件对比测试4 2 第1 v 页 国防科学技术大学研究生院学位论文 图目录 图3 1 系统框架l l 图3 2 工作流程1 3 图4 1 电子快门1 4 图4 2 加权曲线组1 6 图4 3 基于运动检测自动曝光系统结构框图1 8 图4 4l i 与n 的隶属函数1 9 图4 5 不同场景权值选取1 9 图5 1 基本系统结构2 8 图5 2y u v 数据到m c u 数据的转换3 0 图5 3 亮度量化表和色度量化表3 2 图5 4z i g z a g 顺序3 2 图5 5 直流亮度系数编码表和交流亮度系数编码表3 3 图5 7 自适应量化表测试结果3 7 图5 8l o f f l e r 算法流程4 0 图5 9 三种算子4 0 图5 1 0 并行的l o f f e r 算法流4 2 图6 1l i n u x 系统组成。4 5 图6 2 内核配置( 一) 4 6 图6 3 内核配置( 二) 4 6 图6 4 内核配置( 三) 4 7 图6 5v 4 l 工作流程4 8 图6 6 双缓冲工作流程4 9 图6 7 缓冲池原理4 9 图6 8 存储工作原理5 0 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目：蕴丝丛丝型邋图! 筵趁签垒堑亟盟堑童丝 学位黼糍：址 吼纱7 弛月2 7 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题艮堑区塑趁逐尘丝壅! ! 亟堕垫纽叠盟互鏖砂 学位论文作者签名：望垒 作者指导教师签名：雪象旷 日期： 日期： 月 月 z 幢 “ ， 年 年 r 、厂 吵 矿 沙 国防科学技术大学研究生院学位论文 第一章绪论 1 1 课题研究背景 图像和语音是人类传递信息的主要媒介，据统计，其中视觉信息占6 0 ，听觉 信息占2 0 ，而其他像嗅觉，触觉，味觉一共只占2 0 。所以图像作为传递信息 的重要媒介和手段是十分重要的，俗话说“百闻不如一见”反映了图像信息的独 特之处。在当今信息社会中，随着网络、通信和电子技术的迅猛发展，视频图像 以其直观，便利和信息量大的特点，越来越受广大人民的喜爱。 数字图像产品在现代社会中无处不在，比如在家居安防、交通运输、遥感探测、 医疗诊断、空间探测、航天技术等领域内应用越来越广泛。在航天航空和现代战 争中，图像采集技术应用于卫星图像进行军事观察，以地形匹配实现精确轰炸， 以及运用相关运算实现目标跟踪等等。在医疗卫生方面，无损图像采集压缩技术 广泛地应用于影像存储。交通运输和智能建筑安防监控中，图像采集技术扮演着 不可或缺的角色，主要功能为记录和备份特定时刻特定地点的图像资料，作为以 后事件处理的重要参考和法律依据。 传统视频监控产品的效果往往无法让人满意。首先是模拟视频监控，从摄像机、 电视机诞生的那一天起，最初视频监控系统就已产生，而且曾经得到一定范围的 应用。模拟视频监控系统包括摄像机、视频矩阵、监视器、录像机等等，由视频 线、控制线缆连接。这种基于本地的模拟视频监控系统一般采用模拟方式传输， 采用视频电缆( 其中也有少量使用光纤) ，于是有了监控范围小，如只能局限于 一座大楼；模拟信号占用通讯线路较大，开放性差；维护管理复杂，非专业人员 无法正常操作；监控质量差，容易受到干扰；成本高等诸多缺点。正因如此，传 统的模拟视频监控系统无法胜任高要求的管理生产监控需求幢1 。 到九十年代中期，计算机网络技术随着需求的增长而迅猛发展，视频技术的发 展也日新月异。伴随着特别是图像和视频压缩技术的发展以及标准的制定，大量 数字视频的传输和存储走进了我们的生活。微机的普及和计算机技术的成熟，为 基于p c 的视频监控创造了条件。基于p c 的视频监控系统是通过将摄像头采集的 模拟信号转变为数字信号，然后通过专用的视频压缩卡将数字信号进行压缩处理， 由网络传输到远程的p c 机。监控终端的p c 机利用其强大的性能和专用的设备( 如 解压卡) 对数据进行处理和解压，以得到图像的重现1 。与模拟视频监控相比，基 于p c 的视频监控系统凭借传输可靠性高，传输距离远，图像质量好，数据保存成 本低以及开放共享性好等特点，占据了监控系统的主要市场，取代了模拟监控系 统。但是基于p c 的视频监控系统仍存在许多问题如：实时性不高，稳定性较差， 第1 页 国防科学技术大学研究生院学位论文 以及专用压缩解压卡体积大、功耗高、可扩展性差等。 嵌入式系统的以其本身体积小，实时性高，稳定性好，支持以太网等特点弥补 了这些不足，成为了新一代视频监控领域的热点“1 。基于嵌入式技术的数字图像监 控系统的主要原理是口1 ：利用嵌入式技术，采用专用芯片和实时操作系统，有效地 提高系统的实时性和稳定性，把图像压缩，运动检测，图像质量调整和存储单元 集成在一个小体积的设备内，作为扩展功能，该设备还可以直接连入以太网和连 接移动存储设备，达到即插即看，立拔立查的功能，因此省掉了许多复杂的电缆， 安装方便，无需专人值守。特别是在多监控终端同时进行实时监控时，这种基于 嵌入式技术的视频监控系统操作简单、实时可靠、多功能、数字化、成本低的特 点，使其的开发和设计越来越受到人们的关注。 1 2 课题研究意义 新一代嵌入式图像采集系统的研制有着重要的意义，随着各行各业服务质量和 安全要求的提高，智能化的监控系统的应用前景十分乐观阳1 ，生活小区有安全监控， 电讯行业有机站监控，银行系统有柜员监控，林业部门有火情监控，交通方面有 违章和流量监控等等，各个领域的监控的环境越来越复杂，对监控系统的要求越 来越高。从某种意义上讲，图像监控已成为了人们r 常生活的“第三只眼”，其 智能化和丰富的功能决定了未来监控系统的作用。 从行业的角度来看，数字图像采集系统不仅顺应信息产业的未来发展趋势，而 且指明了图像采集行业的未来发展方向，蕴藏着巨大的商机和经济效益，成为日 前信息产业中颇受关注的数字化产品。尤其是近年来，随着技术的进步和社会经 济的不断发展，客观上对图像采集系统的准确性、有效性和方便性提出了更高要 求。具体到实际方面，主要体现在以下两个方面：一是需要实施视频图像采集的 范围更加广阔，由传统的功能单一的安防监控向智能管理监控和生产经营监控发 展，对同一系统的覆盖面和实施距离也提出了更高的要求，通俗的说就是要达到 点多面广。二是要求图像采集系统与管理信息系统、网络系统结合，实现对大量 视频数据的压缩存储、传输和自动处理，从而达到资源共享，为各级管理人员和 监控人员提供方便、快捷和有效的服务。 为了应对有限的条件环境下越来越高的要求，研究一种低端的基于c m o s 图 像传感器，具有简单但是实用的运动检测功能的，同时兼有图像质量调整和压缩 功能的，支持网络和移动存储设备热插拔的嵌入式图像采集系统成为了时代的需 要。新型的嵌入式图像采集系统在现代的图像采集和监控中具有智能、方便和功 能强大的特点，弥补了现有系统功能简单，只具有记录存储功能的缺陷，通过加 入运动检测功能实现多终端的并行、实时地处理图像从而摆脱了需要监控人员的 第2 页 国防科学技术大学研究生院学位论文 约束，在发现某场合有运动变化时可自动完成图片记录功能，结合基于运动检测 的图片自动曝光调整和基于运动检测的图片压缩高效率低成本地备份图像资料， 并全天候提供网络上的远距离用户或可取移动存储设备查阅的近距离用户以清晰 可靠的图片。 本课题的主要任务就是研制满足现今要求的一套新型监控系统。 1 3 本文主要工作 本文的主要工作如下： 1 研制一种使用c m o s 图像传感器图像采集卡，具有运动检测，基于运动 目标曝光控制和图像压缩功能的嵌入式图像采集系统。系统具有体积 小、功耗低、成本低等特点； 2 研究基于运动目标的自动曝光算法，提出一组二次加权曲线，并依据 曲线对分块图片的进行加权，使运动目标得到合理的曝光，使感兴趣 部分更加清楚，实际应用中采用模糊逻辑优化算法； 3 研究在处理能力、传输带宽受限的情况下，适用于嵌入式图像监控系 统的j p e g 压缩软件实现方法，包含两个方面：一，通过基于运动目标 的图像模糊处理方法，突出运动目标清晰度，以有利于压缩处理的方 式降低不感兴趣内容的质量；二，通过图像滤波，亚采样，颜色空间 转化优化等预处理结合j p e g 压缩算法的优化提高压缩率和图像压缩 速率； 4 在所建立的硬件平台上，结合实际应用的要求，开发一套能够对图像 采集系统进行控制的涵盖图像采集、检测、质量调整和压缩的软件系 统。 第3 页 国防科学技术大学研究生院学位论文 2 1 1 视频采集卡 第二章系统开发环境 2 1 硬件平台 图像传感器是传感技术中一个重要分支，是保安监控产业中最核心的器件， 也是p c 机多媒体大世界今后不可缺少的外设。随着微电子技术的迅速发展，微处 理器和专用芯片往往不再是嵌入式系统发展的瓶颈，从某种意义上来说，图像传 感器的好坏直接影响了监控产品的品质和性能。本课题系统选用基于c m o s o v 7 6 2 0 + o v 5 1l 的视频采集卡，基于其低功耗，低价位，高性价比，开发周期快的 考虑7 | 。 2 0 年前，c m o s 图像传感器和c c d 摄像器件在几乎是同时起步。由于c c d 器件 有光照灵敏度高、噪音低、像素小等优点，所以在过去1 5 年里它一直主宰着图像 传感器市场。与之相反，c m o s 图像传感器过去存在着像素大、信噪比小、分辨率 低等缺点，一直无法和c c d 技术抗衡，c c d 广泛地应用于数码相机和高端摄像头。 但是随着大规模集成电路技术的不断发展，过去c m o s 图像传感器制造工艺中不易 解决的技术难关现都已得到有效地解决，从而大大改善了c m o s 图像传感器的图像 质量。目前c m o s 单元面积的像素数已可与c c d 单元面积的像素数相比，从而使c m o s 图像传感器也可以做到高分辨率。如果能将c m o s 黑白与彩色图像传感器的信噪比 再提高l o d b ，光照灵敏度再提高4 - - 5 倍，那么c m o s 图像传感器取代c c d 器件就 指日可待了。如果再考虑到c m o s 图像传感器具有体积小、功耗低、高集成这些优 点，那么一个崭新的图像技术时代即将来临。 美国o m n i v i s i o n 公司0 v 7 6 0 0 系列呻1 便是基于c m o s 完全可编程的数字单片摄 像器件，其图像矩阵为6 4 0 4 8 0 像素( 3 0 7 k ) 。这种通用的器件也可以3 2 0 2 4 0 像素输出c i f 图像格式( 7 7 k ) 。0 v 7 6 0 0 系列传感器芯片针对计算机应用而设计成 方形像素和逐行扫描。片上a d 转换器可提供8 位并行数字输出，并完全符合 c c i r 6 0 1 6 5 6 规范。 0 v 7 6 0 0 系列传感器芯片把所有摄像机功能同图像传感器阵列集成在同一个芯 片上，其中包括自动增益控制( a g c ) 、自动曝光控制( a e c ) 、自动白平衡( a w b ) 、 伽玛校正、背光补偿和自动黑电平校正，所有的彩色矩阵处理功能也集成在芯片 上，器件允许从外部通过1 2 c 总线来编程摄像机功能。 0 v 7 6 0 0 因其低功耗、低价位，以及能够与u s b 接口器件结合起来的特点，使 它成为了计算机视频输入应用合适的u s b 摄像机。 o m n i v i s i o n 公司o v 5 11 阴1 是一款高性能摄像机到u s b 接口( a c u b ) 单片控制 第4 页 国防科学技术人学研究生院学位论文 i c ，用于由通用串行总线传输的视频应用场合。 o v 5 11 a c u b 简化了单片c m o s 图像传感器( 包括o m n i v i s i o n 公司的0 v 7 6 0 0 系 列) 和u s b 的接口。依靠增加的2 5 6 k d r a m 和一个u s b 收发器，使开发者可以很容 易地完成基于u s b 的视频子系统。 o v 5 1 1 a c u b 片内高性能专用压缩引擎可以达到7 ：1 的压缩比，保证了从图像 传感器到p c 的快速图像传输。对于c i f 图像格式，o v 5 1 1a c u b 的压缩引擎支持高 达3 0 帧秒的传输速度，减少了低带宽应用中通常会出现的图像跳动现象。快速 的准同步f i f o 保证了压缩后视频图像从压缩引擎到u s b 的高速传输。 o v 5 l1 a c u b 提供了选择c m o s 单片摄像输入器件的灵活性。有两个端口支持1 6 位y u v 4 ：2 ：2 r g b 原始数据。第三个端口支持8 位y u v 4 ：0 ：0 r g b 原始数据。 控制线有v s y n c 和h r e f ，同时提供了c m o s 摄像芯片用的时钟。 作为高度集成的接口器件，o v 5 1 1 a c u b 既降低了系统总成本，又提高了产品的 可靠性。它还具有可以控制2 5 6 k 视频存储器的高性能d r a m 接口、完整的u s b 设 备控制器和系统控制器功能。片内寄存器通过1 2 c 输入输出接口或o v 5 1 1 a c u b 并行i 0 总线编程。 o v 5 1 1 a c u b 芯片作为图像传感器的补充，有足够的灵活性，再结合0 v 7 6 0 0 系 列的使用，适合包括智能保安监控系统、视频会议、视频电子邮件、计算机多媒 体和电视机顶盒等广泛的应用场合。 2 1 2a r m 开发平台 监控系统选用了由友善之臂科技有限公司设计生产的一款基于a r m 9 的嵌入式 开发平台s b c - 2 4 1 0 ，该平台基于三星公司的a r m 处理器$ 3 c 2 4 i o x ，采用6 层板设 计。s b c 一2 4 1 0 x 使用a r m 9 2 0 t 核，内部带有全性能的m m u ( 内存处理单元) ，它适用 于设计移动手持设备类产品，具有高性能、低功耗、接口丰富和体积小等优良特 性，s 3 c 2 4 1 0 x 集成了大量的功能单元n 伽： 1 内部1 8 v ，存储器3 3 v ，外部i o3 3 v ，1 6 k b 数据c a c h ，1 6 k b 指令 c a c h ，m m u ； 2 内置外部存储器控制器( s d r a m 控制和芯片选择逻辑) ； 3 l c d 控制器( 最高4 k 色s t n 和2 5 6 k 彩色t f t ) ，一个l c d 专用d m a ； 4 4 路带外部请求线的d m a ； 5 三个通用异步串行端口( i r o a l 0 ，1 6 一b y t et xf i f o ，a n d1 6 一b y t er x f i f o ) ，2 通道s p i ； 6 一个多主i i c 总线，一个工i s 总线控制器； 第5 页 国防科学技术大学研究生院学1 1 ：) = 论文 7 s d 主接口版本1 0 和多媒体卡协议版本2 “兼容； 8 2 个u s bh o s t ，一个u s bd e v i c e ( v e r l 1 ) ； 9 4 个p 1 l m 定时器和一个内部定时器； 1 0 看门狗定时器； 1 1 1 1 7 个通用1 0 ； 1 2 2 4 个外部中断； 1 3 电源控制模式：标准、慢速、休眠、掉电； 1 4 8 通道1 0 位a d c 和触摸屏接口； 1 5 带日历功能的实时时钟； 1 6 芯片内置p l l ； 1 7 1 6 3 2 位r i s c 体系结构，使用a r m 9 2 0 tc p u 核的强大指令集； 1 8 a r m 带m m u 的先进的体系结构支持w i n c e 、e p o c 3 2 、l i n u x ： 1 9 指令缓存( c a c h e ) 、数据缓存、写缓冲和物理地址t a gr a m ，减小了 对主存储器带宽 2 0 和性能的影响； 2 1 a r m 9 2 0 tc p u 核支持a r m 调试的体系结构； 2 2 内部先进的位控制器总线( a m b a 2 0 ，a h b a p b ) 。 s b c 一2 4 1 0 x 开发板是基于此芯片的各种功能和特点而设计的。 选用此开发平台的原因还有该开发板体积非常小( 尺寸只有1 2 0 m m x 9 0 m m ) ， 集成了网卡、音频、u s bh o s t 、u s bs l a v e 、标准串口、用户指示灯等设备接口， 并且引出了c p u 大部分信号引脚，可以扩展为不同的控制信号或接收端口。所以， 在此开发平台上开发的系统雏形完全可以满足演示功能，甚至实际使用。 2 2 嵌入式l i n u x 2 2 1 嵌入式lif l u x 的发展现状 l i n u x 正在嵌入式开发领域稳步发展n 。l i n u x 使用g p l ，所有对特定开发板、 p d a 、掌上机、可携带设备等使用嵌入式l i n u x 感兴趣的人都可以从因特网上免费 下载其内核和应用程序，并开始移植和开发。许多l i n u x 改良品种迎合了嵌入式 第6 页 国防科学技术大学研究生院学位论文 市场，它们包括r t l i n u x ( 实时l i n u x ) 、u c l i n u x ( 用于非删l 设备的l i n u x ) 、 m o n t a v i s t al i n u x ( 用于a r m 、m i p s 、p p c 的l i n u x 分发版) 、a r m - l i n u x ( a r m 上 的l i n u x ) 和其它l i n u x 系统。 嵌入式l i n u x 的发展比较迅速。n e c 、索尼已经在销售个人视频录像机等基于 l i n u x 的消费类电子产品，摩托罗拉计划在其未来的大多数手机上使用l i n u x ，i b m 也制定了在手持机上运行l i n u x 的计划。 数年来，“l i n u x 标准库”组织一直在从事对在服务器上运行的l i n u x 进行标 准化的工作，现在，嵌入式计算领域也开始了这一工作。嵌入式l i n u x 标准吸引 了“l i n u x 标准库”以及u n i x 组织中有益的元素。 2 2 2 嵌入式lif l u x 的优点和缺点 嵌入式l i n u x ( e m b e d d e dl i n u x ) 是指对标准l i n u x 经过小型化裁剪处理之后， 能够固化在容量只有几k 或者几m 字节的存储器芯片或者单片机中，适合于特定 嵌入式应用场合的专用l i n u x 操作系统。嵌入式l i n u x 的开发和研究是操作系统 领域中的一个热点，目前已经开发成功的嵌入式系统中，大约有一半使用的是 l i n u x 。l i n u x 之所以能在嵌入式系统市场上取得如此辉煌的成果，与其自身的优 良特性是分不开的n 副。 1 广泛的硬件支持 广泛的硬件支持，意味着l i n u x 支持不同类型的硬件平台与设备。l i n u x 支持 x 8 6 ，ar m ，m i p s ，a l p h a ，p o w e r p c 等多种体系结构，目前成功移植到数十种硬件 平台，几乎能够运行在所有流行的c p u 上。l i n u x 支持各种主流硬件设备和最新硬 件技术，甚至可以在没有存储管理单元( m m u ) 的处理器上运行，这些都进一步促进 了l i n u x 在嵌入式系统中的应用。尽管仍有些厂商尚不提供l i n u x 驱动程序，但 预计会有越来越多的厂商加入提供l i n u x 驱动程序的行列。 2 社群的支持 l i n u x 最大的特色，也是自由软件及开放源码精神所在。当需要使用某个应用 程序时，很可能在以前有人遇到过你类似的问题。通常，这个人将很乐意分享他 的解决方案。与开发和支持相关的邮件论坛是找到这类社群支持的最佳场所。这 也同样意味着不再依赖私有操作系统厂商的昂贵的电话支持，或许即使有电话支 持你也根本得不到询问开发该软件的工程师的机会。 3 内核稳定可靠 多数程序设计者都赞同l i n u x 内核及l i n u x 系统上大部分项目各个领域内能 第7 页 国防科学技术大学研究生院学位论文 够得到了大高效稳定的运行，即符合一般可靠程序代码应该具备的特性：可预测、 从错误中恢复的能力和长期运行的能力。l i n u x 的内核设计非常精巧，分成进程调 度、内存管理、进程间通信、虚拟文件系统和网络接口五大部分，其独特的模块 机制可以根据用户的需要，实时地将某些模块插入到内核或从内核中移走。这些 特性使得l i n u x 系统内核可以裁剪得非常小巧，很适合于嵌入式系统的需要。 4 丰富的开发工具 l i n u x 之所以成为功能强大的操作系统，还有一个原因便是各式各样的可用工 具。开发嵌入式系统的关键是一套完善的开发和调试工具。传统的嵌入式开发调 试工具是在线仿真器( i n c i r c u ite m u l a t o ri c e ) ，它给目标程序提供一个完整的 仿真环境，从而使开发者能够非常清楚地了解到程序在目标板上的工作状态，便 于监视和调试程序。在线仿真器的价格非常昂贵，而且只适合做非常底层的调试， 如果使用的是嵌入式l i n u x ，一旦软硬件能够支持正常的串口功能时，即使不用在 线仿真器也可以很好地进行开发和调试工作，从而节省了一笔不小的开发费用。 嵌入式l i n u x 为开发者提供了一套完整的工具链( t o o lc h a i n ) ，它利用g n u 的g c c 做编译器，用g d b ，k g d b ，x g d b 做调试工具，能够很方便地实现从操作系统到应 用软件各个级别的调试。更让人开心的是很多工具可以直接从i n t e r n e t 上下载使 用( 可参考h t t p ：w w w f r e s h m e a t n e t 和h t t p ：w w w s o u r c e f o r g e n e t 等网站) 。 5 成本 建立传统的嵌入式系统有三种软件组件成本：基本开发套件、额外的工具、运 行时的版税。使用l i n u x 的成本模型却完全不同，所有开发工具和操作系统组件 都可以是免费获得，而且它发行时的许可证是为了避免有人对内核组件收取任何 版税。除非在开发者不想自己寻找各种软件工具和组件时，可以购买或下载发行 套件，这就需要付费给套件发行商并要求其提供支持。但与传统嵌入式软件成本 模型相比，这已经是很低的成本了。 当然嵌入式l i n u x 也有着缺点，比如一个缺点是l i n u x 体系提供实时性能需要 添加实时软件模块。而这些模块运行的内核空间正是操作系统实现调度策略、硬 件中断异常和执行程序的部分。由于这些实时软件模块是在内核空间运行的，因 此代码错误可能会破坏操作系统从而影响整个系统的可靠性，这对于实时应用将 是一个非常严重的弱点。 2 3 开发工具链 配置和建立适当的工具链的过程较为繁琐复杂，需要对不同软件包的依存关 系以及各个组件的功能有相当的了解。建立工具链的第一步是选择合适的组件版 本。其中包括b i n u t i l s 的版本、g c c 版本以及g l i b c 的版本。 第8 页 国防科学技术人学研究生院学位论文 2 3 1g n ug c c 下表提供了已知可用的版本组合，其中包括主机目标机的组合，提供了 b i n u t i l s ，g c c 和g l i b c 可以互相搭配的组合 1 2 。 表2 1 工具链可用的版本组合 主机目标板内核b i n u t i l s g c c g l i b c i 3 8 6p p c2 1 0 12 9 5 32 2 1 i 3 8 6p p c2 1 1 22 9 5 32 2 1 i 3 8 6a r m2 4 1 一r i l l l2 1 0 12 9 5 32 1 3 i 3 8 6m i p s2 8 1 e g c s 一1 1 2 2 0 6 s p a r c ( s o l a r i s ) p p c2 4 02 1 0 12 9 5 22 1 3 本课题系统开发链选取了2 4 1 8 的l i n u x 内核，2 9 5 3g c c 编译器，2 1 0 1 b i n u t i l s ，2 1 3g l i b c 。由于该版本组合在s b c 2 4 1 0 开发平台上已被测试，能够 正常运行，故只需直接安装使用，并改变环境变量，省去了版本组合设置测试的 工作。 2 3 2r e d h a tl i n u x l i n u x 的最初只是个k e r n e l 而已，由一个名叫l i n u st o r v a l d s 的芬兰大学生 开发和推出。除了新的k e r n e l ，相应的u t i l i t i e s 和s o f t w a r e 则多用g n u 的和其 他的f r e e w a r e 。而这种将l i n u xk e m e l 和这些外围的程序整合起来的任务是由发 行商完成的。这些发行商发布基于l i n u x 内核的一整套的l i n u x 系统，这些系统 通常包括有：一个c 语言及c + + 编译器，脚本解释程序，b a s h ，图形用户界面等等。 r e d h a t 是使用最广泛的l i n u x 发布，r e d h a t 公司现在得到了n e t s c a p e ，以及 i n t e l 的支持，根据一般的看法r e d h a t 也是最容易操作的l i n u x 发布。在本课题 系统的开发中，宿主机上运行的操作系统是r e d h a t 9 0 ，可以提供更好的图形卡支 持，配置方便，支持u s b 设备和更多的硬件，有使用经验表明，r e d h a t 的l i n u x 系统被证明在个人计算机和服务器上都有非常稳定的表现，为本系统的开发也提 供了一个可靠而稳定的平台。 r e d h a t 开发环境配置包括网络配置，即配置工p 地址、n f s 服务、防火墙。n f s 网络通过服务器设置，其作用是通过n f s 网络共享宿主机的文件系统，而目标板 通过网络运行宿主机上的需调试程序以查看结果，这样避免了由于对目标板本身 f l a s h 存储的频繁访问而造成的使用寿命缩短。 r e d h a t 开发环境配置还包括x w i n d o w s 界面下的一个强大的终端工具m i n i c o m 的配置，m i n i c o m 是l i n u x 下类似“超级终端”的程序。在程序的调试过程中，可 第9 页 国防科学技术大学研究生院学位论文 以通过串口连接( 如果使用串口l ，设备名为d e v t t y s o ) ，设置一定的波特率 ( b p s p a r b i t s 一般为1 1 5 2 0 0 ) 以及n oh a r d w a r ec o n t r o lf l o w ，查看目标板上 程序运行的状态和对目标板进行控制。 第l o 页 国防科学技术大学研究生院学位论文 第三章总体方案弟二早芯怜力荣 3 1 总体结构 通过上一章对开发环境和平台的介绍，我们了解了整个系统是构建在a r m 9 2 4 1 0 微处理器和已有o v 7 6 2 0 + o v 5 1 1 图像采集卡上，在a r m l i n u x 操作系统上开发 的数字图像监控系统。为了利于各模块更好地开发和其功能更为清晰，我们将整 个软件系统划分为数字图像采集模块，图像控制检测模块，图像压缩模块，存储 模块和w e b 功能模块。整体框架如下图： 数字图像采 集模块 l i n u x 接口图 像采集 控制模 块通过 寄存器 控制曝 光等 图像压缩模 块 压缩之后存 储 图3 1 系统框架 3 2 各部分功能说明 存储介质 w e b 浏览 1 数字图像采集模块 实现图像的采集功能和图像的缓存功能。 采集功能的实现是从图像采集卡将图像缓存至采集卡本身的缓冲池待后端处 理系统取时开始的，采集过程中视频采集卡和c p u 的速度是不一致的，视频采集 卡的速度约为数字图像采集模块的三倍，采集模块采用了v 4 l 接口提供了帧获取 函数与视频采集卡保持同步。图像的缓存是依靠在内存中开辟的缓冲池实现的， 本系统中使用了一个存放1 0 张图片的队列作为缓冲池，保存突发事件前后约一秒 的图片。 2 图像控制检测模块 完成图像的运动检测，并依据运动检测的结果决定是否对图片进一步处理， 其中包括对图片的压缩，图片处理或调整视频采集卡参数等。图像的运动检测是 基于分块的亮度差分改进算法，通过加入环境变量参数设定一定阀值来判断运动 是否发生的。在有运动产生的情况下，如果图片质量( 尤其是目标亮度) 检测评 第1 l 页 悯块 i | 柚模l厂燃唯蒯 一 图 国防科学技术大学研究生院学位论文 估结果符合设定要求，则调用压缩模块进行图片的预处理和压缩处理，如果不满 足要求，则依据基于运动检测的自动曝光控制模型确定曝光参数，通过视频采集 卡的寄存器控制摄像头的电子快门或增益进行调节。 3 图像压缩模块 完成对需要备份图片的压缩处理，其中包括j p e g 压缩过程和之前的图像预处 理( 包括基于运动检测的预处理、滤波、亚采样等) 。基于运动检测的预处理过 程分为两部分：第一，通过运动检测采用自适应的量化表对不同情况下采集的位 图进行有区别的量化处理；第二，在有运动发生时，对同一张图片的运动目标部 分和无关部分采用不同的量化处理，以达到尽量减小图片质量和提高压缩速率的 目的。另外，压缩模块还承担图片压缩的优化工作，包括图像滤波、图像格式转 化和亚采样。最后，图像压缩模块实现缓冲池l o 张图片的j p e g 压缩。 4 存储模块 根据运动检测结果，保存出现运动物体时经压缩处理的序列图片，以供查询。 本系统的存储介质采用挂载的方式，方便存储设备的热插拔，可以在有阅览图片 要求时随时查看。在设备挂载后，采用操作系统的低级输入输出方式直接写入， 通过选择同步阻塞的方式保证写入的实时性。 5 w e b 功能模块 完成远程的实时查看和非实时的图片调阅。 3 3 工作原理和流程 整个系统基本工作过程为串行流程，下图就是图像采集系统的整体流程： 第1 2 页 国防科学技术大学研究生院学位论文 图3 2 工作流程 3 4 关键技术 1 建立基于运动检测的自动曝光控制方法 通过赋予运动目标块较大的权值使其对整张图片的曝光有更大的影响，保证 感兴趣的目标部分的正常曝光从而保证记录的价值。 2 实现基于运动检测和算法优化的j p e g 压缩 通过运动检测保证运动目标的压缩质量，降低无关信息的质量，并采取优化 措施使j p e g 算法更为高效。 3 开发一套比较完整软件系统 系统涵盖图像采集、运动检测、基于运动检测的压缩、基于运动检测的自动 曝光控制、存储和w e b 等功能的安防监控软件系统。 第1 3 页 国防科学技术大学研究生院学位论文 第四章基于运动检测的自动曝光控制算法 4 1 1 曝光原理 4 1 曝光控制原理 曝光是用来计算从景物到达相机光通量大小的物理量。为了获得高质量的图 片，必须使c c d c m o s 获得正确的曝光。目前大多数数字图像消费类产品中 c c d c m o s 动态范围较窄，图像中高亮度区域容易产生过饱和，低亮度区域显得 很暗，从而导致要拍摄对象的过曝或欠曝，