（电路与系统专业论文）基于s3c2440的嵌入式家庭视频监控系统的研究.pdf

基于$ 3 c 2 4 4 0 的嵌入式家庭视频监控系统的研究 摘要 随着人们安防意识的不断提高，家庭安防已成为人们关注的焦点。针对家用视频监 控系统的实际需求，以设计一种廉价、实用、体积小和功耗低的视频监控系统为目的， 本文采用a r m 9 内核的微处理器$ 3 c 2 4 4 0 作为硬件控制的核心，嵌入式l i n u x 操作系 统用为软件的控制核心，并将廉价、通用的u s b 摄像头作为前端的视频采集设备，来 完成家用视频监控系统的设计。 本文首先在对系统进行功能及需求分析的基础上，提出了家用视频监控系统的总体 设计方案，并搭建了一个适合系统开发的平台。该系统的整体是由家中的服务器端和远 程的客户端所组成，服务器端利用v i d e 0 4 l i n u x 技术和双缓冲技术实现图像数据的采集、 并采用本文所提出的运动检测算法进行异常情况处理，对视频图像进行j p e g 压缩及异 常图像存储，利用t c p i p 协议实现视频数据的网络传输；远程客户端将接收到的视频 图像进行解码及显示。 针对嵌入式系统资源有限以及家庭场景中的一些微小运动物体的干扰，本文采用一 种改进的帧间差分算法进行运动目标的检测，该算法是利用帧间差分的思想，将采集的 前四帧进行分别差分，并用迭代法进行自适应阈值的设定，将得到的二值化图像进行或 运算，然后采用图像形态学滤波去除噪声点，得到准确的运动目标。最后根据变化区域 的面积在整个图像中的比值来判断图像的取舍，以去除非监控物体的干扰。该算法检测 准确，仿真效果好，能够满足嵌入式视频监控系统的效果和速度的要求。 最终，本设计针对家用视频监控系统的实用性需求，实现了在客户端通过s d l 函 数库进行视频显示；并在此基础上通过嵌入式w 曲服务器，开发j a v aa p p l e t 程序并嵌 入到所制作网页中，实现通过浏览器方式进行监控。这样，用户便可以通过运行客户端 软件或浏览器的方式实现远程视频监控，满足更多用户的需求，具有一定的实际应用价 值。 关键词：a r m ；嵌入式l i n u x ；视频监控系统；运动目标检测；嵌入式w e b 服务器 哈尔滨工程大学硕士学位论文 工 基于$ 3 c 2 4 4 0 的嵌入式家庭视频监控系统的研究 a b s t r a c t w i t ht h ei m p r o v e m e n to fp e o p l e ss e c u r i t ya w a r e n e s s ，h o m es e c u r i t yh a sb e c o m et h e f o c u so fa t t e n t i o n i nt h i sp a p e r , a c c o r d i n gt ot h ea c t u a ln e e d so ft h eh o m ev i d e os u r v e i l l a n c e s y s t e m ，f o rt h ep u r p o s eo fd e s i g n i n ga ni n e x p e n s i v e ，p r a c t i c a l ，s m a l ls i z ea n dl o wp o w e r c o n s u m p t i o no f t h ev i d e os u r v e i l l a n c es y s t e m s t h e $ 3 c 2 4 4 0m i c r o p r o c e s s o r 、v i t ha r m 9i s c h o s e na sac o r eo fh a r d w a r ec o n t r o l ，t h ee m b e d d e dl i n u xo p e r a t i n gs y s t e mi sc h o s e na st h e c o r eo ft h es o f t w a r ec o n t r o l ，t h ec h e a pa n dc o m m o n l yu s e du s bc a m e r ai sc h o s e na sa f r o n t - e n dv i d e oc a p t u r ed e v i c et oc o m p l e t et h ed e s i g no ft h eh o m ev i d e os u r v e i l l a n c es y s t e m f i r s t l y , t h et o t a ls y s t e mi sg e n e r a l l yd e s i g n e db a s e do nt h ea n a l y s i so ft h en e e d sa n d r e q u i r e m e n t so ft h es y s t e m ，a n ds e t su pap l a t f o r mo fs y s t e md e v e l o p i n g t h ew h o l es y s t e mi s d i v i d e di n t ot w op a r t s ：t h es e r v e r - s i d ea n dt h er e m o t ec l i e n t - s i d e t h es e r v e r - s i d eu s e v i d e 0 4 l i n u xt e c h n o l o g ya n dd o u b l e b u f f e r i n gt e c h n o l o g yt oc a p t u r ei m a g ed a t a , u s et h e m o v e m e n td e t e c t i o na l g o r i t h mo ft h ep a p e rp r o p o s e dt od e t e c ta n o m a l i e s ，u s et h ej p e g f o r m a tt oc o m p r e s st h ev i d e o ，a n ds t o r a g et h ea b n o r m a li m a g e ，f i n a l l yu s et h et c p i p p r o t o c o lt oi m p l e m e n tn e t w o r kt r a n s m i s s i o no fv i d e od a t a t h er e m o t ec l i e n tw i l lr e c e i v et h e f u n c t i o n ss u c ha sv i d e oi m a g ed e c o d i n ga n dd i s p l a y f o re m b e d d e ds y s t e m sw i t hl i m i t e dr e s o u r c e sa n dt h ei n t e r f e r e n c eo fs o m em i n o r m o v i n go b j e c ti nt h ef a m i l ys c e n e ，i nt h i sp a p e r , at a r g e td e t e c t i o nm e t h o db a s e do ni m p r o v e d a d a p t i v et h r e s h o l dd i f f e r e n c ei si m p l e m e n t e d ，t h e nf o rw i p i n go f ft h en o i s e ，t h em e t h o do f m o r p h o l o g i c a lf i l t e r i n gi sa d o p t e dt og a i ne x a c tm o v i n go b je c t s f i n a l l y , a c c o r d i n gt ot h e r e q u i r e m e n t ，t h ea r e am e t h o di su s e dt oc h o o s et h ef i n a li m a g e st oa v o i df a l s ea l a r m s t h e a l g o r i t h m i sd e t e c t i o na c c u r a c ya n ds i m u l a t i o nr e s u l t sa r ew e l l i tc a nb em e e tt h e r e q u i r e m e n t so ft h ee f f e c t i v e n e s sa n ds p e e do f t h ee m b e d d e dv i d e om o n i t o r i n gs y s t e m l a s t l y , f o rt h e a c t u a lr e q u i r e m e n t sf o rh o m ev i d e os u r v e i l l a n c es y s t e m ，t h i sp a p e r i m p l e m e n t st h ev i d e od i s p l a yo nt h ec l i e n tb yt h es d ll i b r a r y b a s e do n i tt h r o u g hs e t t i n gu p t h ee m b e d d e dw e bs e r v e r , d e v e l o p i n gj a v aa p p l e tp r o g r a ma n de m b e d d e di ti nt h ep r o d u c e d w e bp a g e ，r e m o t ev i d e om o n i t o r i n gi si m p l e m e n tt h r o u g hab r o w s e r s ou s e r sc a nr u nt h e c l i e n ts o f t w a r eo rb r o w s e rt or e a l i z er e m o t ev i d e os u r v e i l l a n c e t h en e t w o r kv i d e o s u r v e i l l a n c es y s t e mm e e t st h en e e d so fm o r eu s e r sa n dh a st h ev a l u eo fp r a c t i c a la p p l i c a t i o n 哈尔滨工程大学硕士学位论文 k e yw o r d s ：a i 洲；e m b e d d e dl i n u x ；v i d e om o n i t o r i n gs y s t e m ；m o v i n gt a r g e td e t e c t i o n ； e m b e d d e d 舱bs e r v e r 第1 章绪论 第1 章绪论 1 1 课题研究背景 在如今的信息化时代，通信、网络和微电子技术都在飞速发展，同时视频监控技术 以其方便、直观等特点成为了人们关注的热点技术之一。视频监控系统一般是和应用条 件结合在一起，以达到某种特定的使用目的，它是一个有机体，并由具备图像采集、处 理、传输等功能的相关的电子设备和传输媒介组成，而网络视频监控是结合了传统的视 频技术和现代通信技：术为一体的产物，越来越多的在国内外得到关注。正是如此，我国 的视频监控技术又迎来了新的机遇和挑战。视频监控系统主要应用在很多领域，例如交 通部门的流量及违章监控，银行系统的柜员及安全监控，楼宇问安防的监控等领域。 随着人们家庭财富的不断积累，生活水平的不断改善以及安全意识的不断增强，人 们对家庭视频监控系统的需求也会提高。传统的视频监控系统远远达不到令人满意的视 频监控效果，系统往往比较复杂，通常的核心处理器采用工控机或者p c 机，许多与监 控无关的功能也相对集中在其中，而且，传统的视频监控系统需要人员在电视监控器前 长期盯守，任务非常繁重，在没有人进行看守时，则系统会对长时间没有运动目标出现 的图像进行大量存储，严重造成了资源的浪费，同时大量的视频数据给人们在进行实时 视频监控带来了困难，难以进行高效的监控管理。如果在家中安装这样一种体积大且成 本昂贵的系统是非常：不现实的。所以，对于成本低廉，系统简单，智能化，家庭化的小 型视频监控系统成为了人们追求的新目标。 目前，在我国，视频监控系统刚刚从运用嵌入式和网络技术相结合而起步，嵌入式 系统以其体积小，稳定性好，并且支持以太网等特点，已经成为了新一代视频监控领域 的又一热点【1 】。通过嵌入式技术与i n t e m e t 的结合，我们可以有效地将图像采集与压缩、 运动目标检测和存储等功能都集成在一个很小的电路板之上，并可以直接连入网络，客 户可以实时的观看家中的情况，并且安装方便，不需要专人盯守，从而满足了人们对家 庭视频监控系统成本低，简单，智能和小型化特点的追求。 基于以上问题，本文设计了一种基于a r m 和l i n u x 的家庭网络视频监控系统，它 是集嵌入式技术，图像处理技术，传输技术，网络技术于一体的产物，并且研究了一种 在存在细微变化的背景下对运动目标的检测算法，其计算量小，复杂度低，检测效果好， 确保了图像的信息完整。节省了资源和人力，同时使整个系统的体积减小，成本降低， 当有异常情况发生时，在没有人力控制的情况下，可以自动检测出运动目标，对运动信 哈尔滨工程大学硕士学位论文 息进行存储。因此，对于这种小型的嵌入式家庭视频监控系统的研究有着很大的现实意 义，发展前景十分广阔，可以获得巨大的经济价值和社会效益。 1 2 视频监控系统的发展和研究现状 1 2 1 视频监控系统的发展 伴随着计算机技术、图像处理技术以及通信网络技术的飞速发展，视频监控系统在 近三十年里的发展十分迅速，从诞生以来整个经历可以分为三个阶段：模拟视频监控系 统，基于p c 的多媒体监控，基于嵌入式和网络的数字化视频监控 2 , 3 1 。 ( 1 ) 模拟视频监控 第一代视频监控系统即模拟视频监控应用于上世纪9 0 年代前，主要采用以模拟设 备为主的闭路监控系统，开创了视频监控的先河。这个阶段的视频监控主要采用以同轴 电缆的模拟方式进行图像信息的基带传输，一般都是通过图像采集装置采集的视频数据 准确的传输到用于图像显示的监控器上，实现景物再现。由于模拟视频监控系统由录像 机，同轴电缆和监视器等专用设备所组成，所以数据的传输距离不能太远，图像信息只 能在视频监控中心查看，这个时代的监控在这些固有的缺点下限制了进一步的发展。模 拟视频监控的很多缺点： ( a ) 传输距离一般只在几百米范围内，所以仅适用于小区域视频监控场所。如单个大 楼或小的居民区。 ( b ) 系统的布线工程量大，扩展能力差，很难将新设备添加到原系统中，维修成本也 比较昂贵。 ( c ) 模拟信号出来的图像质量很低，极其容易受外界干扰。 ( d ) 通常是利用录像带存储图像数据，由于图像都是原始数据，未经过压缩，将会耗 费大量的存储介质，而录像带的信息存储有限，需要定时更换，所以成本比较高，查询 检索麻烦，保存也有很大的问题。 ( 2 ) 基于p c 的多媒体监控 到了上世纪9 0 年代末，模拟视频监控系统的局限性已经越来越不能满足人们对视 频监控系统的需求了。从而，基于p c 的多媒体监控伴随着计算机技术和数字视频压缩 技术的发展应运而生。这个阶段的视频监控系统实现的是视频的采集和处理，利用的是 计算机的高速信息处理能力，通常是将远端的摄像设备采集到的图像信息传输到多媒体 监控终端上，监控终端可以是p c 机或是专用的工控机，之后通过专用的压缩设备进行 视频压缩处理，然后通过网络将信息传到监控中心，再在这台计算机上进行视频解压， 第1 章绪论 便实现了远程视频监控的功能。这样不仅实现了计算机的强大性能，同时也产生了许多 智能化应用。比如，报警及云台控制等功能都由p c 机来统一管理，具有更加优越的性 能。 基于p c 的多媒体监控实际上是模拟视频监控系统的延伸，它以功能强大的计算机 为核心替代了传统的视频监控中心，很好的解决了在第一代视频监控系统中存在的缺 陷，比如被压缩过的数字视频可以大容量，低故障的存储在计算机的磁盘上，这样方便 读取，容易检索。但是由于上一代中的模拟方式传输仍然应用在从视频采集设备到监控 端之间，而后对于图像信息的数字化处理和储存都是在监控端p c 机上进行的，所以这 种基于p c 的多媒体监控实际上并不属于全数字化系统。同时，这种方案也存在这许多 不容忽视的缺点： ( a ) 系统工作的稳定性不好，视频前端( 如视频信号的采集，压缩，通信) 比较复杂， 可靠性较低，成本却非常昂贵。 ( b ) 系统的扩展性和兼容性差，由于系统是用专用的视频卡进行视频的压缩和解压 缩，因此，系统只支持固定的一种编解码格式，不可更改。 ( c ) 软件的开放性不好，需要专人管理和维护，在许多环境和空间受限的监控点，采 用这种方式是不理想的。 虽然基于p c 的多媒体监控系统在众多方面都要优于传统的模拟视频监控系统，但 由于在复杂程度和成本方面都受到一定的限制，使得该类系统要想得到普遍的推广和应 用变得非常困难，几：乎只能处在测试的阶段。 ( 3 ) 基于嵌入式和网络的数字化视频监控 近年来，在众多领域，如银行及智能小区的安全监控，工业现场的视频监控，医院 里对病房里病人的监控，道路上对车流量及交通安全的监控，放有重要物品的仓库的监 控，视频监控系统都得到了广泛的应用，同时人们对视频监控系统的要求也随之增高： 可靠性高，耗电量低，操作便捷，实时性好，安装方便，成本低廉等等，这些优势都被 嵌入式视频监控所具备。嵌入式技术及通信网络技术的迅猛发展，为视频监控的进一步 发展创造了良好的条件，使得嵌入式网络视频监控系统应运而生。 与传统的视频监控存在的种种缺点相比，基于嵌入式和网络的数字化视频监控拥有 着十分广阔的应用前景，这种视频监控系统将许多最新的技术都集成在一个体积非常小 的设备中，并且该设备功能专一，如嵌入式技术、多媒体技术、图像处理及网络传输等， 将嵌入式微处理器和操作系统应用到监控场所，把用摄像头采集到的图像进行数据压 缩，之后通过网络进行传输，网络上的计算机可以采用c s ( 客户端服务器) 或是b s ( 浏 哈尔滨工程大学硕士学位论文 览器朋艮务器) 方式。这样人们只需要通过浏览器就可以登录到服务器上进行实时的控制 和查看监控现场的图像，这样有效的避免了传统视频监控的布线复杂，体积大等缺点， 使整个系统性能稳定，成本低廉，并且可以方便灵活的应用于许多场合，使之成为二十 一世纪市场上视频监控系统的主流发展【4 】。 、1 2 2 嵌入式视频监控系统的研究现状 现阶段，嵌入式视频监控系统被大家广泛的研究和重视，研究的重点主要集中在以 下几个方面：嵌入式视频监控系统的解决方案，在视频图像处理方面，视频的网络传输 方面等。具体研究现状如下： ( 1 ) 系统的解决方案，基于a r m 的嵌入式视频监控系统的解决方案主要有以下三种： ( a ) 文献 5 主要是将由摄像头采集到的图像经过m p e g 4 硬件压缩芯片g 0 7 0 0 7 压 缩之后由总线传给a r m 处理器，a r m 处理器再通过扩展的网络接口，将视频流进行 网络的传输。此方案为视频采集设备+ 视频压缩芯片+ 嵌入式a r m 处理器，他是将视频 压缩算法固化在视频压缩芯片中，不容易更改，使压缩算法不够灵活，系统难以升级， 成本高，其应用比较受限。 ( b ) 文献 6 主要是采用a r m 9 和d s p 双核构架的视频处理系统的研究和实现，以 a r m 处理器为控制模块的核心，负责d s p 视频处理的通信控制。这里的d s p 作为视频 处理模块，主要负责视频数据的采集、视频回放、存储等功能。其实这与上一方案很相 似，为视频采集设备+ d s p 处理器+ 嵌入式a r m 处理器，其在压缩编码方面弥补了上一 方案的不足，d s p 处理器可以根据需要的不同选择不同格式的压缩算法，同时也可以对 算法进行优化和改进等，编码速度快，图像的清晰度高，所以对于金融、军事等对图像 质量要求很高的领域，是主要采用的方案之一。 ( c ) 文献 7 】设计了一个基于$ 3 c 2 4 1 0 硬件平台和嵌入式操作系统的远程视频监控系 统终端，首先进行视频采集，然后通过m p e g 4 进行视频压缩，最后通过r t p 和r t c p 传 输协议进行网络传输。此方案将视频压缩、网络传输等操作都集中在a r m 处理器上，为 视频采集设备+ 嵌入式a r m 处理器，此方案的压缩算法比较灵活，可随时改变，并且开 发调试很方便，因为其使用的是单处理器，减少了视频处理芯片的使用，使得系统的成 本大大的降低。但同时也存在着一些不足，就是图像的清晰度不够和视频压缩速度稍差， 所以一般应用于小区、工厂车间、家庭等对图像质量要求不高的场所。 ( 2 ) 在视频图像处理方面，一般是对视频图像进行后期的研究及分析，通过一些图形 分析算法实现对运动目标的检测、跟踪及异常报警处理等性能。文献 8 设计了一种网络 4 第1 章绪论 视频监控系统，成本低，可以对异常情况进行检测，并发出实时的报警信息。 ( 3 ) 在视频的网络传输方面，主要集中在尽量的压缩视频数据等，以减少在传输过程 中数据包的丢失。近年来，人们已经提出了很多方案，比如利用p 2 p 技术消除了服务器 的瓶颈问题和提高了网络资源的利用率【9 】；利用i p 组播方式进行网络传输，可以提高视 频的播放速率同时节约了对网络宽带的占用【1 0 1 。 1 3 本文主要研究内容和结构 该系统是为家庭等对图像质量要求不是很高的场所而设计，是在a r m 9 硬件平台上 移植嵌入式l i n u x 操作系统，并以u s b 摄像头为视频前端进行视频数据的采集，并对采 集到的图像进行处理并在此基础上设计运动目标检测算法，在对图像进行j p e g 压缩后， 并根据需要对发生异常的图像进行存储。最后应用t c p i p 协议进行网络传输，并在客户 端进行s d l 显示和w e b 服务器网页显示，通过i e 浏览器进行远程监控。 本文主体部分的结构如何下： 第1 章：绪论。重点叙述了本课题的研究背景，视频监控系统的发展历程以及研究 现状。 第2 章：视频监控系统的总体设计。介绍了嵌入式系统的概况并设计了系统的总体 结构，进行了系统开发需要的硬件以及操作系统的选择，详细介绍了系统开发的软件平 台的搭建，其中包括交叉编译环境的搭建、b o o t l o a d e r 的移植、嵌入式l i n u x 操作系统的 移植以及y a f f s 文件系统的建立以及摄像头驱动的开发等。 第3 章：运动目标检测算法的研究。在最常用的相邻帧差法的基础上，将多帧进行 混合差分，并用迭代法进行自适应阈值的选取，成功分离出运动目标区域。 第4 章：服务器端应用软件的设计。详细介绍了整个系统的前端软件设计过程。包 括v 4 l 视频图像采集的实现、视频图像的编解码、图像的存储设计以及基于t c p f l p 协议 的网络传输模块的设计。 第5 章：客户端视频显示的实现。实现了客户端图像的s d l 显示和嵌入式w e b 服务器 的网页显示，介绍了怎样通过s d l 编程接口来进行图像数据的显示，又介绍了如何将b o a 网络服务器成功的移植到嵌入式平台并通过匝浏览器进行图像显示。并成功的进行系统 测试。 哈尔滨工程大学硕士学位论文 第2 章视频监控系统的总体设计 2 1 嵌入式系统概况 所谓嵌入式系统【l l , 1 2 1 ( e m b e d d e ds y s t e m ) 是一个专用的计算机系统，这个系统严格要 求功能、可靠性、成本、体积、功耗等各方面的性能，同时该系统分别以应用和计算机 技术为中心和基础，适用于应用系统，对于软硬件可进行适当的裁剪。嵌入式的硬件和 软件是嵌入式系统组成的两个组成部分。嵌入式硬件主要由高性能处理器、存储器、许 多外围设备和1 0 端口等几部分组成；嵌入式软件则包括引导程序、嵌入式操作系统及 应用程序几部分构成。首先，需要很好的完成硬件的设计，在此基础上进行软件的相关 设计，因为要实现的嵌入式系统的功能的关键是嵌入式软件的设计。为达到嵌入式系统 实时性高的特点，对于软件的设计要尽力达到稳定、高效、简洁。从而，这个综合平台 的处理能力是往常我们用的单片机所远远不能及的。 嵌入式设备我们称之为是含有嵌入式系统的设备或产品。例如，现在的手机、电视、 冰箱、电子游戏机、p d a 等人们日常所用的通信及电子产品都与嵌入式系统有着密不可 分的联系。特别是在后p c 时代，新型手机、掌上电脑、汽车、医药系统以至于将要得 以应用的智能化住房和办公室等的核心技术是万万不能缺少嵌入式系统的。所以，现今 最热、最流行的领域之一无疑是嵌入式系统。嵌入式系统的特点如下： ( 1 ) 嵌入式系统以用户为导向，以面向产品和应用为本，紧密与应用相结合，专用 性非常强，与实际的用户需求相结合，进行一个适当的裁剪使用。嵌入式系统与特定的 应用有机结合，并且和产品保持一致的改进和创新，所以，倘若市场中有嵌入式产品的 存在，它的生命周期便会很长。 ( 2 ) 嵌入式系统是把计算机、通信、电子以及其他领域的具体应用等技术相结合所 的的产物。 ( 3 ) 嵌入式系统要根据所需应用系统的功能、成本、可靠性、体积等多种特点对系 统的软硬件进行合理的裁剪。嵌入式系统通常是将软件固化在微处理器中，并不是在磁 盘以及其他载体中存储，其目的就是为了提高系统的执行速度和可靠性。 ( 4 ) 嵌入式系统自身不具备创新和改进的能力，即便是都已经完成设计以后，用户 也只有通过特定的环境下和开发工具才能对其程序和功能进行修改和开发。 2 2 系统的总体结构 该视频监控系统是由微处理器和以太网控制器以及一些所需的外围部件所组成，本 第2 章视频监控系统的总体设计 文是以应用比较广泛的嵌入式微处理器$ 3 c 2 4 4 0 为核心，以太网控制器选用的是一款完 全集成的、符合成本效益的d m 9 0 0 0 以太网控制器，系统移植了嵌入式l i n u x 操作系统。 整个系统是由微处理器控制u s b 摄像头进行视频图像的采集，并将采集的图像由经 u s b 总线再传至微处理器，再经过a r m 9 微处理器对所采集的图像进一步处理后通过 网络进行传输。客户端是对接收到的视频数据解码后进行图像显示。系统的整体结构框 图如图2 1 所示。 客户端 e 令 i 自 客户端 图2 1 视频监控系统的总体结构框图 2 3 系统开发的硬件及操作系统的选型 2 3 1 系统开发的硬件选择 ( 1 ) 微处理器的选择 嵌入式微处理器是一切功能和任务的实际执行者，处于嵌入式系统的核心地位，其 性能的好与坏对嵌入式系统的性能起到直接的影响。本系统在完成了图像采集之后，要 将采集到的视频图像进行网络数据的传输，所以要求硬件平台在选型上要具有集成度 高、处理速度快、功耗低等特点，嵌入式处理器的种类繁多，其应用最为广泛的是a r m 处理器，它同时提供了许多接口模块以及具有其片上资源丰富等特点l l3 1 。它常常被广泛 应用到安全系统、移动通信、成像设备等领域。 a r m 处理器在指令集系统的情况下，通过搭配不同的部件构成了功能不同的处理 器，这些处理器被分为一下几个系列：a r m 7 、a r m 9 、a r m 9 e 、a r m l 0 e 、a r m l l 、 c o r t e x 、s e c u r c o r e 、o p t i m o d ed a t a e n g i n e s 等。这些系列的微处理器为了实现不同领域 的需求，每一系列都具有相对独特的性能。对于a r m 9 系列的微处理器来讲，其采用5 级流水线，从而它的执行效率要比a r m 7 提高很多，最高可达3 0 0 m i p s ，在处理器的 性能上得到了整体的改善；a r m 9 微处理器还提供了1 1m i p s m h z 的哈佛结构；其具 有全性能的m m u ，可以支撑许多主流的嵌入式操作系统；支持数据c a c h e 和指令c a c h e ， 哈尔滨工程大学硕士学位论文 可以将读写和取指操作同时进行，使数据和指令的处理能力大大提高【l 姒。 综合考虑，该系统选用三星公司生产的基于a r m 9 2 0 t 内核的芯片$ 3 c 2 4 4 0 ，它是 一款1 6 3 2 位r i s c 微处理器，为一般类型的应用提供了性能高、功耗低、价格低的微 处理器解决方案，这些方面都很好的满足了嵌入式视频监控系统对微控制器的要求。 $ 3 c 2 4 4 0 提供了很多可扩展功能的模块，主要有m m u 虚拟内存管理单元、l c d 控制器、 2 通道s p i 、i i c 接口、i i s 接口、3 通道u a r t 、4 通道d m a 、4 通道具有p w m 功能的 定时器、1 3 0 个通用i o 口、8 通道a d c 接口、摄像头接口、触摸屏接口、2 4 通道外部 中断源、1 个u s b 主机接口1 个u s b 设备接口、s d m m c 接口、音频输入输出接口等 u 引。通过采用$ 3 c 2 4 4 0 提供的一套完整的系统外设资源，可以有效的减少其他组件的 配置，使得整个系统的成本降低。同时，对于处理器的主频来讲，如果主频不高，在视 频处理方面需要进行大量的计算，这会使系统显的力不从心，同系列的$ 3 c 2 4 1 0 的主频 为2 0 3 m h z ，而$ 3 c 2 4 4 0 的主频为4 0 0 m h z ，最高可达5 3 3 m h z ，这使得更加适合于计 算量较大的场合。并且内核的工作电压只有1 3 v ，输入输出电压也只有3 3 v ，充分满 足了嵌入式系统对性能高和功耗低的要求。 ( 2 ) 视频采集设备的选择 该系统进行视频数据的采集是通过u s b 摄像头。因为u s b 摄像头的价格低廉，并 且具有良好的性能，使用也很方便，连接到嵌入式系统中也更加容易。所以我们选用中 星微公司生产的z c 3 0 1 芯片的摄像头【l6 | ，该摄像头芯片内部含有数字摄像i c 接口、具 有实时图像压缩引擎、f i f o 等功能，并且芯片的压缩比达到5 ：1 ，经处理后输出的为j p e g 格式的图像；该款摄像头采用的是高质量的c m o s 感光芯片，成像质量好，是当今市 场上主流的视频处理芯片。 2 3 2 嵌入式操作系统的选择 嵌入式操作系统与普通的操作系统的功能一致，都具备为用户设置访问硬件的接 口、整体维护系统的资源、调用多个应用程序和管理文件系统等功能。除此之外，它还 是一种系统软件，实时的支持嵌入式系统的应用，用途非常广泛，是嵌入式系统中至关 重要的组成部分，主要负责嵌入式系统的硬件和软件的资源安排、调度和控制。 为了更好的满足嵌入式系统的需求，在嵌入式操作系统的选择上，要充分考虑多种 因素的影响，比如：系统具有的移植能力，开发者需要考虑的是嵌入式操作系统能否支 持目标硬件多样性的特点，并且使应用软件能否在不同的平台上具有很好的移植特性； 为满足实际的应用需求，系统是否具备添加和裁剪的能力；系统的硬件的相关可靠性、 第2 章视频监控系统的总体设计 实时高效性、专用性以及成本等方面都要着实考虑。 目前，在嵌入式领域里可以选择的操作系统种类繁多，比如l i n u x 、v x w o r k s 、 u c o s i i 、w i n d o w sc e 等。在这些操作系统中，其中v x w o r k s 和w i n d o w sc e 的源代 码是不开放的并且费用昂贵，而其中l i n u x 操作系统是免费并且开源的，被广泛的应用 在嵌入式产品的开发中，并在近几年发展十分迅速。l i n u x 作为嵌入式操作系统的优势： ( 1 ) l i n u x 的源代码是开放的，并且得到了全球很多l i n u x 爱好者和开发者的技术支 持。 ( 2 ) l i n u x 的内核精简、高效稳定，并可以根据用户需求的不同对内核进行适当的裁 剪和修改。 ( 3 ) 到现在为止，l i n u x 支持3 0 多种各类c p u ，并且是跨平台系统，平台的移植速 度非常快，所以将来如果要进行产品升级，需要更换c p u ，不需要更换开发平台，这样 可以省去许多麻烦。 ( 4 ) l i n u x 具有非常强大的网络功能，它几乎包括了所有的网络协议和接口，它可以 支持从以太网到现今比较流行的无线网，以及卫星和光纤等。 ( 5 ) l i n u x 为嵌入式系统提供了高度模块化的体系结构，可以根据用户的需求对驱动 程序等进行加载编译或是添加到内核中，使得操作非常容易。 ( 6 ) 在l i n u x 操作系统中，可以不需要价格昂贵的仿真器，只需通过串口通信便可 方便的进行开发和调试，使开发成本进一步降低。 l i n u x 不足的一点是它实时性方面不够优越，而对于2 6 版本的l i n u x 在实时性方面 有了较大的改进，并且本系统对于实时性的要求并不算苛刻，综合以上的优点，我们完 全可以选择l i n u x 操作系统进行系统开发，可以很好的达到嵌入式视频监控系统的要求。 2 4 系统开发的硬件平台 本文的嵌入式视频监控系统所用的进行开发测试的硬件平台式是实验室现有的 a r m 9 开发板，该系统的硬件结构如图2 2 所示，主要的组成部分有： c p u 处理器：s a m s u n g $ 3 c 2 4 4 0 a ，主频4 0 0 m h z ，最高5 3 3 m h z ： s d r a m 内存：6 4 m b 的s d r a m ，3 2b i t 数据总线，时钟频率高达1 0 0 m h z ； f l a s h 存储器：6 4 mn a n df l a s h ，掉电数据不易丢失，2 mn o rf l a s h ； 接口资源：1 个1 0 0 m 以太网r j - 4 5 接( d m 9 0 0 0 网络芯片) ，1 个串口接i ：3 ，1 个u s bh o s ta 接口，1 个u s bs l a v eb 型接口，1 个2 0 m m 间距1 0 针的j t a g 接口，1 个p w m 蜂鸣器等； 9 哈尔滨工程大学硕士学位论文 l c d 显示屏：2 5 6 k 色、3 5 寸屏、分辨率为2 4 0 x 3 2 0 、真彩色t f t 液晶屏。 u s b 摄像头ii 蜂呜器 j t a g 调试接口 掣掣卜飘| | 瓣 微处理器 s 3 c 2 “0 2 5 系统开发的软件平台 数据总线 地址总线 图2 2 硬件架构图 控制总线 整个系统包括硬件层和软件层两部分，硬件层在最下面，包括系统的硬件开发平台 和u s b 摄像头；硬件层上面是软件层，主要由引导程序层、内核层和应用程序层组成。 嵌入式视频监控系统的软件的架构图如图2 3 所示。 软件层 硬件层 应用软件 底层软件 图2 3 软件架构图 其中引导程序b o o t l o a d e r 根据硬件配置的不同而不同，它位于系统的硬件和操作系 统内核的中问，主要负责初始化硬件系统以及正确启动引导操作系统；而由l i n u x 内核、 文件系统以及各种所需的驱动程序组成的内核层，这一层也是一个完整的嵌入式系统所 不可缺少的一部分，它可以在自己所构造系统的基础上进行串口等外围设备的驱动程序 的开发；最上层是用户用来实现所需功能的应用层。下面将详细介绍一下嵌入式监控系 统的软件平台搭建流程。 2 5 1 交叉编译环境的搭建 由于嵌入式系统的资源有限，对于通常我们所采用的本地开发、调试和运行的方式 在嵌入式系统中是没有办法得到满足的，所以，嵌入式系统在进行软件开发时，一般采 1 0 善 第2 章视频监控系统的总体设计 用宿主机和目标板的开发模式，如图2 4 所示，宿主机与目标板之间可通过网线或串口 线等进行通信。宿主机是我们通常用的计算机，安装了l i n u x 操作系统，并建立交叉编 译环境，主要进行应用程序的开发，并将编译器生成的可执行文件下载到目标硬件之上， 也就是我们所谓的目标板，并对程序进行调试与运行。 图2 4 宿主机和目标板开发模式 交叉编译和普通的编译形式基本相同，最大的区别是交叉编译出来的可执行程序只 能运行在特定的c p u 所属的平台上。首先，要在l i n u x 开发环境下安装交叉编译工具， 可以在宿主机上直接安装l i n u x 操作系统，若宿主机为w i n d o w s 操作系统，可以在其上 安装c y g w i n ，用以模拟l i n u x 开发环境，还可以在其上安装虚拟机，在虚拟机上安装 l i n u x 操作系统，本文用的就是最后一种方法。宿主机上安装的l i n u x 操作系统是 r e d h a t 9 ，目标板使用的是a r m 9 2 0 t 内核的$ 3 c 2 4 4 0 处理器，所以选用a r m l i n u x 交叉编译器。 在编译工具链的时候是有很多个软件相互结合而成，而这些软件部分都是相互依赖 的，从而在组合前要想到这些软件的版本是否一致，版本越新功能当然越多，但是在运 行的时候可能不是很稳定，并且新版本可能存在着程序上的一些漏洞，需要在长期的使 用中进行不断地改动和调试才能使其稳定的应用【1 7 1 。所以本系统选用与l i n u x 2 6 内核相 互兼容的，发行时间较长的a l l t l 1 i n u x g c c 一3 4 5 交叉编译器。 2 5 2b o o t l o a d e r 的移植 b o o t l o a d e r 与计算机中的b i o s 很相似，它是系统上电时首先执行的一小段程序， 是用来初始化硬件设备，准备好软件环境，用于内核接管系统，最后进行调用操作系统 内核【18 1 。 b o o t l o a d e r 程序的启动过程一般分为两个阶段，第一阶段的实现通常用的是汇编语 言，用来完成对于那些依赖于c p u 的硬件的初始化，包括关闭中断、关闭w a t c h d o g 、 r a m 初始化等等；还有就是为第二阶段做好准备，并调用第二段的代码。第二阶段通 哈尔滨工程大学硕士学位论文 常是用c 语言来实现，可以实现相对复杂的功能，并实现更好的可读性以及可移植性， 其主要的功能是对本阶段要使用的硬件设备进行初始化，以及对下一步调用内核做适当 的准备。 每种平台上都具有使用方便，较为成熟的b o o t l o a d e r ，比如x 8 6 平台下有g r u b 和 l i l o 等。而对于a r m 平台下，通常使用的b o o t l o a d e r 有u b o o t ，v i v i 等。v i v i 是m i z i 公司专门对s a m s u n g 的a r m 架构的c p u 而设计的，基本上可以直接使用，命令简 单方便；不过其初始版本只支持串口下载，速度较慢1 。现在也出现了各种改进的版本。 u b o o t 是针对大部分的c p u 而设计，他的使用相对于v i v i 来讲更为复杂，但是可以使 开发者更方便的进行程序调试，同时他还支持网络下载和串口下载方式，提供了大量的 命令。鉴于以上u b o o t 为开发人员提供的多种便利条件，本文选择u b o o t 作为系统的 b o o t l o a d e r 。 目前，u b o o t 一1 1 6 是最流行和成熟的版本，它适用于s m d k 2 4 1 0 开发板，要支持 s 3 c 2 4 4 0 还需要进行一些修改，本文要建立的开发板目录名称为t q 2 4 4 0 ，步骤如下： ( 1 ) 首先将u b o o t 的根目录下的m a k e f i l e 文件添加新配置，找到s m d k 2 4 1 0 _ c o n f i g ， 在其下仿照它的格式加入如下语句： t q 2 4 4 0 _ c o n f i g ：u n c o n f i g $ ( m k c o n f i g ) $ ( ：_ c o n f i g 。) a r i na r m 9 2 0 tt q 2 4 4 0n u l l s 3 c 2 4 x o ( 2 ) 在b o a r d 子目录中建立自己的开发板的目录，迸至l j b o a r d 目录中，输入命令： m k d i r - pb o a r d t q 2 4 4 0 c p - r fb o a r d s m d k 2 41o 术b o a r d t q 2 4 4 0 ( 3 ) 进入到自己的开发板的目录下，修改配置文件，将s m d k 2 4 1 0 c 文件改为 t q 2 4 4 0 c ，同时还要在i n c l u d e 目录下新建配置文件t q 2 4 4 0 h ，并对相应的m a k e f i l e 进行 修改。 ( 4 ) 对t q 2 4 4 0 c 文件中的b o a r d i n i t 函数进行系统的时钟设置以增加对$ 3 c 2 4 4 0 的 支持。 ( 5 ) 在u b o o t 中有自带的网卡驱动，只需要对网卡驱动d m 9 0 0 0 进行稍加配置，便 可以通过t f t v 或n f s 进行下载文件了。 对于n o rf l a s h 的型号是不需要修改的，默认的型号便为a m 2 9 l v 4 0 0 。最后配 置好交叉编译器后，进行编译，编