（电路与系统专业论文）应用于智能小区可视对讲中的嵌入式视频通信及监控系统设计与实现[电路与系统专业优秀论文].pdf

四川大学硕士学位论文 应用于智能小区可视对讲中的 嵌入式视频通信及监控系统设计与实现 电路与系统专业 研究生颜珂斐指导教师罗代升 摘要：随着信息时代的发展和智能小区的普及，可视对讲系统已经成为多功能， 高效率的现代化建筑的重要标志。 综观国内行业市场，目前的楼宇可视对讲系统大都是采用模拟视频技术传 输视频信号，这种传统方式存在诸多弊端。而采用数字视频技术、嵌入式技术、 网络技术可以实现传统方式难以解决的问题。若再将监控和可视对讲两个功能 合二为一更是可视对讲系统的一个发展方向。 本文实现了一种用于可视对讲中的数字化嵌入式视频通信与监控系统。发 送端与接收端均采用含s 3 c 2 4 1 0 微处理器的开发板，结合嵌入式l i n u x 操作系 统a r m l i n u x 来实现其功能。 本文的主要内容如下： 第一，通过对传统可视对讲系统的现状分析，指出了其弊端和数字化发展 的趋势，提出了将监控和可视对讲两个功能合二为一的方案。将监控系统作为 对讲系统的一个扩展功能模块，相对独立地运行于后台。 第二，介绍了嵌入式系统的组成结构和开发流程，以及系统的软硬件平台 件的选取和性能参数。 第三，在系统视频通信部分，对以下五个模块的设计和实现进行了说明： 视频采集模块，图像压缩模块，数据网络传输模块，数据接收显示模块，对讲 通信协议的制定。以上几个模块的结合实现了图像的实时通信。在图像压缩模 块，针对j p e g l i b 库压缩图像的不足，提出了一种数据结构对象和处理函数，使 之能够实现图像内存到内存的压缩。而在视频数据传输中，针对l i v e 流媒体库没 有读取j p e g 格式图像的数据源类，定义了类m y j p e g d e v i c e s o u r c e ，实现t j p e g 四川大学硕士学位论文 帧的传输；最后，本文还制定了一种用于可视对讲的双方通信协议，利用u d p 协议，实现了访客端与住户端通讯的功能。 第四，提出了本监控系统模块的设计思想并加以实现。其主要功能模块为： 图像对比模块，采用定点型计算图像相异的像素数目百分比，避免了浮点数运 算；h l s 转换模块，为排除亮度的干扰，对采集图像进行r g b 至i j h l s 色彩空间 的转换，针对a m 处理器平台运算能力低的特点，提出了一种快速h l s 变换算法； 寻找背景模块采用了一种简单的对l l - - 幅图像以寻找背景的方法，用于在系统 刚开始运行或摄像头被移动位置时寻找作为基准背景的图片以进行后续的对比 操作。 关键词：可视对讲，嵌入式系统，j p e g ，l i v e 库，监控系统，h l s 1 1 四川大学硕十学位论文 d e s i g na n da p p l i c a t i o no ft h ee m b e d d e d v i d e oc o m m u n i c a t i o na n dm o n i t o r s y s t e m t h a t u s e di nv i s u a lt a l k - b a c ko ft h ei n t e l l i g e n tb u i l d i n g c i r c u i ta n ds y s t e m c a n d i d a t ey a nk e f e i s u p e r v i s o rl u od a i s h e n g a b s t r a c t ：w i t ht h ed e v e l o p m e n to ft h ei n f o r m a t i o nt i m e sa n dt h ep o p u l a r i z a t i o n o fi n t e l l i g e n tb u i l d i n g , t h ev i s u a lt a l k b a c ks y s t e mb e c o m e sa l li m p o r t a n ts y m b o lt o m o d e r n i z e db u i l d i n g m a k eac o m p r e h e n s i v ev i e wo ft h ed o m e s t i ci n d u s t r y ，t h ev i s u a lt a l k - b a c k s y s t e ma l m o s ta d o p t ss i m u l a t ev i d e ot e c h n o l o g yt o t r a n s m i tv i d e os i g n a l ，t h i s t r a d i t i o n a lm a n n e rh a sa g o o dm a n ya b u s e w h 丑eu s i n gd i 舀t m v i d e o t e c h n o l o g y , e m b e d d e dt e c h n o l o g ya n d n e t w o r kt e c h n o l o g y c a nw o r ko u tt h e p r o b l e m sc a u s e db yt h et r a d i t i o n a lm a n n e r a tt h e s a l n et i m e , a d dt h em o n i t o r f u n c t i o nt ot h ev i s u a lt a l k - b a c ks y s t e mi so n eo ft h ed e v e l o po r i e n t a t i o n s t h i sp a p e rr e a l i z e sad i g i t a le m b e d d e dv i d e oc o m m u n i c a t i o na n d m o n i t o r s y s t e mt h a tu s e di nv i s u a lt a l k - b a c k t h ew h o l es y s t e mi s r e a l i z e do ne m b e d d e d s o f t w a r ea n dh a r d w a r e ，t h es e n d e ra n dr e c e i v i n ge n du s et h ee x p l o i tb o a r dw h i c h b a s e do n $ 3 c 2 4 1 0p r o c e s s o ra n dc o m b i n e dw i t ht h ee m b e d d e dl i n u xo p e r a t i n g s y s t e m a r m l i n u xt oc a r r yo u t t h em a i nc o n t e n t si sa sf u l o w s ： f i r s t l y ，b ya n a l y z i n gt h ec o n d i t i o no ft h et r a d i t i o n a lv i s u a lt a l k - b a c ks y s t e m ， p o i n t i n go u ti t sa b u s ea n dt h ec u r r e n to ft h ed i g i t i z i n gd e v e l o p m e n t , b r i n gf o r w a r da s c h e m et oc o m b i n ev i s u a lt a l k - b a c kw i t hm o n i t o r , w h i c hu s et h em o n i t o ra sab r a n c h f u n c t i o nm o d u l e ，a n dt h em o n i t o rg o e sr o u n di n d e p e n d e n t l y s e c o n d l y ，e x p o u n dt h ec o m p o s es t r u c t u r ea n de x p l o i t a t i o np r o c e s so ft h e m 四川大学硕士学位论文 e m b e d d e ds y s t e m ，t h es e l e c t i o na n dc a p a b i l i t y p a r a m e t e ro ft h es y s t e m h a r d w a r ea n ds o f t w a r e t h i r d l y , i nt h ev i d e oc o m m u n i c a t i o np a r t i l l u s t r a t et h ed e s i g na n dr e a l i z a t i o n o ft h e s ef i v ep a r t sa sf o l l o w s ：t h ev i d e oc o l l e c tm o d u l e ，t h ep i c t u r ec o m p r e s s i o n m o d u l e ，t h en e t w o r kt r a n s m i s s i o nm o d u l e ，t h ed a t ar e c e p t i o na n dd i s p l a ym o d u l e , t h ee s t a b l i s ho ft h et a l k - b a c kc o m m u n i c a t i o np r o t o c 0 1 t h o s em o d u l e sa r ec o m b i n e d t or e a l i z et h ec o m m u n i c a t i o n so ft h ei m a g e i nt h ec o m p r e s s i o nm o d u l e ，a i ma tt h e s h o r t a g eo ft h ej p e g l i b , t h i sp a p e rd e f i n e so u ro w l ld a t as t r u c t u r ea n dd i s p o s a l f u n c t i o nt oc o m p r e s st h ei m a g ef r o mm e m o r yt om e m o r y w h i l ei nt h ed a t a t r a n s m i s s i o n ，d e f i n eo u ro w nc l a s s - m y j p e g d e v i c e s o u r c e ，w h i c he a rt r a n s m i t j p e gf r a m e s ，a st h el i v es t r e a m i n gm e d i al i bh a sn od a t a8 0 u r c oc l a s st og e tt h e p e gi m a g e l a s to fa l l , t h i sp a p e rc o n s t i t u t eac o m m u n i c a t i o np r o t o c o l ，a n du s i n g t h eu d p p r o t o c o lt or e a l i z et h ec o m m u n i c a t i o nb e t w e e nc a l l e ra n dt h er e s i d e n l f o u r t h l y g i v e nt h ed e s i g ni d e aa n dr e a l i z a t i o no ft h em o n i t o rm o d u l e 而c m a i nf u n c t i o n a lm o d u l e sa g ea sf o l l o w s ：t h ei m a g ec o n t r a s tm o d u l ec o u n t st h e p e r c e n t a g eo ft h e d i f f e r e n tp i x e la m o u n tb e t w e e nt h et w op i c t u r e s ，u s i n gt h e f i x e d - p o i n ta c c o u n tm e a u sw h i c ha v o i d st h ef l o a t i n gp o i n to p e r a t i o n ；t h ei l l s c o n v e r s i o nm o d u l ec o n v e r s e st h er g bc o l o rs p a c et oh l sc o l o rs p a c ei no r d e rt o e l i m i n a t et h ei n t e r f e r e n c eo ft h eb r i g h t n e s s a n db r i n g sf o r w a r dah i g h - s p e e dh l s t r a n s f o r m a t i o na l g o r i t h mw h i c hf i tf o rt h el o wo p e r a t i o nc a p a b i l i t yo fa l n lp r o c e s s o r ； t h eb a c k g r o u n ds e e km o d u l ei su s e df o rs e a r c h i n gt h eb a c k g r o u n dp i c t u r ew h i l et h e s y s t e mi sb e g i nr u n n i n go rt h ec a m e r ai sb e e nm o v e d ，a n dt h i sp a p e rg i v e sas i m p l e w a y o fr e a l i z i n gt h i sf u n c t i o nb yc o n t r a s t i n gt h r e ep i c t u r e s k e yw o r d s ：v i s u a lt a l k b a c k , e m b e d d e ds y s t e m , j p e g , l i v el i b , m o n i t o rs y s t e m , h i s i v 四川大学硕士学位论文 引言 八十年代初楼宇可视对讲系统作为一种新兴的技术防范产品进入市场，在 短短的十几年中得到飞速的发展和普及。在小区智能化系统工程建设中，可视 对讲子系统作为一个重要组成部分，不可或缺。随着信息时代的发展，可视对讲 系统已经成为现代多功能，高效率的现代化建筑的重要标志而楼字可视对讲系 统的技术水平也有很大提高，从单一的低档的分线制对讲开锁到今天的总线制 报警型、户间对讲型、可视型，更进一步又有小区联网报警等等。 综观国内行业市场，目前的楼字可视对讲系统还是基于传统对讲的基础上， 采用模拟视频技术传输视频信号，为节省布线成本和复杂性一般又普遍采用总 线技术共用线路传输信号，基本上采用视频电缆和一些控制信号线构成一个可 视对讲网络，使用基带传送可视图像从门口主机到每个楼层每个住户家中的对 讲分机要进行繁琐的布线，系统抗干扰能力差，功能单一，传输距离受限等诸 多传统技术附带的弊端正是智能楼宇可视对讲系统的挑战点。 随着网络的普及，将网络技术应用于小区可视对讲系统也成为可能。基于 u n i i ) 【的楼宇对讲系统引领的正是楼宇对讲系统的全新概念。而作为可视对讲中 不可或缺的一部分，网络数字化视频通信与监控系统技术的研究和实际应用的 开发已经越来越受到技术界和产业界的重视。 由于住户对小区的安防管理和物业管理的要求的不断提高，在宽带网络普 及的趋势下，同时将住户监控报警系统( 安防) 和可视对讲两个功能合二为一 也成为一个发展方向，具有较大的潜力，使得可视对讲系统更为完善和智能化。 1 概述 1 1 楼字可视对讲系统概况 楼宇可视对讲系统是住宅小区住户与来访者的音像通讯联络系统。它是住 宅小区住户的第一道非法入侵的安全防线。智能楼字可视对讲系统主要应用于 楼宇内住户与外来访客之间的双向通话中，同时通过门口安装的摄像机为住户 显示外来访客的图像。通过这套系统的设置，住户可在户内通过对讲可视系统 四川大学硕士学位论文 看清来访者，并与其通话，为住户是否让来访客人进入做出判断。通过该系统 能阻止不法分子非法进入，达到防盗的目的，确保了住户的方便和安全。 最早的楼宇对讲第一代系统是4 + n 型单一对讲，只有单元对讲功能，无法 实现整个小区内大面积组网，且无可视功能。9 0 年代初，出现第二代总线型可视 对讲系统，采用模拟视频技术传输视频信号，而组网成为智能化建筑最基本的 要求。因此，小区的控制网络技术，广泛地采用单片机技术的现场总线技术 现场总线技术在小区中的应用，使对讲系统向前迈出了一大步【1 】。随着i n t e m e t 的应用普及和计算机技术的迅猛发展，出现了第三代局域网型可视对讲系统， 基于a r m 或d s p 技术的局域网技术开发产品开始初露头角，数字对讲技术有了 突破性的发展。但目前国内大部分的智能小区可视对讲系统仍然主要建立在模 拟技术基础上，数字化技术尚未得到有效实现和普及。本系统全面引入数字化 技术和流媒体网络传输技术，从真正实现了可视对讲中视频传输的数字化。 1 2 楼宇可视对讲系统数字化网络化的必然性 目前楼宇可视对讲系统都采用模拟视频技术传输视频信号，为节省布线成 本和复杂性一般又普遍采用总线技术共用线路传输信号，这种技术体系存在许 多问题： ( 1 ) 图像传输的成本高，传输距离受限 我国住宅小区的规模较大，系统的布线安装较复杂，投入也相对较高。即 使通过视频放大器等解决方法，也只能够将传输距离延伸到几公里内，传输距 离受限，且实现的成本也很高。若是通过网络传输，可以不受地域限制，成本 也较低。 ( 2 ) 抗干扰能力差 传统对讲中常出现图像受干扰不清晰现象，而且在传输过程中，会出现信 号衰减的情况。 ( 3 ) 无法保证户户通话 用总线制技术实现通话时占线情况特别多，因为同一条音视频总线上只允 2 四川大学硕士学位论文 许两户通话，不能实现户户通话。但是若采用流媒体技术传输，可以实现多路 同时互通，而不会存在占线的现象 ( 4 ) 访客留影质量差，不支持远端访问 传统产品实现访客留影的方式主要是采用专用芯片，但同时带来成本的增 加。而对其保存下来的文件的检索和回放一般都在原采集设备上处理。采用网 络存储技术，可以方便地保存访客图片到管理中心服务器中，用户可随时对其 进行访问。 ( 5 ) 可靠性差，维修期长 传统系统的总线结构方式，决定了它的不可靠性：任何一户出现短路故障， 将导致整个系统的瘫痪。而可视对讲系统是小区中使用频率最高的系统，加上 环境恶劣装修等原因，使系统极易出现故障。同时由于布线连网技术的复杂性， 出现问题时维修期也较长。 ( 6 ) 布线及产品接口缺乏统一标准，系统集成困难 各生产厂家采用不同的传送方式和信号接口，产品没有兼容性。使得工程 施工、售后服务无法社会化，许多过保修期的系统难以维护不同厂家之间的 产品不能互联，同时可视对讲系统也很难和其它弱电子系统互联。而本系统以 小区局域网为平台，避免了各厂家不同的布线方式。 由以上分析可以看出，采用数字化技术可以解决传统总线制传输很难解决 的许多问题，采用音视频数字化技术、a r m 嵌入式技术可使系统直接接入宽 带网，数字化是可视对讲系统发展的必由之路。 小区智能化建设在我国虽然起步较晚，但发展日新月异。随着i n t e r a c t 互 联网的普及，很多小区都已实现了宽带接入，信息高速公路已铺设到小区并进 入家庭。智能小区可视对讲系统采用t c i i 技术的条件已经具备，其运行基础 正由小区现场总线向i n t e r n e t 转变，由分散式管理，到集中管理转变 1 3 楼宇监控系统和可视对讲系统的融合 3 四川大学硕士学仿论文 一楼字监控系统对于可视对讲系统的重要性 楼宇监控系统的出现能够提升可视对讲系统的附加值，保障人身财产的安 全。而要实现此目的，可视对讲系统就不仅是一套确认访客来访身份的确认系 统，同时应承担起监控系统的传输与操作，达到服务与被服务的关系所以说 监控系统的规划更能提高可视对讲系统的实际使用效率。 二监控系统与可视对讲系统的融合 随着可视对讲产品向宽带网络系统发展的趋势，同时将监控和可视对讲两 个功能合二为一也是楼宇可视对讲系统的一个发展方向。 由于传统对讲系统采用的是模拟技术，若要做到传统可视对讲系统与监控 系统的融合，还要在该系统上再加入一套专用报警信号传输系统，包括管线桥 架等硬件。而采用数字化及网络技术则可以不需要加设额外的监控传输系统。 由于监控系统与可视对讲中的视频通信系统，均使用了视频信号，因此在 本文中，将监控系统与视频通信系统这两个独立的系统进行了融合，把监控系 统作为视频通信系统的一个模块，当然，它同时也是具有一定功能的相对独立 的模块。因此本文在进行设计时，是将视频通信与监控两个部分分开进行设计 和试验，最后再将两者融合的。而这两者融合后形成的系统，完全可以应用于 可视对讲中 4 四川大学硕士学位论文 2 视频通信与监控系统概述 本文设计并实现了一个将嵌入式技术、多媒体网络技术与监控技术有机结 合的用于可视对讲中的一种视频通信与监控系统。该系统分为两大部分：视频 通信系统部分和监控系统部分。在视频通信系统部分实现的是基于局域网的实 时视频采集、处理、传输以及接收等通信功能。而监控系统部分实现了监控及 入侵者判断并留影的功能。 整个系统在嵌入式软硬件构架上实现，发送接收端均采用含$ 3 c 2 4 1 0 微处 理器的开发板，结合嵌入式l i n u x 操作系统来实现其功能。该系统无需其它设 备协助就能独立完成视频应用，实现实时的视频通信及监控。 2 1 嵌入式系统简介 2 1 1 系统结构 嵌入式系统一般指非p c 系统，有计算机功能但又不称之为计算机的设备 或器材。它是以应用为中心，以计算机技术为基础，并且软硬件是可裁剪的， 适用于对功能、可靠性、成本、体积、功耗等有严格要求的专用计算机系统。 嵌入式系统集系统的应用软件与硬件于一体，类似于p c 中b i o s 的工作方式， 具有软件代码小、高度自动化、响应速度快等特点，特别适合于要求实时和多 任务的体系。一般而言，整个嵌入式系统的体系结构可以分成四个部分：嵌入 式处理器、嵌入式外围设备、嵌入式操作系统和嵌入式应用软件，其系统结构 见图1 ： 嵌入式应用软件 嵌入式操作系统 i 嵌入式处理器 ii 嵌入式外围设备i 嵌入式硬件平台 图1 嵌入式系统结构 5 四川大学硕士学位论文 嵌入式系统有别于一般的计算机处理系统，它不具备像硬盘那样大容量的 存储介质，而大多使用e p r o m 、e e p r o m 或闲存a s hm e m o r y ) 作为存储介 质。软件部分包括操作系统软件和应用程序编程应用程序控制着系统的运作 和行为；而操作系统控制着应用程序编程与硬件的交互作用【2 】。 2 1 2 开发流程 对于嵌入式系统开发，首要任务是确定硬件平台和软件平台，因为它的好 坏直接影响着实现阶段的任务完成。通常硬件包括处理器和其周遍的硬件部件， 而软件则包括：操作系统、编程语言、软件开发工具、硬件调试工具、软件组 件等组件。做完嵌入式系统开发的前期准备工作后，需要对且标板进行配置和 构建基本l i n u xo s ，然后在宿主机上开发应用软件，包括为调试应用程序的库、 内核及设备驱动程序内核模块；方案的优化、测试和验证。最后是往目标平台 上的移植、运行和测试。 整个系统的开发过程如图2 所示。 图2 嵌入式系统开发流程 6 四川大学硕士学位论文 2 2 系统硬件平台概述 整个系统除摄像头部分以外都是在含$ 3 c 2 4 1 0 微处理器的开发板上实现 的。$ 3 c 2 4 1 0 微处理器是一款由s a m s u n g 公司为手持设备设计的低价、低功耗、 高性能的1 6 3 2 位系统微处理器，在嵌入式应用领域有着良好的表现。由于它 具有高性能、低功耗等优点，因此特别适合于对价格和功耗比较敏感的应用场 合，如手持设备、网络通信和工业控制等。该处理器采用2 7 2 脚f b g a 封装， 内部集成了a r m 公司的2 0 3 m h z 的a r m 9 2 0 t 处理器核的3 2 位微控制器，1 个l c d 控制器，s d r a m 控制器，3 个通道的u a r t ，4 个通道的d m a ，4 个 具有p w m 功能的计时器和1 个内部时钟，8 通道的l o 位a d c 触摸屏接口， 1 2 c 总线接口，2 个u s b 接口控制器，2 路s p i ，主频最高可达2 0 3 m h z 2 5 j 。 在处理器丰富资源的基础上，还进行了相关的配置和扩展，平台配置了6 4 m b1 6 位的f l a s h 和6 4 m b3 2 位的s d r a m 。通过以太网控制器芯片d m 9 0 0 0 e 扩展了 一个网口，另外引出了一个h o s t u s b 接1 3 1 2 4 。 u s b 摄像头因具有低廉的价格，良好的性能，及方便使用的特性，因此很 容易集成到嵌入式系统中。本系统的门禁端是在开发板的u s b 接口上外接一个 带u s b 口的采用o v 5 1 1 芯片的w e b e y e 摄像头，通过运行移植到平台上的 图像采集处理程序，将采集到的视频图像数据放入输入缓冲区中，并对缓冲的 图像数据直接进行压缩处理，再保存并打成r t p 包最后，通过网络接口将图 像发送到i n t e r n e t 上 2 3 系统软件平台概述 整个系统软件是在嵌入式i a n u x 基础之上构建的。本系统使用的嵌入式 l i n u x 内核是在l i n u x 2 a 内核上编译而成。 2 3 1 嵌入式操作系统 7 四川大学硕士学位论文 为了使嵌入式系统的开发更加方便和快捷，需要有专门负责管理存储器分 配、中断处理、任务调度等功能的软件模块，这就是嵌入式操作系统。嵌入式 操作系统是用来支持嵌入式应用的系统软件，是整个嵌入式系统的核心部分。 目前比较流行的嵌入式操作系统有3 c o r n 公司的p a l mo s 、微软开发的 w i n d o w sc e 、开放源代码的l i n u x ，这三种嵌入式操作系统备有不同的特点， 不同的用途；但l i n u x 比p a l mo s 和w m d o w sc e 更小、更稳定，它具有可移 植性好、网络功能强、有优秀的g n u 编译工具支持等优点，更重要的是l i n u x 的开放源代码和免费的优点使得系统成本显著降低。l i n u x 的这一系列特征为 我们开发自己的嵌入式系统提供了方便和有力条件【3 】。 2 3 2a r n f l i n u x 标准l i n u x 是面向p c 的，它集成了许多p c 所需要而嵌入式系统并不需要 的功能。而由于嵌入式系统的硬件资源有限，嵌入式系统在内存容量和存储容 量不足的情况下，是不能直接把l i n u x 作为操作系统的，因此必须对l i n u x 进 行裁减设计，对一些可独立加上或卸下的功能块裁减，针对具体的应用通过配 置内核、裁减s h e l l 和嵌入式c 库对系统进行定制，使整个系统能够存放到容 量较小的f l a s h 中【5 】。 由于本系统开发板的微处理器$ 3 c 2 4 1 0 采用的是a r m 9 2 0 t 处理器核，因 此，在本文实现的平台上，使用的操作系统是对l i n u x 进行了定制的a r m l i n u x ， 属于l i n u x 标准发行内核中的一个分支。它启用了m m u ( 内存管理单元) ， 是针对支持m m u 的处理器设计的，支持m m u 的a r m 系列c p u ，如 a r m 7 2 0 t 、a r m 9 2 0 t 、i n t e l s t r o n g a r m 等。 8 四川大学硕士学位论文 3 视频通信系统设计 3 1 系统设计目标和工作流程 系统的设计目标是设计一个工作在含$ 3 c 2 4 1 0 微处理器开发扳和嵌入式 l i n u x 平台上，采用j p e g 编码标准压缩图像，并通过网络传输数据，最后接收 显示的视频通信系统。 系统工作过程： 系统发送端( 访客端) 通过w e b e y e 摄像头采集图像，对现场图像进行 捕捉，然后将捕捉到的单帧视频图像数据放入开发板的输入缓冲区中，并将缓 冲的位图数据压缩成j p e g 格式的图像，通过流媒体l i v e 库将图像打成r t p 包 并发送到网络上，接收端( 住户端) 从网络上接收数据流，并进行播放显示 系统工作流程如图3 所示： 图3 系统工作流程图 9 发送端 网络 接收端 四川大学硕士学位论文 由上述说明，本系统的设计可以被分为以下几个大部分： 1 开发环境的建立 2 嵌入式l i n u x 内核的订制 3 基于嵌入式l i n u x 视频采集模块的设计 4 视频图像压缩模块的设计 5 视频数据网络传输模块的设计 6 视频数据接收显示模块的设计 7 视频通信协议的制定 3 2 开发环境的建立 绝大多数l i n u x 的软件开发都以n a t i v e 方式进行，即本机开发、调试，本 机运行的方式。这种方式通常不适于嵌入式系统的软件开发，因为它没有足够 的资源在本机( 即嵌入式系统平台) 运行开发工具和调试工具f 5 】。通常的嵌入 式系统软件开发采用交叉编译调试的方式。一般采用宿主机目标板的调试方 式：宿主机是执行编译、调试嵌入式软件过程的计算机( 即图4 所示的宿主机 p c ) ；目标板指运行嵌入式软件的硬件平台( 即图4 所示的发板) 【6 】。它们之 间由串行口线或以太网相连，从而共同构成一个嵌入式系统的基本硬件开发环 境。 串行连接线 图4 开发环境的建立 根据嵌入式系统开发特征，嵌入式系统软件开发过程是先在宿主机上编写 应用程序，再使用交叉编译器进行编译链接，生成在目标平台的可执行文件。 目标平台运行该可执行文件，成功后移植到目标平台。 1 0 四川大学硕士学位论文 嵌入式开发的第一步工作就是把一台p c 机作为宿主机开发机，并在其上 安装指定的操作系统。对应于此系统平台的嵌入式操作系统a r m l i n u x ，宿主机 p c 上安装了l i n u x 系统。之后，在宿主机上建立交叉编译调试的开发环境。在 p c 机上编写软件时，考虑到软件的可移植性，本文采用了具有较高移植性的编 程语言c 语言编写对讲程序，先将应用程序在宿主机上调试通过后，再利用交 叉编译调试工具编译链接生成可执行代码，最后向目标平台移植。 3 3 嵌入式l i n u x 内核的定制 工作在含$ 3 c 2 4 1 0 微处理器开发板上的嵌入式l i n u x 内核的定制步骤与其 它嵌入式平台的开发步骤相似，具有一定的通用性，所以在这里不再详述。但 是要注意在使用m a k em e n u c o n f i g 定制内核时需加入对u s b 数字摄像头的支 持，具体步骤为： ( 1 )在制定菜单中选择m u l t i m e d i ad e v i c e s - - v i d e of o rl i n u x ，这使得内 核配置了v i d e 0 4 l i n u x ，为视频采集设备提供了编程接口 ( 2 )在制定菜单中选择u s bs u p p o r t - + u s bm u l t i m e d i ad e v i c e s - + u s b 0 v 5 1 1c a m e r as u p p o a ，这使得内核中加入了对采用o v 5 1 1 接口芯片的u s b 数字摄像头的驱动支持 2 0 1 。 加载后将生成视频设备文俐t ：d e v v i d e o o ，为了和v i d c 0 4 l i n u x 模块相协调， 使用i n - s d e v v i d e 0 0 d e v v i d e o 将v i d e 0 4 l i n u x 模块的默认视频设备v i d e o 与物 理视频设备v i d e 0 0 建立起连接。然后，就可以利用v i d e o 的设备号对摄像头进 行操作。 3 4 基于嵌入式l i n u x 视频采集模块的设计 3 4 1v i d e 0 4 1 i n u x 简介 在l i n u x 下，设备驱动程序可以看成l i n u x 内核与外部设备之间的接口。 设备驱动程序向应用程序屏蔽了硬件实现了的细节，使得应用程序可以像操作 普通文件一样来操作外部设备，可以使用和操作文件中相同的、标准的系统调 用接口函数来完成对硬件设备的打开、关闭、读写和i ，o 控制操作【5 】。 摄像头属于视频类设备，遵循的标准为v i d e 0 4 l i n u x 标准。v i d e 0 4 l i n u x ( 简 称v 4 l ) ，是l i n u x 下用于获取视频数据的a p i 接口，为视频采集设备提供了编 四川大学硕士学位论文 程接口函数。从摄像头读图像数据程序的编写主要是调用v i d e 0 4 l i n u x 的a p i 函数。 3 4 2 使用v i d e 0 4 l i n u x 模块提供的a p i 进行视频采集 在嵌入式l i n u x 的内核定制和编译阶段，已经加入了对v i d e 0 4 l i n u x 模块 以及o v s l l 设备的支持，所以运行在l i n u x 下的视频图像采集程序，可以通过 v i d e 0 4 l i n u x 模块提供的编译接口( a p l ) 从视频设备中获取图像帧。 现有的v i d e 0 4 1 i n u x 有两个版本，v 4 1 和v 4 1 2 。本文主要是利用v 4 1a p i 获取 视频图像。其主要步骤有以下几步： ( 一) 打开设备 ( - - ) 设置设备属性 ( 三) 采集数据，一般是一个循环，用以连续的采集数据 ( 四) 关闭设备 整个视频采集模块的工作流程如图5 所示： ( 一) 打开设备 图5 视频采集工作流程 四川大学硕士学位论文 v i d e 0 4 l i n u x 模块的视频采集接口设备为d e v v i d e o ，采集程序打开此接口 设备并扫描它以获得自己所需要的数据： i n to p e n _ f d = o p e n ( “d e v v i d e o ”- o _ r d o n l s o ； o p e n _ f d 是设备打开后返回的文件描述符( 打开错误返回- 1 ) ，以后的系统 调用函数就可使用它来对设备文件进行操作了。 ( 二) 设置设备属性 利用i o c t l 函数读取并设置有关采集设备，采集窗口以及图像参数的相关信 息。如采集窗口大小，图像的亮度，对比度等等。具体数据结构定义和实现如 下： ( 1 )程序中定义的数据结构 首先我们定义一个描述设备的数据结构m yv 4 1 d e v i c e ，它包含了v 4 l 中定 义的设备属性数据结构： t y p e d e fs t r u c tm 3 l d e v i c e i n t f d ；设备号 ， s t r u c tv i d e o _ c a p a b i l i t y c a p ；摄像头的基本信息 s t r u c tv i d e op i c t u r e v p i c ；设备采集图像属性 s t r u av i d e ow i n d o ww i n ；设备采集窗口参数 ) v 4 1 d e v i c e ； ( 2 )设备属性的设置 在v i d e 0 4 1 i n u x 编程时要包含头文件 ，其中包含了 v i d e 0 4 1 i n u x 的数据结构以及a p i 函数定义上述m y _ v 4 1 d e v i c e 中的数据结构成 员都是由v i d e 0 4 l i n u x 支持的，它们的说明和在程序中的设置如下： 1 ) s t r u c t v i d e o _ c a p a b i f i t y v i d e o _ c a p a b i l i t y 中包含摄像头的基本信息，例如n a m e 是摄像头的名字， m a x w i d t h 、m a x h e i g h t 、m i n w i d t h 、m i n h e i g h t 是摄像头所支持的最大最小分辨率， 用像素作单位，c h a n n e l s 是信号源个数。 在程序中，通过i o c t l 函数的v i d i o c g c a p 控制命令读写设备通道以获取 这个结构，下面列出程序中获取这一数据结构的代码： i f ( i o c t l ( f d , v i d i o c g c a p ，& c a p ) 0 ) 1 3 四川大学硕j - 学何论文 p e r r o r ( ”v i d i o g c a p ”) ；如果返回值为0 ，说明设备不支持v 4 l ， 这里说明一下i o c t l ( i n tf d ，i n tc m d ，) 函数：前面提到l i n u x 系统中把设备 看成设备文件，在用户空间通过标准的i ，o 系统调用函数操作设备文件，从而 达到与设备通信交互的目的。因此在设备驱动中要提供对这些函数的相应支持。 而i o c t l 函数在用户程序中是用来控制f o 通道的，其中，f d 代表设备文件描述 符，c m d 代表用户程序对设备的控制命令，而省略号一般是一个表示类型的参 数【5 】。 s t r n c t v i d e o _ p i c t u r e 。 v o i d e _ p i c t u r e 中包含设备采集图像的各种属性，如b r i g h t n e s s 是图像亮度、 h u e 是图像色调、c o n t r a s t 是对比度、w h i t e n e s s 是色度、d e p t h 是深度等。这一 结构可通过i o c t l 函数的v i d i o c g p i c t 控制命令获取： i o c t l ( f d ，v i d i o c g p i c t , & v p i c ) ； 在程序中可以改变v i d e o _ p i c t u r e 中的参数信息，具体方法为先给分量赋新 值，再调用v i d i o c s p i c ti o c t l 函数来设置图像的属性参数，比较重要的是图 像帧的调色板参数的设置： v p i c b r i g h t n e s s = 1 6 9 8 ； v p i c p a l e t t e = v i d e o _ p a l e t r e _ r g b 2 4 ；，采集图像的格式为r g b 2 4 i f ( i o c a ( f a , v i d i o c s p i c t , & v p i e ) p