（信号与信息处理专业论文）基于omap5910的视频监控服务器设计与实现.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：塞堡日期：z 坦查：i 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：救导师签名：三羽酲日期 j 确必一 山东大学硕士学位论文 摘要 随着人们安全意识的提高，视频监控系统在银行，交通，工业生产和安全部门 等领域的应用越来越广泛。而另一方面，嵌入式系统( e m b e d d e ds y s t 锄) 则凭借 自身的低功耗和高性能也成为当今1 1 r 产业的瞩目的焦点之一。将这二者相结合，开 发基于嵌入式系统的数字监控系统因而成为嵌入式开发领域的一个热门的课题。相对 于传统监控系统，嵌入式数字监控系统具有可靠性高，功耗低，组网方便，成本低等 优点，因而更使适用于工业控制，民用及银行、政府部门的安防系统。 视频监控系统的开发涉及到操作系统，可视化图形用户界面，网络传输，视频 编码等嵌入式软硬件开发的多方面技术。在本文中，硬件平台是采用基于 o m a p 5 9 1 0 为基础的开发板。o m a p 5 9 1 0 是t i 公司推出的一款针对移动通讯市场 的双核架构的高性能低功耗的芯片。其内部集成一个删核和一个d s p 核。a l m 核是t i 公司自己开发的增强型a r m 9 ，凭借着丰富的接口和删核的高性能， 这款开发板完全可以满足系统整体开发中所需要的各项控制要求。d s p 核则是t i 公司的低功耗d s pc 5 5 x ，由于d s p 的特殊架构，d s pc 5 5 x 非常适合完成系统中 图像编码的功能。对于软件平台，操作系统则采用嵌入式领域逐渐成为丰流的嵌 入式l i n u x 操作系统。嵌入式l i n u x 可应用与多种平台，而且是源码开发的自 由软件，自身支持强大网络功能并拥有众多的软件资源。图形用户可视化用户界 面则使用时下比较流行的q t 厄系统开发。q t 系列是由挪威t r o l l t c c h 公司出品 的一个跨平台的c + + 图形用户界面库。它具有功能强大可移植性好的特点。许多 基于o t 的x 删o w s 的程序可以非常方便地移植到嵌入式版本。 本文中着重于视频监控系统的整体开发，对系统整体开发流程做了比较详细的 研究。首先开发平台的软硬件基础做了比较详细的介绍。然后基于o 脚5 9 1 0 平 台完整的建立了一个嵌入式l i n u x 应用终端，包括交叉编译环境的建立，开发板 应用程序环境的建立，可视化图形用户界面的开发。在上述基础上具体的开发了 一个视频采集，显示模块，并对原有驱动程序的不足进行了二次开发和配置。然 后详细研究了触摸屏驱动程序的开发过程，并总结了驱动程序开发的一般流程和 技术。最后，则采用h 2 6 4 对视频采集的原始图像进行视频编码处理。 山东大学硕士学位论文 a b s t r a c t a l o n gw i lt i l ei 如p r o v e m e n to fs a f e t ya w a r c n 韶s 锄o n gt h ep e o p l e ，印p l i c a t i o no f v i d e 0 跚r v e i l l 龇l c es y s t 锄h 雒s o a r e di i lm ea r e a 飘l c h 勰b a i l l 【i n g ，仃棚p o r t a t i o n ， i n d u s t r i a lp r o d u c t i o n 觚dt i l es e c u r i 哆s e c t o r o nt i l eo m e rh a n d ，锄b c d d e ds ) ，s t e m ( e m b e d d e ds y s t e m ) ， a c c o r d i n gt o 啊r t u eo ft l l e i rl o wp o w e rc o n s u m p t i o na n dl l i g h p e r f o 唧锄c e ， h a sb 。c o m eo n eo ft h ef o c u s 髑o f 姗叫si ti i l d u s 仃y s o ，c c 咀l b “n g t i l e s et 、o 懿p e c t s 锄dd e v e l 叩i n gd i g i t a li n o l l i t o 血gs y s t e mb 嬲c do ne m b e d d e ds y s t 锄 h 蠲b c c o m eah o tt o p i ci n 锄小c d d e ds y s t e ma r a d d i t i o n a l l y ， c o m p a r e dt 0 昀d i t i o n a l m o i l i t o r i n gs y s t e r 璐，c r n b e d d e dd i 百t a l c o n t r o ls y s t e mo w i l sm ea b i l i t ) ro fh i 曲 r e l i a b i l 时， l o wp o w c rc o n 叭m p t i o n ，n e 锕o r kc o n v c l l i e n c e ，锄dl o wc o s ta d v 柚t a g e s ， w h i c hm a k ci t 删) r ea p p l i c a b l et 0i n d u s t r i a lc o n 臼0 l ，c i v i l i 绷锄db a n l 【s ， 9 0 v e m m 饥t d e p a r t m e n t ss e c i t ) rs y s t 锄 h lo r d e rt 0d e s i g n d e om o n i t o r i n gs y s t e m ，w es h o u l de m p l o yq u i t eaf e w 锄1 b e d d e ds y s t e mt e c h n o l o 舀e s 蚰c h 嬲o p e r a t i n gs y s t c i l l s ， v i s u a l i z a t i o n 鲫l l i c a lu s e r i n t e r f a c e ， n e t w o r k 廿a n s i 】【1 i s s i o n ，觚d 们d e 0c o d i n g i i lt h i sp a p e r ，t h eh a r d w a r e p l a t f 0 肋i sb a s e d 0 no m a p 5 910 - b a s e dd e v e l o p m e n tb o a r d a i m i n gt 0m o b i l e c o m i n u i l i c a t i o n sm a r k e t ，t i so n 队p 5 910w m c hh a v ead u a l c o r ca r c h i t e c t u r eo 仃- e 体 q u a “t ) ro fb o lk g h p e r f 0 肋a n c e 觚dl o w - p o w c r t h ed u a l - c o r ea r c l l i t e c m r ep r 0 v j d e s b e n e f i t so fb o t hd s pa n da r m t e c h n o l o g i e s a r mc o r ei st i se n h a n c e da l t m 9 a n d ， w i t ht k sr i c hi i l t e r f a c ea i l dh i 曲- p e r f o m a n c ea r mc o r e ， s y s t e md e v e i o p m e n tb o 砌 c 锄如l i ym e e tm en e e d so ft h eo v e r a d e v e l o p m e n to ft h ec o n t r o lr e q u i r 锄e n t s d s p c o r ci st i sl o w - p o w e rd s pc 5 5 xw h i c hi sv e 巧鲫i t a b l ef o ri m a g ec o d i n g 胁c t i o n s a c c o r d i n gt oi t ss p e c i a ld s p f h m e w o r k f o rs o f h a r ep l a t f o m l s ，t h eo si s 锄b e d ( i e d l u xw i t c h 舯d u a l l yb e c o m e sm cm a i n s 仃e 锄o p e r a t i n gs y s t e mi i l 锄b e d d e d d e v e l o p m e n t e i n b e d d e dl i n u xc 如b eu s 酣w i t hm u l t i p l ep l a t f 0 肌s ， 趾di s 丘e e s o f t w a r es o m c ec o d e a n dw h a t sm o r e ， i to w n ss t r o n gs u p p o r to fn e t w o r k 锄dg r e a t r e s o u r c eo fs 0 r w a r e v i s 吼lu s e r 伊a p l l i c a li l s e ri i l t e r f a c ei sd e v e l o p e dw i mw e l l h o w n 6 山东大学硕士学位论文 q t es y s t e md e v e l o p m e n t q ts 甜e sp r o d u c e d b yt h e 眦e 酉锄c o m p 锄yt | r o i i t e c h i sac r o s s - p l a t f o mc + + 伊印i l i c a lu s e ri l l t e r f a c el i b r 盯y no w n sp o w e r 如lf e a t u r e s 如d a l s og o o dp o r t a b i l i t y a d d i t i o n a l l ym 锄yo fxw i n d o w s r w a r eb 嬲c do nq tc 觚b e v e 叮髓s i l yp o r t c dt ot h e 锄b e d d e dv c r s i o n t h i sp 印e rf o c u s 髓o no v e r a l ld e v e l o p m e n to fv i d 帆i l l 觚c es y s t 啪，如d c o m a i 衄i n u c hd e t a i l 蚰m yo ft i l e0 v e r a l ls y s t 锄d e v e l o p m e i l tp r o c 髓s f i r s t l y ， 锄 i l l 删u c t i o no fh a 坩w a r c 觚ds o m v a r cp l a t f o 皿i s 唧l o y e di nt l l i sp a p a f t e rt h a t ， 啪s s c o m p i l 盯印v 衲m n e n ti s 部t a b l i s h e d ，a n da l t h ee n v 衲n m e n tn e c db y a p p l i c a t i o ns o r w a r e o nt h eb 嬲i so ft l l ea _ b 0 v e - m e n t i o n c dd e v e l o p m e n t ， w ed e v e l o p c d g u io ft h es y s t 锄， v i d q u i s i t i o n 锄dd i s p l a ym o d u l e ，a n dm o d i 匆l e 捌v 盯 b e c a u s eo fs o m el a c k a n dt l l 饥ie x p l a i nh o wt 0d e v e l o p “v e ro ft o u c hs c r e 饥f o r 舶1 b e d d e du n u x 锄d 咖a 出es o m eg e n e r a l e x p e r i e n c ef o r “v c rd e v e l 叩i n g f i n a l l y ， w ec o d et l l er a wv i d e 0s 仃e a mw i lh 2 6 4u n d e r 锄l y z i l l go fc o d e n ，d e c o d c r a v a i l a b l e 7 山东大学硕士学位论文 1 1 引言 第一章绪论 随着人们生活水平和安全意识的提高，视频监控系统逐渐开始走入人们生活。 视频监控系统是安全防范系统的组成部分，它是一种防范能力较强的综合系统。 它主要由前端摄像部分、传输部分、控制部分、显示与记录四大部分所组成。视 频监控系统使管理人员在控制室中能观察到前端防范区域内所有人员活动情况并 记录，为保安系统提供动态图像信息。所以，视频监控系统凭借着它的直观、方 便、信息内容丰富的特点已被广泛应用于许多场合。 目前视频监控系统主要的应用于政府部门和金融、电信行业这3 大行业占 据5 8 的市场份额。t u 随着相关技术的长足发展，视频监控行业已经进入一个高速 增长的时期。目前，我国视频监控行业应用市场总产值已达上百亿元，且近几年 一直以2 5 的速度递增。【l 】而且，随着个人用户对家庭安全的需求日益增长，采用 监控系统来保障住宅安全的意识明显加强，监控市场领域范围还将继续不断扩大。 该行业的高速发展使的这个行业的竞争也日趋白热化。在激烈的竞争中，传统模 拟视频监控系统开始表现出它的疲态，并逐渐跟不上日益发展的用户需要。而另 一方面，以计算机技术及图像视频压缩为核心的新型视频监控系统则得到了越来 越广泛的应用。它克服了传统视频监控的局限性，并具有传统模拟监控无法比拟 的优点，所以它正在逐步取代模拟监控。新型视频监控系统综合了数字图像处理 与视频信息处理技术、嵌入式技术、数据传输网络技术、自动控制等技术，符合 当前信息社会数字化、网络化、智能化的发展趋势，可广泛应用在安全监控、视 频会议和视频点播、远程教育、新闻实况直播等诸多领域，而且其成本将随着技 术的发展和网络的普及而大大降低，具有十分广阔的应用前景。【2 】 1 2 视频监控系统的发展 目前，视频监控系统普遍使用的模拟系统已发展非常成熟、性能稳定，在实际 工程中得到广泛应用。而另一方面，数字系统迅速崛起f u 尚不完全成熟，数字和 山东大学硕士学位论文 模拟混合应用广泛并将逐渐向数字系统过渡的阶段。四 视频监控系统随着相关技术的不断发展与进步，主要经历了三个丰要发展阶 段： ( 1 ) 模拟监控 在二十世纪九十年代初以前，由安防产品演化而来的，以模拟设备为主的闭路 电视监控系统，称为第一代模拟监控系统，它是随着视频和摄像机的出现发展壮 大起来的。这种监控系统多是以摄像机、分割器、录像机为核心，辅以其他传感 器，且每一监视点的视频信号通过模拟线路传输到中心控制室。但这种系统采用 手动方式进行切换，而且在电视机构成的监视器上难以同时观察到所有监视点的 情况；其存储不f 耗费大量的存储介质，查询取证也很烦琐；控制器采用模拟电 路和中、小规模数字集成电路。因此模拟监控系统功能简单、可靠性和灵活性差， 而且易受干扰，系统寿命也短。 ( 2 ) 数字监控 九十年代中后期，随着计算机处理能力的提高和数字视频技术的发展，人们利 用计算机的高速数据处理能力进行视频的采集和处理，利用显示器的高分辨率实 现图像的多画面显示，从而大大提高了图像质量，这种基于p c 机的多媒体丰控台 系统称为第二代数字化本地视频监控系统。这种监控系统综合了视频矩阵、图像 分割等众多功能，以硬盘为丰要存储设备，能实现多媒体信息的查询，并具有组 网方便，灵活、图像清晰等特点。 数字网络视频监控系统是视频监控系统的发展方向，数字网络监控系统的关键 设备是嵌入式视频服务器( 视频信号采集终端) ，嵌入式视频服务器一般是采用嵌入 式实时多任务操作系统的嵌入式设备。摄像机送来的视频信号在嵌入式视频服务 器数字化压缩处理后，通过内部总线送到网络接口并发送到网络上，i p 网络上的 用户可以直接在p c 机等终端上用浏览器观看嵌入式视频服务器传送过来的摄像 机所拍摄的图像，授权用户还可以通过口网络通过嵌入式视频服务器控制摄像机 镜头和云台的动作或对系统进行配置操作。 与其他监控系统的相比，数字网络视频监控系统具有以下特点： 1 ) 布控区域广阔。数字网络视频监控系统的嵌入式视频服务器直接连入网络， 9 山东大学硕士学位论文 没有线缆长度和信号衰减的限制，同时网络是没有距离概念的，彻底抛弃了地域 的概念，扩展了布控区域。 2 ) 系统具有几乎无限的无缝扩展能力。所有设备都以口地址进行标识，增加 设备只是意味着口地址的扩充。 3 ) 可组成非常复杂的监控网络。嵌入式视频服务器能完成模拟到数字的转换并 压缩，采用统一的协议在网络上传输支持跨网关、跨路由器的远程视频传输。 4 ) 性能稳定可靠，无需专人管理。嵌入式视频服务器基于嵌入式技术，采用嵌 入式实时多任务操作系统，因此系统的实时性、可靠性大大提高；由于数字网络 视频监控系统可以做到体积很小，也无需专人管理，非常适合无人值守的环境。 5 ) 当需要同时观看多路监控视频时，对网络带宽就会有一定的要求。 1 3 论文的主要内容以及结构安排 本课题的目的便是设计和实现基于o m a p 5 9 1 0 平台的监控服务器。整个系统 的框图如图1 1 ： l o 圈 用户界面横块 控务! 模块 视频模块 存储模块 视频编码模块 传输模块 一一一一一一一一一一一一 本课题监控暇务器 图1 1 山东大学硕士学位论文 由图1 1 可知，整个系统主要由以下几个模块组成： 用户界面模块：本课题提供图形用户界面，一切操作都可以使用鼠标或触摸 屏在可视化的图形界面下完成。 控制模块：这个模块主要实现两部分功能，一部分是通过4 8 5 集线器，将用 户的操作从服务器传递给云台，另一部分则是用户通过鼠标，触摸屏等输入设备 将操作传递给服务器。由于使用嵌入式l i m 操作系统，鼠标可以直接使用，所 以本课题研究的重点将是如何正确设计触摸屏的驱动程序。 视频模块：这个模块主要负责监控图像的采集和显示。从监控摄像头获取视 频数据以后，视频流将同时做两部分处理其中一部分是实时的将视频显示到 l c d 上，另一部分则是将视频传递给存储模块以存储视频流。 视频编码模块：这部分主要的功能是对摄像头传入的原始视频流进行视频压 缩编码处理。在本课题中，x 2 “编码器将被植入本系统，并对摄像头采集的原始 视频流进行压缩编码。压缩率可以达到9 3 5 以上( 由编码器工作选项和图像本身 的特性决定) 。 存储模块：这部分主要是将视频流以文件的形式保存起来。因为硬盘等常用 设备的驱动已经集成在嵌入式l i n u x 系统中，所以不需要开发可直接使用。 传输模块：但由于时间和条件原因，本课题并没有进行进行这个模块的研究。 但按照计划，这部分将利用o m a p 5 9 1 0 提供的各种专用接口实现远程客户端对本 平台的控制和读取。 这篇论文的丰要内容便是介绍如何设计实现课题中的各个模块，其具体结构安 排如下： 第一章绪论。这章介绍了监控系统的相关知识及发展状态。并介绍了本论文 的丰要内容及结构安排。 第二章课题平台介绍。这章是全文的基础章节，一些相关软硬件的基础知识 将在这章做简单的阐述。例如本文使用到的0 m a p 5 9 1 0 平台，嵌入式l 烈u x 等 将在这一章有所介绍。 第三章，图形用户界面开发。这章的内容对应课题中用户界面模块。在这章中， 山东大学硕士学位论文 本文将在对现今主流的图形用户界面( g u i ) 系统比较的基础上，引出本课题所使 用的q t e 系统。然后在本章的余下部分介绍如何利用q t e 开发课题的图形用户 界面。 第四章，监控图像的采集与显示。这章的内容对应于课题中的视频模块。对视 频流就行采集首先要解决的问题便是如何将视频采集设备监控摄像头正确安 装入系统。所以，本章将从l 眦驱动讲起，说明如何将摄像头正确连入系统。 然后，在硬件设备正常工作的基础上，本文将详细说明如何开发用于监控图像采 集和显示的应用程序。 第五章触摸屏驱动研究。这章将从触摸屏的硬件电路入手，详细介绍各部分 电路的作用和控制方法。然后由此引出如何按照硬件电路的要求设计l 肌驱动 程序。 第六章视频编码器在监控服务器的移植。这章对应课题中的视频编码模块。 类似于图形用户界面开发一章，本文将在对视频编码技术介绍的基础上引出本课 题使用的h 2 6 4 标准。然后，针对视频编码器移植中难点，本文提出了自己的解 决办法。 山东大学硕士学位论文 第二章课题平台介绍 这章是全文的基础章节，一些相关软硬件的基础知识将在这章做简单的阐述。 例如本文使用到的o m a p 5 9 1 0 平台，嵌入式l 烈u x 等将在这一章有所介绍。 2 10 m a p 概述 很多因素制约着2 5 g ，3 g 无线市场的发展，其中一个主要的因素就是2 5 g ，3 g 设备的发展跟不上。3 g 无线应用设备是一个高性能的多媒体平台。这使的数字信 号处理( 如m a p 3 音频编解码和m p e g 视频编解码) 已经成为3 g 系统的一个重 要功能。因此，面向的3 g 的芯片一个重要的特性就是具有d s p ( d i g 协is i n g n a i p r o c e s s i n g ) 功能。开始的时候，m p u 生产厂商通过增强已有的m p u 来达到牛 产的需求( 如a r mv 6 ) 。但是，最终他们发现，这对于芯片多媒体性能提高有限， 究其原因，还是m p u 架构适合进行d s p 运算。 德州仪器公司( t i ) 于1 9 9 8 推出了o m a p ( o p e nm u i t i m e d i aa pp 1 c a t i o n p i a t o r n l ) ，即开放式多媒体应用平台。它在一块硅片上无缝地集成了一个以a r m 精简指令处理器( r i s c ) 为核的软件予系统，以及一个高性能、超低功耗的t i t m s 3 2 0 c 5 5 x 系列数字信号处理器( d s p ) ，且为二者开辟了共享的存储结构， 以方便数据交换。在o m a p 结构中，r i s c 处理器丰要用来实现对整个系统的控 制，包括运行操作系统、界面控制、网络控制和d s p 数据处理的控制等；d s p 子 系统则丰要用来实现各种媒体数据的高效处理，包括文本、音频、视频等。o m a p 的软件机构支持高级操作系统，通过标准应用编程接口( a p i ) 支持各种应用开发。 t i 独特的d s p b i o s 桥允许开发者在r i s c 和d s p 之间优化分割各项处理仟务， 在不增加功耗的前提下获得更优良的性能。1 2 1 o m a p 的优点主要有以下几点： 1 ，双核结构：具备低功耗的实时信号处理能力( 丰要又d s p 核提供) ，又具 备强大硬件控制能力( 由m p u 负责) 。 2 ，低功耗：o m a p 的推出的初衷即定位于无线移动市场。因此，在芯片的架 构，路基设计和物理实现过程中都引入了低功耗的理念。如双核设计，可以 l3 山东大学硕士学位论文 针对任务，分配处理器，使合适的处理器完成任务，从而降低了处理器的运算 周期，进而可以显著降低系统功耗。 3 ，高性能的图像显示系统：如专用的l c d 通道以提供最低的显示延时，多显 示缓冲器的支持以提高运动图像的平滑等。 4 ，开放式的结构：此结构最主要的好处是对独立的应用程序销售商们开放了 无线应用程序的编程领域，使厂商可以很容易地实现各种应用。 2 20 m a p 5 9 10 硬件平台的介绍 本课题使用的o m a p 5 9 10 是第一代o m a p 中比较经典的一款。其基本结构如 下图2 1 由图2 1 我们可以看出，o 脚5 9 1 0 具有独特的双核结构：一个实现实时控制 功能的带t i 增强型a l 洲9 2 5 内核的r j s c 处理器和一个实现数据处理功能的高性 能、低功耗的t m s 3 2 0 c 5 5 xd s p 核。其中，删是整个双核系统的中心。下面 将对这两部分做一个简单的介绍。 a l 蝴9 2 5 的最大工作频率为1 9 2 m h z ，支持3 2 位和1 6 位指令集，有1 6 k 字 节的高速指令缓存( ic a c h e ) ，8 k 字节的高速数据缓存( dc a c h e ) 和1 7 个字的写缓 冲。 a l 蝴9 2 5 内核采用5 级流水线3 2 位砌s c 处理器架构的体系结构。该内核， 同时还配备t h u n l b 扩展。它能够处理3 2 位或者1 6 位的指令和8 位、1 6 位、3 2 位的数据。这款新型高性能、低功耗的微构架兼容a r m v 4 t 指令集，并通过使用 协处理器c p l 5 使体系结构得到增强。可通过对协处理器c p l 5 的读写来对m m u 、 c a c h e 和读写缓存控制器进行存取操作。这种微构架在a i 蝴核的周围提供了指令 与数据存储器箭理单元，指令、数据和写缓冲器，性能监控、调试和j t a g 单元以 及内核存储总线。 1 4 山东大学硕士学位论文 啪 o 鼍螂h h 州-_ 州h 一 辨阳_ h - p k l 1 ，1 t i 。 - 啊薯两c hd p 。稍h 蛔t h r l 咿阳_ - l l哆 - c - ts i l h 一1 2 h - 州h _ h l 弹一， d 觅雌d 札 脚 i 1 哪 憎 _ n 州 i 惦p p 曲棚删h 州h 。i 一。 l 、 1 ， ，圣 f ：器卜 蕾 驯 i；删口印酬m 岫l 州b l1 l 一 剿k 开井 i 洲盯 i 晦一1 f 7 i 岍 哪胍w 肿1 1 r 毒 越 啪 删p - _ a 啷- ，7 置 譬 ii - l 蜊 i 哆。h _ q h - ， -7 _ i ， r 占t c 由n a ， 7 o 怎龇 lii 鼬h r _ l f 蕾7- 越 c ，- ，- ， 7 ， 7 ，l 一o 1 r # 笠，1 州o - 叶一 j l 7 ，花 ：l 。= i f 7 - 帆7 l 汗 c _ 盯 8 日删 越壬 t曩，h 巾，- h li 纠旧 - ，。 l h d c 一触_ r m p w l 忡 h ，b ：_ 一盯 州c l - 虻 f r 蛳 惦 ， n - h 、日b c _ ko l p g d o _ 岫 酬 赫氏_ 晴 眦 u 一一 t - - - 竹- c 勘 t 一一 ，i 婚 毒 啪 h d 叼葡_ h r t c i 矛 l 僦f f 澉i l 州1 2 h h n h _ _ 嘲 重h l ，t - 月 - 广匍 o n 币柙加r q 帅 l f 。 二。l ttt 图2 1 t m s 3 2 0c 5 5 xd s p 核则以高性能和低功耗著称，其工作丰频为2 0 0 删z 。共有 1 6 m 字节的数据和程序空间，还有6 4 k 字的1 0 空间。其主要特点是：有1 个6 4 x 8 位缓存队列，2 个1 7 x 1 7 位乘法器，1 个4 0 位a l u ，1 个1 6 位a l u ，1 个4 0 位桶 形移位器和4 个4 0 位加法器。另外还有1 2 条独立的总线，即3 条数据读总线，2 条数据写总线，5 条数据地址总线，1 条程序读取总线和1 条程序地址总线，以及 用户可以配置的i d l e 域。同时，内核主要由4 个单元组成：指令缓冲单元、程序 流单元口单元) 、地址数据流单元( a 单元) 和数据运算单元口单元。 此外，d s pc 5 5 x 内部有6 4 k 字节双存取s r a m ，9 6 k 字节单存取s r a m 和2 4 k 字 节的高速指令缓存。它具有高度的并行能力，3 2 位读写和功能强大的e m i f ，双流 水线的独立操作能力。它采用了三项关键的革新技术：增大的空闲省电区域、变 长指令、扩大的并行机制。此外还增加了处理运动估计、离散余弦变换归( d c t ) 、 1 5 山东大学硕士学位论文 离散余弦反变换( i d c t ) 、l 2 像素插值的硬件加速器，大大提高了这些算法的运 算速度，同时降低了视频处理的功耗，其结构对于多媒体应用高度优化，适合低 功耗的实时语音、图像和视频处理 2 3嵌入式l | n u x 本课题的o m a p 程序主要分为两部分。一部分是开发基于嵌入式l 肌的 a r m 端程序，另一部分是基于d s pg a t e w a y 的d s p 端程序。删端的程序的主 要作用是提供主程序的可视化界面，视频采集和显示，外围器件的控制，通过一 些d s pg a t e w a y 的a p i 实现在d s p 上初始化信号处理任务、与d s p 任务交换消息、 对来自d s p 和从d s p 发出的数据流进行缓冲、暂停、继续、删除d s p 任务并进 行资源状态查询等。而d s p 端的程序则丰要负责具体算法的实现，以满足信号处 理的需要。本课题的相关程序的关系可以用图2 2 表示： q t 图形 摄像头视频采 x 2 6 4 视 界面控制 集存储频编码 其他驱动 摄像头 g a t e w a y 嵌入式l i 吣 a r m 端 图2 2 由上图我们可以看出，d s p 端的软件是以d s p g a t e w a y 为基础，并有d s p g a t e w a y 进行毹；理，他们通过d s pg a t e w a y 与删端联系，对a r m 端而言，d s p 就像是系统的一个外设，与其他的外设如摄像头，l c d 等并没有什么不同。而a r m 的程序则以嵌入式l i n u x 为基础，通过嵌入式l 肿提供的a p i 来控制相应硬 件，完成与用户的交瓦。所以，可以说，嵌入式l i n u ) ( 是整个系统软件平台的基 础，下面就将对嵌入式l i n u x 做一个简单的介绍。啪】 1 6 山东大学硕士学位论文 2 3 1 嵌入式l i n u x 介绍 l i n u x 正在嵌入式开发领域稳步发展。l i m7 x 使用g p l ，所有对特定开发 板、p d a 、掌上机、可携带设备等使用嵌入式l i n u x 感兴趣的人都可以从因特网 上免费下载其内核和应用程序，并开始移植和开发。许多l 肿改良品种迎合 了嵌入式市场，它们包括r t l 烈u x ( 实时l 肌) 、u c l i n u x ( 用于非m m u 设 备的l 肌7 x ) 、m o n t a v i s t al 玳u x ( 用于a r m 、m i p s 、p p c 的l 烈u x 分发版) 、 删l 肌( a r m 上的l 肌) ( ) 和其它l i n u x 系统。 嵌入式l 肌的发展比较迅速。n e c 、索尼已经在销售个人视频录像机等基 于l i m ) ( 的消费类电子产品，摩托罗拉于近些年也推出不少基于l 肌x 的手持 设备，而i b m 也制定了在手持机上运行l 玳u x 的计划。 数年来，“l i n u x 标准库”组织一直在从事对在服务器上运行的l i n u x 进行 标准化的工作，现在，嵌入式计算领域也开始了这一工作。嵌入式l 眦x 标准吸 引了“l i n u x 标准库”以及弧x 组织中有益的元素。 2 3 2 在嵌入式系统中使用l i n u x 的优点和缺点 虽然大多数l i m7 x 系统运行在p c 平台上，但l i n u x 也是嵌入式系统的 可靠丰力。l i n u x 的安装和符理比u n 更加简单灵活，这对于那些u n 专 家们来说又是一个优点，因为l i n u x 中有许多命令和编程接口同传统的u n 一样。但是对于习惯于w i n d o w s 操作系统的人来说，需要记忆大量的命令行参 数却是一个缺点。随着l i n u x 社团的不断努力，l 肌的人机界面开发环境正 在不断完善。 典型的l i n u x 系统经过打包，在拥有硬盘和大容量内存的p c 机上运行，嵌 入式系统不需要这么高的配置。一个功能完备的l i n l 7 x 内核要求大约lm b 内 存。而l i n u x 微内核只占用其中很小一部分内存，包括虚拟内存和所有核心的 操作系统功能在内，只需占用系统约1 0 0 k 内存。只要有5 0 0k 的内存，一个有 网络栈和基本实用程序的完全的l i n u x 系统就可以在一台8 位总线( s x ) 的 i i l t e l3 8 6 微处理器上运行的很好了。由于内存要求常常是需要的应用所决定的， 比如w e b 服务器或者s n m p 代理，l i n u x 系统甚至可以仅使用2 5 6k br o m 1 7 山东大学硕士学位论文 和5 1 2k b 咄进行工作。因此它是一个瞄准嵌入式市场的轻量级操作系统。 与传统的实时操作系统相比( r t o s ) ，采用象嵌入式l 肌7 ) ( 这样的开放源 码的操作系统的另外一个好处是l i m 开发团体看来会比r t o s 的供应商更 快地支持新的口协议和其它协议。例如，用于l 玳u x 的设备驱动程序要比用 于商业操作系统的设备驱动程序多，如网络接口卡( n i c ) 驱动程序以及并口和串 口驱动程序。 核心l i m 操作系统本身的微内核体系结构相当简单。网络和文件系统以模 块形式置于微内核的上层。驱动程序和其它部件可在运行时作为可加载模块编译 到或者是添加到内核。这为构造定制的可嵌入系统提供了高度模块化的构件方法。 而在典型情况下该系统需结合定制的驱动程序和应用程序以提供附加功能。 嵌入式系统也常常要求通用的功能，为了避免重复劳动，这些功能的实现运用 了许多现成的程序和驱动程序，它们可以用于公共外设和应用。l i n u x 可以在外 设范围广泛的多数微处理器上运行，并早已经有了现成的应用库。 l i n u x 用于嵌入式的因特网设备也是很合适的，原因是它支持多处理器系统， 该特性使l 肌具有了伸缩性。因而设计人员可以选择在双处理器系统上运行实 时应用，提高整体的处理能力。例如，可以在一个处理器运行g u i ，同时在另一 个处理器上运行l i n u x 系统。 在嵌入式系统上运行l i n u x 的一个缺点是l 玳u x 体系提供实时性能需要 添加实时软件模块。而这些模块运行的内核空间正是操作系统实现调度策略、硬 件中断异常和执行程序的部分。由于这些实时软件模块是在内核空间运行的，因 此代码错误可能会破坏操作系统从而影响整个系统的可靠性，这对于实时应用将 是一个非常严重的弱点。 2 3 3 嵌入式l ln u x 开发流程 嵌入式l 肌开发，根据应用需求的不同有不同的配置开发方法，但是一般 都要经过以下过程： l ，建立开发环境。宿丰机操作系统一般使用l 垣d h a t l i n u x ，版本7 到9 都可以，选择定制安装或全部安装，通过网络下载相应的g c c 交叉编译器进行安 山东大学硕士学位论文 装( 比如a 珊一l i n l 畎g c c 、a 咖一u c l i b c g c c ) ，或者安装产品厂家提供的厂家自己的 交叉编译器。 2 ，配置开发主机。配置m 烈i c o m ，一般参数为波特率1 1 5 2 0 0 ，数据位8 位， 停止位l ，无奇偶校验，软硬件控制流设为无。在w i n d o w s 下的超级终端的配 置也是这样。m i n i c o m 软件的作用是作为嵌入式开发板调试信息输出的监视器 和键盘输入的工具；配置网络，主要是配置n f s 网络文件系统，需要关闭防火墙， 简化嵌入式网络调试环境设置过程。 3 ，建立引导装载程序b o o t l o a d e r ，从网络上下载一些公开源代码的 b o o t l o a d e r ，如u b o o t 、b l o b 、v i 、l i l o 、a r m b o o t 、r e d b o o t 等， 根据自己具体芯片进行移植修改。有些芯片没有内置引导装载程序，比如三星的 删7 、删9 系列芯片，这样就需要编写烧写开发板上f l a s h 的烧写程序，网 络上有免费下载的w i n d o w s 下通过，t a g 并口简易仿真器烧写删外围 f l a s h 芯片的程序。也有l i n u x 下公开源代码的j f l a s h 程序。如果不能烧写 自己的开发板，就需要根据自己的具体电路进行源代码修改。这是让系统可以正 常运行的第一步。 下载别人已经移植好的l i n u x 操作系统，如u c l n u x 、a i w l i m d ( 、 p p c l i n u x 等，然后添加自己的特定硬件的驱动程序，进行调试修改，对于带 m m u 的c p u 可以使用模块方式调试驱动，对于u c l 烈u x 这样的系统好像只能 编译进内核进行调试。 建立根文件系统，从n w b u s y b o x n e t 下载使用b u s y b o x 软件进行功能裁 减，产生一个最基本的根文件系统，再根据自己的应用需要添加其他的程序。默 认的肩动脚本一般都不会符合应用的需要，所以就要修改根文件系统中的启动脚 本，它的存放位置位于e t c 目录下，包括：e t c i n i t d 托s 、e t c p r o f i l e 、e t c p m f i l e 等，自动挂装文件系统的配置文件e t c f s t a b ，具体情况会随系统不同而不同。根文 件系统在嵌入式系统中一般设为只读，需要使用m k c r a m f s 、g e n r o m f s 等工具产 生烧写映象文件。 建立应用程序的f l a s h 磁盘分区，一般使用j f f s 2 或y a f f s 文件系统，这 需要在内核中提供这些文件系统的驱动，有的系统使用一个线性f l a s h ( n o r 型) 1 9 山东大学硕士学位论文 5 1 2 k 一3 2 m ，有的系统使用非线性f l a s h ( n a n d 型) 8 5 1 2 m ，有的两个同时 使用，需要根据应用规划f l a s h 的分区方案。 开发应用程序，可以下载到根文件系统中，也可以放入y a f f s 、盯f s 2 文件 系统中，有的应用程序不使用根文件系统，而是直接将应用程序和内核设计在一 起，这有点类似于u c o s i i 的方式。 4 ，烧写内核、根文件系统、应用程序。 5 ，发布产品。 2 4d s pg a t e w a y t i 提供的c c s 开发环境可以用于d s p 端应用程序的开发。这种开发模式在使 用d s p 完成单一任务的情况下很有效，可以较快并且较为高效的实现任务。但d s p 的利用率在这种情况下并不是很高，根本原因是d s p 端少一个操作系统来管理和调 度d s p 上的应用程序。 d s pg a t e w a y 给我们提供了一种解决方案。d s pg a t e w a y 由n o k i a 研究中 心开发，能够支持o m a p l 5 1 0 构架的o m a p 处理器。它是能够协助开发人员同时使 用a r m 和d s p 。它丰要包含了两个部分，一是a r m 端的l 烈u x 驱动程序， 二是d s p 端的基于d s pb i o s 的一个实时内核及它上面的a p i 。在d s pg a t e w a y 提 供的框架使开发d s p 端的程序变得很简单，只需熟悉了d s pg a t e w a y 的a p i 函数 就能方便的在d s p 上实现多任务管理。 d s pg a t e w a v 是通过l i n u x 的文件系统为a r m 端的应用程序提供d s p 入口的。 当一个d s p 任务被建立的时候，g a t e w a y 会在d e “d s p t a s l ( 自动牛成与任务同名的文 件连接，通过访问这些文件。