（微电子学与固体电子学专业论文）基于arm的视频采集与显示系统的设计与实现.pdf

t h ed e s i g na n di m p l e m e n t a t i o no ft h ev i d e oc a p t u r ea n d d i s p l a y s y s t e mb a s e do na r m b y b a il i p e n g b e ( h u n a ni n s t i t u t eo fs c i e n c ea n dt e c h n o l o g y ) 2 0 0 8 at h e s i ss u b m i t t e di np a r t i a ls a t i s f a c t i o no ft h e r e q u i r e m e n t sf o rt h ed e g r e eo f m a s t e ro fs c i e n c e e l e c t r o n i cs c i e n c ea n dt e c h n o l o g y i nt h e g r a d u a t es c h o o l o f h u n a nu n i v e r s i t y s u p e r v i s o r p r o f e s s o rl iq i u h o n g a p r i l ，2 0 1 1 湖南大学 学位论文原创| 生声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：面丑煦日期：h 。年厂月l 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在一年解密后适用本授权书。 2 不保密团。 ( 请在以上相应方框内打”4 ”) 作者签名：7 萄丑而寸 导师签名：磊 日期：2 纠年 f 月1 日 日期：9f 厂年 莎月乙日 基于a r m 的视频采集与显示系统的设计与实现 摘要 随着人们对信息需求的增加、网络技术的进步和物联网技术的兴起，网络视 频图像采集与显示技术变得愈发重要。然而现有的基于p c ( 个人计算机，p e r s o n a l c o m p u t e r 的缩写) 的网络视频图像采集与显示系统存在成本高、体积大、资源得 不到充分利用的缺点。而嵌入式系统所具有的功耗低、体积小、成本低等优点恰 好可以弥补上述的不足，随着嵌入式技术的发展，该系统与嵌入式技术的结合成 为其未来发展的趋势之一，具有广阔的应用前景和实用价值。 本文分析并总结了视频图像采集与显示系统的研究现状和发展趋势，结合嵌 入式技术所具有的成本低、功耗低、稳定性高等优点，设计并实现了基于嵌入式 l i n u x 操作系统和a r m 微处理器的视频图像采集与显示系统。硬件方面，采用 a r m 微处理器$ 3 c 2 4 4 0 a 等作为硬件平台；软件方面，建立了软件开发环境，包 括交叉编译环境的建立和嵌入式l i n u x 系统的移植等。简要介绍了硬件平台的微 处理、n a n df l a s h 存储芯片、u s b 摄像头等部分。详细介绍了系统软件各部 分的功能及其关键代码的实现，利用新一代的v i d e 0 4 l i n u x 2 实现了视频图像的采 集，分别采用基于传输控制协议( t c p ) 的s o c k e t 编程和实现实时传输协议( r t p ) 的j r t p l i b 库完成了视频数据的传输，而视频图像的显示部分则利用s i m p l e d i r e c tm e d i a l a y e r 在w i n d o w s 环境下开发实现，最后对分别基于传输控制协议和 实时传输协议得到的视频图像进行了简要的比较分析。 本文设计的基于a r m 微处理器的嵌入式网络视频图像采集与显示系统成本 低、体积小、安装使用方便，实现了视频图像的采集和显示的功能。 关键词：嵌入式l n u x ；a r m ；v id e 0 4 l in u x 2 ；t o p ；r t p ；s d l i i 硕士学位论文 a b s t r a c t n e t w o r kv i d e oi m a g ec a p t u r ea n dd i s p l a yt e c h n o l o g yi sb e c o m i n gm o r ea n dm o r e i m p o r t a n tw i t ht h ei n c r e a s i n gd e m a n df o ri n f o r m a t i o n ，p r o g r e s so ft h en e t w o r k t e c h n o l o g ya n dt h er i s eo f t h ei n t e r n e to ft h i n g s b u tt h ee x i s t i n gs y s t e mo fn e t w o r k v i d e o i m a g ec a p t u r ea n dd i s p l a yb a s e d o np c ( p e r s o n a lc o m p u t e r ) h a ss o m e d i s a d v a n t a g e sa sf o l l o w s ，h i g hc o s t ，b u l k ya n dr e s o u r c en o tf u l l yu t i l i z e d m e a n w h i l e ， t h ee m b e d d e ds y s t e mw i t hl o wp o w e rc o n s u m p t i o n ，s m a l ls i z ea n dl o wc o s tc a nm a k e u pf o rt h el a c ko fp e r s o n a lc o m p u t e r t h ec o m b i n a t i o no ft h i ss y s t e mw i t he m b e d d e d t e c h n o l o g yh a sw i d ea p p l i c a t i o np r o s p e c ta n dp r a c t i c a lv a l u ew i t ht h ed e v e l o p m e n to f t h ee m b e d d e dt e c h n o l o g y i tb e c o m e so n eo fif sd e v e l o p m e n tt r e n d s t h i sp a p e ra n a l y z e sa n ds u m m a r i z e st h ev i d e oi m a g ec a p t u r ea n dd i s p l a ys y s t e m s s t a t u so ft h er e s e a r c ha n dd e v e l o p m e n tt r e n d ，d e s i g na n di m p l e m e n tt h ev i d e oi m a g e c a p t u r ea n dd i s p l a ys y s t e mb a s e do ne m b e d d e dl i n u xo p e r a t i o ns y s t e ma n da r m m i c r o - p r o c e s s o r ，c o m b i n e dw i t ht h ee m b e d d e dt e c h n o l o g y sa d v a n t a g e ss u c ha sl o w c o s t ，l o wp o w e rc o n s u m p t i o n ，h i g hs t a b i l i t y ，e t c i nt h ea s p e c to fh a r d w a r e ，i tt a k e s a r m m i c r o p r o c e s s o r s $ 3 c 2 4 4 0 aa st h eh a r d w a r ep l a t f o r m i nt h ea s p e c to fs o f t w a r e ， t hs o f t w a r e d e v e l o p m e n t e n v i r o n m e n t i n c l u d i n g t h ee s t a b l i s h m e n to f c r o s s - c o m p i l a t i o ne n v i r o n m e n ta n dl i n u xs y s t e m st r a n s p l a n t a t i o ni se s t a b l i s h e d t h e m i c r o p r o c e s s o r , n a n df l a s hm e m o r yc h i pa n du s bc a m e r ao ft h eh a r d w a r e p l a t f o r ma r ed e s c r i b e d t h ef u n c t i o no ft h es y s t e m ss o f t w a r ep a r ta n dt h er e a l i z a t i o n o ft h ek e yc o d ea r ei n t r o d u c e dd e t a i l e d l y t h ec a p t u r eo ft h ev i d e oi m a g eb yu s i n gt h e n e wv e r s i o nv i d e 0 4 l i n u x 2i sr e a l i z e d t h et r a n s m i s s i o no ft h ev i d e od a t ai s c o m p l e t e db yu s i n gs o c k e tp r o g r a m m i n gb a s e do nt r a n s m i s s i o nc o n t r o lp r o t o c o l ( t c p ) a n dj r t p l i bl i b r a r yb a s e do nr e a l - t i m et r a n s p o r tp r o t o c o l ( r t p ) s e p a r a t e l y t h ed i s p l a yp a r ti sd e v e l o p e da n dr e a l i z e db yu s i n gs i m p l ed i r e c tm e d i al a y e ri nt h e w i n d o w se n v i r o n m e n t f i n a l l y , ab r i e fc o m p a r ea n da n a l y s i so ft h ev i d e oi m a g e s b a s e do nt r a n s m i s s i o nc o n t r o lp r o t o c o la n dr e a l t i m e t r a n s p o r tp r o t o c o l i s c o m p l e t e d t h ed e s i g no fn e t w o r kv i d e oi m a g ec a p t u r ea n dd i s p l a ys y s t e mb a s e do na r m m i c r o - p r o c e s s o ri sl o wc o s t ，s m a l la n de a s yt oi n s t a l l ，r e a l i z e st h ef u n c t i o n so fv i d e o i m a g ec a p t u r ea n dd i s p l a y i 基于a r m 的视频采集与显示系统的设计与实现 皇罩詈皇暑暑詈暑皇詈詈詈鲁詈毫皇昌暑皇皇暑葛皇詈詈詈皇皇暑詈= = = = = = = = 兽暑詈寡詈詈暑詈皇詈暑暑皇詈= 詈詈詈詈穹詈暑暑暑詈皇詈暑皇暑皇詈毫詈暑= 鲁摹皇葛詈葛= 鼍暑穹暑穹皇穹昌兰詈皇暑鲁詈皇穹暑皇量鼍 k e yw o r d s ze m b e d d e ds y s t e ml i n u x ；a r m ；v i d e 0 4 l i n u x 2 ；t c p ；r t p ；s d l i v 硕士学位论文 目录 学位论文原创性声明及学位论文版权使用授权书i 摘要i i a b s t r a c t i i i 第1 章绪论1 1 1 课题背景及意义1 1 2 研究现状2 1 2 1 嵌入式系统研究现状2 1 2 2 视频采集与显示技术研究现状2 1 3 发展趋势3 1 4 论文主要研究工作及章节安排5 1 4 1 论文主要研究内容5 1 4 2 论文章节安排5 第2 章系统开发平台搭建7 2 1 嵌入式系统概述7 2 2 系统硬件平台设计1 0 2 2 1 硬件平台概述1 0 2 2 2s 3 c 2 4 4 0 微处理器1 1 2 2 3n a n df l a s h 13 2 2 3 网络接口1 5 2 2 3u s b 摄像头一1 6 2 3 系统软件功能设计1 7 2 4 系统软件开发环境的建立1 9 2 4 1 交叉编译环境的建立1 9 ：! 4 2b o o t l o a d e r 19 2 4 3l i n u x 内核的裁剪与移植2 0 2 4 4 构建根文件系统21 2 5 本章小结2 3 第3 章视频图像采集2 4 3 1v i d e 0 4 l i n u x 2 简介2 4 3 2v i d e 0 4 l i n u x 2 视频图像采集2 6 3 3y u v 视频格式3 0 v 基于a r m 的视频采集与显示系统的设计与实现 3 4 本章小结31 第4 章图像数据的网络传输3 2 4 1t c p i p 与r t p 3 2 4 1 1t c p i p 3 2 z i 1 2r t p 3 4 4 2s o c k e t 简介 4 3 图像数据的网络传输 4 3 1 基于t c p 的网络传输 4 3 2 基于r t p 的网络传输 4 4 本章小结 第5 章视频图像的显示 5 1s d l 简介及开发环境的搭建 5 2 显示程序的实现 5 3 系统运行结果 5 4 图像数据的保存与回放 5 5 本章小结 3 4 3 6 3 6 4 0 4 2 4 3 4 3 4 3 4 8 5 0 5 1 论5 2 考文 谢 5 4 5 8 录a 攻读学位期间发表的学术论文5 9 录ba r m 9 开发板实物图6 0 v i 结参致附附 硕士学位论文 1 1 课题背景及意义 第1 章绪论 随着社会文明的发展、科学技术的进步，在经历了农业社会、工业社会以后， 当前我们的社会正处于从工业化社会向信息化社会转变的过程中。信息日益成为 一种比传统能源更为重要的资源，当前经济活动的主要内容也正在以工业生产活 动，逐渐转变为以获取和利用信息资源为目的的活动，信息将成为促进人类社会 进一步发展的主要力量。 由此可见，在向信息化社会转变的过程中，人们对于获取各种信息的需求正 在变得越来越迫切。日常生活中，人们通过感官从外界感知的各种信息中，绝大 部分是通过视觉获得的图像信息，可见图像在我们的日常生活中占据着重要的地 位。图像采集与显示系统做为一种获取图像信息的工具，在一定程度上满足了我 们获取图像信息的需求，在视频通话、工业生产、交通和安保等众多领域存在广 泛的应用以及巨大的发展空间。 目前，在已经应用的领域，如网络视频通话领域，一般采用基于个人计算机 的网络视频采集与显示技术，由于个人计算机具有较强的数据处理能力，并安装 有为大众所熟悉的w i n d o w s 操作系统，所以视频图像采集速度快，应用软件的操 作易于学习和掌握。但是个人计算机较高的价格和较大的体积，使整个系统的应 用领域受到限一定制，并且它属通用计算机，用在专门的图像采集和显示的场合 会，不论是在硬件上还是在软件上都会造成资源的极大浪费。 随着嵌入式技术的发展以及相应处理器性能的不断提高，基于嵌入式技术的 网络视频图像采集与显示系统得到了进一步的发展，为我们提供了除个人计算机 以外的另一种低成本的选择。在硬件方面，u s b ( 通用串行总线，英文全称为 u n i v e r s a ls e r i a lb u s ) 接口的摄像头具有即插即用使用非常方便，而且价格低廉等 优点，已经在网络视频通话领域得到广泛的应用，并且具有应用在更多领域的潜 力；同时，嵌入式系统的硬件可以根据具体的需要来裁剪外围电路，去除一切不 需要的多余的硬件部分，更具有针对性，因此以嵌入式a r m 微处理器搭配u s b 摄像头的硬件搭配方式组成的视频图像采集系统，不仅体积小巧，使用方便，而 且成本大大降低。在软件方面，嵌入式操作系统一般采用嵌入式l i n u x 操作系统， 相较于个人计算机安装的w i n d o w s 操作系统，前者性能更稳定，不容易死机：同 时由于嵌入式l i n u x 是开源的操作系统，所以可以免费使用，而如果采用正版的 w i n d o w s 操作系统则需要付费购买，所以前者更具有成本优势，更适合大规模使 基于a r m 的视频采集与显示系统的设计与实现 用。 伴随网络技术的发展与普及，基于个人计算机的将采集到的视频图像通过网 络传输的技术已经出现，并且已经在视频通话领域得到一定程度的应用，例如， 目前基于个人计算机和u s b 摄像头的q q 视频通话技术已经非常成熟，证明了网 络传输视频图像的可行性。而伴随着社会向信息化的转变以及物联网技术的蓬勃 发展，为满足人们对信息的需求，通过网络大规模的传输视频图像数据将成为一 种必须的要求。由此一种专门的基于网络的视频图像采集与显示系统应运而生， 与传统的图像采集与显示不同，网络图像采集与显示系统基于现有的互联网技术 及其资源同时与嵌入式技术相结合，利用了现有的网络资源和成本更低、可靠性 更高的嵌入式设备，具有更广阔的应用领域和发展前景。 1 2 研究现状 1 2 1 嵌入式系统研究现状 目前嵌入式的发展已经有3 0 多年的历史。上世纪7 0 年代出现的单片机被应 用于各种电器、生产机器、通信设备中，使其变的更易操作、更快、更稳定。这 些变化已经初步具有了嵌入式的特点，成为嵌入式的雏形。但是此时的单片机采 用的只是8 位的芯片，功能不强，只能执行一些简单的程序，还不能称之为系统。 8 0 年代初，i n t e l 推出了历史性的8 0 5 1 ，至今5 1 系列单片机仍然有着广泛的 应用。此时的程序员可以在最初的操作系统上来开发应用软件，以缩短开发周期， 降低研发费用，提高研发效率。它们使用的系统已经具备了嵌入式的特点：支持 抢占式调度、响应速度快、内核可裁剪、可移植、较高的可靠性。 9 0 年代以后，鉴于嵌入式系统广阔的发展前景，更多的公司投入到嵌入式操 作系统的研发之中，先后出现了w i n c e 、l i n u x 等嵌入式操作系统，嵌入式技术 得到了广泛的应用，目前已经成为通信和消费类电子产品的发展方向。在通信领 域，数字技术正在全面取代模拟技术，而这个过程离不开嵌入式系统技术的支持。 在消费类电子产品领域，嵌入式技术已经在m p 3 、m p 4 、手机等领域取得巨大成 功，其中以手机的发展尤为突出，甚至出现了专门针对手机的嵌入式操作系统。 得益于手机普及程度的不断提高以及手机功能的日益丰富和强大，嵌入式技术使 手机早己超出了传统通话的功能，随着技术的不断进步，出现了包含甚至替代掌 上电脑、m p 3 、m p 4 、数码相机等的趋势。 1 2 2 视频采集与显示技术研究现状 随着嵌入式处理器性能的快速提高，嵌入式操作系统的不断完善以及网络、 通信、多媒体技术的快速发展，视频图像采集与显示技术也日趋成熟，广泛应用 在智能家居、视频会议、安保等领域。 2 硕士学位论文 视频图像采集与显示系统一个重要的应用领域就是视频监控，而它在该领域 的应用已经发展了几十年，从最初的模拟监控发展到现在的网络视频监控，取得 了长足的进步。从技术角度来看，视频监控的发展可以分为三个阶段，第一代为 模拟视频监控系统，c c t v ( 一般称为闭路电视，英文全称为c l o s e dc i r c u i t t e l e v i s i o n ) 【l 】【2 1 。这种监控系统是一种只能将得到的视频图像信号传送给事先预 定好的模拟监视器上的图像传输系统，另外录像机中使用的的录像带需要经常更 换，并且获得的图像质量不高、系统可扩展性也非常有限。 第二代是“模拟数字 监控系统，d v r ( 一般称为数字视频录像机，英文全 称为d i g i t a lv i d e or e c o r d e r ) 【3 】。这种系统是一种半模拟半数字的方案，与第一 代的闭路电视相比，它以数字视频录像机为基础，采用硬盘录像，所以也被称为 硬盘录像机，可以长时间的录像、录音【4 】。虽然有以上的进步，但是数字视频录 像机的布线仍然很复杂，可扩展性不强，另外它所采用的w i n d o w s 操作系统稳定 性能欠佳【2 1 。 第三代是基于嵌入式技术的网络视频监控系统。它的发展依赖于互联网技术 的发展和普及，网络视频监控一般采用专用的嵌入式操作系统( 如l i n u x 操作系 统) 和专门设计的硬件设备【5 】，满足特定的应用。网络视频监控系统以i p ( 因特 网协议，英文全称为i n t e r n e tp r o t o c 0 1 ) 地址来识别系统中的所有视频图像采集设 备和图像数据接收设备，利用图像编解码算法和网络传输协议进行视频图像的压 缩解压和数据的传输。 网络视频监控系统具有如下的优点：利用现有的网络资源：系统可扩张性强， 不受地域空间的限制，只要有网络( 包括有线和无线网络) ，就可以将客户端或服 务器端集成到系统中；系统组成简单，不需要专门铺设各种复杂的电缆，服务器 端硬件高度集成，便于安装、管理；采用专门的嵌入式操作系统，性能更加稳定。 视频采集与显示的另外一个重要的应用领域是视频会议系统。视频会议系统 是一种集成多媒体技术和计算机通信技术，支持进行异地通信的系统【6 l 。最早的 基于模拟技术的可视电话诞生于贝尔实验室，但由于此技术费用高昂而无法推广， 直到9 0 年代初期，个人计算机应用于视频会议领域，才使其价格降低到可接受的 程度。到9 0 年代后期，个人计算机性能的不断提高促进了该系统的发展，目前视 频会议技术正向着互联网上的多媒体会议方向发展。 1 3 发展趋势 随着信息技术的进一步发展，未来社会是一个高度网络化的社会。这一趋势 要求嵌入式系统向着网络化、信息化方向发展，为适应网络发展的要求，需要提 供各种网络通信接口，支持各种网络通信协议。除此之外，还需要提供更加友好 基于a r m 的视频采集与显示系统的设计与实现 的人机界面，改进算法进一步降低功耗、提高效率，提供更加丰富和友好的开发 环境。基于互联网技术发展而来的物联网也将会成为信息化社会的一个重要组成 部分。 物联网( i n t e r n e to f t h i n g s ) 是一种通过射频识别、红外感应器、全球定位系统、 激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进 行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的种网络【7 】【8 】【9 1 。 物联网可以应用于医疗、交通、物流、家用电器监控等众多领域，它是在互联网 技术基础上发展出来的一种新型网络技术，所以它的核心和基础仍然是“互联网 技术 ，其目的是让所有必要的物品都与互联网相连，以方便获取物品信息并进行 管理【7 1 。 在物联网未来的发展中，基于网络的视频图像采集与显示系统将成为其中的 一个重要组成部分【l0 1 。人的大脑通过味觉、触觉、嗅觉、听觉以及视觉获取外部 的信息中绝大部分都是视觉信息，可见人对图像有着严重的依赖性，而视频图像 采集与显示系统就是向人们提供图像信息服务的系统。 物联网的一个特点就是为它的各种终端分配了i p 地址，即互联网地址。互联 网地址是一种具有唯一性的用来标志互联网终端设备的逻辑地址，它是物联网发 展的基础，如果要普及物联网技术就需要大量i p 地址的支持，以上海世博会应用 为例，仅浦东机场的电子围栏就消耗掉了2 0 万个i p 地址，所以没有足够的i p 地 址就无法构建物联网，无法实现对目标物体信息的获取与控制。 当前制约物联网发展的最大瓶颈就是i p 地址的匮乏，而i p 地址总库的最后 一批i p v 4 地址已于2 0 1 1 年2 月3 日分配完毕。 全球因特网目前采用的是t c p i p 协议族，其中i p 属于此协议族中的网络层 协议，同时也是此协议族的核心协议。当前i p 协议是互联网协议的第四版( i n t e r n e t p r o t o c o lv e r s i o n4 ，简称为i p v 4 ) ，是文顿瑟夫上世纪7 0 年代创立的一种名为i p v 4 的地址长度为3 2 位的地址【1 1 】【12 1 ，理论地址总量为2 3 2 个，约有4 3 亿个i p 地址。 i p 协议的下一个版本是i p v 6 ，它使用1 2 8 位长度的地址【1 1 】【12 1 ，理论地址总量为 2 1 2 8 个。目前，各计算机和操作系统厂商都已投入到i p v 6 相关研究和开发之中， 主要的操作系统如u n i x 、w i n d o w s 等都部分的实现了i p v 6 的功能，但是由于进 展缓慢，i p v 6 协议还没用大规模的使用，不过现实对于i p 地址需求的压力正在 推动它不断的发展和完善，目前广泛使用的i p v 4 在不久的将来将完全被它所取 代。 伴随着物联网技术的发展及i p v 6 的广泛应用，物联网将得到快速的普及。以 此为契机传统的图像采集与显示技术将完全被网络视频采集与显示技术所取代， 并向着网络化，智能化方向发展【1 3 】【1 4 1 。 网络化一一未来视频图像采集与显示技术将随着信息技术的发展与物联网技 4 硕士学位论文 术高度融合，进入社会生活的各个领域。 智能化一一基于图像识别等技术的发展，系统能够自动的对不同情况做出反 应，更加人性化【1 5 1 。 1 4 论文主要研究工作及章节安排 1 4 1 论文主要研究内容 本文主要的研究工作是建立一个以a r m 9 $ 3 c 2 4 4 0 a 嵌入式微处理器为核心 硬件平台的视频图像采集与显示系统。它的基本工作流程为：作为服务器端的 a r m 微处理器通过u s b 摄像头采集到实时的视频图像数据，然后分别基于传输 控制协议和实时传输协议通过网络将视频图像数据传输到作为客户端的个人计算 机上，并在客户端实时显示采集到的视频图像。 主要研究内容如下： ( 1 ) 搭建系统的硬件平台； ( 2 ) 建立系统软件开发环境； ( 3 ) 实现基于v i d e 0 4 l i n u x 2 的视频图像采集程序； ( 4 ) 分别基于传输控制协议( t c p ) 和实时传输协议( r t p ) 实现数据的 传输程序； ( 5 ) 实现基于s d l ( s i m p l ed i r e c t m e d i al a y e r ) 库的视频图像显示程序； ( 6 ) 实现视频图像的存储，以满足视频回放的需求。 1 4 2 论文章节安排 根据课题研究内容，本文共分6 章： 第1 章：论述了本课题研究的背景和意义，分析了视频图像采集与显示系统的 应用现状及其发展趋势，并对嵌入式系统的发展情况做了简要的介绍，最后总结 了本文的主要研究内容和各章节的安排。 第2 章：首先对嵌入式操作系统做了简要的介绍，然后从系统的硬件和软件两 个方面做了总体的介绍，硬件部分包括微处理器、n a n df l a s h 存储芯片、网络 接口、u s b 摄像头。软件部分包括开发环境的建立、嵌入式操作系统的移植等内 容。 第3 章：简要介绍了v i d e 0 4 l i n u x 2 的功能及其常用的数据结构等内容，并详 细说明了利用v i d e 0 4 l i n u x 2 实现视频图像采集的过程，最后对采集视频中涉及到 的y u v 视频图像格式做了介绍。 第4 章：阐述分别基于传输控制协议( t c p ) 和实时传输协议( r t p ) 的视频 图像数据网络传输的实现过程，并对所采用的两种网络协议做了介绍。 第5 章：简要介绍s d l 库及其开发环境的建立，并详细说明在w i n d o w s 环境 5 基于a r m 的视频采集与显示系统的设计与实现 下基于s d l 库的视频图像显示技术的实现过程，简要介绍了视频图像存储和回放 的功能。 结论：展示并简要对比分析了系统运行的结果，对全文进行了总结，并对本课题 研究的发展做出了展望。 6 硕士学位论文 第2 章系统开发平台搭建 2 1 嵌入式系统概述 国际电气和电子工程师协会对嵌入式系统的定义为：用于控制、监视或者辅 助操作机器和设备的装置。通常它是以一个高性能的3 2 位处理器为硬件基础，以 一个多任务操作系统( 如l i n u x 、w i n d o w sc e 、g c o s i i 等) 为软件基础的一个 综合平台。在开发中使用嵌入式系统的主要目的就是方便产品开发，缩短开发周 期，使产品可以及时上市以占领市场。 嵌入式系统具有很强的专用性，与实际应用紧密结合，按照实际需求对硬件 和软件进行裁剪以满足对功能、成本等各方面的要求。典型的嵌入式系统通常包 括四个部分：硬件平台、板级支持包( b o a r ds u p p o r tp a c k a g e ，简称b s p ) 、嵌入 式操作系统、应用程序。 硬件平台方面主要包括嵌入式处理器及必需的外部硬件设备，如时钟、 s d r a m 控制器、复位、中断控制器、外围总线控制器等，如图2 1 所示 图2 1 嵌入式系统硬件平台构成示意图 随着片上系统技术的发展，在处理器内部可以集成越来越多的外部设备。 板级支持包也称为硬件抽象层或中间层，包含了与硬件相关的软件模块，是 连接操作系统和硬件平台的桥梁，它将系统上层软件与底层硬件分离，使系统的 7 基于a r m 的视频采集与显示系统的设计与实现 驱动程序与硬件无关，对开发板包含的各种硬件功能提供了统一的软件接口，包 括硬件初始化、中断的产生和处理、硬件时钟和计时器管理、内存地址映射、内 存分配等。编程人员在开发驱动程序时直接使用板级支持包提供的接口就可以方 便的开发，无需关心底层硬件的具体情况。 嵌入式操作系统( e m b e d d e do p e r a t i o ns y s t e m ，简称e o s ) 是一种完全嵌入 到受控器件内部，为特定应用而设计的专用计算机操作系统。相对于一般的操作 系统而言，嵌入式操作系统除了要负责嵌入式系统的全部软硬件资源的分配、任 务调度，控制、协调并发等活动以外，还具备如下的特点： 可以根据实际的需要，支持对软件和硬件的裁剪、添加 更强调实时性，以及时处理各种事件 具有更强的稳定性，以满足控制的需求 嵌入式操作系统和应用软件代码都被固化在只读存储器中 具有良好的可移植性，以满足不同的硬件平台 目前流行的嵌入式操作系统很多，常用的嵌入式操作系统有：l i n u x 、w i n d o w s c e 、v x w o r k s 、g c o s - i i 、a n d r o i d 等。 l i n u x 操作系统于1 9 9 1 年由一个芬兰的学生开发出来。而后作者将操作系统 的源代码公开在了互联网上，经过世界各地众多编程人员的改进，使得l i n u x 已 经能演变成一个非常出色的操作系统，可以移植到各种不同体系结构的3 2 位或 6 4 位处理器上。嵌入式l i n u x 就是对l i n u x 操作系统进行修改裁剪，使之能在嵌 入式平台上运行的一种操作系统。l i n u x 作为嵌入式操作系统具有很多优势： l i n u x 开放源代码，可以免费使用 l i n u x 开放源代码，所有技术都是透明的，可以根据需要进行修改。这一 特点使得全世界的程序员可以对它进行修改、升级和维护。 内核大小可以定制，最小可以只有约1 3 4 k b 效率高并且运行非常稳定 具有良好的可移植性，适用于多种硬件平台 l i n u x 对各种网络协议提供良好的支持，适用于信息设备的开发 l i n u x 的这些优点使其在嵌入式领域取得巨大成功，获得了广泛的应用，并衍 生出来如g c l i n u x 、e t l i n u x 、t h i n l i n u x 、l o a f 、a n d r o i d 等嵌入式l i n u x 操作系 统。 a n d r o i d 是由g o o g l e 于2 0 0 7 年开发的一种基于l i n u x 平台的开源手机操作系 统。它主要分成了四个层次，由下至上分别为：l i n u x 内核、函数库、应用软件 架构、应用程序。每一层都把低层进行分装，并向上一层提供函数接口。l i n u x 内核负责硬件的驱动程序、网络及内存管理等功能；第二层函数库部分，由大部 分开放源代码的函数库所组成；第三层是f r a m e w o r ka p i 的集合，开发人员可以 8 硕士学位论文 方便的调用这些接口函数进行应用软件的开发。第四层是软件层，也就是我们所 看到的各种应用程序。a n d r o i d 操作系统构成如图2 2 所示 图2 2a n d r oi d 操作系统构成示意图 另外一种更加常用的划分方法将a n d r o i d 软件架构分为了三个部分，分别是： 操作系统、中间件和应用程序。如上图所示，红色部分对应了操作系统，绿色和 黄色部分对应了中间件、蓝色部分对应了应用程序。其中中间件负责硬件与应用 程序之间的通信。 a n d r o i d 具有极大的开放性，它开放了内核以上的开发工具，使最上层的应 用程序开发者可以在统一、开放的平台上开发应用程序，只要采用了该操作系统， 所开发的应用软件就可以不受具体硬件的限制和影响，使其拥有了众多的软件开 发者，进而提供更多的应用软件资源，两者形成良性循环。因为它的代码完全开 源，所以任何人都无需为采用这一平台进行开发而支付任何费用。除此之外， a n d r o i d 平台的手机能够无缝的结合g o o g l e 地图、邮件、搜索等服务，使其在与 同类产品的竞争中具有极大的优势。 a n d r o i d 操作系统的众多优点以及智能手机在未来具有的巨大市场，使其成 为l i n u x “衍生”系统中最具有发展潜力的一种操作系统。 w i n d o w sc e 操作系统是微软开发的一种专门针小型电子设备的嵌入式操作 系统，它的操作界面继承自w i n d o w s9 5 9 8 ，具有与后者同样的界面风格，可以 9 基于a r m 的视频采集与显示系统的设计与实现 使用w i n d o w s9 5 9 8 上的编程工具、使用相同的w i n 3 2 应用程序接口。以上特点 使其大多数应用于w i n d o w s 个人电脑平台上的软件在经过简单的修改后，就可以 移植并运行在w i n c e 平台上。 v x w o r k s 操作系统是由美国w i n d r i v e r 公司所开发一种嵌入式实时操作系 统，它提供了数量众多的应用程序接口，可以满足各种简单或复杂的产品需求； 具有极高的可靠性，并且能够适用于所有流行的c p u 平台。 i t c o s i i 是由m i c r i u m 公司开发的一种基于优先级的抢占式多任务实时操作 系统。它结构简单，大部分代码采用a n s ic 编写，非常容易学习，与c p u 相关 的代码封装在3 个文件中，移植非常容易，适用于各种嵌入式应用。另外虽然可 以通过网络获得i t c o s i i 的源代码，但它本身并不是开放源代码的软件，需要购 买使用权。 2 2 系统硬件平台设计 2 2 1 硬件平台概述 本设计以低成本，满足一般性要求为出发点，选择了以a r m 9 微处理器搭配 u s b 摄像头的方案。 本系统设计选用韩国三星电子的3 2 位处理器$ 3 c 2 4 4 0 a 作为系统控制的核 心处理器。因为u s b 接口的摄像头成本低廉，标准的接口安装灵活方便，应用十 分广泛，所以本文采用了台湾嘉应的u s b 摄像头。具体连接方式为u s b 摄像头 与a r m 9 开发板相连接，而开发板通过网线与同一个局域网内的所有个人计算机 相连接。整个系统硬件主要包括：u s b 摄像头、嵌入式处理器( $ 3 c 2 4 4 0 a ) 、个 人计算机。 系统硬件如图2 3 所示： u s b 摄像头 a r m 9 开发板 服务器端 一 l 图2 3 系统硬件示意图 1 0 客户端p c 疃嚏疃 霉 硕士学位论文 系统具体工作过程为：首先在$ 3 c 2 4 4 0 上运行服务端程序，程序发送命令给 u s b 摄像头准备开始采集视频数据，然后等待客户端程序的连接请求。在客户端 个人计算机上运行客户端程序后，先对s d l 显示程序进行一些必须的初始化，然 后向服务器端发送连接请求。服务器端接收到连接请求并确认连接成功后，开始 采集视频图像数据，然后将采集到的视频数据通过网络传送给客户端。客户端在 接收到视频数据后，通过s d l 显示程序将视频图像实时显示在客户端的显示器 上。 2 2 2 $ 3 c 2 4 4 0 微处理器 a r m 公司在19 9 0 年成立于英国剑桥，是一家专门从事基于r i s c ( 精简指令 集计算机，英文全称r e d u c e di n s t r u c t i o ns e tc o m p u t e r ) 技术芯片设计开发的公司， 它不生产和销售芯片，只出售芯片技术授权。采用的a r m ( a d v a n c e dr i s c m a c h i n e s 的缩写) 技术的微处理器具有很高的性能和较低的功耗等特点，被广大 厂商接受，拥有广泛的全球技术合作伙伴，世界上主要的半导体公司都采用了 a r m 的技术授权。 a r m 微处理器，即采用a r m 技术知识产权的微处理器广泛应用于无线设备、 汽车、工业控制、消费类