（物理学专业论文）基于arm9和ccd的嵌入式视频采集与传输系统设计.pdf

武汉理工大学硕士学位论文 摘要 由于视频监控具有信息内容丰富、准确、实时性等特点，目前在许多领域 得到了广泛的应用。相对于传统的视频监控系统，嵌入式系统具有体积小、功 耗低、性能好、可靠性高等突出特点，同时可以结合i n t e r n e t 实现远程监控。 针对当前视频监控现状，结合现在对于远程视频监控的需要设计了在 s 3 c 2 4 4 0 a 微处理器平台上面的嵌入式视频监控系统，该系统采用嵌入式w e b 服务器传输实时视频和g p r s 无线网络传输静态图片的结合方式，提高了监控 信息的准确性和监控的自由度。 本文研究了当前各种嵌入式视频图像采集系统，通过对比分析进行了嵌入式 视频采集处理与传输系统的选型，包括视频采集摄像头、嵌入式微处理器、嵌 入式操作系统、远程监控方案等，并提出总体设计方案。设计完成了系统各模 块的硬件电路设计，进行了嵌入式系统内核的移植以及各个设备驱动模块程序 的设计。 本文具体描述了l i n u x 下的c 、d m a 模块的设计，通过对于外部视频a d 芯片t v p 5 1 5 0 的配置，将摄像头采集到的视频模拟信号转换成数字信号| j v 。 视频信号进入s 3 c 2 4 4 0 a 的c a m e r a 模块，转化成i 硒b 5 6 5 图像格式信号， 并直接写入l c d 的f r a m eb u f f e r 接口函数的虚拟空间中，通过l c d 可以显示采 集到的视频图像，并通过嵌入式w e b 服务器实现视频数据的网络传输，进行远 程监控。当接收到警告信号的时候，视频监控系统将通过g p r s 无线网络按设 置好的时间间隔上传图片到监控中心，直到接收到结束信号。通过g p r s + i n t e r n e ( 网络的方式保证了数据的可靠性以及安全性。 关键字：$ 3 c 2 4 4 0 a ，无线监控，c c d 图像采集，g p r s i 武汉理工大学硕十学位论文 a b s t r a c t v s s ( v i d e os u r v e i l l a n c es y s t e m ) i sw i d e l yu s e di nm a n ya r e a sw i t hi n t u i t i v e ， r e a l t i m ea n dc o n t e n t - r i c hi n f o r m a t i o n c o m p a r e dw i t ht h et r a d i t i o n a lv s s ， e m b e d d e dv i d e os u r v e i l l a n c es y s t e mi sm o r ea p p r o p r i a t ei nm o d e mt i m e sw i t h s m a l ls i z e ，l e s se n e r g yc o n s u m p t i o na n dh i g hr e l i a b i l i t y a tt h es a m et i m e ，t h es y s t e m a l s oc o u l da c h i e v er e m o t em o n i t o r i n gw i t hi n t e r n e t a i m i n ga tt h es t a t u so fv s sc u r r e n t l ya n dt h ed e m a n do fr e m o t em o n i t o r i n g ， t h i sd e s i g ne x p l o i t st h ee m b e d d e dv i d e os u r v e i l l a n c es y s t e m ，w h i c hi sb a s e do nt h e p l a t f o r mo fa r m 9m i c r o p r o c e s s o r n _ r o u g ht r a n s m i t t i n gt h er e a l - t i m ev i d e ob y i n t e m e ta n dt h ei m a g eb yg p r sw i r e l e s sn e t w o r k s ，i tc o u l di m p r o v et h ea c c u r a c yo f m o n i t o r i n gi n f o r m a t i o na n dt h ed e g r e eo ff r e e d o mo f v i d e om o n i t o r t h ep a p e ra n a l y s i s e dt h ee m b e d d e dv i d e os u r v e i l l a n c es y s t e ma n dr e s e a r c h e d a l lk i n d so fs y s t e m s i nv i e wo ft h es t a t u so fv i d e os u r v e i l l a n c es y s t e m s ，t h eo v e r a l l d e s i g ns e l e c ts u i t a b l em o d u l e sf i n a l l y , i n c l u d i n gv i d e oc a p t u r ec a m e r a , e m b e d d e d m i c r o p r o c e s s o r , e m b e d d e do p e r a t i n gs y s t e m sa n dr e m o t em o n i t o r i n gp r o g r a m s t h e p a p e rc o m p l e t e dt h eh a r d w a r em o d u l e sd e s i g na n dt r a n s p l a n t e de m b e d d e ds y s t e m k e r n e la n dd e s i g n e dd e v i c ed r i v e ro f m o d u l e s t h ea r t i c l ed e s c r i b e dt h ed e s i g no fi i ca n dd m am o d u l e su n d e rl i n u xs y s t e m b yc o n f i g u r i n gt v p 5 15 0 ，w h i c hi sac h i po fe x t e r n a lv i d e oa d ，t h ea n a l o gs i g n a l so f c a m e r aw i l lc h a n g ei n t oy u vw h i c hi sd i g i t a ls i g n a l s t h e nt h ey u vt r a n s f o r mi n t o r g b 5 6 5i m a g ef o r m a ta n dw r i t et h ed a t ai n t ot h ec a m e r a m o d u l eo fs 3 c 2 4 4 0 a t h e l c dc a nf u l l yd i s p l a yt h ev i d e os i g n a lw h i c hc o l l e c t e db yt h ec a m e r a t h es y s t e m t r a n s m i t sv i d e op a c k e td a t ab yn e t w o r k , a c h i e v i n gt h ee m b e d d e dw e bs e r v e rr e m o t e m o n i t o r i n g i ft h em o n i t o r i n gc e n t e rr e c e i v e st h ew a r n i n g , i tw i l lr e q u i r eu p l o a d p i c t u r e sb yg p r su n t i lt h ee n ds i g n a lr e c e i v e d i te n s u r e st h er e l i a b i l i t ya n ds e c u r i t y o fd a t ab yw a yo fg p r sa n di n t e m e t k e yw o r d s ：$ 3 c 2 4 4 0 a ，w i r e l e s sm o n i t o r i n g ，c c di m a g es e n s o r ，g p r s i i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 武汉理工大学或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 签名：盛籀生囡日期：秒丝：墨! j 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的 全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制 手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有 关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息 服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) ：哨斌孔胡导师( ( 注：此页内容装订在论文扉页) 武汉理j = 人学硕十学位论文 第一章绪论 1 1 课题选题背景及意义 目前，由于图像拥有文字、语音等无法比拟的信息优势，因此在工业控制、 工业检测、医学、国防等领域视频图像采集系统已经得到了越来越多的应用【l 】。 视频图像采集系统在要求高清晰的图像质量以外对于采集的速度，也就是实时性 也有着十分急切的需要，这样一来对于采集的频率、存储的空间以及数据传输速 度都有着非常严格的要求。近年来，视频数字化的出现对这两个问题的解决起到 了巨大的作用，因此有如数字电视接收盒、数字电视机等得到了广泛应用。但是 现在仍然有很多视频采集系统是通过模拟信号进行存储、传输，这样存在着存储 容量小、存储困难、传输易受干扰、容易累积噪声等难以克服的缺点。视频数字 化不但可以克服或改善以上缺点，提供清晰的图像，而且可以更好的与现有的通 信、计算机技术相结合。 视频监控是视频图像采集系统应用十分广泛的一个领域。但是种传统的视频 图像采集处理系统在应用中暴露出了许多问题【2 1 。首先，普通的p c 机体积比较 大，不适于在某些空间狭小的场合安装。其次，系统的速度受到了视频采集卡以 及p c 机的处理速度等方面的限制。另外，由于所有的数据都需要在p c 机上处 理，因而p c 机的许多资源消耗在了并行度高但算法简单的低级图像处理上。同 时，由于传统的视频图像采集前端设备采用的是模拟信号，电磁环境复杂的情况 下十分容易受到干扰。 针对以上出现的情况，嵌入式视频监控系统出现了，它克服了传统的模拟闭 路监控系统的由于空间体积大小引起的使甩的局限性，支持视频通过网络进行传 输和管理以及自动控制等功能，这样一来使得监控的范围得到了大幅的扩大。同 时，采用数字信号进行传输，这样可以不受距离限制，也不易受到电磁干扰，从 而使得图像的质量得到大大的提高。另外，嵌入式系统可直接利用现有的互联网 络，传输速度大大增加，提高了实时性，也节省了资源。嵌入式视频监控系统是 由各种功能专一的结构组件组成，性能上也就更为稳定，同时便于平时进行安装 和维护。因此采用嵌入式系统结构对于视频图像采集系统各方面性能的提高具有 着十分重大的意义。 l 武汉理1 = 大学硕+ 学位论文 1 2 嵌入式系统简介 1 2 1 嵌入式系统定义 嵌入式系统与我们平时所使用的通用计算机p c 机一样，也是一种计算机 系统，拥有中央处理器、存储设备以及输入输出设备等【3 】。但是它又并不同于普 通的p c 机。通常对于嵌入式的定义是：以应用为中心，以计算机技术为基础， 软硬件可裁剪，适应应用系统对功能、可靠性、成本、体积、功耗有严格要求的 专用计算机系统【4 1 。而根据国际电气和电子工程师协会( i e e e ) 的定义，嵌入式 系统是控制、监视或者辅助设备、机器和车间运行的装置。从上可以看出，嵌入 式系统其实就是一种针对具体应用对象的计算机系统，它一般由嵌入式微处理 器、外围硬件设备、嵌入式操作系统以及用户应用程序4 个部分组成。“嵌入 性、“专用性 和“计算机系统 是嵌入式系统的3 个基本要素。 1 2 2 嵌入式系统的发展 最早的嵌入式系统处理器运算速度较低，系统结构与功能都相对简单，因此 多用于对嵌入式系统要求较低的工业控制领域。随着计算机和软件为核心的数字 化技术得到迅猛发展，掀起了一场数字化革命的浪潮。在这个后p c 时代，随着 嵌入式技术与i n t c r n e t 技术的结合【5 1 ，作为这场革命主角之一的嵌入式系统得到 了广泛的研究与应用。 随着计算机技术、通信技术和软件技术为核心的信息技术的迅猛发展，嵌入 式技术在各个领域得到了广泛的应用，并显示出新的发展趋势：系统内核进一步 精简，算法得到优化，功耗降低，成本也大幅减小。同时，嵌入式操作系统在高 可靠性、强实时性方面也快速发展，采用了构件组件化的技术增加了系统的配置 性、移植性【6 1 。随之通信网络的发展，嵌入式技术也让人们可以跨越时空的障碍， 可以进行异地异时空的联系，整个世界之间的联系更为紧密了。 1 2 3 嵌入式系统的组成 嵌入式系统由嵌入式硬件系统和嵌入式软件系统两大部分组成。硬件系统包 含嵌入式微处理器、存储器、加接口等【7 】。其中，嵌入式微处理器处于核心地 位，按照功能和用途可以进一步划分为：嵌入式微控制器、嵌入式微处理器和嵌 入式数字信号处理器。嵌入式软件系统通常分为嵌入式操作系统和应用软件，在 2 武汉理f 大学硕士学位论文 某一些复杂系统中，还提供了一个嵌入式中间件层来简化应用开发。嵌入式系统 的结构如图1 1 所示。嵌入式系统与p c 系统在许多方面有很大的不同，“软硬 件可裁剪 使得嵌入式系统更加灵活。 功能层 软件层 中闻层 嗵 卷 隧 应用程序 文件系统l 田形用户接口l任务接口 实时操作系统( r t o s ) b s p h a l 硬件抽象层板极支持包 嵌入式系统 图1 1 嵌入式系统结构图 1 3 嵌入式视频采集与传输系统现状及发展 所谓的图像采集，是把模拟的图像信号经过采样，量化为数字的图像信号， 也就是把一幅连续的图像信号进行离散、数字化的过程【8 j ，然后将得到的数字信 号送到帧存储器如s d r a m 中或计算机硬盘中。 随着图像处理技术的深入研究和广泛应用，各种现实需求对图像采集系统性 能越来越高，单纯依靠通用的计算机来进行图像采集并进行数据处理已不能满足 应用场合和速度的要求。随着嵌入式系统的发展，由于它所具有的可靠性高、体 积小等特点，已经在视频监控领域得到了广泛的应用。 3 武汉理工大学硕士学位论文 1 3 1 嵌入式图像采集处理与传输系统应用现状 一般来说，图像采集通常可以分成两类：分别是静态图像采集和动态图像采 集。其实静态图像采集就是我们传统意义上的拍摄照片，甚至可以追溯到古代人 们所画的画，它的目的是为了记录某个时刻的图像。动态图像采集，也就是我们 现在广泛应用的视频拍摄，是持续采集某个时间段的图像。对于静态的图像采集 可以使用普通的数码相机拍摄，并把拍摄的图片以数字的方式存储在相机的存储 卡当中，同时可以把存储卡里的照片直接的拷贝到电脑上面，做后期的处理和备 份。而动态图像采集的实现方式比较的多，传统到视频采集分为三个阶段【9 】：2 0 世纪九十年代以前，从采集到传输、存储、处理全部采用模拟信号的c c t v 全 模拟监控，它的传输距离受限，成本昂贵，规模小，且长距离图像模糊，容易失 真：2 0 世纪九十年代开始采用的数字硬盘录像机，也就是插卡式d v r ，但是这 种方案远程查看切换复杂，控制操作不方便，无法突破广域网有效监控；进入 2 1 世纪以后，随着网络时代的到来，基于嵌入式系统的全数字网络视频监控系 统开始广泛使用，可以远程监控，采用多种网络传输模式。 目前来说，比较常用的嵌入式图像采集处理系统有几种实现方案。前端图像 采集分为基于c c d 和基于c m o s 的【l o 】。其中，c c d 图像传感器易于使用处理 器进行控制，提供的图像质量比较高，但是相对的图像数据量十分庞大，因此影 响了系统的处理速度，需要的存储器容量也比较大，影响了整个系统的成本。而 c m o s 成像质量虽然不是很高，但制作工艺简单，成本比c c d 要便宜，现在的 c m o s 摄像头模块已经集成了a d 部分，开发比较简单，但是它出现杂点的几 率比较高，容易受到干扰。图像处理部分现在使用的有f p g a 、d s p 、a r m 等。 三者各有其优缺点，f p g a 可以采用单芯片解决方案，接口相对比较简单，技术 成熟。d s p 在图像算法的处理上速度比较快。a r m 的资源比较丰富，系统整体 开发难度比较低。经过上述分析，每种方案都有各自的优缺点，设计者应该根据 实际情况以及不同的应用对象选择合适的方案。 1 3 2 嵌入式图像采集处理与传输系统的发展趋势 近年来随着压缩算法的成熟，图像趋于高清晰，而占用的传输带宽反而降低， 网络技术使得分布式远程控制，异地控制管理成为可能，而嵌入式技术的发展使 得成本越加低廉，适合大规模、大范围、大容量的应用，并且可结合智能监控。 因此，嵌入式图像采集与处理被广泛应用到各个领域，比如工业自动化、消费电 子、医疗器械、交通监控等。同时由于在国防领域中，无人飞机导航，精确制导 4 武汉理工大学硕十学位论文 等也需要用到图像采集。嵌入式图像采集与处理目前正朝着以下几个方向快速发 展【l l 】： 1 ) 要求更大的存储容量 2 ) 图像分辨率提高 3 ) 传输带宽减小，传输速度加快 4 ) 整个系统的体积以及功耗更小 5 ) 系统工作稳定，出错率低 6 ) 分布式远程监控，可进行异地控制管理 1 4 本课题的目的和应用 本课题的主要目的是深入探讨基于嵌入式系统技术的图像采集处理系统的 应用，提出了系统的解决方案并且验证其可行性。嵌入式图像采集与传输系统不 但能够实现传统计算机图像采集处理与传输系统的大部分功能，比如对于图像数 据的采集、传输和图像的滤波、裁剪压缩等处理，但是采用嵌入式系统之后整个 系统具有体积小、成本低廉、功耗小、集成度高等优点【1 2 】，因而更适合大规模、 大容量、大范围的应用。 ， 嵌入式系统的应用可把视频a d 转换、时序控制电路以及t c p i p 网络通信 协议等集成到前端的c c d 图像采集单元中，这样不但提高了整个系统的稳定性， 而且对于系统的功能也起到了扩展作用。传统的c c d 摄像头直接输出模拟信号 容易受环境影响，传输距离受限，而采用嵌入式系统由于具有微处理器，可以在 传感器内部完成图像的采集和a d 转换，并进行简单的图像处理，经过处理的图 像数据不但有很强的抗干扰能力而且数据量也大为精简。此外，处理过的数据通 过以太网传输，可以实现异地远程监控【1 3 1 。更重要的是这种基于嵌入式的系统 易于扩展和维护，减少了研发的费用。 1 5 本文研究内容 本文对基于嵌入式系统的图像采集处理与传输单元的硬件和软件设计进行 了研究和探讨，主要完成以下工作： 1 ) 研究国内外的视频监控系统的发展现状，充分学习并理解本课题所涉及的 内容及意义，确定了本课题的研究任务，提出系统的整体设计方案； 2 ) 归纳总结基于a r m 的嵌入式系统平台的特点，比较各种3 2 位处理器与 操作系统的优缺点，根据实际的需要，选择合适的硬件平台( s 3 c 2 4 4 0 ) 、操作系 5 武汉理r = 大学硕士学位论文 统( l i n u x ) ； 3 ) 研究在a r m 9 ( s 3 c 2 4 4 0 ) 平台上根据实际情况对于嵌入式l i n u x 操作系统 进行的剪裁和移植技术。 4 ) 编写并调试l i n u x 操作系统下的摄像头驱动程序以及l c d 驱动程序 5 ) 研究采用以太网传输实时视频图像，使用w e b 服务器浏览。以及采用 g p r s 无线网络传输静态视频图像 1 6 本章小结 本章首先对于视频图像采集与传输系统的发展和现状进行了简要的介绍，提 出了基于嵌入式的视频图像与传输采集系统。接下来介绍了嵌入式系统的定义、 组成、应用现状以及发展趋势。然后分析了目前常见的嵌入式视频采集处理与传 输系统，提出嵌入式视频采集处理与传输系统的发展趋势。最后，说明了本文的 选题背景和研究内容。 6 武汉理工大学硕士学位论文 第二章嵌入式视频采集处理与传输系统设计分析 嵌入式视频采集处理与传输系统是由视频图像采集模块、图像处理模块、网 络传输模块以及用户终端模块四大模块组成。其中视频图像采集模块决定着采集 的图像质量的高低，以及后续处理的难易程度，更重要的是影响整个系统的成像 品质。而图像处理模块当中需要处理大量的数据，因此处理器和算法的选择决定 了整个系统的可靠性和运行速度。网络传输模块，选用合适的传输协议可以大大 提高系统的运行速度以及数据的安全性。用户终端模块是直接与用户相关的，因 此需要做到操作简便、可执行性高。为了满足各个模块的要求需要将对于硬件和 算法进行选型。 2 1 视频图像采集模块方案选型 图像传感器是组成摄像头的主要元件。图像传感器的工作原理是：把光学图 像信号转换为电荷信号，也就是说把入射到传感器光敏面上的按空间分布的光强 信息转换为按时序串行输出的电荷信号视频信号，从而便于图像的存贮、传 输、处理和显示。图像传感器可以分为c c d ( c h a r g ec o u p l e dd e v i c e 电荷耦合 元件) 和c m o s ( c o m p l e m e n t a r ym e t a l o x i d es e m i c o n d u c t o r 金属氧化物半导体 元件) 【】。由于c c d 图像传感器具有高解析度、低噪音、高敏感度、体积小、 重量轻等优点，所以过去c c d 传感器一直占据着图像传感器市场的主要地位。 而c m o s 图像传感器由于过去存在着像素大，噪声大，分辨率低等缺点，一直 无法和c c d 技术抗衡。但是随着大规模集成电路制造技术的不断发展，过去妨 碍c m o s 图像传感器商品化的技术难关现在也都已经找到相应的解决途径，时 至今日，c m o s 图像传感器已经广泛应用于数码相机、影像电话、视频会议等领 域。与c c d 相比，c m o s 具有体积小、耗电量低、价格便宜等优势，因此已经 占据了低端影像产品市场。但是c c d 的动态范围广，能够提高系统环境的使用 范围，高光子转换效率使得夜晚远处的景物也可以拍摄到，而低影像失真能够忠 实的反应物体原本的特征，且电荷传输效率比较好，影像质量副b 】。在本系统 中需要能够在各种环境中获得高清晰地图像，因此采用c c d 图像传感器。本系 统中采用夏普生产的 m kj k - 2 1 0 日夜型c c d 彩色摄像机，如图2 1 所示。 7 武汉理i 大学顽f 学位论文 图21j k - 2 0 1 c c d 彩色摄像头 22 图像处理模块方案选型 图像处理模块中最重要的是处理器的选择。由于嵌入式系统设计的差异极 大，仅仅以3 2 位的u p u 而言，就有1 0 0 种以上嵌入式微处理器。困此嵌入式系 统开发中对于硬件的选型是整个嵌入式开发中一个非常重要的环节。面对市场上 各种各样的c p u ，应该综合考虑到实际应用的环境、性能、功耗、支持的软件 和代码的大小等方面选择合适的芯片。如果嵌入式微处理器选型不当，将会给系 统后续的研发带来无数的麻烦，甚至导致整个系统的失败。正确的选型对于开发 的成败起着决定性的作用，选得好不但可以缩短开发的周期，节约成本，而且产 品的性能好、功耗低。还必须记住在嵌入式领域中应该遵守够用就好的原则而 不需要一味的去追求最佳性能。选型过程中最关键的选择何种微处理器。微处理 器选型中应该考虑的因素主要有以下几个方面【1 q ： 1 ) 微处理器的性能。一个处理器的性能取决于多个方面的因素，如时钟频 率、内部寄存器的大小、有多少个f o 口、自带接口种类等。微处理器自带什么 资源是选型的一个重要考虑因素。开发什么类型的产品就应该选择最接近这个产 品要求资源的芯片。 2 ) 微处理器的功耗。低功耗既节能又可以减少环境污染。因此，低功耗也 成为了芯片选型的一个重要指标。嵌入式系统的设计中，便携式和移动性较强的 产品通常需要靠电池来供电，所以要求微处理器具有高性能、低功耗的特点。 目 武汉理工大学硕士学位论文 3 ) 软件的支持。在开发产品的时候，必须考虑所选择的芯片对于软件的支 持情况，比如所选择的处理器支持的操作系统，开发环境、开发语言的支持。目 前的主流微处理器均可以被诸如w i n c e 、l i n u x 支持，但是开发环境还是具有很 大差别的，所用的编译器也不同，市场上广泛应用的芯片会有比较多的文档和共 享资源，给开发带来便利。 经过以上的分析，本系统的微处理器决定选定三星公司出品的$ 3 c 2 4 4 0 a 。 $ 3 c 2 4 4 0 a 是以a r m 9 2 0 t 为内核，运行速度最高为5 3 3 m h z ，m p i s 值最大为 5 8 6 ，完全可以满足本系统在运算方面的需求。由于s 3 c 2 4 4 0 a 现状已经得到了 广泛的应用，已经量产，价格上相对比较低廉，技术资料也比较多。在3 3 v 工 作电压下，每小时耗电仅为1 s w ，功耗较低。并且它支持绝大部分嵌入式操作 系统，比如l i n u x ，w i n c e ，u c o s i i 等等，系统成功移植的例程也很多。 2 2 1a r m 概述 a r m 的全称是a d v a n c e dr i s cm a c h i n e ，它是低功耗、价格低廉、性能高的 r i s c 处理器，因此，a r m 被作为此类处理器的统称，而且也可以认为它是一种 技术的名字。a r m 技术已经广泛应用于比如工业控制、消费电子、航空等领域。 a r m 内核的最大优势是高速度、低功耗，而这主要要归功于被大家公认是 业界领先的3 2 位嵌入式r i s c 微处理器结构a r m 体系结构。当前的a r m 体系结构包括可以改善代码密度的t h u m b1 6 位指令集，a r m 处理器本身是3 2 位设计，但也配备1 6 位指令集。这样一来存储器比同样的3 2 位代码节省可以达 到3 5 ，然而又保留了3 2 位系统的所具有的优势。a r m 采用j a z e l l e 技术使得 j a v a 加速得到比基于软件的j a v a 虚拟机( j v m ) 高得多的性能，和同等的非j a v a 加速核相比它的功耗降低了8 0 t 1 7 1 。在c p u 功能上增加d s p 指令集提供增强 的1 6 位和3 2 位算术运算能力，提高了c p u 的性能和灵活性。a r m 还提供嵌入 式i c e - r t 逻辑和嵌入式跟踪宏核( e r m s ) 系列这两个前沿特性来辅助带深嵌入 处理器的高集成的s o c 器件的调试。 2 2 2 基于a r m 内核的$ 3 0 2 4 4 0 a 本文中所使用的硬件平台是由天嵌公司开发的t q 2 4 4 0 开发板为主体。开发 板的c p u 采用s a m s u n g 公司的a r m 9 处理器$ 3 c 2 4 4 0 a 。采用专业1 2 5 v 核心 电压供电，完美的解决了c p u 发热现象【1 8 】。核心板采用3 3 v 供电。$ 3 c 2 4 4 0 a 带有c a m e r a 接口，能够完整支持符合i t u rb t 6 0 1 6 5 6 标准格式的8 位数字 图像输入j 这样处理器可以通过接口直接对接符合标准的视频图像输入接口，处 9 武汉理工大学硕十学位论文 理器可以直接读取图像数据不需要调整时序接收数据，这样提高了系统集成度， 使得系统更为简洁，同时也降低了系统成本以及开发难度。数据不再需要封装成 某一种通信数据包来传送到处理器，处理器也不需要从繁琐的数据包中分析提取 数据，就可以得到图像以像素点为单位的数据，从而大大减少了因数据处理和传 输所占用的c p u 资源，提高了系统的整体速度【1 9 。 删9 2 0 t 的内核是由a r m 9 2 0 t d m i 、m m u 和c a , s h e 三部分组成，它的 内部构架如图2 2 所示。 图2 2a r m 9 2 0 t 内部构架图 2 2 3 嵌入式l in u x 操作系统 操作系统是用户与计算机硬件之间的接口，用于控制和管理系统资源，方 便用户使用计算机的程序合集。嵌入式操作系统e o s ( e m b e d d e do p e r a t i n g s y s t e m ) 负责分配和调度嵌入式系统的全部软、硬件资源，控制协调并发活动， 体现其所在系统的特征，并且能够通过装卸某些模块也就是我们通常所说的裁剪 来达到系统所要求的功能。 嵌入式操作系统的种类繁多，且各自具有不同的特点。除了需要具备基本的 操作系统功能外，对于所设计的嵌入式图像采集处理与传输有如下几方面需要特 别注意1 2 0 j 。 1 ) 系统功耗要低，可以做为移动设备使用，因此操作系统需要有能够进行 电源管理的功能，可以根据实际使用的情况提供正常休眠等多种工作模式。 2 ) 对多媒体的支持：支持音频和视频的采集与播放。 3 ) 支持扩展与升级模块：比如支持s d ，m m c 等超大容量的主流存储卡。 4 ) 支持g p r s ，w l a n 等模块以及系统软件的升级等。 1 0 武汉理【大学硕士学位论文 同时操作系统应该具有良好用户界面，易于操作，美观大方。 经过以上分析，满足需求可选择的主流嵌入式操作系统有w i n c e 、u c o s i i 、 p a l m o s 、嵌入式l i n u x 。w i n c e 是微软专门针对体积小、移动式、智能化的非 p c 领域而设计的全新模块化实时性嵌入式操作系统，不过由于他没有开放源代 码，使得应用研发人员非常难以实现产品的定制。另外在效率、功耗方面的表现 也并不出色，视窗系统占用的内存过大，运用程式庞大。并且如果作为产品还必 须缴纳版税，这也是厂商不得不考虑的一个方面【2 。u c o s i i 是专门为嵌入式 应用设计的源代码公开的实时内核，可用于8 位，1 6 位和3 2 位单片机或d s p 。 他在原版本的u c o s 的基础上做了十分重要的改进和升级，并有许多成功应用 该内核的实例。但是他不像其他实时操作系统可以提供给用户的一些a p i 函数 接口，用户自己需要去完成更多的工作。p a l m o s 的架构十分简洁，具有耗电少、 硬件需求低等优点，它的功能当然也就比较简单，同时源代码也是非公开，因此 产品也是必须缴纳版税。 通过综合考虑选用嵌入式l i n t t x 作为本系统的操作系统，其原因如下1 2 2 1 ：嵌 入式l i n u x 源码公开并且遵循g p l 协议，设计人员可以根据自己应用的需要进 行任意修改，并且查错也很容易，有较好的可移植性，$ 3 c 系列芯片已经有很多 现成的成功移植版本，有大量的应用软件可用。另外，由于源码公开，便于剪裁 和移植，使系统更加精简，并且运行所需资源少，很适于嵌入式系统设备。嵌州 式l i n u x 继承标准l i n u x 的优良特性，是针对嵌入式处理器的特点设计的操作系 统，支持多种文件系统。它的体积可以很小，却仍然保留标准l i n u x 的大多数的 优点【2 3 】：稳定并且良好的移植性、优秀的网络功能、支持各种文件系统和标准 丰富的a p i ，它专为嵌入式系统做了许多小型化的工作。其编译后生成的目标文 件可控制在几百k b 的数量级，并已经被成功地移植到选用的$ 3 c 2 4 4 0 a 芯片上， 只需要在移植的过程中添加所需要的额外的设备驱动程序，便可以应用于本课题 所需的硬件环境。 2 3 网络传输模块方案选型 视频图像采集成功后需要传输到用户，采用何种介质进行传输十分重要。本 系统可以直接在现场使用液晶屏查看进行实时监控，同时也希望能够实现远程监 控。一直以来的视频图像采集系统都是采用同轴电缆传送视频信号，但是随着距 离的增加传输的图像效果会变的越来越差，同轴电缆的频率过低，图像的清晰度 无法得到保证【2 4 1 。而且同轴电缆布线麻烦、抗干扰能力差，随着科技发展视频 图像采集系统价格越来越低，与之相比，同轴电缆所占的价格比重逐步上升。另 1 1 武汉理丁大学硕士学位论文 外，在某些场合也不适合布线，因此本文中采用通过直接在嵌入式处理器上实现 t c p i p 协议来实现远程实时监控，对于特殊的图片采用g p r s 无线网络的方式 进行传输。 无线网络传输主要有两个概念【2 5 】：一是在移动中传输，即移动通信；二是 利用宽带进行传输，即宽带通信。移动视频图像传输可以采用专用技术或者公网 来实现。 可用于移动视频图像传输的技术有以下几种： 1 ) w i m a x ( w o r l d w i d ei n t e r o p e r a b i l i t yf o rm i c r o w a v ea c c e s s ) ，即全球微波互 联接入，也就是我们通常所说的8 0 2 1 6 ，是一种新型的点对多点的宽带无线接入 技术【2 6 1 。w i m a x 的数据传输距离可达5 0 k m ，采取了动态自适应调制、提供多 媒体通信服务、更高速的宽带接入。但是w i m a x 从严格意义上来讲是一个无线 城域网的技术，不能支持用户在移动过程中无缝切换。 2 ) 无线m e s h 网络是与传统的无线网络完全不同的一种网络，在无线 m e s h ( 网状) 网络中，每个节点都可以直接与一个或者多个对等节点进行通信【2 7 1 。 无线m e s h 网络具有自动配置、自动发现动态路由连接、高带宽、高利用率等 特点，并且可以广泛的兼容各种客户端。但是无线m e s h 网络现在还没有一个 统一的标准，通信延迟随着网络规模的扩大也会越大，这些缺点限制了现在 眦s h 网络的发展。 采用的公众移动网络传输技术分为c d m a 和g p r s 。c d m a 无线网络的移 动传输技术具有保密性能好、抗干扰的能力强、系统容量的配置灵活、建网成本 低等优点【2 引。只有c i f 以上的图像清晰度才能满足安全防范的需要，而如果 c d m a 采用m p e g - 4 的c i f 格式压缩图像，传输速率仅可以达到每秒2 帧左右 的速率。g p r s 是一种基于g s m 系统的无线分组交换技术，在基于现有的g s m 网络中增加g p r s 支持节点g s n ( g p r ss u p p o r t i n gn o d e ) ，支持特定的点对点和 点对多点服务，通过“分组”的形式传送数据【2 们。g p r s 可以提供某些固定的信道 资源让多个用户共享，并且是按流量计费，仅仅在实际传送和接受数据时才占用 无线资源，因此提供了一种高效、低成本的无线分组数据业务，特别适用于间断 性的、突发性的和频繁的、点多分散、中小流量的数据传输。也适用于偶尔的大 数据量传输。g p r s 的实际通信速率十分灵活，可以达到1 0 0 m b p s ，也可以高于 1 0 0 k m b p s ，随着技术的发展甚至可以达到3 0 0 k m b p s 到2 m b p s ，网络容量只在 有需要的时候才分配，这种发送方式称为统计复用【3 0 1 。g p r s 最主要的优势在于 可以随时随地不用拨号就接入互联网，按流量计费，资源利用率高。 1 2 武汉理1 人学硕士学位论文 2 4 嵌入式视频图像采集处理与传输系统总体方案 经过以上的分析，最终选定的嵌入式视频图像采集处理与传输系统总体设计 方案( 如图2 3 ) 为： ( 1 ) 采用c c d 摄像头作为视频图像输入端获取视频图像数据 ( 2 ) 使用a r m 9 处理器$ 3 c 2 4 4 0 a 作为系统c p u ，并选用嵌 式l i n u x 操作 系统 ( 3 ) 网络传输方面选用了g p r s 结合以太网方案，可以在监控中心使用以太 网监控实时视频，同时如果有异常情况就可以使用g p r s 传输静态图片提交到监 控中心进行备份。 影斜式二：爨置 25 本章小结 程 控 甚骂 图2 3 系统功能组成 本章首先分析了嵌入式视频采集处理与传输系统的各个模块选型，包括视频 采集摄像头、嵌入式微处理器、嵌入式操作系统、远程监控方案等，接着根据系 统实现的主要功能提出总体设计方案。 弧 武汉理工人学硕士学位论文 第三章嵌入式视频采集处理与传输系统硬件平台 3 1 嵌入式系统总体硬件设计 硬件平台是嵌入式图像采集处理与传输系统的基础，硬件平台的性能直接决 定了整个系统的性能的可靠性、稳定性。现在的嵌入式开发板技术业已成熟，并 且价格低廉，性能优良，采用开发板进行二次开发可以缩短开发周期，因此本次 设计选用天嵌科技开发的t q 2 4 4 0 开发板。t q 2 4 4 0 开发板采用三星公司生产的 基于a r m 9 内核的$ 3 c 2 4 4 0 嵌入式平台，采用6 层板设计，具有高性能、低功 耗、体积小、接口丰富等优点。根据系统应用的实际需要，选择合适的接口和其 他资源，本系统的总体硬件结构框图如图3 1 所示： 图3 1 系统总体硬件结构框图 从图中可以看出在系统中，视频图像的输入模块采用c c d 摄像头，使用l c d 用于实时显示图像，n a n df l a s h 存储器模块用于固化操作系统、图形用户界面和 图像处理算法等程序，s d 洲用于系统程序和用户程序的运行，串口r s 2 3 2 用于l i n u x 宿主机开发以及与g p r s 模块通信，以太网用于系统与以太网的连接 通信。 1 4 武汉理t 大学硕士学位论文 2 视频图像采集模块硬件设计 视频图像采集模块是整个系统获取外部数据的最主要的部分。图像传感器 分为c c d 和c m o s ，通过对比本系统选择了c c d 传感器芯片，它的图像更清 晰，可以在昏暗的光线下照出较好的照片，因此出于图像质量考虑选择了c c d 监控摄像头。本系统选用了夏普公司出产的j k 2 0 1 c c d 彩色摄像头。 为了在实现功能的前提下尽可能的降低功耗，减少成本，图像采集模块使用 了超低功耗的视频转换芯片t v p 5 1 5 0 作为处理芯片1 3 。该芯片在正常工作时， 功耗仅为1 1 5m w ，并且具有超小封装( 3 2 脚的t q f p 封装) ，因此非常适用于需 要便携、高质量和高性能的系统。t v p 5 1 5 0 可以接收2 路c v b s ( 复合视频信号) 或l 路s - v i d e o 信号，输出8 位4 ：2 ：2 的i t u - rb t 6 5 6 信号( 同步信号内嵌) 或者8 位4 ：2 ：2 的盯u rb t 6 0 1 信号( 同步信号分离，单独引脚输出) 。 t v p 5 1 5 0 芯片应用原理图如图3 2 所示。芯片采用1 4 3 1 81 8m h z 的外部晶 振，数字和模拟电源电压均为1 8v ，i o 口的驱动电源电压为3 3v 。可以采用 c h l 和c h 2 两路信号输入，为防止对输入信号的反射进行阻抗匹配设计【3 2 】。 p c l k s c l k 脚可输出1 3 5m h z 和2 7l v l i - i z 两种频率的时钟信号。 i 叠c s c lv 1 8c m d a t o 了 图3 2t v p 5 1 5 0 原理图 1 5 武汉理工大学硕士学位论文 3 3 图像处理模块硬件设计 本系统需要以较高的速度运行，考虑到实际系统所需要的功能模块接口、功 耗、稳定性等问题因此采用的是$ 3 c 2 4 4 0 a 微处理器。在本系统中，要用到的引 脚功能有：数据地址总线及控制信号、s a r a m s 扎蝴控制信号、n a n df l a s h 控 制信号、1 2 c 总线控制信号、中断控制信号、定时器信号、时钟信号、电源及复 位信号。具体原理图如图3 3 所示： 3 3 1 存储器模块 图3 3 $ 3 c 2 4 4 0 连接原理图 存储器模块s d r a m ( 动态数据随机存储器) 和n a n df l a s h 存储器组成。 其中s d r a m 是由两片k 4 s 5 6 1 6 3 2 芯片组成，使数据总线宽度达到3 2 b i t ，总容 量达到6 4 m b 。而n a n df l a s h 是采用三星公司的k 9 f 1 2 0 8 ，采用的是c m o s 工 艺，大小为6 4 m b x8 b i t 。 3 3 1 1s d r a m 模块 由于处理器是采用的3 2 位的a r m ，这样外部的数据总线也是3 2 位的，为 了尽可能的发挥出处理器的性能，最好也采用3 2 位的s d r a m ，但是符合这个 要求的s d r a m 芯片非常少，因此本系统中采用两片1 6 位的s d r a m 组合，总 容量为6 4 m b 。 1