（模式识别与智能系统专业论文）基于嵌入式的视频采集压缩传输系统的设计与实现.pdf

a b s t r a c t 摘要 图像视频采集、压缩、传输技术在工农业生产、军事、医学、消费电子以及 安全监控等领域有着极广泛的应用。传统的图像视频采集压缩传输系统是由 c c d 摄像头，采集卡和计算机组成，一般功能较为齐全，但体积较大，价格高。 随着嵌入式设备的出现和发展，该系统朝着微型化、网络化和智能化的方向发展。 嵌入式图像视频采集压缩传输系统一般是由微型摄像头、图像处理与微处理器芯 片和存储器等构成的专用电路系统，具有体积小，功能强，接口丰富等特点，可 作为一个智能模块广泛使用于各种网络和大型监控系统等应用环境中。随着微处 理器性能的改进以及快速专用图像处理芯片的出现，嵌入式图像视频采集压缩传 输系统的应用将会越来越广泛 本文提出了一种基于a r m 处理器的嵌入式图像视频采集压缩传输系统的解 决方案该方案使用m o t o r o l a 公司d r a g o n b a u 系列嵌入式处理器 m c 9 3 2 8 m x i ，m x l ( 朋洲9 2 0 t ) 为c p u ，该c p u 内置硬件加速单元，功能强 大，适合图像处理；图像视频采集模块采用o v 7 6 4 0c m o s 图像传感器，通用性 强；系统软件平台使用嵌入式l i n u x 操作系统；压缩算法采用i - i 2 6 3 标准，算法 成熟，压缩比高；图像传输模块采用r t p r t c p 协议，能够根据网络状况动态调 整传输速率；系统g u i 用q t e m b e d d e d 建立，界面友好，方便人机交互。系统 采用模块化设计，各部分相互协调、形成了一个完整的图像视频采集、压缩、传 输系统，并具有跨平台网络传输功能。由于使用a r m 处理器，平台功耗较低， 图像视频采集压缩完成后可通过t c p i p 网络向上位机传输实时图像视频信息。 该方案由于采用开源的l i n u x 操作系统，并未使用商用的软件包，完全从底层开 发，使整个平台软件部分开发成本较低，具有广泛的市场前景。 关键词：嵌入式系统；h 2 6 3 ；q t e m b e d d e d ：r t p r t c i ) ：o v 7 6 4 0 a b s t r a c t a b s t r a c t t h eg a t l l e r i n g 、c o m p r e s s i o na n di z a n s m i s s i o nt e e l m o l o g yo fi m a g ev i d e o 瓣 丽d e l yu s e di na g r i c u l t u r ep r o d u c t i o n , m i l i t a r ya f f a i r s ，m e d i c i n e ，c o n s l l m c re l c e l r o n i e a n ds a f e t yw a s hf i e l d se t c t h et r a d i t i o n a lg a t h e r i a gc o m p r e s s i o nt r a n s m i s s i o ns y s t e m o fi m a g ev i d e oi sc o m p o s e do fc c d 锄m l e n s , g a t h e r i n gc a r da n dc o m p u t e r , c o m m o n l yi t sf u n c t i o ni sc o m p l e t e , b u tw l a i e hh a sb i gv o l u m ea n dh i g hp r i c e w i t ht h e d e v e l o p m e n to f e m b e d d e dd e v i c ，t h i ss y s t e mb e c , o r n e s1 1 1 0 1 屯a n dl n o l s u b m i n i a t u r e ， n e t w o r k e da n di n t e l l i g e n l i z e d t h ee m b e d d e di m a g ev i d e og a r b s - l i n ge o m p r e s s i o n l x a n s m i s s i o ns y s t e mi sc o m m o n l yc o m p o s e do fm i e r o l e n s , i m a g ep r o e e 鸽c l a i p , m i c r o p r o c e s s o re l a i pa n dm e m o r ye t e ，w h i c hh a ss m a l lv o l u m e ，s t r o n gf l l n c l j o na n d r i c hi n t e r f a 嘣a n ds oo n , 锄di sw i d e l yu s e di nv a r i o u sn e t w o r ka n db i gw a t c h i n g s y s t e m 舾i n t e l l i g e n tm o d u l e w i t ht h ei m p r o v e m e n to fm i c r o p r o c e s s o rr 蜘 f o m m e c a n do c a h x o ft h ec h i ps p e e i a lu s e di ni m a g ep r o c e s s i n g t h ee m b e d d e di m a g e v i d e og a t h e r i n gc o m p r e s s i o nl r a m m i s s i o ns y s t e mw i l lb em o l ea n dm o l ew i d e l y u s e d 。 t h i s p a p e ri m l o d u c l 络a m e t h o do fe m b e d d e d g a t h e r i n gc o m p r e s s i o n l l l l n s m i s s i o ns y s t e mb a s e do na r m 讲d c 鹤s o ft h i ss c h e m e 嘲d r a g o n b a us e r i e s e m b e d d e dp r o c e s s o rm c 9 3 2 8 m x l m x l ( a r m 9 2 0 t ) o fm o t o r o l ac o r p o r a t i o na s c p u t h i sc p uh a sh a r d w a r ea e e x l e r a t i n gl m 也a n di t sf l l n c t i o ni 8s t r o n g , 5 0s p e c i a l l y 血sf o ri n 3 a g ep r o c e s s i n g ；i m a g ev i d e o 掣曲痂gm o d u l ea d o p t s0 v 7 6 4 0c m o s i m a g es e n s o r ，w l a i e hi sw i d e l yu s e d ；t h es y s t e m ss o t t w a r ep l a t f o r mi se m b e d d e d l i n u xp r o c e s s i n go p e r a t i o n ；c o m p r e s s i o na r i t h m e t i ca d o p t sh 2 6 3s t a n c l a r d w h i c hi s m a t u r ea n dh a sh i g hc 0 仰唧崩两r a t i o ；t h e i m a g el r a n s m i s s i o nm o d u l eu s e s r t p r t c pp r o t o c 0 1 w l a i e h 锄d y m m i ea d j u s ti z a n s m i s s i o ns p e e db a s e d0 1 1n e t w o r k ； t h eg u io fs y s t e mi sf i n i s h e db yq i 压m b c d d e d w h i c hi sc o n v e n i e n tf o ru 辩t h i s s y s t e ma d o p t sm o d u l ed e s i g n , e v e r yp a r th a r m o n i z e s , a n db e c o r l r l e 8ac o m p l e t ei m a g e v i d e og a t h e r i n g 、e o m p r e s s i o n 、t r a n s m i s s i o ns y s t e m , w h i c hh a sc i o s sp l a t f o r mn e t w o r k l l * d n s m i s s i o nf u n e t i o 几t h ee v e r yp a r t so ft h i ss y s t e mh a st h i sf t m e t i o n t l e c l l u s eo f a r m p r o c e s s o r , t h ep l a t f o r mh a sl o wc o n s u m p t i o na t t e rt h ei m a g ev i d e og a t h e r i n g c o r r l p l r e s s i o nf i n i s h e d , t h es y s t e ml r a n s m i t sr e a l - t i m ei l l l a g ev i d e oi n f o r m a t i o nt ou p m a c h i n et l a r o u g ht c p f l pn e t w o r k t h i ss e h e m ea d o p t so p e ns o u r c el i n u xs y s t e m , a n d d o e m tu s ec o m m e r c i a l 剐赶t 、】哪p a c k a g e , a n dd e v e l o p sf i o mb o t t o me o m p l e t e l y ，s o 北京工业大学工学硕士学位论文 t h ed e v e l o p m e n tc o s to fw h o l ep l a t f o r m ss o f t w a r ei sl o w , a n di th a sw i d em a r k e t f o r e g r o u n d k e yw o r d s ：e m b e d d e ds y s t e m ；h 2 6 3 ：q t e m b e d d e d ：r t p r t c p ：o v 7 6 4 0 i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得j e 宝王些太堂或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意 签名 旯岔 关于论文使用授权的说明 b 朔：御。6 | | 本人完全了解j e 立王些太堂有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ， ( 保密的论文在解密后应遵守此规定) 张强孜一名：裕p 主吼少儿， 第1 章绪论 1 1 引言 第1 章绪论 人类获取的信息的7 5 来自视觉系统，实际就是图像信息。在图像的基础上 加上时间因素，就形成视频【l j 。视频信息在多媒体信息中占有重要地位，同时视 频数据冗余度很大，经过压缩后的视频质量高低是决定多媒体服务质量的关键因 素，因此数字视频技术是多媒体应用的核心技术，对视频编码的研究已经成为信 息技术的热门话题【2 】目前在国内外以“信息采集、处理”为核心的视频图像采集 处理系统被广泛应用于工业控制、通信网络、机器视觉、工业检测、医学、公安 部门、现代战争等各行各业，而视频图像的采集、压缩和传输是视频采集处理系 统的关键【3 】 1 2 课题研究的背景及发展现状 1 2 1 图像视频采集、压缩、传输技术的发展 近年来，随着i c 芯片制造技术和计算机网络技术的迅速发展，图像采集压 缩以及传输技术得到了迅猛发展和广泛的应用。视频信号采集压缩系统已经高度 的集成化和智能化。实现实时视频信息的采集和编码压缩，必须采用高性能的器 件和编码算法，否则很难达到系统的设计要求。对于实时视频数据的采集和压缩 系统。现在有多种方案可以选择： ( 1 ) 以通用的微处理芯片( 如d s p 、a r m 等) 为核心实现系统的功能； ( 2 ) 设计专用的大规模集成电路( a s i c ) 来实现； ( 3 ) 采用高密度的f p g a ( 从几万门到几百万门) 实现； 一些视频采集和压缩系统是基于c p l d + c p u ( d s p 或者a s i c ) 的结构进行 设计的。它们利用c p l d 来控制视频信号的采集和存储，通过d s p 、a r m 或者 a s i c 来实现视频信息的压缩编码。然而，微处理芯片( d s p 或者a r m ) 都是为 一般目的而设计的，它们都按照时钟节拍取指令、分析和执行指令，因此处理速 度慢；大规模集成电路( a s i c ) 速度快，但设计和制造周期长、投入成本高； f p g a 是半定制的a s i c ，但具有速度快，可反复配置利用的特点，利用硬件描 述语言对其进行开发设计和调试比较方便。随着半导体技术及工艺水平的提高， 北京工业大学工学硕士学位论文 f p g a 的集成度和性能大大的提高，采用单片f p g a 来实现整个系统已经成为了 一个新的发展方向1 4 1 近年来，图像视频压缩编码技术已经有了很大的进展。目前有两个制定图像 视频压缩编码标准的机构，分别是国际标准化组织0 s o ) 的活动图像专家组 m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) 和国际电信联盟( i t u ) 的视频编码专家组。 m p e g 的成员有：m p e g 1 ，m p e g 2 ，m p e g - 4 。i t u 先后制定的标准有h 2 6 1 ， h 2 6 2 , h 2 6 3 以及随后的h 2 “。数字视频技术广泛应用于通信、广播电视等领域， 带来了会议电视、可视电话及数字电视、媒体存储等一系列应用，促使了许多视 频编码标准的产生h 2 6 l 、h 2 6 3 、h 2 6 4 主要应用于实时视频通信领域，如会 议电视；m p e g 系列主要应用于视频存储( o v d ) 、广播电视、因特网或无线网上 的流媒体等。h 2 6 2 标准等同于m p e g - 2 的视频编码标准，而最新的h 2 6 4 标准 则被纳入m p e g 4 的第l o 部分。 1 2 2 嵌入式系统现状 嵌入式系统( e m b e d d e ds y s t e m ) ，一般是指嵌入到对象体系中执行专用功能 的计算机系统。嵌入式系统诞生于微型机时代，其嵌入性的本质是将一个计算机 嵌入到一个对象体系中去。对象系统则是指嵌入式系统所嵌入的宿主系统。为了 区别于原有的通用计算机系统，把嵌入到对象体系中、实现对象体系智能化控制 的计算机，称作嵌入式计算机系统。嵌入式系统是由硬件和软件两大部分组成。 硬件部分通常由微处理器维控制器、存储器、) 接口、图形控制器、通讯控制 器及外部设备组成，软件部分可由操作系统( 要求实时和多任务操作) 及应用程序 等组成 通过嵌入式系统的定义，可知一个嵌入式系统，应该满足的三个基本要素， 即“嵌入性”、“专用性”与“计算机系统”。它与通用计算机系统相比，一般具有以 下的特点： 实时性要求许多嵌入式系统对系统响应时间有要求，其软件和硬件设 计必须满足实时性，以保证系统在允许的时间内完成任务； 系统体积小型化、功能专业化、功耗低； 软件的固化特性【5 j 今天，嵌入式系统已渗透到人类生产生活的各个领域，从飞往火星探险的宇 宙飞船，全球g p s 定位仪，工厂的数控车床，家里的全自动洗衣机。直至m p 3 播 放机和手机，处处可见嵌入式系统的身影。事实上在全世界，嵌入式系统带来的 工业年产值已超过l 万亿美元阿。 第1 章绪论 1 2 3 嵌入式图像视频采集装置的发展现状 随着计算机技术的高速发展，计算机向微型化、低功耗、便携、适用性强等 方面发展。视频应用的迫切需求，使嵌入式图像视频采集技术成了当前发展的一 个热门和重要研究方向之一，它的应用也是当前信息处理技术发展的一个热点， 现已应用到很多领域： ( 1 ) 图像视频监控领域。随着计算机技术和图像处理技术的发展以及社会对 安全意识的日益重视和提高，传统的监控系统中简单的文字和声音信息不能满足 人们的需求。因此，视频监控技术逐渐成为应用技术热点之一。图形、图像、视 频处理呈现出分辨率越来越高，色彩越来越丰富，速度越来越快嵌入式技术的 发展使嵌入式图像视频监控成为可能和必然。其应用范围不再仅仅局限于工业生 产领域。而且被广泛应用在电力、能源、教育、金融业、航空航天等社会行业。 ( 2 ) 医疗仪器领域。随着社会的发展和人们生活水平的大幅度提高，人们对 于医疗服务的要求也越来越高。各种先进的医疗仪器为提高医疗服务质量作出了 巨大的贡献，本课题就是来源于医疗仪器的项目。 ( 3 ) 智能交通领域。随着人们对环境要求的不断提高，智能交通系统r r s ( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ) 将是新世纪迅猛发展的支柱产业。如：智能 综合路口监控系统、路车交互系统、新型停车系统、交通信息管理系统、车辆导 航系统、流量控制系统、信息监测与汽车服务系统、高速公路的信息监控与收费 综合管理系统等。其应用将确保智能交通系统的低成本与高性能，大大提高系统 的智能化程度 ( 4 ) 个人用户。在手机和个人p d ae 的应用，大大提高人们的生活质量，提 供照相和视频采集的功能等。 目前，很多产品都已经进入我们的生活。比如：普通可照相手机、p d a 等。 n o k i a 推出的全球第一款数码摄像头的手机n o k i a 7 6 5 0 ，内置的数字相机最高 可拍摄6 4 0 x 4 8 0 的图片、采用1 0 6 m i - i z 的处理器、s y m b i a no sv 6 o 的操作系统， 8 m 内存，支持3 g p a v i 视频格式。另外，有些手机还支持包括r a m 、m p e g 、 3 g p 、w a v 、m p 3 、m i d i 、j p e g 、b m p 、g i f 等多种格式文件的播放与浏览。 这些产品普遍采用低成本的c m o s 图像传感器作为图像传感器，用a r m 或者专 用d s p 芯片对采集到的图像或者视频数据进行处理。但这些产品仍存在着一些 问题，比如说c m o s 传感器像素较少，采集到的图像或者视频质量不好，后端 处理器处理速度比较慢等问题。因此在这方面还有许多工作可以去做。 北京工业大学工学硕士学位论文 1 3 课题的提出及研究价值 当前，嵌入式系统正处在一个飞速发展和激烈竞争的时代，在未来的几年里 这种发展和竞争将达到白热化的程度，嵌入式产品已应用到越来越多的领域，研 究和开发嵌入式视频采集压缩装置是具有非常广阔的市场应用前景和深远的实 际意义的。 本课题来源于市教委彩虹工程项目：基于瞳孔序列图像分析的医疗辅助诊断 系统。 该项目的主要医学基础是医学前庭学。医学前庭学是研究前庭神经系统功能 的科学。前庭神经系统是人空间定向、保持人体平衡的重要系统。人体有关系统 功能异常和病理过程可直接或者间接地影响前庭神经系统的功能状态。因此前庭 神经系统的功能检查和评定是一些神经系统疾病诊断的一个重要手段。前庭神经 系统功能检查和评定的一个重要方法是眼震观察法。而眼震观察法的一个重要方 法是眼震视图法，瞳孔序列图像分析法是眼震视图法的一种，是当前最先进的一 种方法之一项目的基本原理是利用图像传感器采集患者瞳孔图像序列，并在计 算机上对该数据进行定性和定量分析。项目的预期研究成果是开发出具有自主知 识产权的基于瞳孔序列图像分析的医疗辅助诊断系统，为医学专家在精神病理学 等方面的研究和医学临床诊断提供一个重要工具。该项目的基本框图如图1 1 所 示。 圈 图像 图像 l 瞳孔图像l b 辟 传感序列 ， 1 分析处理i 器 处理 臣固 ， 计算机 ，； 一 本文的主要工作 图1 - 1 该项目系统结构框图 f i 叫1 - lt h i sp r o j e c ts v s 橱ns t r u c t u r ef r a m e 本文主要目的是实现瞳孔图像序列的采集、在嵌入式系统中压缩编码和网络 传输，还有上位机中的解压缩本文的研究内容是本项目的基础工作，同时也具 有很强的现实性和广泛的市场前景，可以应用在图像视频监控、医疗设备、智能 交通、汽车电子、消费电子等领域。 第1 章绪论 1 4 论文的研究内容 1 4 1 研究内容 ( 1 ) 确定采用以m c 9 3 2 8 m x l m x l ( a r m 9 2 0 t ) 为核心的嵌入式系统平台开 发平台，研究了在嵌入式设备上嵌入l i n u x 操作系统的方法，以及嵌入式l i n u x 平 台上的编程环境、编程方法和交叉编译方法。 ( 2 ) 研究主流的视频压缩标准及其相关理论知识，确定使用成熟的h 2 6 3 标 准，并在嵌入式l i n u 瞰平台下实现该视频压缩标准算法，并对其进行优化，开发 出适合本系统平台的视频压缩软件模块。 ( 3 ) 视频采集模块的设计与实现，包括视频采集模块的软件和硬件设计 ( 4 ) 图像视频压缩、传输模块和上位机接收显示模块的软件设计。 ( 5 ) 整个系统的用户界面的设计。 1 4 2 论文结构 论文的具体结构如下： 第一章绪论。主要介绍了图像视频采集压缩系统及嵌入式系统的背景、发展 现状，以及课题的提出和研究价值，最后给出了论文的研究内容和论文结构。 第二章系统方案设计。详细介绍了系统的设计方案，根据实际情况选择了软、 硬件平台；介绍了图像视频采集模块的硬件设计；分析并选择了视频压缩标准和 嵌入式系统图形用户接口g u i ( g r a p h i c a lu s e ri n t e r f a ) 第三章h 2 6 3 视频压缩标准。介绍了视频压缩标准及其相关理论知识，以及 本文所采用的h 2 6 3 压缩算法，最后介绍了a a n 算法的优化原理和优化结果。 第四章系统g u i 的建立。重点描述t q t e m b e d d e d 至l j a r m 开发板上的移植过 程和q t e m b e d d e d 应用程序的开发过程。 第五章系统软件的设计。具体介绍了本系统的图像视频采集、视频压缩、视 频显示、视频传输和上位机接收显示等模块软件的设计。 第2 章系统方案设计 第2 章系统方案设计 本文研究方案的确定本着技术先进、条件可行、较好的市场前景等因素综合 考虑。技术先进就是指方案要采用当今比较先进的技术，并尽可能有所创新。条 件可行指的是按照现实条件，从各种主客观条件全面考虑。较好市场前景指的是 研究出来的成果能够方便的转化成现实的受市场欢迎的产品。 本课题的总的系统框图如图2 - l 所示： 2 1 系统硬件方案 2 1 1 硬件平台的确定 图2 - 1 系统框图 f i g t a e2 - 1s y s t e mf r a m e 目前常用的视频编解码多采用d s p 芯片，其优点是可以实现部分算法硬件 化，编解码速度快。由于本课题还需要具有图像视频采集与网络传输功能，因此 最终选用了一款具有硬件多媒体加速功能的a r m 核心的嵌入式处理器一 m o t o r o l a 公司d r a g o n b a l l 系列嵌入式处理器m c 9 3 2 8 m x i m x l 。该处理器基于 a r m 9 2 0 t d m i 核，主频最高可达1 9 2 加。芯片集成了u a r t 、j t a g 、u s b 、 s s i 、s p i 、1 2 c 、l c d 控制器、s d r a m 控制器、m m c s d 控制器、m e m o r y s t i c k 控制器、c m o s 图像传感器接口、前端模拟处理单元( 仅燃l 处理器具有该功 能) 等，其所具有的硬件多媒体加速功能，特别适用于图像处理、多媒体应用、 智能手机、高端手持设备等产品 7 1 图2 - 2 为m c 9 3 2 8 m x i 功能块框图。 本课题开发的硬件平台为基于m o t o r o l a 公司d r , a g o n b a l l 系列嵌入式处理嚣 m c 9 3 2 8 m x l m x l ( a 州9 2 0 t ) 的应用开发系统。该开发平台包括多个外设接 北京工业大学工学硕士学位论文 口和插座，并且包括吓l c d 显示屏和触摸屏，具有良好的人机界面嗍。该开 发平台的系统框图如图2 3 所示： 图2 - 2k c 9 3 2 8 1 1 x i 功能块框图 f i g u r e2 - 2 - i c 9 3 2 8 瞰lf u n c t i o nb l o c kf r a m e 图2 - 3 开发平台系统框图 f i g u r e2 - 3d e v e l o p m e n tp l a t f o r ms y s w mf r a m e 第2 章系统方案设计 该开发平台的特点为： m c 9 3 2 8 m x l m x l 龙珠处理器，基于a r m 9 2 0 t 内核 两个时钟源：3 2 k h z 和1 6 砌 i z 电压调节：3 v 到1 8 v 核心的转换 两片8 m b y t e s1 6 - b i ti n t e ls t r a t a f t a s h , 共1 6 m b y t e s 。可以扩充到3 2 m b y t e s 两片3 2 m b y t e s1 6 - b i ts d r a m ，共6 4 m b y t e s 支持s d m m c 卡、m e m o r y s t i c k 卡 两个d b 9 插座支持两个r s 2 3 2 接口 一个支持1 0 协议的红外接口 u s b 接口 单独的l c d 接口板，支持s h a r ph r - t f t2 6 0 k 真彩液晶 串行模拟前端芯片，支持触摸屏输入 c m o s 图像传感器接口 m 心e j t a g 调试接口 支持s s i 接口立体声解码芯片d a c 3 5 5 0 a ，包括一个3 5 m m 耳机插口 c s 8 9 0 0 a 以太网控制器，支持r j 4 5 插座 信号扩展接口 电源、外部数据总线、网络和通用f o 指示灯 8 个键盘，4 个开关量输入，4 个开关量输出 一个p w m 驱动的峰鸣器 供电：直流电源5 v 固1 5 0 0 m a 2 1 2 图像视频采集模块硬件设计 传统的视频采集系统通过c c d 摄像机得到模拟的c v b s 信号，然后送入专 用视频解码芯片( 如p h i l i p s 公司的s a a 7 1 1 1 a 等) ，解码得到数字化的行场同步 信号、亮度色度信号等，再作相应的处理以这种方式构成的系统体积大，功耗 高，不便携带。以c m o s 图像传感器构成的应用系统，简捷小巧、成本低廉，在视 频捕获与数字化领域、可视电话、视频监控、静止图像识别、便携式视频设备等 领域中有着广泛的应用前景和潜力又由于m o t o r o l a 公司d r a g o n b a l l 系列嵌入 式处理器m c 9 3 2 8 m x l m x l ( 删9 2 0 t ) 带有c m o s 图像传感器接口，因此 我们选用o v 7 6 4 0 为图像采集芯片设计本系统的视频采集模块。 o v 7 6 4 0 是一种彩色低电压工作( 2 5 v ) c m 0 s 图像传感芯片，片内嵌入了 v g a 照相模块和图像处理器。o v 7 6 4 0 可以提供全感光域成像，或窗口区域成像， 且此区域可定义在整个感光阵列内的任何位置。可以输出多种格式的8 位数字信 号，并可通过s c c b 总线改写其内部对应的寄存器的值来达到输出格式的设置。 北京工业大学工学硕士学位论文 当全感光区域成像时，o v 7 6 4 0 的成像速度可达3 0 场每秒。所有的图像处理功 能，包括曝光控制、灰度值、白平衡、色彩饱和度等等都可以通过s c c b 总线来 设置其内部对应的寄存器来进行控制。此外，芯片独有技术还实现了降低或消除 如固有模式噪声、强光晕等光电干扰，以达到图像的清晰与稳定 9 1 。o v 7 6 4 0 功 能模块图如图2 4 所示图像视频采集模块的电路原理图如图2 5 所示 _ 1 蠡霹蹲 凋雪白 n 坷。 ”考 - 图2 4o v 7 6 4 0 功能模块图 f i g m e2 - 4o v 7 6 4 0f u n c t i o nm o d u l e 图2 - 5 图像视频采集模块的电路原理图 f i g u r e 2 - 5 c i r c u i t p r i n c i p l e o f i m a g ea n d v i d e o c r m e r i n g m o d u l e 第2 章系统方案设计 2 2 软件方案设计 2 2 1 软件平台的确定 嵌入式系统一般采用以下定义：以应用为中心、以计算机技术为基础、软件 硬件可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用 计算机系统。嵌入式系统具有非常广泛的应用领域， 比如制造工业、过程控制、 通讯、仪器、仪表、汽车、船舶、航空、航天、军事装备、消费类产品等方面均 是嵌入式计算机的应用领域。嵌入式系统是将先进的计算机技术、半导体技术和 电子技术和各个行业的具体应用相结合后的产物，这一点就决定了它必然是一个 技术密集、资金密集、高度分散、不断创新的知识集成系统。 嵌入式处理器的应用软件是实现嵌入式系统功能的关键，对嵌入式处理器系 统软件和应用软件的要求也和通用计算机有所不同。为了提高执行速度和系统可 靠性，嵌入式系统中的软件一般都固化在存储器芯片或单片机本身中，而不是存 贮于磁盘等载体中。尽管半导体技术的发展使处理器速度不断提高、片上存储器 容量不断增加，但在大多数应用中，存储空间仍然是宝贵的，还存在实时性的要 求。为此要求程序编写和编译工具的质量要高，以减少程序二进制代码长度、提 高执行速度。在多任务嵌入式系统中，对重要性各不相同的任务进行统筹兼顾的 合理调度是保证每个任务及时执行的关键，单纯通过提高处理器速度是无法完成 和没有效率的，这种任务调度只能由优化编写的系统软件来完成，因此系统软件 的高实时性是基本要求。 操作系统是管理处理器各种系统资源的软件，在嵌入式系统中起到非常重要 作用。操作系统的应用大大简化了应用软件的编写，极大的提高了工作效率，使 应用软件的跨平台移植更加容易。 嵌入式实时操作系统是嵌入式操作系统的重要组成部分。实际上，实时操作 系统基本上都是嵌入式操作系统。实时操作系统并没有统一的、唯一的定义，比 较认同的一种观点就是可预测性，即系统对外界随机输入的反应是可预测的。操 作系统的实时性一般都是通过进程调度策略的可抢占性来实现的。进程调度除了 按时间片( t i m es u c e ) 轮转外，还要对任务设定优先级。当优先级高的任务处于 r e a d y 状态时，任务调度进程将中断处于 e x e c u t i n g 状态的较低优先级的任务， 转而将上下文切换到优先级高的任务，并开始运行该任务。 按照对外界输入的响应方式，实时操作系统可分为强实时和弱实时。所以用 户在选择操作系统时要考虑具体的应用场合，而不要盲目追求实时性。比如在工 业控制、航空航天等方面必须要求强实时性，而在掌上电脑、导航仪等产品上则 未必要求强实时性。另外处理器运行速度的提高可以在一定程度上弥补实时性的 北京工业大学工学硕士学位论文 不足。标准版本的l i n u x 是基于分时系统的，嵌入式实时l i n u x 操作系统有 r t l i n u x 等。 随着后p c 时代的来临，嵌入式操作系统的应用得到空前发展，成为新一轮 的热点。嵌入式操作系统主要有v x w o r k s 、w i n d o w sc e 、u c l i n u x 、u c o s i i ， 嵌入式l i n u x 等。其中v x w o r i 【s 和w i n d o w sc e 是商业软件，功能稳定、可靠，有 完善的技术支持和售后服务，而且可以提供良好的图形用户界面和强大的网络支 持功能，缺点是价格昂贵而且源代码封闭。u c l i n u x 、u c ，o s - 和嵌入式l i n u x 是 免费的，其主要特点是价格低廉，功能强大，易于移植而且程序源代码公开，方 便研究和开发定制。这几种操作系统在应用方面各有优劣。u c o s 占用空间少、 执行效率高、实时性能优良，且针对新处理器的移植相对简单u c l i n u x 则占用 空间相对较大，实时性能一般，针对新处理器的移植相对复杂。但是，u c l i n u x 具有对多种文件系统的支持能力、内嵌了t c p i p o j 议，可以借鉴l i n u x 丰富的资 源，对一些复杂的应用，u c l i n u x 具有相当优势。嵌入式l i n u x 系统层次结构化且 内核完全开放，拥有强大的网络支持能力，具有一整套工具链。容易自行建立嵌 入式系统的开发环境和交叉运行环境此外嵌入式l i n u x 具有广泛的硬件支持特 性。而u c l i n u x 是用来支持没有内存管理单元的微处理器，作为本系统的微处理 器是采用舢l m 9 2 0 t 的架构的，拥有内存管理单元，所以最终采用嵌入式l i n u x 作 为本课题的嵌入式操作系统0 0 - t 2 。 2 2 2 图像视频压缩标准的选择 在数字视频压缩标准化方面，有两个重要的组织：国际电信联盟1 1 r u 和国 际标准化组织i s o 的运动图像专家组m p e c k i s o i e c ) 。删制定的标准有h 2 6 1 ( 1 9 9 3 年) 、h 2 6 2 ( 1 9 9 5 年) 、h 2 6 3 ( 1 9 9 6 年) 以及随后的一些h 2 6 3 的增 强版本。i s o w _ 则在1 9 9 3 年、1 9 9 5 年和1 9 9 8 年分别制定了m p e g - l 、m p e g - 2 、 m p e g - 4 标准。其中m p e g - 4 和h 2 6 3 系列标准是当今使用最为广泛的视频压缩 标准 m p e g - i 制定于1 9 9 3 年，它是将视频数据压缩成1 2 m b s 的标准数据流， 它对动作不激烈的视频信号可获得较好的图像质量，但当动作激烈时，图像就会 产生马赛克现象。它没有定义用于额外数据流进行编对码的格式，因此这种技术 不能广泛推广。它主要用于家用v c d ，它需要的存储空间比较大，下面的例子 可说明这点。对于清晰度为3 5 2 x 2 8 8 的彩色画面，采用2 5 帧秒，压缩比为5 0 ： l 时，实时录像一个小时，经计算可知需存储空间为6 0 0 m b 左右，若是8 路图 像以每天录像l o 小时，每月3 0 天算，则要求硬盘存储容量为1 4 4 0 g b ，则显然 是不能被接受的。 m p e g - 2 制定于1 9 9 5 年，它是为了力争获得更高的分辨率( 7 2 0 x 4 8 6 ) ，提 第2 章系统方案设计 供广播级视频和c d 级的音频，它是高质量视频音频编码标准。传输速率在 3 - 1 0 m b i t s 之间。作为m p e g - 1 的兼容性扩展，m p e g - 2 支持隔行扫描视频格式 和其它先进功能，可广泛应用在各种速率和各种分辨率的场合。但是m p e g - 2 标准数据量依然很大，不便存放和传输。 与前两者不同，m p e g 4 于1 9 9 8 年1 1 月公布，原预计1 9 9 9 年1 月投入使 用的国际标准m p e g 4 不仅是针对一定比特率下的视频、音频编码，更加注重多 媒体系统的交互性和灵活性。m p e g 专家组的专家们正在为m p e g - 4 的制定努 力工作。m p e g - 4 标准主要应用于视像电话( v i d e op h o n e ) ，视像电子邮件( v i d e o e m a i l ) 和电子新闻( e l e c t r o n i on e w s ) 等，其传输速率要求较低，在 4 8 0 0 - 6 4 0 0 0 b i t s s e c 之间，分辨率为1 7 6 x 1 4 4 。m p e g - 4 利用很窄的带宽，通过帧 重建技术，压缩和传输数据，以求得最少的数据获得最佳的图象质量 与m p e g - i 和m p e g 他相比，m p e g _ 4 的特点是其更适于交互a v 服务以及 远程监控。m p e g - 4 是第一个使用户由被动变为主动( 不再只是观看，允许用户 加入其中，即有交互性) 的动态图象标准；它的另一个特点是其综合性；从根源 上说，m p e g - 4 试图将自然物体与人造物体相溶合( 视觉效果意义上的) 。m p e g - 4 的设计目标还有更广的适应性和可扩展性。 h 2 6 1 是1 1 r u t 为在综合业务数字m o s d n ) 上开展双向声像业务( 可视电话、 视频会议1 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图 像格式进行处理，每帧图像分成图像层、宏块组( g o b ) 层、宏块层、块( b l o c k ) 层来处理。h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码的各个部 分，包括运动补偿的帧问预测、d c t 变换、量化、熵编码，以及与固定速率的 信道相适配的速率控制等部分。 h 2 6 3 是最早用于低码率视频编码的r r u t 标准，随后出现的第二版 o i 2 6 3 及h 2 6 3 + + 增加了许多选项，使其具有更广泛的适用性。h 2 6 3 是r r u - t 为低于6 4 k b s 的窄带通信信道制定的视频编码标准。它是在h 2 6 1 基础上发展 起来的，其标准输入图像格式可以是s - q c i f 、q c 球、c i f 、4 c i f 或者1 6 c i f 的 彩色4 ：2 ：0 亚取样图像。h 2 6 3 与h 2 6 1 相比采用了半象素的运动补偿，并增 加了4 种有效的压缩编码模式：无限制的运动矢量模式、高级预测模式、基于句 法的算术编码模式、p b 帧模式。 2 0 0 3 年5 月，删- t 和i s o i e c 联合成立的j 、丌( j o i n tv i d e ot e a m ) 正式 推出可h 2 6 4 a v c 该标准的正式名称为h 2 6 4 m p e g - ip a r t1 0a v c ( a d v a n e e d v i d e oc o d i n g ) 。为了方便，简称为h 2 6 4 。由于篇幅有限，这里对h 2 6 4 就不在 叙述了表2 - 1 列举出各种视频编码的标准【1 3 - 2 “ h 2 6 1 、h 2 6 3 、h 2 6 4 ，主要应用于实时视频通信领域，如会议电视：m p e g 北京工业大学工学硕士学位论文 表2 - 1 视频压缩的国际标准 1 曲k2 1i n t e r n a t i o n a ls t a n d a r dv i d e oe n c o d e 标准标题目标比特率应用场合采用的编码技术 口e g 1面向数字 比特率不超光盘存储j p e g 所有技术 存储的运 过i 5 m b p s v c d 自适应量化 动图像及 消费视频运动估计，亭 偿 其伴音的视频监控双向运动估计 编码 半像素运动估计 m 咿e o 2廷明田像比特率从 数字电视m p e g l 的所有技术 及其伴音 1 5 m b p s 到数字高清晰度电 基于帧，场的运动估计，丰 偿 的通用编 约3 5 m b p s 视空间可扩展编码 码 商品质视频时间可扩展编码 卫星电视质量可扩展编码 有线电视容错编