（电路与系统专业论文）基于PXA270平台视频捕捉的实现和优化[电路与系统专业优秀论文].pdf

东南大学硕士论文 摘要 随着电子信息技术的飞速发展，嵌入式系统逐渐进入了我们的日常生活中，而具有视频捕捉功 能的嵌入式应用也愈来愈多。从数码相机、p c 视频聊天用的摄像头等消费产品到门禁、数字视频 监视等工业控制及安防产品。视频采集和处理已成为嵌入式系统的重要应用之一。i n t e l 公司最近推 出了一款专门面向移动电话和掌上电脑的专用处理器p x a 2 7 0 ，采用了q u i c k c a p t u r e 技术，为视频 捕捉设备提供接口，有助于改进图像质量以及降低产品整体成本。 本课题的主要内容是研究如何在基于p x a 2 7 0 的嵌入式移动终端平台中实现视频捕捉，能够完 成静态照相以及动态摄像功能，其硬件平台采用i n t e lx s c a l ep x a 2 7 0 开发板，软件平台采用 m i c r o s o f tw i n c e5 0 嵌入式操作系统。在认真调研了视频捕捉相关技术背景之后，决定采用a o l e n t 公司的a d c m 2 6 5 0 作为摄像头模块。 本文首先介绍了视频捕捉的相关原理基础以及视频压缩当前的发展状况，随后介绍了本课题研 究使用的硬件软件平台，并在此基础上给出了视频捕捉硬件实现方案。由于w i n c e 5 0 操作系统尚 未在软件上支持视频捕捉，必须自主设计和编写软件驱动，实现一个d e m o 应用程序用于演示视频 捕捉功能。最后本文还对视频捕捉的回放进行了性能优化，并进行实验给出具体的测试数据。 本课题的难点和工作量主要在于视频捕捉驱动软件的设计实现与性能优化。为了保证驱动质 量，在设计前给出了三个设计准则：可靠性、实用性和可扩展性，在设计时采用状态机的设计方法， 并进行一定的测试保证其性能。最终本文给出的视频捕捉解决方案满足了最初设计目标：能够完成 视频捕捉的预览，能够静态图像捕捉并进行压缩存储，能够进行动态视频捕捉。 关键词：视频捕捉嵌入式系统x s c a l e 摄像头w i n c eq u i c k c a p t u r e 东南大学硕士论文 a b s t r a c t e m b e d d e ds y s t e mh a sc a m ei n t oo m l i f e t i m ea l o n gw i t ht h eg r e a td e v e l o p m e n to fe l e c t r o n i c i n f o r m a t i o nt e c h n o l o g y , a n dt h ev i d e oc a p t u r ea p p l i c a t i o ni ne m b e d d e ds y s t e mh a sb e c a m em o r ea n d m o r ep o p u l a r v i d e oc a p t u r ea n dp r o c e s s i n gh a v eb e c a m eo n eo ft h em o s ti m p o r t a n ta p p l i c a t i o n so f e m b e d d e ds y s t e m t h ep x a 2 7 0p r o c e s s o rw h i c hi n t e lc o r p o r a t i o nb r i n g so u tf o rm o b i l ep h o n ea n d h a n d h e l dp cu s e sq u i c k c a p t u r et e c h n o l o g y t h et e c h n o l o g yw h i c hg i v e st h ei n t e r f a c et ov i d e oc a p t u r e d e v i c ew i l lh e l pt oi m p r o v et h ev i d e oq u a l i t ya n dt or e d u c et h es y s t e mc o s t h o wt or e a l i z et h ev i d e ne a p u u ef u n c t i o nw h i c hi n c l u d e ss t i l l - p i c t u r es n a p s h o ta n dd y n a m i c - v i d e o c a p t u r ei nt h ep x a 2 7 0e m b e d d e dm o b i l ep l a t f o r mi st h em a i ng o a lo ft h et a s k i n t e lx s c a l ep x a 2 7 0 d e v e l o p m e n tb o a r di su s e da sh a r d w a r ep l a t f o r m a n dw i n c e5 0e m b e d d e do p e r a t i n gs y s t e mi su s e da s s o f t w a r ep l a t f o r m a f t e rd e e pr e s e a r c ho l lv i d e oc a p t m et e c h n o l o g y , a g i l e n t sa d c m - 2 6 5 0c a m e r a m o d u l ei sa d o p t e d i nt h i sp a p e r , t h ep r i n c i p l eo fv i d e oc a p t u r ea n dt h ep r o g r e s so fv i d e oc o m p r e s s i o n 辨f i r s t i n t r o d u c e d n e x tt h ep l a t f o r mw h i c ht h et a s kb a s e so ni sd e s c r i b e d ，a n dt h e ot h eh a r d w a r er e a l i z a t i o no f v i d e oc a p t u r ei sg i v e n b e c a u s ew i n c e 5 0o p e r a t i n gs y s t e mh a sn o ts u p p o r t e dv i d e oc a p t u r es o f t w a r ey e t , t h es o f t w a r ed r i v e rm u s tb ed e v e l o p e da n dc o d e d i no r d e rt od e m o n s t r a t et h ef u n c t i o no f v i d e oc a p t u r e ，a d e m oa p p l i c a t i o nh a st ob eg i v e n f i n a l l y , t h ep e r f o r m a n c eo p t i m i z a t i o nt ov i d e oc a p t u r ep l a y b a c ki s p e r f o r m e da n dt h et e s td a t ai sg i v e nb ye x p e r i m e n t s t h ed i f f i c u l t yo f t h et a s kl i e so nt h es o f t w a r ed e s i g na n dp e r f o r m a n c eo p t i m i z a t i o no f v i d e oc a p t u r e d r i v e r t om a k es u r et h eq u a l i t yo f t h ed r i v e r t h r e er u l e sa r eg i v e n ：r e l i a b i l i t y , p r a c t i c a b i l i t ya n df l e x i b i l i t y a n dt h em e t h o do fs t a t e m a c h i n ei su s e d a f t e rs e v e r a lt e s t s t h ef i n a lr e a l i z a t i o nh a sm e tt h ed e s i g n e d r e q u i r e m e n t ：t h ec a p a b i l i t yo ft h ec a p t u r e dv i d e op r e v i e w , t h ec a p a b i l i t yo fs t i l lp i c t u r ec a p t u r ea n d c o m p r e s s i o n ，t h ec a p a b i l i t yo f d y n a m i cv i d e oc a p t u r e k e y w o r d s ：v i d e oc a p t u r ee m b e d d e ds y s t e mx s c a l ec a m e r aw i n c eq u i c k c a p t u r e i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了谢意。 研究生签名：上牲日期：趔，多 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的 内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅， 可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大 学研究生院办理。 研究生签名：惮导师签名：銎嬖皇兰r - 日期： 东南大学硕士论文 课题研究背景 绪论 伴随着二十一世纪的曙光，人类迎来了一个充满希望的新时代，人们开始越来越多地接触到一 个新的概念嵌入式系统。嵌入式系统是指以应用为中心、以计算机技术为基础、软件硬件可裁 剪、适应系统对功能、可靠性、成本、体积以及功耗严格要求的专用计算机系统。像手机、p d a 、 机顶盒等均属于嵌入式产品，而像车载g p s 系统、数控机床、网络冰箱等同样也是嵌入式系统。 随着电子信息技术的飞速发展，视频捕捉在嵌入式应用中愈来愈广泛。从数码相机、可视电话、 多功能移动电话、p c 视频聊天用的摄像头等消费产品到门禁、数字视频监视等工业控制及安防产 品，视频采集和处理已成为嵌入式系统的重要应用之一。 视频捕捉就是将真实世界以视频、图像的方式存储下来，并能在一定条件下重现。从这个意义 上讲，视频捕捉范围相当广泛。根据实现方式大致可以分为三类： 物理视频捕捉：如普通照相机、电影摄像机，用涂有感光材料的底片作为捕捉图像的存储 媒质； 模拟视频捕捉：如模拟摄像机，一般使用磁磁带作为存储介质，从信号接收、信号处理到 信号存储都使用模拟信号； 数字视频捕捉：如数码照相机、数码摄像机，从信号接收、信号处理到信号存储整个过程 都使用数字信号。 随着电子计算机技术近几十年来的飞速发展，数字视频捕捉已经成为今后发展的趋势，本文中 提到的视频捕捉如果没有特殊注明，都指数字视频捕捉。数字视频捕捉已成为多媒体系统的重要部 件之_ _ 1 4 l 。 由于嵌入式处理器的普及和硬件成本的不断降低，具有拍照和摄像功能的手机逐步走进了人们 的生活。但由于嵌入式处理器的速度有限，在处理图形和多媒体数据方面显得力不从心，导致嵌入 式系统的摄像头分辨率低、色深低、数据传送速度慢，无法满足人们即时捕捉高质量图片和视频的 需求。2 0 0 3 年底i n t e l 公司推出了一款专门面向移动电话和掌上电脑的专用处理器：p x a 2 7 x 系列， 该处理器采用了q u i c k c a p t u r e 技术。q u i c kc a p t u r e 为成像设备提供接口，有助于改进图像质量以 及降低产品整体成本。该项技术包括快速浏览、快速拍照和快速视频拍摄三种操作模式，使得 p x a 2 7 0 处理器得以支持4 0 0 万象素数码镜头，并能提供最大4 1 6 m b p s 的数据传输速率9 j 。 课题主要研究工作 本课题的主要内容是研究如何在基于p x a 2 7 0 的嵌入式移动终端平台中实现视频捕捉功能。基 于的硬件平台是i n t e lx s c a l ep x a 2 7 0 开发板，采用的操作系统是w i n d o w sc e 5 0 。课题的具体研究 工作如下： 预研准备： 阅读相关领域论文和技术文档，了解视频捕捉方面国内外技术发展现状；调研各种视频 捕捉的实现方案，初步确定课题的技术路线。 硬软件开发环境搭建： 1 在参考i n t e lm a i n s t o n e l i 开发板基础上，开发自己的硬件开发板，选定所使用的摄像头模 块，实现晟基本的功能；完成w i n c e 5 0 b o o t l o a d e r 和内核的移植工作，完成一个基本的硬软 件开发平台。 视频捕捉软件设计与实现： 这是本课题的重点和主要工作量所在，它分两部分内容： 1 1 设计视频捕捉软件驱动框架，编写和调试软件驱动代码，使其达到可靠、实用、可扩 展性强的要求； 2 1编写一个视频捕捉d e m o 应用程序，使用驱动程序提供的接口，完成视频捕捉的回放、 照相和动态捕捉功能。 视频回放性能优化和测试数据： 应用p x a 2 7 0 处理器内置l c d 控制器自带的o v e r l a y2 功能，优化视频捕捉回放的性能， 并给出测试数据。 论文主要结构 本文的重点在于视频捕捉软件驱动的设计与实现。根据课题所涉及的主要研究工作，本论文的 内容主要包括一下几个部分：视频捕捉的基础与原理：本课题研究所使用的硬件、软件平台；视频 捕捉的硬件实现；视频捕捉驱动软件和d e m o 应用程序的设计与实现；视频捕捉预览的性能优化与 测试数据。 具体篇章安排如下： 第一章：视频捕捉相关基础原理，主要介绍了视频捕捉原理以及视频图像压缩理论； 第二章：介绍了本课题研究所用的硬件、软件平台； 第三章：介绍了视频捕捉的硬件实现，包括硬件连接图和主要硬件模块介绍； 第四章：本文的重点，主要介绍了视频捕捉的软件实现。包括视频捕捉软件驱动的设计与实现、 d e m o 应用程序的设计以及运行时的一些截图； 第五章：使用p x a 2 7 0 处理器l c d 控制器自带的o v e r l a y2 功能对视频捕捉回放进行性能优化， 并给出相应测试数据。 2 东南大学硕士论文 1 1 视频捕捉原理 第一章视频捕捉原理基础 视频捕捉就是将真实世界以视频、图像的方式存储下来，并能在一定条件下重现。市场上常见 各种各样的p c 视频捕捉卡、视频聊天用的摄像头、数码摄像照相机以及手机上的摄像头等都是视 频捕捉系统。 以功能来分，一般的视频捕捉系统可以分为三大部分：视频采集设备，数据传输通道，数据处 理模块。图1 1 表示了一般视频捕捉系统的实现框架。 视频采集设备 数据处理设备 感 - - 1 n 显示 透 陟 光a 预处理 j 数据传输通道 八 图像处理 ：i 镜 器 。 与压缩 件 i 7 v 刮存储 1 1 1 视频采集设备 图1 1 视频捕捉框架图 视频采集设备就是将现实世界中的光学信号转化为电信号，并经过一些简单的预处理。视频捕 捉设备一般由三部分组成： 光学透镜 光学透镜与以前的光学照相机上透镜功能类似，将外界传入的光线汇聚到一个平面 上，供感光器件成像。光学透镜的好坏与成像质量有着密切的联系，高档视频捕捉系统中 光学系统的成本占整个系统的很大比例。 感光器件 感光器件可以说是整个视频捕捉系统中核心部分，它本质上是一个传感器，将汇聚到 一个平面上的光转化为电信号。目前用于图像传感的器件主要有c c d 和c m o s 两大类1 6 ： c c d ：成像质量高，像素分辨率高，但功耗相对较大，一般用于高端视频捕捉设备中。 如中高档数码相机中一般使用c c d 感光器件。 c m o s ：成像质莓相对较差，但功耗较小，其成像质量目前也在逐步提高，有不少专 家认为c m o s 摄像器件是c c d 的一种可行的替代品。但目前而言，c m o s 器件一般 用于低档视频捕捉设备中，如p c 摄像头，手机摄像头中。 可以预见，c m o s 图像传感器将在越来越广泛的领域得到应用，并将迸一步推动数字 图像技术的发展p j 。 3 第一章视频捕捉原理基础 预处理电路 将感光器件传入的电信号进行预处理，使得更加便于传输。由于现在电路的集成度越 来越高，这部分预处理功能也越来越强，有的摄像头模块甚至能够直接对i 蛩像，视频进行 压缩。 1 1 2 数据传输通道 视频捕捉的最终目的是为了将捕捉下来的视频图像存储下来，并通过一定的设备进行重现，故 在视频采集设备与最终数据处理设备之间有一个数据传输过程。视频数据的数据量都比较大，而且 一般都必须实时传送，这对传输视频数据的传输通道带宽提出了很大的挑战。 根据通讯距离的大小，数据传输通道可分为三大类： 近距离 视频采集设备一般与数据处理设备相距几十厘米之内，如p c 机上常见的p c i 接口视 频捕捉模块、手机上的摄像头以及数码照相机都属这种类型。 中距离 视频采集设备一般与数据处理设备相距几米之内，一般通过u s b ，i e e e l 3 9 4 等高速 数据传输线连接。p c 上的u s b 摄像头就为这种类型。 远距离 可以长距离高速传输数据，一般通过网络传输，如以太网、无线局域网甚至因特网都 可以作为视频数据传输通道。 1 1 3 数据处理设备 视频捕捉的目的在于存储和重现说捕捉的视频图像，但捕捉下来的视频图像效果有时不是很 好，而且数据量也非常大，需要进行数据处理和压缩。一般此模块包括视频图像处理与压缩、数据 存储以及视频图像重现三大部分。 数据处理设备种类非常之多，p c 机由于其强大的数据处理能力使得很大部分视频捕捉模块使 用p c 或其改装设备进行视频图像处理与存储。但一些专用的数据处理设备，如数码摄像机、数码 照相机、p d a 等都有自带的视频图像处理功能。 1 1 4 视频捕捉三种实现架构 根据图像数据传输方式的不同，可以粗略的将视频捕捉分成三种实现架构：内置方案，u s b 摄 像头方案和网络摄像头方案。其各自特点如表1 1 所示： 4 东南大学硕士论文 集成在p c b 板上或短距离线连接，成 q u i c kc a p t u r e 接口 本较低。常用于嵌入式移动设备中， 内置摄像头几十厘米 p c i 、p c m c l a 接口 如手机、p d a 。p c 机则可以通过p c i 插槽接入。 摄像头通过u s b 线连接到p c 机上， u s b 摄像头 几米u s b 接口 成本适中，使用方便。常用于p c 机 上视频聊天、视频会议等。 摄像头和主机同时接入到网络中，两 者之间的控制和数据传输完全通过网 网络摄像头 理论上任意远 网络 络。成本较高，要求摄像头端具备网 络接入功能。常用于交通监控，小区 安全监控等。 本文所设计的视频捕捉系统是基于嵌入式移动平台的，故采用内置摄像头方案，使用i n t e p x a 2 7 0 处理器内置的q u i c k c a p t u r e 接口作为数据传输方式。 1 2 图像视频编码原理 当今时代，信息技术和计算机互联网飞速发展，在此背景下，多媒体信息已成为人类获取信息 的最主要载体，同时也成为电子信息领域技术开发和研究的热点。多媒体信息经数字化处理后具有 易于加密、抗干扰能力强、可再生中继等优点，但同时也伴随海量数据的产生，这对信息存储设备 及通信网络均提出了很高要求，从而成为阻碍人们有效获取和使用信息的重大瓶颈。研究高效的多 媒体数据压缩编码方法，以压缩形式存储和传输数字化的多媒体信息具有重要意义。作为多媒体技 术的核心及关键，多媒体数据压缩编码近年来在技术及应用方面都取得了长足进展，它的进步和完 善正深刻影响着现代社会的方方面面p j 。 多媒体数据压缩编码根据功能不同可以分两大部分： 静态编码：即图像编码，当前流行的有j p e g ，g i f ，t 1 f f 等 动态视频编码：比较流行的有m p e g 系列，h 2 6 x 系列 下面主要讨论一下j p e g ，m p e g 和h 2 6 x 这三种当前主流的图像视频压缩技术： 1 2 1 静态图像编码j p e g 简介 j p e g 是联合图象专家组( j o i n tp i c t u r ee x p e r tg r o u p ) 的英文缩写，是国际标准化组织( i s o ) 和c c i t t 联合制定的静态图象的压缩编码标准。和相同图象质量的其它常用文件格式( 如g i f ，t i f f ， p c x ) 相比，j p e g 是目前静态图象中压缩比最高的。我们给出具体的数据来对比一下。例图采用 w i n d o w s 9 5 目录下的c l o u d s b m p ，原图大小为6 4 0 * 4 8 0 ，2 5 6 色。用工具s e a ( v e r s i o n l 3 ) 将其分 别转成2 4 位色b m p 、2 4 位色j p e g 、g i f ( 只能转成2 5 6 色) 压缩格式、2 4 位色t i f f 压缩格式、2 4 位色t g a 压缩格式。得到的文件大小( 以字节为单位) 分别为：9 2 1 ，6 5 4 ，1 7 ，7 0 7 ，1 7 7 ，1 5 2 ，9 2 3 ，0 4 4 ， 7 6 8 ，1 3 6 。可见j p e g 比其它几种压缩比要高得多，而图象质量都差不多( j p e g 处理的颜色只有真彩 和灰度图) 1 9 1 。 j p e g 有几种模式，其中最常用的是基于d c t 变换的顺序型模式，又称为基线系统( b a s e l i n e ) ， 以下将针对这种格式进行讨论。 5 第一章视频捕捉豫理基础 j p e g 的压缩原理其实上面介绍的那些原理的综合，博采众家之长，这也正是j p e g 有高压缩比 的原因。其编码器的流程为图i 2 ： 一d c t 一量擎器一黼t 勰一瞬黼 量化袭码表 图1 2 j p e g 编码器流程 解码器基本上为上述过程的逆过程为图1 3 ： 压缩数据，熵编码器 f 码表 ，反量化器i d c t 恢复的图象数据 l 量化表 ( 从压缩数据中得到) o a 压缩数据中得至4 ) 图1 3 解码器流程 8x8 的图象经过o c t 变换后，其低频分量都集中在左上角，高频分量分布在右下角( o c t 变换 实际上是空问域的低通滤波器) 。由于该低频分量包含了图象的主要信息( 如亮度) ，而高频与之相 比，就不那么重要了，所以我们可以忽略高频分量，从而达到压缩的目的。如何将高频分量去掉， 这就要用到量化，它是产生信息损失的根源。这里的量化操作，就是将某一个值除以量化表中对应 的值。由于量化表左上角的值较小，右上角的值较大，这样就起到了保持低频分量，抑制高频分量 的目的。j p e g 使用的颜色是y u 、，格式。我们提到过，y 分量代表了亮度信息，u v 分量代表了色差 信息。相比而言，y 分量更重要一些。我们可以对y 采用细量化，对u v 采用粗量化，可进一步提 高压缩比。所以上面所说的量化表通常有两张，一张是针对y 的；一张是针对u 、r 的。 可以想见，压缩比和图象质量是呈反比的，以下是压缩效率与图象质量之间的大致关系，可以 根据你的需要，选择合适的压缩比。压缩比与图象质量的关系如表1 2 所示。 表1 2 i压缩效率( 单位：b i t s p i x e l )图象质量 i0 2 5 0 5 0 中好，可满足某些应用 1 0 5 0 0 7 5好很好，满足多数应用 i0 7 5 1 5极好，满足大多数应用 li 5 2 0 与原始图象几乎一样 以上我们介绍了j p e g 压缩的原理，其中d c 系数使用了预测编码d p c 3 1 ，a c 系数使用了变换编 码d c t ，二者都使用了熵编码h u f f m a n ，可见几乎所有传统的压缩方法在这里都用到了。这几种方 法的结合正是产生j p e g 高压缩比的原因。该标准是j p e g 小组从很多种不同中方案中比较测试得到 的。图1 4 为j p e g 解码器的实现流程图。 6 东南大学硕士论文 1 2 2 动态视频编码 读取标志信息 工 i初始化- f | s t 姗 l 解硝挣卟戤u 对门个分量分别进同反量化， 反z i 2 - - z 工 y ，姗 存赭髓翻缓冲区 弋 显示位图 图1 4j p e g 解码器的程序流程图 对于运动图象的压缩主要分为两大体系其一为基于双向运动预澳5 和补偿的视频压缩算法，如 l i p e g 一1 m p e g 一2 ，m p e g 一4 ，m p e g 一7 以及肝e g 一2 1 等，主要用于数字电视广播、影视娱乐、数字录 象、网络多媒体服务等，其特点是适用于多种类型的图象，包括有大量运动物体的图象。另一种是 基于前向运动预测和补偿的超低码率视频压缩算法，如h 2 6 1 ，h 2 6 3 和h 2 6 4 等，主要用于可视 电话、电视会议、安全监控等领域，其特点是图象中的运动部分少。 1 2 2 1m p e o 系列简介 m p e g 是活动图像专家组( m o v i n gp i c t u r ee x p o r t sg r o u p ) 英文的缩写，于1 9 8 8 年成立，是为数 字视音频制定压缩标准的专家组，目前已拥有3 0 0 多名成员，包括i b m 、s u n 、b b c 、n e c 、i n t e l 、 a 1 l & t 等世界知名公司。j l p e g 组织最初得到的授权是制定用于“活动图像”编码的各种标准，随 后扩充为“及其伴随的音频”及其组合编码。后来针对不同的应用需求，解除了“用于数字存储媒 体”的限制，成为现在制定“活动图像和音频编码”标准的组织，m p e 6 组织制定的各个标准都有 不同的目标和应用，目前已提出m p e g 一1 、m p e g - 2 ，m p e g - 4 、m p e g 一7 和m p e g 一2 1 标准。 g p e g 是目前晟常用的一项音频视频压缩技术，它实际上并不是一个单一的标准，而是包括 了适合于各种不同应用的一系列标准，但这些标准是以一些共同理论为基础的。m p e g 是活动图象 专家组的缩写词，该专家组是联合技术委员会( j o i n tt e c h n i c a lc o m m i t t e e ，j t c l ) 的一部分，j t c l 是由i s 0 ( 国际标准化组织) 和i e c ( 国际电工委员会) 建立的。j t c l 负责信息技术，在j t c l 中，下 7 第一章视频捕捉原理基础 设有负责“音频、图象编码以及多媒体和超媒体信息”的予组s g 2 9 。在s g 2 9 子组中，又设有多个 工作小组，其中就包括j p e g ( 联合图片专家组) 和负责活动图象压缩的工作组w g l l 。因此，可以认 为i i p e g 是i s 0 i e cj t 肝e ( 卜1 标准 m p e g - 1 标准于1 9 9 3 年8 月公布，用于传输1 5 m b p s 数据传输率的数字存储媒体运动图像及其 伴音的编码。该标准包括五个部分： 第一部分说明了如何根据第二部分( 视频) 以及第三部分( 音频) 的规定，对音频和视频进行 复合编码。第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。第五部分 是一个用完整的c 语言实现的编码和解码器。 该标准从颁布的那一刻起，m p e g l 取得一连串的成功，如v c d 和m p 3 的大量使用，g i n d o w s 9 5 以后的版本都带有一个m p e g - 1 软件解码器，可携式m p e g - 1 摄像机等等。 m p e g - 2 标准 m p e g 组织于1 9 9 4 年推出i 咿e g - 2 压缩标准，以实现视音频服务与应用互操作的可能性。l i p e g 一2 标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率 从每秒3 兆比特1 0 0 兆比特，标准的正式规范在i s 0 i e c l 3 8 1 8 中。m p e g - 2 不是m p e g 一1 的简单升 级，m p f g - 2 在系统和传送方面作了更加详细的规定和进一步的完善。好e g 屯特别适用于广播级的 数字电视的编码和传送，被认定为s d t v 和h d t v 的编码标准。m p e g - 2 还专门规定了多路节目的复 分接方式。咿e 6 2 标准目前分为9 个部分，统称为i s o i e c l 3 8 1 8 国际标准。 m p e g 一2 图像压缩的原理是利用了图像中的两种特性：空间相关性和时间相关性。一帧图像内的 任何一个场景都是由若干像素点构成的，因此一个像素通常与它周围的某些像素在亮度和色度上存 在一定的关系，这种关系叫作空间相关性；一个节目中的一个情节常常由若干帧连续图像组成的图 像序列构成，一个图像序列中前后帧图像间也存在一定的关系，这种关系叫作时间相关性。这两种 相关性使得图像中存在大量的冗余信息。如果我们能将这些冗余信息去除，只保留少量非相关信息 进行传输，就可以大大节省传输频带。而接收机利用这些非相关信息，按照一定的解码算法，可以 在保证一定的图像质量的前提下恢复原始图像。一个好的压缩编码方案就是能够最大限度地去除图 像中的冗余信息。 m p e g _ 2 的编码码流分为六个层次。为更好地表示编码数据，g p e g - 2 用句法规定了一个层次性 结构。它分为六层，自上到下分别是：图像序列层、图像组( g o p ) 、图像、宏块条、宏块、块。 m p f 酷- 4 标准 运动图像专家组肝e g 于1 9 9 9 年2 月正式公布了m p e 6 4 ( i s o i e c l 4 4 9 6 ) 标准第一版本。同 年年底m p e g - 4 第二版亦告底定，且于2 0 0 0 年年初正式成为国际标准。 w p e g - 4 与卯e g 一1 和m p e g 一2 有很大的不同。m p e g - 4 不只是具体压缩算法，它是针对数字电视、 交互式绘图应用( 影音合成内容) 、交互式多媒体( w w 、资料撷取与分散) 等整合及压缩技术的 需求而制定的国际标准。i f f e g - 4 标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒 体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领 域普遍采用的统一数据格式。 m p e g - 4 的编码理念是：m p e g - 4 标准同以前标准的最显著的差别在于它是采用基于对象的编码 理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再 经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。这样既 方便我们对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，并且这 样也可以方便的实现对于各种对象的操作及编辑。例如，我们可以将一个卡通人物放在真实的场景 8 东南大学硕士论文 中，或者将真人置于一个虚拟的演播室里，还可以在互联网上方便的实现交互，根据自己的需要有 选择的组合各种视频音频以及图形文本对象。 肝e g 一4 系统的一般框架是：对自然或合成的视听内容的表示；对视听内容数据流的管理，如多 点、同步、缓冲管理等；对灵活性的支持和对系统不同部分的配置。 与m p e g - 1 、m p e g - 2 相比，l i p e g 一4 具有如下独特的优点：基于内容的交互性。高效的压缩性， 通用的访问性。这些特点无疑会加速多媒体应用的发展，从中受益的应用领域有：因特网多媒体应 用；广播电视；交互式视频游戏：实时可视通信；交互式存储媒体应用；演播室技术及电视后期制 作；采用面部动画技术的虚拟会议：多媒体邮件；移动通信条件下的多媒体应用：远程视频监控； 通过a n l 网络等进行的远程数据库业务等。 1 2 2 1h 2 6 x 系列简介 i t u - t 与i s 0 i e c 是制定视频编码标准的两大组织。上面介绍的m p e g 系列是i s o i e c 组织制 定的标准，主要应用于视频存储( d v d ) 、广播电视、因特网或无线网上的流媒体等；而i t u _ t 的标 准包括为h 2 6 x 系列，主要应用于实时视频通信领域，如会议电视。下面对h 2 6 x 系列标准作简单 介绍： h 2 6 1 标准 h 2 6 1 是i t u t 为在综合业务数字网( i s d n ) 上开展双向声像业务( 可视电话、视频会议) 而制定 的，速率为6 4 k b p s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理，每帧图像分成图像 层、宏块组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来处理。 h 2 6 1 是最早的运动图像编码标准，它详细制定了视频编码的各个部分，包括运动补偿的帧间 预测、d c t 变换、量化、熵编码，以及与固定速率的信道相适配的速率控制等部分。 h 2 6 3 标准及其修订版本 h 2 6 3 是i t u - t 为低于6 4 k b p s 的窄带通信信道制定的视频编码标准。它是在h 2 6 1 基础上发展 起来的，其标准输入图像格式可以是s q c i f ，o c i f 、c i f 、4 c i f 或者1 6 c i f 的彩色4 ：2 ：0 亚取样 图像。h 2 6 3 与8 2 6 1 相比采用了半像素的运动补偿，并增加了4 种有效的压缩编码模式。 无限制的运动矢量模式允许运动矢量指向图像以外的区域。当某一运动矢量所指的参考宏块位 于编码图像之外时，就用其边缘的图像像素值来代替。当存在跨边界的运动时，这种模式能取得很 大的编码增益，特别是对小图像而言。另外，这种模式包括了运动矢量范围的扩展，允许使用更大 的运动矢量，这对摄像机运动特别有利。基于句法的算术编码模式使用算术编码代替霍夫曼编码， 可在信噪比和重建图像质量相同的情况下降低码率。 h 2 6 3 + 标准：i t u t 在h 2 6 3 发在后又修订发布了h 2 6 3 标准的版本2 ，非正式她命名为h 。2 6 3 + 标准。它在保证原h 2 6 3 标准核心句法和语义不变的基础上，增加了若干选项以提高编码效率或改 善某方面的功能。原h 2 6 3 标准限制了其应用的图像输入格式，仅允许5 种视频源格式。h - 2 6 3 + 标准允许更大范围的图像输入格式，自定义图像的尺寸，从而拓宽了标准使用的范围，使之可以处 理基于视窗的计算机图像、更高帧频的图像序列及宽屏图像。 h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，主要是为了增强码流在恶劣信道上的抗误码性能，同 时为了提高增强编码效率。 h 2 6 4 标准 h ，2 6 4 是由i s o i e c 与i t u t 组成的联合视频组( j v t ) 制定的新一代视频编码编码标准。事实上， h 2 6 4 标准的开展可以追溯到8 年前。1 9 9 6 年制定h 2 6 3 标准后，1 1 1 j 呵的视频编码专家组( v c e g ) 9 第一章视频捕捉原理基础 开始了两个方面的研究：一个是短期研究计划，在h 2 6 3 基础上增加选项( 之后产生了h 2 6 3 + 与 h 2 6 3 + + ) ：另一个是长期研究计划，制定一种新标准以支持低码率的视频通信。长期研究计划产生 了h 2 6 l 标准草案，在编码效率方面与先期的i t u t 视频编码标准相比，具有明显的优越性。 2 0 0 1 年，i s o 的m p e 6 组织认识到h 2 6 l 潜在的优势，随后i s o 与i t u 开始组建包括来自i s o i e c 肝e g 与i t u t v c e g 的联合视频组( j v t ) ，j v t 的主要任务就是将h 2 6 l 草案发展为一个国际性标准。 于是，在i s o i e c 中该标准命名为a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为肝e g 一4 标准的第1 0 个选 项；在in i t 中正式命名为h 2 6 4 标准。h 2 6 4 的主要优点如下：在相同的重建图像质量下，h 2 6 4 比i t 2 6 3 + 和l l i p e g 一4 ( s p ) 减小5 0 码率：对信道时延的适应性较强，既可工作于低时延模式以满足 实时业务，如会议电视等，又可工作于无时延限制的场合，如视频存储等；提高网络适应性，采用 “网络友好”的结构和语法，加强对误码和丢包的处理，提高解码器的差错恢复能力；在编解码 器中采用复杂度可分级设计，在图像质量和编码处理之间可分级，以适应不同复杂度的应用：相对 于先期的视频编码标准，h 2 6 4 引入了很多先进的技术，包括4 4 整数变换、空域内的帧内预测、 1 4 像素精度的运动估计、多参考帧与多种大小块的帧间预测技术等，新技术带来了较高的编码比， 同时大大提高了算法的复杂度。 1 0 东南大学硕士论文 2 1 硬件平台 第二章硬软件开发平台的介绍 本课题的研究工作基于的硬件平台是一个以i n t e lx s c a l ep x a 2 7 0 处理器为核心，集成了众多外 围电路模块的开发板。整个系统的硬件框架如图2 1 所示。 图2 1 系统硬件框架图 p x a 2 7 0 作为整个硬件平台的核心，它的内核和a r m 架构v 5 t e 结构兼容，集成了多种微结 构的特点，从而能够完成更高的性能要求。用户也可以根据自己的需求进行配置，实现自己特定的 功能。利用c p u 内置的j t a g 调试功能，可以使用b d i 或其它j t a g 工具进行最初的镜像下载和 第二章硬软件开发平台的介绍 功能调试。 在外围，相应的配有：6 4 m b 的s d r a m ，3 2 m b 的n o rf l a s h ，矸t 彩色液晶屏，触摸屏， 音频耳机和喇叭，以及u s bc l i e n t ，c o m p a c t f l a s h ，u a r t 等扩展接口。 电源系统采用外电供电与电池供电两种方式。当有外电时，电池充电；无外电时，电池用于供 电。p x a 2 7 0 通过p o w e r1 2 c 接e l 控制p o w e rm a n a g e r 芯片。将5 v 供电转换成多种电压输出，供 c p u 及其它设备使用。 c a m e r a 模块使用的是a g i l e n t 公司的a d c m 2 6 5 0 ，它与c p u 之间通过p c 和q u i c kc a p t u r e 接 口通讯。c p u 通过1 2 c 接口给c a m e r a 模块发送控制命令；c a m e r a 模块通过q u i c kc a p t u r e 接e l 将 视频数据传送给c p u 处理。 2 1 1i r i t e i ( s c a l ep x a 2 7 0 处理器 p x a 2 7 0 是一款应用于高性能低功耗的手持移动设备中的嵌入式s o c ( s y s t e m o n c h i p ) 芯片，它 运用了在线电压频率调节和复杂的电源管理使得i n t e lx s c a l e 技术能够提供业界领先的m i p s m w 性 能。p x a 2 7 0 处理器兼容a r m v 5 t e 架构指令集( 除浮点指令外) ，遵从a r m 通用编程模型。此外， p x a 2 7 0 还支持l m e lw t r e l e s sm m x 整数指令，从而使音频视频处理速度得到很大提高。 p x a 2 7 0 能够向支持7 个逻辑通道的手机基带处理器提供一个可配置的双向数据接口，o s 时钟 通道，m s l ( m o b i l e s e a l a b l e l i n k ) 接1 ：2 1 以及s s p ( s y n c h r o n o u ss e r i a lp o n s ) 还能够接受一个外部网络时 钟输入，使得能够与手机网络进行同步。此外p x a 2 7 0 处理器还支持通用s i m 卡( u n i v e r s a l s u b s c r i b e r i d e n t i t ym o d u l eu s i m ) 接口。 p x a 2 7 0 的存储控制接口支持多种类型的存储器，包括s d r a m ，f l a s h ，e p r o m 等；利用存储 控制接i = 1 还可以挂