（模式识别与智能系统专业论文）基于uclinux的嵌入式视频通信系统研究.pdf

摘要 摘要 信息家电、网络设备和仪器仪表等领域专业化、智能化和小型化成为一种发 展趋势。把l i n u x 操作系统应用到家电、移动通信设备领域，开发嵌入式视频通 信系统具有非常重要的意义，这是当今的一个研究热点和焦点，也是2 i t 业发展的 主流方向之一。 本文的工作主要包括三个部分：嵌入式操作系统u c l i n u x 内核剖析，基于a r m 的嵌入式视频采集系统设计，视频通信过程中出现的失真建模以及差错控制方法 研究。文章首先对u c l i n u x 操作系统内存管理、内核结构、文件系统进行介绍， 并分析了在a d s p b f 5 3 3e z - k i t 系统板上移植u c l i n u x 操作系统的方法；随后设 计了一款基于a r m 的视频采集系统，实现彩色、灰度图象的采集；最后对视频 通信过程中的端到端延迟因素、丢包现象进行了建模分析，并回顾和总结了各种 网络差错控制方法。 关键词：嵌入式u c l i n u xa r m 视频通信 a b s t r a c t a b s t r a c t i ti sa t e n d e n c y t ob e c o m ea s p e c i a l i z a t i o n a n d i n t e l l i g e n t i z a t i o n a n d m i n i a t u r i z a t i o n ，f o ra l lk i n d so fi n f o r m a t i o ne l e c t r i c a la p p l i a n c e sa n dn e t w o r k e q u i p m e n t sa n di n s t r u m e n t sa n ds oo n i ti sv e r ys i g n i f i c a n tt od e s i g ne m b e d d e dv i d e o c o m m u n i c a t i o n s y s t e m a n dt o a p p l yl i n u xo p e r a t i n gs y s t e m t ot h ee l e c t r i c a l a p p l i a n c e s ，m o b i l ec o m m u n i c a t i o ne q u i p m e n td o m a i n ，w h i c hi sar e s e a r c hh o ts p o ta n d af o c u sn o w a d a y s a n di th a sb e c o m eo n eo fi ti n d u s t r yd e v e l o p m e n tm a i n s t r e a m d i r e c t i o n s i nt h i sd i s s e r t a t i o n ，t h ew o r km a i n l yi n c l u d e st h r e ea s p e c t s ：t h ek e r n e la n a l y s i so f e m b e d d e du c l i n u xo p e r a i n gs y s t e m ，d e s i g no fe m b e d d e dv i d e oc a p t u r es y s t e mb a s e d o na r m ，t h ed i s t o r t i o nm o d e l i n ga n de r r o rc o n t r o lm e t h o d sd u r i n gv i d e ot r a n s m i s s i o n f i r s t l yt h ea u t h o ri n t r o d u c e sm e m o r ym a n a g e m e n ta n dk e r n e lf r a m e w o r ko fu c l i n u x o p e r a t i n gs y s t e ma n di t sf i l es y s t e m ，a n dt h e nt r a n s p l a n t su c l i n u xo p e r a t i n gs y s t e mi n a d s p b f 5 3 3e z k i tb o a r d s e c o n d l yan o v e lv i d e oc a p t u r es y s t e mb a s e do na r mi s d e s i g n e d ，w h i c hi sa b l et oi m p l e m e n tt h ec a p t u r eo fc o l o ra n dg r e yi m a g e s f i n a l l y , t h e a u t h o rm o d e l st h ef a c t o r so ft h ee n d - t o - e n dd e l a ya n dp a c k e tl o s sd u r i n gv i d e o t r a n s m i s s i o n ，f u r t h e r m o r er e v i e w sa n ds u m m a r i z e sa l lk i n d s o fe r r o rc o n t r o lm e t h o d s k e y w o r d s ：e m b e d d e d u c l i n u xa r mv i d e oc o m m u n i c a t i o n 创新性声明 本人声明所呈交的论文是我个人在导师指导f 进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也小包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做 的任何贡献均已存论文中做了明确的浣明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：一巷二虹 日期：盘盛! 旦型日 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生住校攻读学位期问论文工作的知识产权单位属西安电子科技人学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复e l l f i ，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本人签名 导师签名 鸯鹏e | 期：上丛壹出曰 h 期：z 万 第一章绪论 1 1 1 嵌入式系统定义 第一章绪论 1 1 嵌入式系统的软硬件特征 嵌入式系统是以应用为中心，以计算机技术、控制技术、微电子技术和通信 技术为基础，软硬件可裁剪，对功能、可靠性、成本、体积、功耗严格要求的专 用计算机系统。它主要包括四个部分：嵌入式微处理器、外围设备接口、嵌入式 操作系统和应用软件系统。 从2 0 世纪7 0 年代开始，嵌入式系统在家电、电信、航空以及军事领域得到 了广泛的运用。微处理器的飞速发展和普及推动了嵌入式系统集成开发工具的出 现，嵌入式系统也跟着迅速地成长和更新。嵌入式系统在发展过程中经历了巨大 的演变：从汇编语言到c 语言编程，从自动开发的操作系统到商用实时的嵌入式 操作系统，从监控器和电路仿真器到单片调试电路以及片上系统s o t ( s y s t e mo i l c h i p ) 的转变。 1 1 2 嵌入式微处理器 嵌入式系统的核心部件是各种类型的嵌入式处理器，据不完全统计，目前全 世界嵌入式处理器的品种总量已经超过1 0 0 0 多种，流行体系结构有3 0 几个系列， 其中8 0 5 1 体系的占有多半l l l 。生产8 0 5 1 单片机的半导体厂家有2 0 多个，共3 5 0 多种衍生产品，仅p h i l i p s 就有近1 0 0 种。嵌入式处理器的寻址空间一般从6 4k b 到1 6m b ，处理速度从0 1m 1 p s 到2 0 0 0m i p s ，常用封装从8 个引脚到1 4 4 个引 脚。根据其现状，嵌入式计算机可以分成下面几类【2 】【3 ： ( 1 ) 嵌入式微处理器( e m b e d d e dm i c r o p r o c e s s o ru n i t ，e m p u ) 嵌入式微处理器的基础是通用计算机中的c p u 。在应用中，将微处理器装配 在专门设计的电路板上，只保留和嵌入式应用有关的母板功能，这样可以大幅度 减小系统体积和功耗。为了满足嵌入式应用的特殊要求，嵌入式微处理器虽然在 功能上和标准微处理器基本是一样的，但在工作温度、抗电磁干扰、可靠性等方 面一般都做了各种增强。 和工业控制计算机相比，嵌入式微处理器具有体积小、重量轻、成本低、可 靠性高的优点，但是在电路板上必须包括r o m 、r a m 、总线接口、各种外设等 器件，从而降低了系统的可靠性，技术保密性也较差。嵌入式微处理器及其存储 器、总线、外设等安装在一块电路板上，称为单板计算机。如s t d b u s 、p c i 0 4 基于u c l i n u x 的嵌入式视频通信系统研究 等。近年来，德国、r 本的一些公司又开发出了类似“火柴盒”式名片大小的嵌入 式计算机系列o e m 产品。嵌入式处理器目前主要有a m l 8 6 8 8 、3 8 6 e x 、s c 4 0 0 、 p o w e rp c 、6 8 0 0 0 、m i p s 、a r m 系列等。 ( 2 ) 嵌入式微控制器( m i c r o c o n t r o l l e ru n i t ，m c u ) 嵌入式微控制器又称单片机，顾名思义，就是将整个计算机系统集成到一块 芯片中。嵌入式微控制器一般以某一种微处理器内核为核心，芯片内部集成 r o m e p r o m 、r a m 、总线、总线逻辑、定时计数器、w a t c h d o g 、i o 、串行口、 脉宽调制输出、a d 、d a 、f l a s hr a m 、e e p r o m 等各种必要功能和外设。和嵌 入式微处理器相比，微控制器的最大特点是单片化，体积大大减小，从而使功耗 和成本下降、可靠性提高。微控制器是目前嵌入式系统工业的主流。微控制器的 片上外设资源一般比较丰富，适合于控制，因此称为微控制器。 嵌入式微控制器目前的品种和数量最多，比较有代表性的通用系列包括 8 0 5 1 、p 5 1 x a 、m c s - 2 5 l 、m c s 一9 6 1 9 6 2 9 6 、c 1 6 6 1 6 7 、m c 6 8 h c 0 5 1 1 1 2 1 6 、 6 8 3 0 0 等。另外还有许多半通用系列如：支持u s b 接口的m c u8 x c 9 3 0 9 3 l 、c 5 4 0 、 c 5 4 1 ；支持1 2 c 、c a n b u s 、l c d 及众多专用m c u 和兼容系列。目前m c u 占 嵌入式系统约7 0 的市场份额。 特别值得注意的是近年来著名厂商a m d 公司，将a m l 8 6 c c c h c u 等嵌入 式处理器称之为m i c r o c o n t r o l l e r , m o t o r o l a 公司把以p o w e rp c 为基础的 p p c 5 0 5 和p p c 5 5 5 亦列入单片机行列。1 1 公司亦将其t m s 3 2 0 c 2 x x x 系列d s p 作为m c u 进行推广。 ( 3 ) 嵌入式d s p 处理器( e m b e d d e dd i g i t a ls i g n a lp r o e e s s o le d s p ) d s p 处理器对系统结构和指令进行了特殊设计，使其适合于执行d s p 算法， 编译效率较高，指令执行速度也较高。在数字滤波、f f t 、谱分析等方面d s p 算 法正在大量进入嵌入式领域。d s p 处理器有两个发展来源，一是d s p 处理器经过 单片化或增加片上外设成为嵌入式d s p 处理器，t i 的1 m s 3 2 0 c 2 0 0 0 c 5 0 0 0 等属 于此范畴；二是在通用单片机或s o c 中增加d s p 协处理器，例如i n t e l 的m c s 2 9 6 和i n f i n e o n ( s i e m e n s ) 的t r i c o r e 。 推动嵌入式d s p 处理器发展的另一个因素是嵌入式系统的智能化，例如各种 带有智能逻辑的消费类产品，生物信息识别终端，带有加解密算法的键盘，a d s l 接入、实时语音编解码系统，虚拟现实显示等。这类智能化算法一般都是运算量 较大，特别是向量运算、指针线性寻址等较多，而这些正是d s p 处理器的长处所 在。 嵌入式d s p 处理器比较有代表性的产品是t e x a s i n s t r u m e n t s 的t m s 3 2 0 系列 第一章绪论 和m o t o r o l a 的d s p 5 6 0 0 0 系列。1 m $ 3 2 0 系列处理器包括用于控制的c 2 0 0 0 系列， 移动通信的c 5 0 0 0 系列，以及性能更高的c 6 0 0 0 和c 8 0 0 0 系列。d s p 5 6 0 0 0 目前 已经发展成为d s p 5 6 0 0 0 ，d s p 5 6 1 0 0 ，d s p 5 6 2 0 0 和d s p 5 6 3 0 0 等几个不同系列的 处理器。另外p h l l i p s 公司也推出了基于可重置嵌入式d s p 结构低成本、低功耗 技术上制造的处理器，特点是具备双h a r v a r d 结构和双乘累加单元，应用目标是 大批量消费类产品。 ( 4 ) 嵌入式片上系统( s y s t e mo nc h i p ) 随着e d i 的推广和v l s i 设计的普及化，及半导体工艺的迅速发展，在一个 硅片上实现一个更为复杂的系统的时代已来临，这就是s y s t e mo nc h i p ( s o c ) 。各 种通用处理器内核将作为s o c 设计公司的标准库，和许多其它嵌入式系统外设一 样，成为v l s i 设计中一种标准的器件，用标准的v h d l 等语言描述，存储在器 件库中。用户只需定义出其整个应用系统，仿真通过后就可以将设计图交给半导 体工厂制作样品。这样除个别无法集成的器件以外，整个嵌入式系统大部分均可 集成到一块或几块芯片中去，应用系统电路板将变得很简洁，对于减小体积和功 耗、提高可靠性非常有利。 s o c 分为通用和专用两类。通用系列包括l n f i n e o n ( s i e m e n s ) 的t r i c o r e ， 、m o t o r o l a 的m c o r e ，某些a r m 系列器件，e c h e l o n 和m o t o r o l a 联合研制的n e u r o n 芯片等。专用s o c 一般专用于某类系统中，不为一般用户所知。一个有代表性的 产品是p h i l i p s 的s m a r tx a ，它将x a 单片机内核和支持超过2 0 4 8 位复杂r s a 算法的c c u 单元制作在一块硅片上，形成一个可加载j a v a 或c 语言的专用的 s o c ，可用于公众互联网如i n t e r n e = t 安全方面。 1 1 3 嵌入式操作系统 嵌入式操作系统经历了逐渐发展的过程。在最早的单芯片嵌入式系统中没有 操作系统，它们只是为了实现某些特定功能，使用一个简单的循环控制对外界的 控制请求进行处理，不具备现代操作系统的基本特征( 如进程管理、存储管理、设 备管理、网络通信等) ，但由于处理器通用性差，故这类操作系统主要用于控制系 统负载和监视应用程序运行。不可否认，这对一些简单的系统而言是足够的，但 是当系统越来越复杂，利用的范围越来越广泛的时候，缺少操作系统就成为了一 个最大的缺点，因为每添加一项新功能都可能需要从头开始设计，增加了开发成 本和系统复杂度。 c 语言的出现使操作系统的开发越来越简单，利用c 语言可以写出一个小型 的、稳定的操作系统。c 语言的作者d e n n i sm r i t c h i e 和b r i a nw k e m i g h a n 写出 4 基tu c l i n u x 的嵌入式视频通信系统研究 了著名的u n i x 操作系统，直接影响了几十年来计算机业的发展，同时，c 语言 的出现对开发嵌入式系统来说，在效率和速度上都提高了很多。现在的嵌入式操 作系统正朝着通用、实时和构建化方向发展，能运行于不同类型的处理器上，具 有灵活的内核，具备文件和目录管理能力，有较好的人机界面，支持多任务、多 优先级调度，具备网络服务功能，有丰富的应用程序接口和应用软件等【4 l 。 尽管嵌入式系统有功能丰富和稳定性好等优点，但大部分的嵌入式系统仍然 继续采用控制程序而没有采用操作系统。除了功能要求和硬件方面的限制因素以 外，还主要有两个原因：首先，有不少嵌入式系统的控制程序是逐步发展起来的， 每步改动都比较小。这种在原有系统上打补丁的代价，要小于改用操作系统所 付出的代价，从而使工程人员很难下决心换用嵌入式操作系统。其次，虽然控制 程序在开发成本和可靠性方面都有缺点，但它最大的好处之一就是没有那些商业 化嵌入式操作系统中许多用不着的功能，节省了系统资源( 如资源有限的存储空 间、中断处理等1 。 从2 0 世纪8 0 年代起，国际上开始开发一些商用嵌入式系统和专有操作系统。 目前流行的嵌入式操作系统有： m i c r o s o f tw i n d o w sc e 是一个高效率的多平台操作系统。它不是精简的 w i n d o w9 5 版本，而是从整体上为有限资源平台设计的多线程、完整优先级、多 任务的操作系统。它的模块化设计允许它对于从掌上电脑到专用的工业控制器的 用户设备进行定制。操作系统的基本内核至少需要2 0 0k b 的r o m 。但缺点是价 格太高，使得整个产品的成本急剧上升。 p s o s 现在属于w i n d r i v e r 公司的产品，原先拥有p s o s 的i s i 公司已经被 w i n d r i v e r 公司兼并。p s o s 是一个模块化、高性能的实时操作系统，专门为嵌入 式微处理器设计，提供了一个完全多任务环境，在定制的或是商业化的硬件上提 供高性能和高可靠性。可以让开发者将操作系统的功能和内存需求按照每个应用 的需要定制成专用的系统。开发者可以用它来构建从简单的单个独立设备到复杂 的、网络化的多处理器系统。 w i n d r i v e l 的v x w o r k s 是目前嵌入式系统领域中使用最广泛，市场占有率最 高的系统。它支持多种处理器，如x 8 6 ，i 9 6 0 ，s u ns p a r e ，m o t o r o l am c 6 8 x x x ，m i p s r x 0 0 0 。p o w e rp c 等，使用的是和u n i x 不兼容的环境，大多数的v x w o r k sa p l 是专有的，采用g n u 的编译器和调试器。 m i c r o w a v e 的o s 9 是为微处理器的关键实时任务而设计的操作系统，应用范 围包括消费电子产品、工业自动化、无线通信产品、医疗仪器、数字电视多媒体 设备中。它提供很好的安全性和容错性。与其它的嵌入式系统相比，它的灵活性 和可升级性非常突出。 l i n u x 是一套以u n i x 为基础发展而成的操作系统。自1 9 9 1 年诞生以来，l i n u x 第一章绪论 在很多方面已经赶上甚至超过了很多商用的u n i x 系统，它实现了真正的多任务、 多用户环境。l i n u x 对硬件的配置要求相当低，能够在4m b 内存的3 8 6 机器上很 好的运行，而且可以支持很多处理器芯片。此外，更为重要的是，有众多高手愿 意在l i n u x 上开发程序，随时对l i n u x 的开放内核进行升级和修补。 在嵌入式系统应用方面，l i n u x 小的可以在一张软盘上运行，为实时系统开 发的变种r t - l i m l x ( r e a lt n n el i n u x ) ，可以让l i n u x 支持硬实时任务，l i n u x 的开放 式原则使得l i n u x 下的驱动和升级变得越来越多，越来越快。 1 2 基于l i n u x 的网络通信和多媒体应用 近年来随着多媒体和网络通信技术的飞速发展，视频图象处理、计算机视觉、 多媒体数据库和计算机网络技术日益融合，遍布国民经济和社会生活的各个方面。 同时无线和网络技术爆炸性的发展深刻地改变了全球通信的基础结构，无线、多 媒体和网络的融合将彻底改变人们进行各种商务活动和彼此间通信的方式，未来 的计算机和通信结构将具有实际上的无限带宽和充裕的多媒体容量。 综观通信技术发展的全历程，可以将其发展分为三次革命：第一次通信技术 的革命是百年前电话的问世。电话网是开放电话业务为广大用户服务的通信网络， 在电话网中，主要传输的业务是语音，但是只要增加少量设备也可以传送传真、 中速数据等非电话业务。第二次通信革命是半个世纪前电视和有线电视网的出现。 电视的出现改变了电话网络只能传输话音的缺点，它不仅使用户能闻其声，同时 还能见其人特别是有线电视网络的出现，使视频信号的传输质量和带宽都得到 了很大的改善。第三次革命是因特网的迅速崛起所引发的口通信。i p 通信技术 已开始成为通信舞台上的主角，并与语音通信、视频通信形成新的产业汇聚，世 界通信网络基础设施就此出现新层次上的突破。 即将来临的第三代移动通信( 3 g ) 其本质是将移动通信和多媒体通信这两种通 信系统有机地结合起来，3 g 的两个主要目标是高速优质的数据传输和承载多媒体 业务。可以想象，3 g 网络的推广和普及必将促进网络通信进入一个新的阶段。然 而视频通信过程中仍有许多的问题尚待解决，如在无线通信过程中，如何降低信 源的输出码率而得到可接受的视频质量，如何进行通信过程中的差错恢复；在基 予因特网的通信中，如何降低网络的拥塞状况以及如何为不同网络带宽的用户提 供各自可以接受的通信质量。一般来说，移动终端是小型的手持设备，其功率和 存储能力有限。因此，一个移动视频编码器必须尽可能降低复杂度且仍然保持高 效性和鲁棒性。由于多径衰落、时延扩展、噪声影响与多址干扰等原因，在无线 信道中进行完全没有差错的视频通信是不现实的。对于时延要求不高的视频应用 可以通过重传来实现，但对视频实时会话服务来说不可能进行大量数据的重传。 6 基丁：u c l i n u x 的嵌入式视频通信系统研究 此外，在一个移动蜂窝区域内的系统容量有限，且传输的数据量在不断变换。因 此，要求视频编解码器能在有限时间里随着环境的变换来改变编码速率，以适应 信道环境的变换。这一切都决定了对用于移动环境的视频编解码器有如下要求： ( 1 ) 非常高的压缩效率；( 2 ) 低功耗、较少的内存和低复杂度；( 3 ) 对误码、丢包有较 强的鲁棒性；( 4 ) 支持快速的码率调整；( 5 ) 能产生不同的优先级；( 6 ) 能有效地利用 特定网络的机制。 而且，随着人们生活水平的提高，人们对移动通信设各便携式、智能化、小 型化的要求越来越高，各种网络终端设备的专业化和小型化成为一种发展趋势， 嵌入式网络通信设备应运而生。信息家电、网络设备、移动通信领域和仪器仪表 是嵌入式设备的主要应用领域，也是l i n u x 的主要应用领域。把嵌入式l i n u x 系 统应用到多媒体信号处理和网络传输领域是当今的一个热点和焦点，也是当今i t 业发展的主流方向之一。早在2 0 0 0 年，韩国公司p a l m p a l m 就推出了第一台采用 l i n u x 的t y n u x 手机，值得注意的是这类基于l i n u x 的手机操作系统从一开始就 瞄准了3 g 手机市场。韩国三星与一些厂商已经开发出新款基于l i n u x 的手机， 适用于u m t s3 g 系统。在国内，专门从事手机设计的中电赛龙集团也成功开发 出国内第一款基于l i n u x 的手机。 1 3 1 主要研究工作 1 3 研究工作和章节安排 嵌入式系统以其便携式、低功耗和易升级获得了广泛的应用，而视频通信系 统不但需要有很强的数据处理能力，而且还要有良好的差错恢复的能力。文章对 基于u c l i n u x 操作系统的嵌入式视频通信系统进行了研究，主要的研究工作包括： ( 1 ) 深入学习了嵌入式l i n u x 操作系统，在熟悉其内核结构的基础上，重点研究 了其中的虚拟文件系统以及文件系统的构成。为了更好的了解u c l i n u x 系统内核 结构，开发基于u c l i n u x 系统的应用程序，在a d s p b f 5 3 3e z k i tl i t e 上成功移 植了u c l i n u x 操作系统。 ( 2 ) 熟悉a r m 体系结构，设计了一款基于a r m 开发板的视频采集系统。在这一 过程中，认真学习了数字视频的基础知识，熟悉了f p g a 的开发过程以及硬件描 述语言v e r i l o gh d l 。 ( 3 ) 对新一代视频编码标准h 2 6 4 a v c 进行了分析，尤其是其中的整数变换、运 动估计、网络层的错误隐藏技术。 ( 4 ) 对基于i p 网络通信过程的差错控制方法进行了深入研究，特别是针对端到端 视频通信过程中出现的失真和延迟现象，就其产生的原因、数学建模方法以及在 信源端、信道、接收端采取的减小失真的方法分别进行了总结。 第一章绪论 7 1 3 2 论文主要贡献 ( 1 ) 提供一种嵌入式操作系统u c l i n u x 编译的方法，以及在移植u c l i n u x 之前 如何对引导程序u b o o t 进行配置和修改，便于在移植的u c l i n u x 系统上进行后 续应用程序和驱动程序的开发。 ( 2 ) 参与设计了一款基于a r m 开发板的数字视频采集系统。支持四路模拟视 频信号输入，同时支持s 端子( s v i d e o ) 、复合视频信号输入，能将基带n s t c 、 p a l 制式的模拟视频转化为数字视频，支持4 1 1 ( 1 6 b i 0 、4 2 2y u v ( 1 6 b i t ) 、 c c m 6 5 6 ( s b i 0 、5 6 5 r g b ( 1 6 b i t ) 多种数字图象输出格式。 ( 3 ) 对视频通信过程中的差错控制方法进行了总结。针对端到端的多媒体通 信过程中的延迟和失真，总结了常用的数学建模方法，对接收端的错误隐藏策略 进行了总结，为下一步的研究提供了基础和方向。 1 3 3 论文章节安排 全文共分为五章。第一章为绪论，简要介绍了嵌入式系统的定义和发展概况 以及嵌入式微处理器的分类，对常用的嵌入式操作系统w i n d o w sc e 、p s o s 、 v x w o r k s 、m i c r o w a v e 、l i n u x 进行了总结。第二章首先对u c l i n u x 文件系统、内 核结构、内存管理进行剖析，并介绍了在a d s p b f 5 3 3e z k i tl i t e 上移植u c l i n u x 系统的方法和步骤。第三章设计了一种基于a r m 的视频采集系统。第四章首先 介绍了基于i p 网络的多媒体通信协议h 3 2 3 ，然后总结了视频通信过程中的各种 差错控制方法，包括拥塞控制技术、码率滤波、接收端的错误隐藏策略等。第五 章对多媒体通信领域有待解决的技术进行了总结，最后对于个人下一步的研究工 作进行了展望。 8 基于u c l i n u x 的嵌入式视频通信系统研究 第二章u c l i n u x 的性能分析及其移植 2 1 引言 商用型的专用操作系统提供了良好的图形用户界面和强大的网络支持功能， 但由于价格昂贵，源码封闭，大大限制了开发者的应用。l i n u x 为嵌入式操作系 统提供了一个极有吸引力的选择，它是与u n i x 相似，以内核为基础，实现内存保 护、多任务、多进程的操作系统。嵌入式l i n u x 操作系统由于源码开放，价格低 廉，功能强大以及易于移植等优点正被广泛应用，已成为新兴的力量。其中u c l i n u x 是主要针对没有内存管理单元( m m u ) 的微处理器而开发的一个嵌入式l i n u x 版 本。l i n u x 是一款多任务操作系统，主要由4 个部分组成：引导加载程序b o o t l o a d e r 、 l i n u x 内核( k e r n e l ) 、文件系统和用户应用程序。内核是l i n u x 操作系统中最核 心的部分，也是嵌入式系统开发中修改和移植的重点。本章给出了在基于 a d s p b f f 5 3 3e z t 硬件平台上构建嵌入式l i n u x 系统的方法与s h e l l 命令。 2 2 1 嵌入式l i n u x 特点 2 2 嵌入式l i n u x 内核 基于开放源代码的特性，l i n u x 操作系统已经日益成为一个成熟、健壮的操 作系统，获得了广泛的使用和认可。除此之外，它还具有很多吸引人的特点： ( 1 ) l i n u x 支持许多外部设备、文件系统和网络协议； ( 2 ) l i n u x 给程序员到终端用户提供了完全开放的源代码： ( 3 ) l i n u x 社区的广大程序员和用户一直不断致力于修正错误、添加、测试和优化 新的特征； ( 4 ) 支持大量的应用，比如g n u 软件； ( 5 ) 价格非常低廉。 典型的l i n u x 发布版本内含了很多的应用软件，在拥有硬盘和大容量内存的 桌面系统上运行，而嵌入式操作系统对配置的要求远没有这么高。一个功能完备 的l i n u x 内核要求具有1 m b 内存，而l i n u x 微内核只占用其中很小的一部分内 存，包括虚拟内存和核心的操作系统在内，只需占用约1 0 0k b 内存。 l i n u x 不仅可以应用在桌面系统以及高中端服务器上，也可以应用于嵌入式 系统。现在主流的嵌入式操作系统有：v x w o r k s ，w i n d o w sc e 、l i n u x ，p s o s 、 n e u c l e u s 、u c o s 等。嵌入式l i n u x 操作系统根据应用可以分为两类：第一类是在 充分利用l i n u x 强大功能的前提下，使内核尽可能小，应用于存储容量有限的嵌 第二章u c l i n u x 的性能分析及其移植 9 入式系统场合，例如u c l i n u x ；第二类是将l i n u x 开发成实时系统，应用于一些特 定的控制场所，如r t l i n u x ，h a r dh a tl i n u x 。 2 2 2u c i i n u x 简介 u c l i n u x 是一个符合g n u g p l 公约的开放源代码项目，现由l i n e o 公司维护。 u 为m i c r o ，微小的意思，c 为c o n t r o l ，控制的意思，即专为微控制领域而设计。 u c l i n u x 采用了许多方法以减小整个系统大小，比如它用r o m f s 取代了c x t 2 文件 系统，后者是标准l i n u x 默认的文件系统，r o m f s 简单的多，内核仅需要很少的支 持代码，且它的超级块占用更少的存储空间。r o m f s 的缺点是不支持动态擦写和 保存，u c l i n u x 采用虚拟f a l t i 盘的方法来弥补这个缺点。u c l i n u x 还重写了一些应 用程序库，如将功能强但体积庞大的o i b c 和l i b r a 库精简成轻巧的u c l i b c 和 u c l i b m ；还有，u c l i n u x 采用f l a t 可执行文件格式，这种文件格式相对于e l f 文件 头和一些段信息作了简化，缩小了可执行文件的体积。由于g c c 通常只生成c o f f 或e l f 格式的可执行文件，所以开发者往往需要用c o f f 2 f l a t 或e l f 2 f l a t 等工具进行 格式转换，以获取f l a t 文件。它的主要特征有；( 1 ) 通用l i n u xa p i ：( 2 ) 内核体 积 5 1 2 k b ；0 ) 内核+ 文件系统 = ) 互) j = 互 图3 3 ( a ) s a a t i i i 行数据采集时序图 l 忸i 啪埘惜2，i4-ii7bi丑- 2 ：j - i n p u ! c v 蹲 “u r - r t r _ r 1 j 1 j _ u _ l r l - r 1 j 1 ，u r r ”1 r _ 一 0 叩厂1 一 图3 3 ( b ) s a a 7 111 奇数场数据采集时序图 图3 3 ( a ) 为s a a 7 1 1 1 行数据采集时序图，图3 2 ( b ) 为奇数场数据采集时序 图。v r e f 上升沿开始的数据为要采样的图象数据，v r e f 低电平期问，对应 场消隐行，每场大约有2 6 行场消隐信号。对于p a l 制式的视频信号，每一场 对应2 8 6 个有效数据行，每行对应7 2 0 个有效象素。 帧缓冲存储器的选取 帧存储器是图象处理器与显示设备之间的通道，所有要显示的图形数据先存 放到帧存储器中，然后再送到显示设备进行显示。帧存储器的存储器件有多种， 如s d r a m 、d r a m 及s r a m 。s d r a m 、d r a m 属于动态存储器，容量大，价 格便宜但速度较慢，且在使用的过程中需要定时刷新，需要设计专门的d r a m 控 制器，增加了设计的难度；s r a m 速度高，接口简单、容量小。 由于s r a m 作为帧存储体，不能同时进行象素的写入和读取，系统采用双帧 轮流操作、乒乓缓存的方式。当数字化的图象信息写入其中的一个帧存时，a r m 处理器将另一个帧存中的象素顺序读出，进行后续的图象处理。对于p a l 制式视 基于u c l i n u x 的嵌入式视频通信系统研究 频而占，一帧图象数据最大容量为7 2 0 5 7 6 ：4 1 4 7 2 0 ( 1 6b i t ) ，共4 0 5 k x1 6 b i t 的数据量。每组帧存可以选用5 1 2k 1 6 b i t 的静态存储器，存储时间为1 2 n s ，能 够满足数据快速存储和读出的要求。 逻辑综合模块 在系统中使用f p g a 作为采样控制器，用于完成各种同步逻辑控制，保证了 数据采集的实时性。根据s a a 7 1 1 l 输出的各个同步信号产生数据缓存器s r a m 的地址，实现s r a m 输入输出选通信号等逻辑功能，并针对实际需要提取合适尺 寸的图象窗口。输出图象以v g a 标准图象( 6 4 0 x 4 8 0 ) 为例，描述f p g a 的具 体实现。图3 4 为f p g a 内部逻辑实现框图。 v r e f 帧切换控制 + | 无效行计l 一有效行l 。i 高位地址i ! ! ! ! ! ! ! ! 一数器1l 计数器广 发生器广 总线 隔离 与控 + | 计数器l嚷计数器1 友生器l 制器 旦虹亘粤 图3 4f p g a 内部逻辑实现框图 图象窗口的提取 在实际应用中，对图象尺寸存在着不同要求，需要根据采样窗口，实现任意 大小、任意位置的采集数据提取。在实际应用中，所需要的图象尺寸可能是 7 2 0 x 5 7 6 ，也可能是6 4 0 4 8 0 或者其它。下面举例说明图象窗口提取的方法。输 入图象按照i t u - r b t 6 0 1 格式采样，图象分辨率为7 2 0 x 5 7 6 ，根据实际需要，在 其中心位置提取一块6 4 0 x 4 8 0 的图象数据。 ( 1 ) 确定图象采集的起始行。当v r e f 信号有效时，表明新的一场图象开始，此 时无效行计数器开始工作，控制不需要采集的图象行，计数到阈值后，有效 行计数器开始工作，控制要采集的图象行。 ( 2 ) 当h r e f 有效后，无效象素计数器开始计数每行中的无效象素，然后有效象 素计数器开始计数需要采集的行有效象素：每次计满6 4 0 个象素后，等待下 一次有效信号的到来，同时将有效行计数器加1 。 产生帧缓存器s r a m 的地址信号 该部分电路实现一个多位的二进制计数器，实际的位数由外部s r a m 的地址 位数和采集图象的大小决定，每次采样前设初始地址为零。如图3 4 所示，帧存 储器的高位地址a 1 8 ：1 1 】由有效行的计数器值来确定，低位地址a 9 ：0 】由有效象 素计数器值来确定。为了设计的方便，为每行图象提供1 0 2 4 个存储空间( 实际使 第三章基于a r m 的嵌入式视频采集系统实现 用其中的6 4 0 个) 。利用奇偶场信号o d d 的反相信号作为帧存地址的a 1 0 1 ，因 此形成了1 8 位的帧缓存器s r a m 地址。设计采用场合并法，将两场的数据写入 一个帧存中，构成幅完整的逐行扫描图象1 2 0 1 。系统利用v r e f 信号产生帧切换 控制信号，控制数据在两个帧存中的切换。 f p g a 的综合与实现 设计中选用a l t e r a 公司的第四代可编程逻辑器件集成开发环境q u a r t u si i4 0 。 设计中采用了图形编辑方式和v e r i l o g h d l 文本编辑两者相结合的方式，即先用 v e r i l o gh d l 语言分别编写各个控制模块，编译后产生逻辑符号；再用图形编辑的 方式，将各个模块连接起来，实现数据采集的f p g a 控制逻辑。设计中充分利用 q u m u si i 提供的i p 核，选择合适的计数器和各种逻辑门电路，大大降低了设计 的难度。 由于数据总线的传输速率高达1 3 5m h z ，在实现硬件电路的过程中，需要不 断的仿真和调试，特别是对于高速逻辑电路中存在的竞争和冒险现象，需要不断 调整延时时间。 3 3 。3 数据处理模块 i n t e l 公司的s a 1 1 1 0 是一款通用r i s c 微处理器，将1 6k b 的指令c a c h e 、8 k b 的数据c a c h e 、一个小型c a c h e 、写缓存、读缓存、内存管理单元( m m u ) 以及l c d 控制器集成在一块芯片上，其主频最高可达2 0 6m h z 。s a - 1 1 1 0 核配置 了功能强大的外围逻辑电路，可以分为三个部分：内存和p c m c i a 控制；系统控 制( s c m ) 和外围控制( p c m ) 1 2 ”。s a 1 1 1 0 芯片在p d a 等手持设备上有着广 泛的应用，对于嵌入式操作系统和便携式系统，s a 1 1 1 0 是很好的选择，可以在 以s a - 1 1 1 0 为平台的嵌入式操作系统上开发各种应用程序。 s a 1 l l o 在系统中是各类算法实现的核心器件，首先从计算机上下载图象处 理的算法，如电子稳像系统的算法或者视频监控系统云台控制的算法等等， s a - 1 1 1 0 以d m a 方式读取帧存储器s r a m 中的数据。数据处理流程如图3 5 所 示。当嵌入式操作系统启动时，首先对子系统供电，将视频采集系统的驱动程序 载入设备管理器，然后由应用程序调用初始化函数完成如下工作 2 2 1 ： ( 1 ) 通过1 2 c 总线设置图象解码芯片s a a 7 1 1 1 的内部寄存器，从而控制图象采集 模块的采样和输出格式； ( 2 ) 编写针对s a a 7 1 1 1 的驱动程序，并加载到内核，设置d m a 通道以及中断参 数，s a 1 1 1 0 微处理器通过d m a 方式获取s a a 7 1 l l 数据； ( 3 ) 编写基于嵌入式l i n u x 操作系统平台的应用程序，对采集的原始图象数据进 基2 - u c l i n u x 的嵌入式视频通信系统研究 行处理，在l c d 上显示图象或者对视频数据进行u d p 打包处理，利用t c p i p 协议进行数据传输。图3 6 为系统整体结构图。 应用程序 l i n u x 操作系统 驱动程序 硬件 图3 5 数据处理流稃图 图3 6 系统软件结构图 第四章基于i p 网络视频通信过程中的差错控制 第四章基于i p 网络视频通信过程中的差错控制 4 1 引言 信息家电、网络设备、移动通信和仪器仪表领域是嵌入式设备的主要应用领 域，也是l i n u x 的主要应用领域。把嵌入式l i n u x 系统应用到多媒体信号处理和 网络传输领域是当今的一个热点和焦点，也是当今i t 业发展的主流方向之一。各 种家电设备、仪器仪表以及通讯设备专业化、智能化和小型化成为一种发展趋势。 例如最近韩国三星公司开发的一款基于l i n u x 的手机迅速成为市场新的亮点。设 计开发具有通信功能的嵌入式系统具有非常重要的意义。随着因特网和视频编码 技术的飞速发展，远程教育、远程医疗、视频会议和可视电话等领域的应用成为 可能，远程服务不仅仅需要对视频信号进行处理，还需要对处理后的视频图象进 行远程传输，这些应用在进一步充分整合利用有限资源的同时，也为经济不发达 地区，特别是偏远贫困山区带来了新的服务模式。 在新一代的视频压缩标准中f 2 3 】