（计算机科学与技术专业论文）基于tms320dm6446的视频实时处理系统的研究与开发.pdf

7 。 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：攻辞 导师签名： 签字日期：z o f 口年- 7 月9 日 签字日期：uf ，年 月7e 1 中图分类号：t p 3 1 7 4 u d c - 0 0 4 9 3 学校代码：1 0 0 0 4 密级：公开 北京交通大学 硕士学位论文 基于t m s 3 2 0 d m 6 4 4 6 的视频实时处理系统的研究与开发 r e s e a r c h i n ga n di m p l e m e n t i n go fr e a l t i m ev i d e op r o c e s s i n g s y s t e mb a s e do nt m s 3 2 0 d m 6 4 4 6 作者姓名：张兴华 导师姓名：尹辉 学位类别：工学 学号：0 8 1 2 0 5 7 6 职称：副教授 学位级别：硕士 学科专业：计算机科学与技术研究方向：嵌入式系统 北京交通大学 2 0 1 0 年7 月 致谢 本论文的工作是在我的导师尹辉副教授的悉心指导下完成的，尹辉副教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两年来 尹辉老师对我的关心和指导。 尹辉老师悉心指导我完成了实验室的科研工作，在学习上和生活上都给予了 我很大的关心和帮助，在此向尹辉老师表示衷心的谢意。 在研究过程中，高金山老师、杨春勇、史运涛、陶思敏同学在实验器材的使 用方面为我提供了极大的便利。 在开发平台的实现和撰写论文期间，黄华老师对达芬奇平台的开发使用提供 了热情的指导，高同、魏旭科等同学对我论文的校正工作给予了热情的帮助，在 此向他们表达我的感激之情。 另外也感谢我的家人，他们的理解和支持使我能够在学校专心完成我的学业。 中文摘要 摘要：随着多媒体技术的发展，数字视频的应用极大提高了人们的生活水平。数 字视频处理技术已经广泛应用在军事、交通、银行等领域，并且逐步向智能化、 实时化发展。而随着嵌入式技术的不断发展和完善，它所具有的功耗低、可靠性 好、实时性强、性价比高、可移植性强的优点已越来越受到人们的关注。本文选 用德州仪器公司的t m s 3 2 0 d m 6 4 4 6 为研发平台，它内部集成了a r m 和d s p 双处理 器，在其基础上研究并开发了视频实时处理系统，实现了基于图形界面的人机交 互、视频增强、灰度化的处理以及a r m 端与d s p 端的通信功能。主要研究工作包 括： 1 嵌入式开发系统的搭建过程。包括开发板u - - b o o t 、l i n u x 的启动流程、交 叉编译开发环境的搭建、根文件系统的创建、l i n u x 下t f t p 、n f s 等各种系统服务 的搭建与使用，l i n u x 与w i n d o w s 之间的通信等； 2 根据t m s 3 2 0 d m 6 4 4 6 的特点，使用f r a m e b u f f e r 技术设计并实现了基于图 形界面的人机交互功能； 3 研究了t i 的算法规范，包括c o d e ee n g i n e 、c o d e e 服务器等。在研究各种 视频处理技术的基础上，针对本平台开发了实时视频增强算法包和视频灰度化算 法包，实现了d s p 端的视频处理算法，满足了视频实时处理的要求。 实验结果表明：在t m s 3 2 0 d m 6 4 4 6 平台上实现菜单管理和视频采集、处理、 显示，达到了预期的效果，满足了功能控制和实时性的要求。 关键词：t m s 3 2 0 d m 6 4 4 6 ；嵌入式开发；人机交互界面；视频采集；视频处理 分类号：t p 3 9 3 0 9 ；t p 3 1 7 4 l k - 韭瘟互亟太堂亟堂焦途塞旦s ! b ! a bs t r a c t a b s t r a c t ：w i t ht h e d e v e l o p m e n to fm u l t i m e d i at e c h n o l o g y , a p p l i c a t i o no f d i g i t a lv i d e oh a sg r e a t l yi m p r o v e do u rl i v i n g s t a n d a r d n o w a d a y s ，d i g i t a lv i d e o p r o c e s s i n gt e c h n o l o g yh a sb e e nw i d e l yu s e di nm i l i t a r y , c o m m u n i c a t i o n , b a n ka n d m a n y o t h e rf i e l d s ，a n da l o n gw i t ht h ep r o g r e s so ft h et e c h n o l o g y , i tb e c o m e sm o r ea n d m o r ei n t e l l i g e n t , r e a l - t i m e a n dw i t ht h e d e v e l o p m e n to fe m b e d d e dt e c h n o l o g y , i t s a d v a n t a g e sa sl o wp o w e rc o n s u m p t i o n ，h i g hr e l i a b i l i t y , s t r o n gr e a l - t i m ea n dp o r t a b i l i t y h a v ea t t r a c t e da l lo v e rt h ew o r l d i nt h i sa r t i c l e ，w ec h o o s et m s 3 2 0 d m 6 4 4 6w h i d li s p r o d u c e db yt e x a si n s t r u m e n t s ( t i ) c o r p o r a t i o n t h i sp r o c e s s o ri n t e g r a t st h ea r ma n d d s pd u a l c o r e ，a n do nt h eb a s i so ft h i s ，t h i sa r t i c l er e s e a r c h sa n dd e v e l o p e st h e r e a l t i m ev i d e op r o c e s s i n gs y s t e ma n dr e a l i z e sh u m a n c o m p u t e ri n t e r a c t i o ni n t e r f a c e v i d e oe n h a n c e m e n tp r o c e s s i n g , c o m m u n i c a t i o nb e t w e e na r m a n dd s et h ep r i m et a s k o f t h e s i si n c l u d e s ： 1 t ob u i l du pt h ee m b e d d e ds y s t e md e v e l o p i n g p l a t f o r m ，i n c l u d i n gu - b o o t , s t a r t p r o c e s so fl i n u x ，p o r t i n gd e s i g no ft h er o o tf i l es y s t e m ，u s a g eo fs o m es y s t e ms e r v i c e s u c ha st f t pa n dn f so l ll i n u x ，c o m m u n i c a t i o nb e t w e e nl i n u xa n dw i n d o 聃唔a n ds o o i l ； 7 2 b a s e do nc h a r a c t e r i s t i c so ft m s 3 2 0 d m 6 4 4 6a n df r a m e b u f f e rt e c h n o l o g y , t o r e s e a r c ha n dr e a l i z et h em e n u i n t e r f a c e , p r o v i d i n gf a v o r a b l eh u m a n c o m p u t e r i n t e r a c t i o nf u n c t i o n ； 3 t or e s e a r c ht h ea l g o r i t h m sr u l e sa n da p p l i c a t i o np r o c e s so f t i ，i n c l u d i n gc o d e c e n g i n ea n dc o d e cs e r v e r b a s e do ns o m ek i n d so fv i d e oe n h a n c e m e n ta l g o r i t h m s t o r e a l i z et h ep o r t i n go fa l g o r i t h m so nd s ps i d ea n dm e e tt h e r e q u i r e m e n to fv i d e o p r o c e s s i n g ； t h er e s u l t ss h o wt h a tm e n um a n a g e m e n t ， v i d e o c a p t u r i n g ，p r o c e s s i n ga n d d i s p l a y i n gf u n c t i o nh a v ea c h i e v e de x p e c t e dr e s u l t s ，a n dm e tt h er e q u i r e m e n to ff u n c t i o n c o n t r o la n dr e a l - t i m ep r o c e s s i n g k e y w o r d s ：t m s 3 2 0 d m 6 4 4 6 ；e m b e d d e d d e v e l o p m e n t ；m e n ui n t e r f a c e ；v i d e o c a p t u r i n g ；v i d e op r o c e s s i n g c l a s s n o ：t p 3 9 3 0 9 ；t p 3 1 7 4 目录 中文摘要i i i a b s t r a c t i v 1 绪论1 1 1 引言1 1 2国内外研究现状2 1 2 1 图像处理系统的发展2 1 2 2 嵌入式系统的发展现状2 1 3研究目的及研究意义3 1 4本文主要研究内容和章节安排3 2系统开发平台的搭建5 2 1视频实时处理系统硬件平台5 2 1 1 达芬奇技术5 2 1 2d s p 技术概述7 2 2视频实时处理系统软件平台8 2 2 1l i n u x 操作系统概述8 2 2 2 交叉编译环境的建立9 2 3本章小结。11 3系统引导与开机自启动模块的设计1 2 3 1引导模块设计1 2 3 1 1b o o t l o a d e l 概述1 2 3 1 2u b o o t 引导程序13 3 1 3u - b o o t 的主要功能1 4 3 1 4u b o o t 启动参数和环境变量的设置。1 5 3 2自启动模块设计1 6 3 3根文件系统的移植18 3 3 1 根文件系统的选择和移植1 8 3 3 2 根文件系统的移植改进。2 2 3 4本章小结。2 4 4 系统人机交互界面模块设计2 5 4 1f r a m e b u f f e r 技术应用2 5 4 2人机交互界面设计与实现2 6 t户i 4 3 本章小结31 5系统视频处理模块设计3 2 5 1视频采集与显示3 2 5 1 1p o s i x 线程3 2 5 1 2 多线程编程的主要工作。3 3 5 1 3 片上视频处理子系统3 3 5 1 4 视频输出格式y u v 3 5 5 1 5 视频采集与显示模块算法设计3 7 5 2视频处理的设计与实现3 9 5 2 1x d m 算法标准3 9 5 2 2c o d e ce n g i n e 的应用4 l 5 2 3c o d e ce n g i n e 与c o d e c 服务器的工作原理4 2 5 2 4 视频处理模块的实现4 4 5 3视频处理实验结果分析5 2 5 3 1 增强去噪实验结果5 2 5 3 2 灰度化处理实验结果5 3 5 4本章小结5 4 6工作总结与展望5 5 7参考文献5 6 8作者简历5 9 9独创性声明6 0 1 0学位论文数据集6 1 v r l f l 1 绪论 1 1 引言 随着计算机多媒体技术的不断发展，网络视频、i p 电话、视频监控等技术不 断涌现。数字视频技术结合计算机、通信等技术不断应用于军事、医疗卫生、交 通运输、航空航天等领域。而且当今嵌入式硬件技术发展迅猛，嵌入式数字视频 技术越来越受到人们的关注。它的开发需要高度集成的开发平台和强大灵活的开 发工具，且系统的模块化设计相对容易，便于安装和维护，研究价值和应用前景 广阔【1 捌。 当今视频处理系统实现的方法多种多样，市场上所选用的主要有美国德州仪 器公司( t i ) 出品的达芬奇系列和英特尔公司出品的凌动系列处理器。为了满足 不同用户的需求可以挑选与之相适应的解决方案。如t m s 3 2 0 d m 3 5 5 数字媒体处 理器。它包括集成的视频处理子系统、m p e g 4 j p e g 协处理器以及a r m 9 2 6 处理 器，时钟速度为2 1 6m h z 或2 7 0m h z 。该解决方案专门针对可视门铃、婴儿监护 器、数码像机以及无线i p 网络摄像头等终端设备进行了优化，可实现高清( h d ) 视频性能【3 】。i n t e l “凌动 z 5 3 0 处理器，主频1 6 g h z ，最高可以达到2 g h z ，一 般认为英特尔做通用平台，适合处理定点化的数据，例如网络、图像以及存储等。 “凌动 z 5 3 0 我们可看作简化版酷睿处理器，英特尔公司为满足低能耗的要求去 除了原本已经具备的一些功能。m o t o r o l a 的d r a g o n b a l l ( m c 9 3 2 8 m x l ) 处理器内有 一个1 6 k 字节的指令缓存和一个1 6 k 字节的数据缓存，但它缺乏d s p 中相应的硬 件结构。m c 9 3 2 8 m x i 主要面向高级信息处理设备、智能电话、网页浏览器写字 板、数字式媒体播放器，它在大规模图像处理和实时控制方面的能力仍然比较匾 乏。 为满足视频处理实时性的要求，要求处理芯片拥有强大的运算能力和灵活的 系统整合能力。因此本系统选用的是t i 公司的t m s 3 2 0 d m 6 4 4 6 开发平台，包括 两个基于数字信号处理器( d s p ) 的片上系统( s o c ) 以及多媒体编解码器、应用 程序接口和开发工具等。达芬奇技术满足大多新兴的数字视频产品的实时化的需 求。 i b 1 2国内外研究现状 1 2 1 图像处理系统的发展 图像处理系统大致分为三个阶段： 1 上世纪六十年代末到八十年代中期。代表产品是一些美国和英国公司推出 的各种图像计算机和图像分析系统。它们的特点是体积较大，功能强但造 价昂贵。中国的图像处理系统起步较晚，主要为清华大学研制的图像采集 系统； 2 上世纪八十年代中期到九十年代初。这个阶段的主题是小型化，外部结构 为插卡式，通过把图像卡插到计算机内部，与计算机组成图像采集系统。 这个时期国内主要是中科院自动化所和清华大学研制的一系列图像采集 卡。图像卡的特点是体积小、造价低、使用便利并且大都采用大规模集成 电路或者专用集成电路； 3 上世纪九十年代初开始至今。这个时期有两大类产品：一种与第二阶段相 同，为插卡式；另一种是采用大规模集成电路或者专用芯片取代计算机的 脱机图像处理系统。随着专用芯片( a s i c ) 、数字信号处理器( d s p ) 、 现场可编程门阵列( f p g a ) 芯片的集成度和运算速度极大提高，价格大 幅下降，使得这些芯片成为图像处理系统的主流处理器。其中美国德州仪 器公司( t i ) 在d s p 市场上的主导地位使他的数字图像处理平台在世界上 领先其他公司。从国内d s p 的应用来看，已经由主要用于科研领域发展到 办公、消费等领域。由于d s p 芯片性价比的不断提高，已使d s p 适用于 广大的应用场合。 1 2 2 嵌入式系统的发展现状 i e e e 对嵌入式系统的定义为：控制、监视或者辅助装置、机器和设备运行的 装置。与通用计算机相比，嵌入式系统面向特定应用，软硬件可裁剪。适应应用 于系统对功能、成本、体积、功耗等要求严格的特定系统。随着智能化和网络化 的发展，嵌入式系统获得了广阔的发展前景。美国著名未来学家n i c h o l a s n e g r o p o n t e 在1 9 9 9 年1 月时曾经预言，4 5 年后嵌入式智能工具将是继p c 和因 特网之后的最伟大发明。进入后p c 时代，嵌入式系统将拥有最大的市场。目前世 界范围内嵌入式系统的工业产值已经超过1 万亿美元，根据赛迪顾问2 0 0 8 年对嵌 入式系统行业的市场规模调研的数据显示，中国嵌入式系统的产业规模也已突破 2 1 0 0 0 亿元，而且目前从事嵌入式开发的企业占3 0 左右，计划从事的企业占1 4 。 片上系统( s o c ) 技术是微电子技术发展的一个新里程碑。迅猛发展的s o c 工 业极大推进了嵌入式软硬件系统的进一步融合。s o c 的出现改变了传统嵌入式系 统的设计观念。近十年来，行业开放系统正同趋流行。统一的行业标准具有开放、 设计共享、软硬件重用等优点，大大增强了行业性产品的竞争能力。嵌入式操作 系统本身也逐步走向开放化和标准化，l i n u x 已经成为嵌入式系统的主流，j 2 m e 技术也对嵌入式软件的发展有着深远的影响。随着嵌入式技术的不断发展并期待 着在各种行业的深入渗透，嵌入式系统将拥有巨大的市场空间，这会是中国软件 业十年一遇的机遇。 1 3研究目的及研究意义 视频处理技术在多媒体领域中有着重要的地位，被广泛应用于军事指挥、智能 交通、实时监控、汽车电子等方面。为了市场化的需求，现今一个嵌入式视频处 理系统从研发到投入市场的时间越来越短，这对传统的嵌入式开发模式提出了极 大的挑战。为了减少系统软硬件设计的时间，工程师们把可配置的思想带入到了 嵌入式系统的设计模式中，其中的一个关键问题就是如何研制可快速进行二次开 发的软硬件模块。 嵌入式视频处理系统可以有多种实现方式，既可以使用通用处理器也可以基于 某种专业处理器，它的应用领域从m p 4 等微型数字化产品，到智能家电和车载电 子设备不一而足。因此建立一种相对通用的视频处理平台，以此为基础根据不同 需求做进一步的研发，利用现有的技术积累来规避复杂繁琐的底层设计就成为了 人们追求的目标。通用的设计平台可以利用己验证的技术，稳定性和可靠性具有 一定的保证，这对于当今的市场化需求有着重要的现实意义。 1 4本文主要研究内容和章节安排 本文完成的主要工作是基于图形界面的人机交互功能的设计与实现、系统的加 载启动、根文件系统的建立并向m i c r o s d 卡上的移植以及使a r m 与d s p 进行协 作，对视频进行采集、处理及其显示。本文的章节结构如图1 1 所示。 论文的主要内容包括： 1 研究了达芬奇平台的结构以及与之相关的软件平台，建立了应用系统开发 的交叉编译环境； 2 研究了嵌入式系统的引导过程，针对l i n u x 操作系统的开机启动的相关流 程及根文件系统的特点，实现了本系统向开发板上m i 汀o s d 卡上的移植； 3 研究了f r a m e b u f f e r 技术，设计实现了人机交互界面； 4 研究分析p o s i x 线程的特点，利用多线程技术实现视频的采集、处理与显 示，研究t m s 3 2 0 d m 6 4 4 6d s p 的使用，通过c o d e ce n 百n e 使a r m 与d s p 完成数据交互，启用d s p 处理数据； 5 设计实现了图像增强去噪算法、图像灰度化算法并在d s p 端运行。对视频 处理的结果进行分析总结。 图1 - 1 本文章节结构 f i g u r e l 一is t r u c t u r eo f c h a p t e 瑙 4 2 系统开发平台的搭建 2 1视频实时处理系统硬件平台 2 1 1 达芬奇技术 达芬奇( d a v i n e i ) 技术是一种集数字图像、视频、语音和音频信号处理于一 身的信息平台。一经推出便受到广泛关注，基于它为平台的应用开发层出不穷。 其中，达芬奇处理器基于业界最高性能的d s p 平台t m s 3 2 0 c 6 0 0 0 ，应用t i 最新 的c 6 4 xd s p 内核，包含了基于可扩展、可编程d s p 的片上系统( s o c ) ，同时还 包括优化后的加速器与外设，以满足数字视频终端设备在价格和性能上的诸多需 求。 达芬奇技术充分利用了t i 的数字信号处理与集成电路专业技术来提供s o c ， 这种系统针对灵活的数字视频设备进行了精心优化，拥有业内先进的性能，集成 了d s p 内核、a r m 处理器和视频协处理器。依托强大的处理能力和大容量的片内 存储器、平衡的内部互联，达芬奇技术的系统级芯片能够以最低成本为视频应用 提供理想的动力。 本系统使用的是达芬奇t m s 3 2 0 d m 6 4 4 6 数字媒体s o c ，它具有以下特性： 1 系统包括一个a r m 子系统、一个d s p 子系统和一个视频处理子系统( v p s s ， 如图2 2 所示) ，同时还带有一个图像协处理器( v i c p ) 和各种丰富的外设。 a r m 核为a r m 9 2 6 e j s 1 m 内核，字长3 2 位，工作频率2 9 7 m h z ；d s p 核为 t m s 3 2 0 c 6 4 x ，主频为5 9 4 m h z ，双核间的分工明确，协调工作，视频处理能 力大大提高【4 1 。其结构如图2 1 所示； 2 视频前端( v p f e ) 用于捕捉视频信号。视频前端由c c d 控制器、浏览引擎、 直方图模块、图像缩放模块以及缩放模块组成。c c d 控制器支持贝尔模板数 据和解码后的y u v 数据。预览引擎从摄像头接收原始数据并将数据从r g b 格式转换为y u v 4 2 2 格式； 3 视频后端( v p b e ) 由o s d ( o n - s c r e e nd i s p l a y ) 和视频编解码( v e n c ) 模块 两部分组成。o s d 引擎可处理两个视频窗口和两个o s d 窗口，也可以将o s d 配置为两个独立的视频窗口、一个o s d 窗口和一个属性窗口，属性窗口支持 8 级的透明度混合，用于在视频图像上叠加显示位图或者图像信息，如图2 3 所示。视频编解码模块提供4 路数模转换器，支持各种标准格式输出如p a l 5 和n t s c ，此外它还提供2 4 - b i t 的数字信号输出接口，能够与接收r g b 8 8 8 信 号的显示设备相连。显示器接口可支持1 6 - b i t 、8 - b i t 、并行2 4 - b i t r g b 等多种格式的数字信号的输出【5 1 。 a 哦搿c c d o f v 记9 0 氆捌r 输入 时钟 删t 审行接口夏缝 圈面商霭痴蔼 连接程序，数据存篱 厦萄国茵豳囡 图2 1t m s 3 2 0 d m 6 4 4 6 结构图 f i g u r e2 - 1f r a m e w o r kd i a g r a mo f t m s 3 2 0 d m 6 4 4 6 图2 - 2 视频处理子系统v p s s 架构 f i g u r e2 - 2f r a m e w o r kd i a g r a mo f v p s s 6 a a 锄 f d a c 鼋j d 咯蠹鑫l 髓晤 d o o ；- 1 1 、，i 露ow l n 曩o w0 1 w g 鲁or i v d q ow i n d o w1 。幽曼金 0 s dw l n d o w0 l 塑! 翌曼! 匕= 一o s d w i n d o w1 垒! ! 笾曼垒l de v f b 1 de v t f b 3 斑e v f b o 耀e v f b 2 y c b c r4 ：2 ：2 y c b c r4 ：2 ：2 r g b16 a t t r i b u t e 图2 3 0 s d 的窗口结构 f i g u r e 2 - 3o s d w i n d o w s 4 大容量存储器。包括3 2 位2 5 6 m b 的d d r 2 存储空间和1 6 位1 2 8 m b 的f l a s h 存储空间； 5 丰富的片上外围设备。3 个6 4 位通用定时器、u s b 2 0 端口、6 4 通道增强型 d m a 控制器、通用i o 接口、数据存储卡等； 6 t m s 3 2 0 d m 6 4 4 6 有三种电源管理模式：低功耗模式、备用电源模式和正常模 式。其中备用电源模式的耗电为最低，除通用i o 、u a r t 端口和p w m 运行 外，其他都不运行，在此模式下时钟频率为2 7 m h z 。在低功耗模式下与省电 模式类似，但可以运行a r m 的基本功能。正常模式下所有模块和外设均可正 常运行； 7 t i 提供了大量开发工具。用户可以在w i n d o w s 和l i n u x 两种模式下开发，并 且还提供了丰富的开发工具，使开发人员的工作量大大降低。 2 1 2d s p 技术概述 d s p ( d i g i t a ls i n g n a lp r o c e s s o r ) 是一种独特的微处理器，是以数字信号来处理 大量信息的器件。其工作原理是接收模拟信号，转换为0 或1 的数字信号，再对 数字信号进行修改、删除、强化，并在其他系统芯片中把数字数据解译回模拟数 据或实际环境格式。它不仅具有可编程性，而且它的实时运算速度可达每秒数以 千万条复杂指令，远远超过通用微处理器，在数字化电子世界中的地位日益突出。 它强大的数据处理能力和高运行速度，是最值得称道的两大特色。 d s p 的独特之处在于它能实时处理数据，正是这项能力使得d s p 最适合支持 无法容忍任何延迟的应用。开发者可以利用d s p 来快速处理数字信号，如视频和 7 传感器信号。d s p 对数字信号流的快速数学运算是普通处理器所无法比拟的。这 些数学运算可以是简单的加减法和乘法，也可以是复杂滤波以及信号分析如快速 傅立叶变换( f a s tf o u r i e rt r a n s f o r m s ，f f t s ) 和离散余弦变换( d i s c r e t ec o s i n e t r a n s f o r m s ，d c t s ) 。 d s p 的发展大致经历了三个阶段：基础研究阶段、产品普及阶段和发展阶段。 1 基础研究阶段：d s p 概念最早出现在上个世纪6 0 年代，到7 0 年代才由计算机 实现部分实时处理，当时主要用于高尖端领域。由于d s p 技术与大量运算相 关，每秒完成百万条指令运算就变为一个新的单位m i p s ( 每秒百万条指令) 。 8 0 年代，有些公司陆续设计出适合于d s p 处理技术的处理器，于是d s p 开始 成为一种高性能处理器的名称。t i 在1 9 8 2 年发布了第一颗d s p 芯片，名为 t m s 3 2 0 1 0 ，这是一个处理速度达5 个m i p s 的处理器； 2 产品普及阶段：8 0 年代开始的第二个阶段，d s p 从一种研究理念发展成为了 产品，t m s 3 2 0 1 0 所表现的出色性能备受业界关注。这些d s p 器件使我们生活 的许多方面都发生了巨大的变化。设计师不懈的努力使d s p 处理器的成本降 到了适合于商用的低于1 0 美元范围。此时，d s p 在军事、工业和商业应用中 不断获得成功。直到1 9 9 1 年，t i 推出的d s p 芯片价格与1 6 位微处理器不相 上下，并且实现了批量单价低于5 美元，但所提供的性能却是其5 至1 0 倍。 到9 0 年代中期，可编程的d s p 器件已广泛应用在数据通信、海量存储、语音 处理、消费类音频和视频产品等领域。这时d s p 的价格已降到1 0 美分到1 美 元的范围： 3 进入2 1 世纪，d s p 发展到第三阶段，市场竞争日趋激烈，t i 通过调整d s p 发展战略的全局规划，产品规划和解决方案不断完善，加之开发理念的不断创 新，产业化进程的不断深化，d s p 的价格目标已设定为几个美分甚至更低。 2 2视频实时处理系统软件平台 2 2 1l i n u x 操作系统概述 l i n u x 最早是由芬兰赫尔辛基大学学生l i n u st o r v a l d s 设计的一个操作系统。 这个操作系统可用于个人计算机并且具有u n i x 操作系统的全部功能。现在绝大部 分基于l i n u x 内核的操作系统都使用了大量g n u 软件，因此也被称为g n u l i n u x 。 l i n u x 的基本思想主要有两点：第一，一切都是文件，系统中的所有都视为一个 文件，包括硬件设备、软件设备、进程、命令等：第二，所有软件都有确定的用 途。如今，l i n u x 已经得到了越来越广泛的应用，这得益于它的低廉性、广泛性和 灵活性。其低廉的成本和高度可定制的特性使其常常被应用于嵌入式系统，例如 在移动电话的应用中，l i n u x 已经成为与s y m b i a no s 、w i n d o w sm o b i l e 并列的三 大职能操作系统之一。l i n u x 以高效性和灵活性著称。它能够在p c 上实现全部的 u n i x 特性，具有多任务、多用户的能力。l i n u x 是在g n u 公共许可权限下免费获 得的，是一个符合p o s i x 标准的操作系统，它的软件包不仅包括完整的l i n u x 操 作系统，还包括了文本编辑器、高级语言编译器等应用软件。此外，它还包括带 有x w i n d o w 图形用户界面，如同我们使用w i n d o w s 一样，允许我们使用窗口、 图标和菜单对系统进行操作。 本系统使用的是嵌入式l i n u x 操作系统，它是一种实时的、兼容嵌入式应用的 操作系统。包括多任务系统内核、底层驱动、设备驱动接口、网络通信协议等。 它的核心部分包括基本内核、扩展内核、应用程序接口和设备驱动接口。针对不 同的硬件平台需要移植操作系统才能正常工作。嵌入式l i n u x 是将l i n u x 操作系统 进行修改、裁剪后，使之用于嵌入式场合的专用操作系统。l i n u x 核心代码采用c 语言编写，因此它的移植性较好，可以很容易地移植到很多微处理器上。 目前流行的嵌入式l i n u x 操作系统有很多，本系统选用的是m o n t a v i s t al i n u x 。 m o n t a v i s t a 专门提供实时嵌入式l i n u x 操作系统，它是基于l i n u x 内核开发的嵌入 式操作系统，用户不需要支付版税，而且其提供的开发工具和附件应用包都是开 源的。目前m o n t a v i s t al i n u x 支持大部分c p u 芯片系列，支持各种开发板结构并 提供网络协议的支持，拥有丰富的驱动程序和应用程序接i z l l 6 - 7 1 。 2 2 2 交叉编译环境的建立 在l i n u x 系统中通常使用的是g n uc 编译器，简称g c c 。g c c 是可在多种硬 件平台上编译的编译器，执行效率与比一般的编译器高出2 0 3 0 。g c c 将源代 码生成可执行文件要经历四个互相关联的过程：预处理、编译、汇编和链接。为 了让本系统的开发板能够运行本地l i n u x 下编译出来的可执行文件，就必须建立交 叉编译环境。建立交叉编译环境的时候，g c c 有所谓的目标和宿主的概念。交叉 编译器所生成的代码运行在目标机即开发板上，交叉编译器本身运行在宿主机上。 之所以要建立交叉编译环境是因为本系统目标机平台受限于性能和资源上的不 足，不能够安装所必须的编译系统，要得到可执行文件必须要借助于运行在宿主 机平台上的交叉编译器【8 】。宿主机与目标板的关系如图2 4 所示。 9 r s 2 3 刀匿t h e t r m t 宿主机目标枫 图2 _ 4 交叉编译示意图 f i g u r e 2 - 4t h ec r o s sc o m p i l e 本系统是以w i n d o w s 操作系统下的l i n u x 虚拟机为宿主机，为a r m 9 2 6 e j s 目标系统编译a r ml i n u x 。宿主l i n u x 版本为s u s el i n u xe n t e r p r i s ed e s k t o p1 0 ( s l e d1 0 ) 。以r o o t 用户登录并以此安装以下b i n 文件： h o s t # m v l _ s e t u p l i n u x1 0 00 03 0 b i n h o s t # m v l _ t a r g e t _ s e t u p l i n u x1 0 0 3 0 b i n h o s t # 。m v l _ l s p _ _ s e m p l i n u x1 舆翼3 0 b i n 以上命令执行完后，会在目, 录o p t m v _ p r o _ 4 0 下生成以下文件： 然后转到以上目录下解压相关文件： h o s t # t a rz x v f m v l t o o l s 4 0 - n o t a r g e t t a r g z h o s t # t a rz x v f m v l 4 0 - t a r g e t p a t h t a r g z h o s t # t a rz x v fd a v i n c i l s p # 撑t a r g z 命令执行完成后，将会在o p t m vp r o 下产生目录。至此，本系4 0m o n t a v i s t a 统的交叉编译环境建立完毕【9 】。其中包括的编译器为a l t l lv 5 tl e g c c ，针对的是系 统开发板的a r m v 5 t 结构，对程序源文件分别进行编译，最后用链接器链接起来； 汇编器为a r mv 5 tl e a s ，用来编译g c c 输出的汇编文件，将其转换为目标代码， 产生的目标文件通过链接器a r n lv 5 tl e 1 d 进行链接生成可执行文件。 为了能够使用本系统的开发板，还需要对l i n u x 主机进行相关配置。对于嵌入 式系统而言，开发板上首先需要由b o o t l o a d e r 来进行硬件的初始化，然后根据 b o o t l o a d e r 设置的相关参数来启动系统。开发板上电后通过t 邱将m o n t a v i s t a 的内 核映像文件下载到开发板的内存中运行，内核启动后通过挂载宿主机上的网络文 1 0 件系统( n f s ) 来开发相关应用程序。 2 3本章小结 本章对视频实时处理系统硬件平台的选择和软件系统的搭建做了详细的阐述。 为系统程序设计和用户程序设计做好了前期准备。 3 系统引导与开机自启动模块的设计 3 1引导模块设计 3 1 1b o o t l o a d e r 概述 在x 8 6 平台上的b o o t l o a d e r 是由b i o s 和位于硬盘m b r 中的o sb o o t l o a d e r ( 比如l i l o 和g r u b ) 组成的。b i o s 完成硬件的检测和资源分配后，将硬盘m b r 中的b o o t l o a d e r 读到系统r a m 中，然后b o o f l o a d e l 就会开始进行引导，将内核传 送到内存并进行一些必要的初始化，之后跳转到内核的入口地址来执行，这时内 核将开始启动。 但在嵌入式平台上与x 8 6 不同，一个嵌入式l i n u x 系统可以分为四个层次： 1 引导程序。包括硬件中固化的b o o t 代码和b o o f l o a d e r 两大部分； 2 l i n u x 内核。为嵌入式开发板所定制的l i n u x 内核以及内核的启动参数； 3 文件系统。对嵌入式系统而言包括根文件系统和存放在内存设备上的文件 系统； 4 用户的应用程序。在用户程序和内核层之间会包括一个图形化的用户界面。 现今常用的嵌入式g u i 有m i c r o w i n d o w s 和m i n i g u i 等。本系统使用的是 利用底层驱动在显示器上自行绘制的图形界面。 嵌入式系统的引导加载程序( b o o t l o a d e r ) 是开发板加电后执行的第一段程序。 在这段小程序中，我们可以完成对硬件设备的初始化和内存空间的映射，为调用 操作系统内核做好正确的环境准备【9 】。一个存储设备的典型空间分配结构如图3 1 所示。 图3 - 1 开发板存储空间 f i g u r e 3 1m e m o r yo nd e v e l o p m e n tk i t 1 2 其中内核是系统运行后的管理平台，负责任务的调度。文件系统与开发用户相 关最大，存放了系统的配置文件、系统程序以及用户应用程序。 在嵌入式系统中有各种各样的b o o f l o a d e r ，种类的划分也是多种多样。除了按 照处理器体系结构的划分外还可以按照功能复杂度的不同来划分。表3 1 中给出了 x 8 6 、a r m 、p o w e r p c 体系结构的常用引导程序。 表3 - 1x 8 6 a r m p o w e r p c 的引导程序 t a b l e 3 1b o o t s t r a po f x 8 6 a r m p o w e r p c b o o t l o a d e r描述x 8 6a r mp o w e r p c l i l ol i n u x 磁盘引导程序是否否 g r u bg n u 的l i l o 替代是否否 程序 l o a d l i n从d o s 引导l i n u