（通信与信息系统专业论文）基于h264的嵌入式实时视频采集与传输系统的设计与实现.pdf

摘要 随着通信和多媒体技术的飞速发展 高质量的视频传输已逐步取代传统的语 音和文字信息成为数字通信网络的主要拓展业务之一 微电子技术和嵌入式操作 系统的不断发展 为数字网络通信中的多媒体化视频终端创造了有利条件 嵌入 式技术与网络 通信和多媒体技术的相互融合将成为数字视频通信领域的发展趋 势 由于嵌入式数字通信系统的传输带宽有限 以往的视频压缩编码技术非常不 利于实时传输高质量的现场视频 为了以尽可能低的带宽传输高质量的视频图像 i t u t 视频编码专家组 c e g 和i s 0 e c 活动图像专家组 m p e g 组成的联合视频专家组 t 颁布了 新一代的视频压缩编码标准h 2 6 舭a v c h 2 6 4 标准引入了一系列先进的视频压 缩编码关键技术来有效地提升编码效率 但同时也加大了编码计算的复杂度 成 为h 2 6 4 在嵌入式视频应用中的主要制约因素 因此 对在嵌入式设备上高效地 实现大运算量 高复杂度的h 2 6 4 视频压缩编码的研究极具挑战性 目前 基于 嵌入式的h 2 6 4 实时视频通信系统解决方案仍处于探索阶段 本文旨在利用h 2 6 4 视频压缩编码标准在嵌入式平台上进行实时视频通信系 统终端的研究开发 论文中采用基于p 墟7 0 微处理器的l i o d 开发平台 将嵌 入式ij n u x 技术与h 2 6 4 视频通信技术相结合 提供了一个基于嵌入式视频服务 器的h 2 6 4 实时视频采集与网络传输系统的方案模型 对实际嵌入式视频通信系 统的设计开发 具有借鉴意义和实用价值 论文的主要工作和创新点表现在以下几个方面 1 深入研究了嵌入式l i n u 开发技术 建立了基于l i o d 开发板的嵌入式l i l l u 开发平台 包括交叉编译环境的搭建 b o o t l o a d e r 设计 l 衙u 2 6 2 2 6 内核移植 设备驱动开发以及基于b u s y b o x 的根文件系统的构建 2 研究了基于 d e 0 4 l 曲u x 的实时视频采集技术 包括u s b 摄像头驱动程 序设计和实时视频采集应用程序设计 3 提出了面向应用的嵌入式实时视频h 2 6 4 压缩编码方案 并研究了基于 嵌入式处理器体系架构的多媒体程序优化方法 对x 2 6 4 开源编码器进行了编译 级和代码级优化 达到了实时应用要求 4 研究了基于d 网络的h 2 6 4 视频传输技术 设计了视频通信终端的 s e e r c h e m 服务程序 实现了基于v l c 的嵌入式实时视频采集与传输系统模型 关键字 嵌入式l i n l p 也7 0 h 2 6 4 2 6 4 v i d e 0 4 l 淅u 视频采集 视频传输 a b s t r a c t w i t l lq m c k d e v e l o p m e m o fc o m m u i l i c a d o na n dm u l 缸e d i a t e c l l n 0 1 0 9 y m 曲 q u a l 时访d e o 仃删s s i o nh 鹪b e 铋髓 d u a l l yr e p l a u c i n g 缸a d i t i o n a lv o i c ea n dt e t c o m m n i c a t i o na i l db e c o m e sm em a i ne x p a n d e ds e r v i c eo fd i g i t a lc o m 加u n i c a 土i o n n e 俺r o r k a t 也es 锄et i m e t h ec m 血m l o l l s d e r e l o p m e n t o fm i c r o e l e c 灯o n i c s t e c h n o l o g y a 1 1 de m b e d d e do p e r a t 洫g s y s t e mh a sc r e a t e df i a v o r d b l ec o n m t i o 璐f 0 r i i n p l e i n e n 僦o n o fe n 慨d d e dn 1 1 1 缸e d i ac o n l n u 血c a t i o nt e 门田砌s m u n a l 血e 铲a t i o no fe n l b e d d e dt e c l m o l o y n e t 7 旧r k c o m m l 血c a t i o nt e c h n o l o g ya n d m u l t 砥d i at e c h n o l o g r晰1 1b e c o m e 吐l ed e v e l o p i n g仃e n do f d i g i t a l v i d e o c o 如m u n j c a t i o n 丘e l d a st h eb a n d 埘d 也o fe m b e d d e dd i 西t a lc o m 功1 m j c a t i o ns y s t e mi s l i i n j t e 也t h ep r e 访o u s 访d e oc o m p r e s s i o nt e c l l n o l o g yi sn o tc o n d u c i v et or e a l 一t m l e 位m s m i s s i o no fh i g h q 砌i 够1 i v e 啊d e o i i lo r d e rt 0 柏n s 耐th i 曲一q l l a l 蚵讥d e oi m a g e st l l r o u 曲m o r e 的n o wn e 铆o r k b a n 桶d 饥an e wg e n e r a t i o no f 访d e oc o d i l l g 比m d a r dh 2 6 4 侩v ch a sb e e n p r o m u l g a t e db y 也ej o 硫 d e ot e 锄 t o fi t u t d e oc o d 迦e x p e n u p c e g a n di s o 1 e cm o 咖gp i c t u r ee x p e n sc 胁u p 口e g h 2 6 4s 切玎d a r d 锄 d u c e sas e r i e so fa d v a n c e dv i d e 0c o n l p r e s s i o nc o d i r 培 t e c l l l l i q u e st 0e f 6 e c t i v e l y i i n p r 0 v ee n c o 曲1 9p e 墒瑚加c e b u ta l s o 血l m a t i c a l l yi n c r e 邪e st 1 1 ec o m p u t a t i o n a l c o m p l e i 鸭w h i c hb e c o m e sam 萄0 rc 0 1 1 s 仃出tf o r 砥u s ei ne m b e d d e dv i d e o a p p l i c 撕o i l s n e r e f o r e 恤er e s e a r c ho na c h i e 血gh 2 6 4 哇d e oc o m i r e s s i o no fh i 曲 c o m p u t a t i o r mc o m p l e i 锣i ne 功b e d d e ds y s t e m si se x t r e m e l yc b d l e n g i i l g h o 矾i v e r 廿1 eh 2 6 4 b a s e de 玎1 b e d d e dr e a l 啦m e 啊d e oc o 衄n u l l i c a t i o ns y s t e m ss o l u t i o ni ss t i l li n e x p l o r i n gs t a g e 1 1 1 i sm s s e 心畸o na i m sa td e v e l o p i l 唱趴h 2 6 4 b a s e dr e 2 l l t i n l ev i d e oc o n m 1 1 n i c a 乇o nt e n n i n a lo na n 锄k d d e dp l a 怕衄 1 1 1 仳sd i s s e m c i o n b a s e do nm ep 墟7 0 l i o dd e v e l o p m e n tp l a d 0 r 鸥c o m b 越n ge m b e d d e dl 妣xt e c h n o l o g a i l dh 2 6 4 b a s e d v i d e oc o m m u l l i c a t i o nt e c k l 0 1 0 9 y ar e a l t i m ev i d e oa c q m s i t i o n 纽d 位m s m i s s i o n s y s t e ms 0 1 u t i o nm o d e lb a s e do na n 锄b e d d e dv i d e os e r v e ri sp r o v i d e d i tp r o v i d e s r e f e r e n c e s i 鲥f i c a n c e a 1 1 d p r a c t i c a l v a l u ef o r 吐l ea c t u a le n l b e d d e dv i d e o c o 础m u l l i c 撕o ns y s t e m sd e s i 皿a i l dd e v e l o p m e n t t h ea u 山0 r s 7 l o r ka n di n n o v a t i o ni i l c l u e 1 n d e p 也s t u d yo fe m b e d d e dl 抽呶d e v c l o p m e n tt e c l m 0 1 0 鼢a n de m b e d d e d l 弧p 1 缅mb 诃血gb a s e do nl i o dd e v e l o p m e d tb o 她血l u d i n gc r o s s 蝴m p i l 迦 疵n m e n tb u i l 拙l g b o o u o a d e rd e s i g 玛l i n 1 1 2 6 2 2 6k e m e lp o r 血g d e v i c e v e r sd e v e l o p m e 酏a n db u s y b o x b a s e dr 0 0 tf i l es y t e mc o 删o n 2 r e s e a r c ho nr e a l t 缸ev i d e oc a p n 玳t c c h n 0 1 0 9 b 硒e d0 n d e 0 4 l 劬x i 1 1 c l u d i n gu s bc a i n e r a v e rd e v e l o p m e n ta n dr e a l 一幽1 e i d e oc a p t l l r ea p p l i c 撕o n d e s i g n 3 p r o p o s h 坞a na p p l i c a t i o n o r i e n t e de 玎曲e d d e dr e a l 每m eh 2 6 4 v i d e oc o m p r e s s i o nc o d i i 冯s h e m e a n dr e s e a r c h0 nm 山c i n l e d i aa p p l i c 撕o np r o g r a mo p t 衄i z a t i o n m e 仕1 0 d sb 嬲e do ne 玎1 b e d i i e dm i c r o p r o c e s s o ra r c k t e c t u r e c 伽叩i l e t i n l eo p t i n 伽o n a n dc o d e 1 e v e lo p t i i i l i z a c i o ni sa p p l i e d 幻o p e n s o u r c ee n c o d e rx 2 6 4 t 0a c h i e v em e r c a l t i m ea p p l i c a t i o nr e q l l i r e m e m s 4 r e s e a r c ho nh 2 访d e o 仃a n s 血s s i o nt e c h n 0 1 0 9 i n 口 b a s e dn 称 0 r k d e s i 萨 o fs e r 删 1 i e n ts e r v i c ep r 0 铲锄sf o rv i d e oc o m 删c a t i o nt e m l i i l a l s a n di n l p l e m e n t a t i o no f 趾e m b e d d e dr e a l t i m e i d e oa c q u i s i t i o na n d 他n s m i s s i o ns y s t e mm o d e l 衍t hv l c m d e o l a nc 1 i e n t k e yw o r d s c n l b e d d e dl m u p 墟7 0 h 2 6 4 2 6 4 d e 0 4 l 证u x 访d e oc a 皿鹏 v i d e o 臼 a j s m i s s i o n 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及 取得的研究成果 据我所知 除文中已经注明引用的内容外 本论 文不包含其他个人已经发表或撰写过的研究成果 对本文的研究做 出重要贡献的个人和集体 均已在文中作了明确说明并表示谢意 作者签名 日期 堡堕型 学位论文授权使用声明 本人完全了解华东师范大学有关保留 使用学位论文的规定 学校有权保留学位论文并向国家主管部门或其指定机构送交论文的 电子版和纸质版 有权将学位论文用于非赢利目的的少量复制并允 许论文进入学校图书馆被查阅 有权将学位论文的内容编入有关数 据库进行检索 有权将学位论文的标题和摘要汇编出版 保密的学 位论文在解密后适用本规定 学位论文作者签名 童掘牟 日期 趟 墨 摊名 狮乌 日期 丛q 篁 丘 厂 基于h 2 6 4 的嵌入式实时视频采集与传输系统的设计与实现华东师范大学硕士论文 引言 第一章概论 视觉是人类获取信息的主要来源 据统计 人类从外界获取的信息7 5 来自 视觉 l 随着通信技术和多媒体技术的发展 人们对信息传输的要求已经不再限 于语音和数据 视频通信已逐步成为数字通信网络的主要业务之一 视频点播 可视电话 视频会议 实时监控 远程教育等应用形式不断涌现 数字视频具有存储便利 图象质量好 易于编辑和提供新业务等优点 但其 数据量十分巨大 因此 对原始视频数据的压缩编码在视频通信系统中至关重要 从1 9 4 8 年提出视频数字化概念至今 视频编码压缩技术已经历了5 0 多年的发展 特别是近1 0 年来 图像编码技术得到了迅速发展和广泛应用 同时针对不同的 视频图像的编码制定了相应的图像编码国际标准 主要有 国际标准化组织 i s o 和国际电工委员会 c 关于静止图像的编码标准印e g j p e g 2 0 0 0 关于活动图 像的编码标准m p e g 系列 以及国际电信联盟 i m 制定的视频编码标准h 2 6 x 系列 2 h 2 6 舭a v c 是i s o 肛c 和i t u 两大国际标准化组织联手制定的新一代视 频编码标准 是当前图像标准中压缩效率最高的编码标准 并具有良好的网络适 应性 代表了目前图像编码技术的发展水平 随着多媒体技术的发展 视频 音频信息的处理水平越来越高 为嵌入式系 统的多媒体化创造了良好的条件 嵌入式系统的多媒体化将变成现实 这既为嵌 入式系统的发展带来了巨大的机遇 同时也提出了新的挑战 嵌入式技术与网络 通信和多媒体技术的相互融合是未来嵌入式产品的发展趋势之一 3 利用嵌入式 设备有限的系统资源高效地完成大数据量 高复杂度的实时视频采集与压缩编码 任务 是多媒体通信发展的必然要求 同时也将给人类带来各种各样新的体验 1 1 本文研究的背景和意义 近年来 随着数字通信技术和第三代移动通信网络的发展 多媒体通信尤其 是视频通信技术越来越成为人们研究的热点 视频信号的采集与传输是视频通信 系统中的关键环节 而对视频信源数据的压缩编码则是保证在有限的带宽条件下 传输高质量实时视频的必要前提 实现实时视频信息的采集和编码压缩 必须采 用高效能的器件和编码算法 否则很难达到系统的设计要求 h 2 6 4 a v c 是由 l t u t 的视频编码专家组 c e g 及i s o c 的活动图像专家组m 口e g 大力发展 基于h 2 6 4 的嵌入式实时视频采集与传输系统的设计与实现华东师范大学硕士论文 研究的 适应于低码率传输的新一代压缩视频标准 这一标准采用视频编码层 c l 和网络提取层 n a l 两层的层次设计 具有更高的编码效率和更强的网络 适应性 可广泛应用于数字媒体存储 可视电话 视频会议系统 视频点播 监 控系统 远程教学等各类视频通信系统 将h 2 6 4 标准应用于嵌入式视频采集与 传输系统 实现系统的小型化 智能化 使得系统更为灵活 在军事 工业 医 疗 科学探索 教育 商务等各种多媒体业务的应用领域具有更好的适应性 视频技术是未来几年嵌入式系统发展的排头兵 4 多媒体技术的发展既为嵌 入式系统的发展带来了巨大的机遇 同时也提出了新的挑战 嵌入式设备系统资 源 尤其内存资源相对有限 而且受嵌入式微处理器的主频限制 其运算处理速 度有限 这使得在嵌入式设备上高效地实现运算量巨大的视频压缩编码任务极具 挑战性 作为新一代高效的视频编码标准 h 2 6 4 的实时传输技术还没有得到系统深 入的研究 其嵌入式解决方案仍处于探索阶段 目前 h 2 6 4 的视频编解码及实 时传输主要有a s i c f p g a 等硬件解决方案和 d s p m c u 高性能单片嵌入 式处理器等软件解决方案 硬件解决方案虽然有高效率 高可靠性等优点 但开 发成本较高 设计周期较长 灵活性较差 基于 d s p m c u 的系统编解码速 度快 但成本较高 功耗较大 采用高性能单片嵌入式处理器来实现软件编解码 和系统智能化控制 则有低成本 低功耗 系统易维护和升级等优点 若根据处 理器的硬件体系结构对软件进一步优化 便可实现高效的运算 本文在对嵌入式 开发技术进行深入研究的基础上 提供一个基于单片嵌入式处理器的h 2 6 4 视频 实时采集与传输系统的解决方案 目前 单片嵌入式处理器的解决方案主要有基于c p u 与d s p 的双核处理器 和基于c p u 加多媒体协处理器两种 5 前者以美国德州仪器公司 t i 的o m a p 系列处理器为主流 使用删核心负责操作系统的运行和一些控制任务 用 d s p 核来处理一些数字处理密集型运算 后者以英特尔公司 n e l 的x s c a l e p 7 x 系列为主流 从工艺 指令集 分支预测 流水线 存储系统 多媒体 应用这5 个方面对删v 5 进行了改进与优化 使用无线s p e e d s t e p 节能技术 并集成了采用w h l e s sm m x 技术的多媒体协处理器单元 大大提升了处理器的 多媒体处理能力 3 本文在后者方案的基础上 利用自行构建的嵌入式l i n u x 开 发环境 针对x s c a l e 体系结构对h 2 6 4 视频压缩的部分关键算法在代码级进行 了优化 实现了基于r t p 觚c p 的流媒体技术的实时视频传输 2 基于h 2 6 4 的嵌入式实时视频采集与传输系统的设计与实现 华东师范大学硕士论文 1 2 本文创新点 本文的创新点主要有以下几点 1 针对x s c a l ep 墟7 0 处理器硬件特性 建立了符合删e a b i 标准的交 叉编译环境 并在l i o d 开发板上成功移植了l i n u x2 6 2 2 6 嵌入式操作系统 2 添加了u s b 网络摄像头驱动程序g s p c a 对l o g i t e c hq u i c k c a me a s y c 0 0 l 快 看灵讯版 摄像头的支持 并成功移植到l i o d 开发板上 3 设计了实时视频采集程序 并评估了摄像头及其驱动程序正常工作时采 集实时视频数据的性能 4 将h 2 6 4 开源编码器x 2 6 4 移植到嵌入式开发平台上 提出了面向应用的 优化的嵌入式视频编码方案 并结合p 墟7 0 处理器的硬件特性 对 2 6 4 进行 了编译级和代码级优化 满足了实时视频传输应用要求 5 利用开源软件v l c 搭建了基于s e r v e r c l i e n t 的h 2 6 4 实时视频传输系统 设计了基于l 锄 s o c k e t 的s e r v e r c 1 i e n t 服务程序 并在客户端p c 机上提供了 基于q 的g 舰操作界面 用于实现对嵌入式视频服务器的远程控制 1 3 论文的组织结构 本文由如下几部分组成 第一章介绍论文的研究背景 研究目标及意义 创新点以及论文的组织结构 第二章介绍了本课题的软硬件开发平台 先介绍了l i o d 开发板的硬件结构 后着重研究了嵌入式l i r r l l 开发技术 详细介绍了嵌入式l i l l u 开发环境的搭建 方法 以及嵌入式l i n u x 系统的构建与移植过程 第三章介绍了基于 o d 开发板的实时视频采集子系统的实现方法 主要包 括u s b 摄像头驱动程序的移植与配置 基于 d e 0 4 l i l l u 的视频采集应用程序 设计等 第四章介绍了h 2 6 a v c 视频压缩编码的关键技术 以及h 2 6 4 开源编解 码器x 2 6 4 在基于p 屹7 0 处理器的嵌入式l i i l u 平台上的移植与优化方案 第五章介绍了基于球的视频网络传输技术 并实现了一个基于开源软件 v l c 的实时视频采集与传输方案 设计了s e n r e r c l i e n t 服务程序 并对系统进行 了性能测试与分析 第六章对全文的工作进行了总结 并对进一步的研究开发提出了一些建议和 展望 基于h 2 6 4 的嵌入式实时视频采集与传输系统的设计与实现华东师范大学硕士论文 第二章嵌入式l in u x 开发平台 本章介绍系统的嵌入式软硬件开发平台 硬件平台选用深圳亿道电子技术有 限公司研发的基于p 心7 0 微处理器的l i o d 开发板 软件平台则选用性能卓越 开放源码 成本低廉和应用广泛的嵌入式l i n u 系统 本章重点探讨了嵌入式 l i n u 开发技术 详细介绍了基于l i o d 开发板的嵌入式l i n u 开发平台的建立过 程 包括交叉编译环境的建立 系统引导程序的实现 l i n u x 内核及设备驱动移 植 根文件系统的构建等 为后续的应用开发准备了良好的平台环境 2 1l i o d 开发平台介绍 2 1 1p a 2 7 0 微处理器嘲嘲啪 p 墟7 0 微处理器是i n t e l 推出的基于x s c a l e 微架构系列的第三代c p u 最 高主频可达6 2 4 m h z 并且针对电池供电的手持设备如p d a 智能手机等的应用 做了优化 是希望以较低的功耗完成计算和多媒体应用的产品的理想选择 x s c 猷e 核采用a r m v 5 t e 架构的处理器核 主要特点有 采用7 8 级超级流水线 增大了c p u 的指令吞吐量 提高了系统性能 提供转移目标缓冲器 b r a n c ht a r g e tb u 位r 具有良好的分支预测能力 较好 地避免了流水线的中断 使用动态电压管理技术 尽可能降低系统功耗 拥有c p 0 协处理器用于d s p 运算 还拥有c p l 协处理器用于无线m m x 指 令数据传输和状态控制 极大提高了处理器的多媒体处理能力 为内存管理单元m 抓7 提供各3 2 咖的指令和数据t l b l a t i o n l o o k 嬲i d eb u 每神 提高了虚拟地址到物理地址的转换效率 提供8 咖的写缓冲器 分别提供3 2 k 3 2 路的指令i c a u c h e 和数据d c a c h e 有效地提高了c a c h e 的命中率 p 址7 0 微处理器在x s c a l e 核的基础上 集成了2 5 6 k 片内s 气m d m a 控制器以及众多外设控制模块 包括可支持s d r a m n o rf l a s h 和v l i o 等 在内的存储器控制器 可直接连接图像传感器的快速捕捉接口 l c d 控制器 u s b 控制器 p c m c l a s d 小心嗄c 卡控制器 1 2 c 接口 a c 9 7 控制器 u 触盯控 制器等 丰富的控制模块为各种应用开发提供了强大的灵活性 僦7 0 微处理 器总的框图如图2 1 所示 4 基于k 2 6 4 的嵌入式实时视频采集与传输系统的设计与实现 华东师范大学硕士论文 l c o 图2 1p a 2 7 0 微处理器总的框图 f i g u 婵2 1p x a 2 7 0p r o c 曙s o rb l o c kd i a g r a m 2 1 2lio d 开发板介绍 l i o d 开发板 8 是由亿道电子技术有限公司研发的一款高端嵌入式开发平台 它采用硫e 1x s c a l ep 屹7 0 嵌入式处理器 配备了大量外设资源 能够充分发 挥出p 心7 0 这款高性能处理器的优势 构成了一个良好的开发环境 l i o d 开发板中对p 地7 0 处理器的供电可使其主频高达5 2 0 m i z 采用核心 板 底板设计方式 增强了功能扩展的灵活性和丰富性 并提供完善的功能接口 支持锂电池供电 可直接面向实际产品开发 开发板供应商同时提供i i n u x2 4 2 l 和w m c e5 o 双操作系统的完善支持 l i o d 开发板具有高性能 低功耗等优点 是面向多媒体应用 导航设备 车 载娱乐 医疗设备 便携式智能p d a 人机交互界面 瑚m 仪器仪表 智能 手机等领域的一种高端嵌入式开发平台 用户可以在l i o d 板上开发各种软件功 能 也可以作为开发嵌入式系统应用产品的样机 l i o d 开发板以p 心7 0 微处理器为核心 主要配备了以下硬件资源 6 4 i bs d r a m 基于h 2 的嵌入式实时视频采集与传输系统的设计与实现华东师范大学硕士论文 3 2 m bb l t e ls 臼 a t a f l a s h 同步存储器 1 0 1 0 0 m 以太网卡及接口1 个 i a r t 口 全功能i f a r t 蓝牙1 7 a r t 标准1 7 a r t 口各1 个 u s bc 1 i e n t 口1 个 u s bh o s t 口2 个 m m c s d 卡插槽1 个 c f 卡插槽1 个 s 聊卡插槽1 个 r t c 实时时钟 l c d 接口及p v i6 4 英寸l c d 屏 4 线电阻式触摸屏1 个 音频编解码器 a c 9 7c o d e c 带m c l n e 烈及h e a d p h o n e 插孔 用户可编程的按键和l e d s 2 2 嵌入式l i n u x 系统的构建 2 2 1 嵌入式l in u x 简介 嵌入式系统是以应用为中心 以计算机技术为基础 软硬件可裁减 适用于 应用系统 对功能 可靠性 成本 体积 功耗等方面有特殊要求的专用计算机 系统 9 嵌入式l i n u x e n l b e d d e dl i n l 是指对标准l m u x 经过小型化裁减处理之 后 能够固化在容量只有几k b 或几m b 的存储器芯片或者单片机中 适合于特 定嵌入式应用场合的专用l i n u 操作系统 1 0 1 早期的嵌入式系统由于功能比较单一 所需管理的任务与系统资源很少 几 乎不需要与用户互动 因此没有引入操作系统 但随着嵌入式系统变得越来越复 杂 所需支持的特性也日益增长 势必要求由操作系统来实现多任务 多线程 多进程功能以及提供内存管理 进程间通信 时钟等服务 早在1 9 9 6 年 m i c h a e l b a r a b a n o v 和 c t o ry 0 d a i k e n 就在其研究项目中引入了l 证u x 作为实时嵌入式系 统的操作系统 1 1 1 随后 i m l i i i u x u c l 研u x r 1 等众多研究项目相继涌现 i n t e l i b m n e c 等各大著名处理器厂商及m o n t a s t a l i n e o t i m e s y s l 弘u x w 0 r 1 s 等各大嵌入式开发软件供应商也对嵌入式l i l l u x 的开发做了大量的 投入 经过十余年的发展 嵌入式l 妇 日趋成熟 并成为嵌入式产品市场上主 流的操作系统之一 嵌入式l i n u x 的迅速发展与广泛应用与以下优良特性 3 1 0 1 1 密不可分 6 基于h 2 6 4 的嵌入式实时视频采集与传输系统的设计与实现华东师范大学硕士论文 1 广泛的硬件支持 i i 伽x 能够支持x 8 6 a r m 包括x s c a l e m d s a l p h a p o w e r p c 等多种体系结构 并有异常丰富的驱动程序资源 支持各种主流硬件设 备和最新硬件技术 2 内核高效稳定且可裁减 l i l l u x 内核的高效稳定已在各个领域内得到了大 量实事的验证 l i i l u 的内核设计分成进程调度 内存管理 进程间通信 虚拟 文件系统和网络接口等5 大部分 其独特的模块机制可以根据用户的需要 实时 地将某些模块插入内核或从内核中移走 这些特性使得l 姗u 内核可以裁减得非 常小巧 很适合嵌入式系统的需要 l 妇 内核还提供符合p o s 标准的系统调 用接口 增强了应用程序的可移植性 3 开放源码 软件丰富 l i n u 是开放源代码的自由操作系统 这使得全世 界的自由软件开发人员都参与到l i n u x 内核和应用程序的开发中来 也使得 l i n u x 开发人员可以得到最广泛的技术支持 l 证u 的软件资源十分丰富 在开 发l 讪x 嵌入式应用软件时 往往可以一个类似的自由软件作为原型来进行二次 开发 提高开发的效率和质量 4 完善的网络通信和文件管理机制 i 抽u x 自诞生之日起就与i n t e m e t 密不 可分 支持所有标准的 m e t 网络协议 并且很容易移植到嵌入式系统当中 此外 i 洒1 x 还支持e x t 2 蠡鹕2 r o m f s j 伍2 r a 丑f s 等文件系统 为开发嵌入 式系统应用打下了良好的基础 5 产品开发的软件提供商丰富 上市时间短 成本低 有多个优秀的商业版 嵌入式l i n 可供选择 软件提供商提供各种模块及开发工具包 文档支持等全 套服务 使嵌入式开发变得更加简单 有效 此外 开发者还可根据所选定的硬 件平台和所需的功能 对标准l i n u x 内核进行裁剪修改 构建嵌入式l 衙u 系统 和交叉编译工具 l 血 2 6 内核引入了诸多适合嵌入式应用的新特性 1 2 1 3 新内核在一定程 度上可被抢占 相对2 4 内核极大缩短了中断响应和任务响应时间 提高了内核 的实时性 l 油u 2 6 内核采用新的调度算法对任务进行调度 即使在高负载情 况下也能对任务高效地调度 采用新的同步原语对进程 线程进行同步 并使用 m m a 科o n 啦f 0 衄m e m o 巧a c c e s s 管理方法来解决内存抢占瓶颈 提高吞吐 量 支持n p t l n a i i v ep o s n 啪a d i n gl i b r a 劝 提供p o s 信号和p o s 高 精度定时器 新加入包括无m m u 处理器在内的多种微控制器的支持 提供了多 种新技术的支持以实现各种应用开发 如 d e 0 4 l h 和a d v a n c e dl i n 1 1 s o u n d 觚k t e 靠聪m s a 等 对多媒体信息处理更加方便 对u s b2 o 的支持 提供 更高速的传输 在2 6 内核中还可以配置成无输入和显示的纯粹无用户接口系统 这些优良特性使2 6 内核已经成为嵌入式l 证u x 系统的主流 7 基于h 2 6 4 的嵌入式实时视频采集与传输系统的设计与实现 华东师范大学硕士论文 嵌入式i i 玎1 1 x 系统的开发基本流程 3 首先在宿主机上建立交叉编译环境 然后移植l m x 的引导程序到目标板 最后构建嵌入式l 讪x 系统并移植到目标 板 构建嵌入式l i n u x 系统主要包括对内核进行裁剪和配置 根据实际的硬件系 统进行内核和外设驱动程序的移植开发 以及构建l 曲 的根文件系统 2 2 2 交叉编译环境的建立m 建立嵌入式l 证u x 开发环境主要就是安装交叉编译的工具链 t 0 0 1 c h a 蛐 交叉 编译工具链是在编译程序时用到的一系列工具 例如编译器 汇编器 链接器等 从编译器的角度进行软件优化是嵌入式软件优化的重要一环 优良的工具链可针 对处理器硬件特性编译得到优化的二进制代码 这对于充分发挥处理器性能 提 高程序执行效率 保证程序的兼容性等都至关重要 本章所建立的交叉编译工具链具有如下特点 使用最新版本的软件包和内核 包括b i l l u t i l s 2 1 8 g c c 4 2 1 g l i b c 2 6 1 9 1 i b c p o r t s 2 6 1 和l m u h e a d e r s 2 6 2 2 6 及其相关补丁 支持n p t l n 撕v ep o s m e a d i n gl i b r 线程模型 l h m x2 6 内核引入了 对n p t l 的支持 n p t l 是l i n u x 线程的一个新实现 它克服了旧的 l m x m e a d s 线程模型在信号处理 调度和进程间同步原语等方面的缺点 同时也符合p o s 的需求 在性能和稳定性方面提供了重大改进 1 5 遵循新的a r mb 蛆i d b e d d e da p p l i c a t i o nb 砬叫i n t i r f a c e 标准 1 6 1 7 f 1 8 删公司于2 0 0 3 年1 2 月发布了删a b i v 1 于2 0 0 5 年第一季度发布了 删a b i v 2 标准 即e a b i 邑气b i 是一系列标准 它定义了编译器 汇编 器 链接器及其它工具生成目标文件和可执行文件时的规范 用以实现工具 链间的互通操作 缸e r o p e m t e 即只要遵循该规范 不同工具链所产生的目 标代码可以链接 合并和互相调用 e a b i 也是q 唧b 蛆if o r l 证u x 中的一 个分支 它在浮点运算性能 结构体封装 工具链间的兼容性 系统调用效 率上都有很大改进 目前可支持削u 细4 t 灿u v 5 t 及以上架构的处理器 针对x s c a l ep 蛇7 x 处理器基于a r m v 5 t e 架构 无硬件浮点运算单元 支 持i n t e l 无线m m x 指令集等的特性 对工具链进行了优化 使用该工具链所编译得到的应用程序只能运行于l i n u x2 6 1 4 及其以上版本 的内核 通过牺牲工具链对旧的l 姗眍内核版本 如2 4 的兼容性 提高了目 标文件的执行效率 实际上 l 讨u 2 6 1 6 是第一个同时支持删b 镪i 和 n p t l 标准的内核版本 因此没有必要保留工具链对旧版本内核的兼容性 手工建立交叉编译工具的过程繁琐 相当费时费力 而且非常容易出错 本 文使用c r o s 咖o l 1 9 工具包来建立交叉编译工具链 c r o s 咖o l 是d a nk e g e l 等人开 8 基于h 2 的嵌入式实时视频采集与传输系统的设计与实现华东师范大学硕士论文 发的一套自动建立l i r r 呔交叉编译工具链的自由软件 支持多种处理器体系结 构 m a l l 缸m y 为c r o s s t 0 0 1 0 4 2 提供了一个用于建立符合删 b i 标准的工 具链 2 0 的c r o s 咖0 1 0 4 2 m 薛 p a t c h 本文用它来建立工具链 c r o s s t o o l 是一系列脚本和配置文件 a 1 1 s h 接收c p u d a t 中设置的参数值和 g c c 酉i b c d a t 中设定的软件包版本信息 并设置b 切巴dd 瓜 s r cd m p i 冱f g c ch o s t 等内部变量的值 检查要下载 解压缩和打补丁以及要编译的软件 包 清除和建立相关目录 调用g e t a l l d p a t c h s h 脚本自动下载所需的软件包到 b l dd 取并打补丁 最后调用c r o s s t 0 0 1 s h 脚本自动建立t 0 0 1 c h a i l l 本文采用 网上下载相关软件包并打补丁的办法 建立工具链的主要步骤如下 1 编辑锄 i w m m x e a b i d a t 文件如下 t a r g e t 锄 i w m m x t 1 i n u x g n u e a b i t a r g e t c f l a g s o g c c e x t rac o n f i g 一谢m f l o a f s o r h v i n m x t e n a b l e c x x n a g s 一m s o f t f l o a t g l i b c e x t t c o n f i g 一晰也o m 一邱一d i s a b l e l i b u n w i l l d e x c 印t i o n s g l i b ce x t r ac ca r g s f i i l l i n e 1 i m i 卢10 0 0 0 u s es y s r o o t 1 其中 吖姗t 的值必须以a m 开头 因为c r o s s t o o l 会依此来解析 a r c h 的值 k c 的c o 血g u r e 文件也要根据 瓜g e t 来裁决 如果要编译支持删 b 蛆i 标准的t o o l c h 血 口水g e t 应以a m 木 1 证呱 鲫e a b i 形式出现 2 编辑g c c 9 1 i b c d a t 文件如下 9 基于h 2 6 4 的嵌入式实时视频采集与传输系统的设计与实现 华东师范大学硕士论文 4 修改a 1 1 s h 由于是网上下载软件包 因此必须注释掉调用g e t a l d p a t c b s h 的相关语句 还可根据需要设置工具链安装的顶层目录p r e f 在此设置为 p r e f i 孓 r e s l tt o p 5 修改c r o s 哟0 1 s h 在安装内核头文件时 添加 c p r 近c l u d e a s m g e n 商c 玎三a d e i m a 锄 g e n e r i c 避免在编译时找不到相关头文件 注释掉修改 g c ch o s t 的语句 保持g c ch o s t c o 血g g u e s s 爿6 8 6 p c 1 证u x g 叽 防止 在编译时找不到宿主机的c c 而出错 完成对c r o s s t o o l 工具包的上述定制后 从网上下载所需的源码包并解压到 s r cd 瓜指定的目录 然后打好补丁 在终端下输入命令 s h a 衄 i w m m 烈 e a b i s h 编译和安装t 0 0 1 c h a i l l 安装完成后 应编辑 h o m e b 2 l s hp r o f i l e 将交叉编译工具的搜索路径加入 p 删环境变量中 完 成交叉开发环境的搭建 2 2 3 系统引导程序的移植 2 2 3 1b o o t i o a d e r 原理 b o o u o a d e r 是在操作系统内核启动之前所需运行的一段小程序 主要完成系 统的加载和启动 b o o t l o a d e r 程序实现硬件设备初始化 建立内存空间的映射图 将系统的软硬件环境带到一个合适的状态 以便为最终调用操作系统内核准备好 正确的环境1 2 通常 在嵌入式l i n u x 系统中 引导用f l 曲存储器会被按顺序分为如图2 2 所示的几个区域吲 1 卜 从低地址到高地址方向 图2 2 嵌入式l i n u x 的f l a s h 分区 f i g u n 2 2e m b e d d e dl i n u xf i a s hm e m o r yp a r t i 饷n s 对于l i n u 系统来说 内核和根文件系统是必需的 启动参数是可选的 在 编译l i n l 内核时 可以指定默认的启动参数 对于l 讪x 操作系统 b o o t l o a d e r 完成的任务主要有 初始化处理器及外设的硬件资源配置 通常 嵌入式处理器在上电复位 1 0 基于h 2 6 4 的嵌入式实时视频采集与传输系统的设计与实现华东师范大学硕士论文 以后 外部 引脚都处于输入状态 处理器上的片内和片外设备资源 也都需要配置 如s d 删及其控制器的正确配置等 建立内存空间的映射图 将系统的软硬件环境带到一个合适的状态 为 调用操作系统内核准备好正确的环境 多数b o 础o a d e r 程序结构简单 不需要开启m m u 作复杂的虚拟地址映射 但删的m m7 同时管理 了数据缓存 c a c h e 这时可使用平板映射 f l a t 映射 即虚拟地址和物 理地址一一对应的映射 开启砌m f 以开启数据缓存 加速启动过程 装载操作系统到内存中 这是b o o u o a d e r 程序所完成的主要工作 主要 的装载方式有 从串口或者网络装载系统 从非易失性存储器 主要是 f 1 a s 舢中装载系统 对f l a s h 编程 b 0 0 n o a d e r 可把下载