（信号与信息处理专业论文）嵌入式实时视频传输系统的设计与实现.pdf

内蒙古大学硕士学位论文 嵌入式实时视频传输系统的设计与实现 摘要 嵌入式实时视频传输系统广泛地应用于安全防卫 交通管理等众多领域 具有良好的市场前景 本设计基于d m 6 4 4 6 嵌入式硬件平台 采用与3 g 网络兼 容的r t p 协议实时传输高质量的h 2 6 4 视频流 实现视频图像实时流畅地传输 论文提出了一种基于删 d s p 双核处理器构架的d m 6 4 4 6 嵌入式硬件平 台 详细讨论了u b 0 0 t 和l i n u x 内核在d m 6 4 4 6 开发板上的移植方法以及n f s 文件系统的挂载 探讨了d a v i n c i 软件c o d e ce n g i n e 机制及v i s a 调用的过程 设计出系统软件开发框架 系统由发送端和接收端两部分组成 发送端在基于d a v i n c i 技术的d m 6 4 4 6 开发板上实现 采用l i n u x 多线程编程技术 使该系统能实现视频采集 h 2 6 4 编码和r t p 网络传输等功能 接收端在w i l l d o w s 操作系统上通过网页嵌入v l c 播放器a c t i v e x 控件实现流媒体数据的接收 解码与播放 最终完成了发送端的 实时视频采集编码传输和接收端的软件设计 配置完成发送端和接收端 并对本文所开发的实时视频传输系统的性能进 行了测试和分析 实验结果表明系统运行稳定 实现了视频的实时传输 通过 对实验数据的分析 对视频传输原理有了更深入的掌握 关键词 实时视频传输 h 2 6 4 r t p d a v 洫c i 嵌入式系统 3 g 网络 黪内蒙古大学硕士学位论文 糯s i g na n di m p l e m e r a h j o j n o fe m b e d d e dr e a l 嗍 e m b e d d e dr e a l t i m ev i d e o 打a n s m i s s i o ns y s t e mi sw i d e l yu s e di nm a n ya r e a so f s e c u r i 秒d e n s ea n d 舰m cm a n a g e m e n t 内rg o o dm a r k e tp r o s p e c t t h ed e s ig i l t h a t b a s e do nd m 6 4 4 6e m b e d d e dh a r d w a r ep l a t f o r m u s i i l gt h er t p p f o t o c o lc o i i p a t i b l e w i t h3 gn e t w o r ka c h i e v e dr e a l t i m e仃a n s m i s s i o no f h i g h q u a l i 够 h 2 6 4 v i d e os t r e 锄a 1 1 dv i d e oi m a g ei nr e a lt i l i l et ot r a i l s 佗rs m o o m l y t h ep a p e rp r o p o s e dd m 6 4 4 6e m b e d d e dh a r d w a r ep l a t f o mb a s e do na r m d s pd u a l c o r ep r o c e s s o ra r c h i t e c t u r e t h e n m e 仃a l l s p l a l l t a t i o nm e t h o do ft h e u b o o ta n dl i n u xk e m e la n dn f sf i l es y s t e m sm o u n t e di nm ed m 6 4 4 6b o a r dw e r e d i s c u s s e di n d e t a i lc o m b i n e dw i t hm e s y s t e m h a r d w a r ea r c h i t e c t u r e a 舭r a b o v ew o r k c o d e ce n g i n em e c h a n i s ma n d s ac a up r o c e s si nd a v i n c is o 矗 w a r e w e r ed i s c u s s e da 1 1 dd e s i g n e dm ed e v e l o p m e n t 在锄e w o r ko fs y s t e ms o 胁a r e t h e s y s t e ma p p l i c a t i o np r o 伊a mw a sd e v e l o p e d t h es y s t e mc o n t a i n st h e s e n d i n g e n da n d r e c e i v i n g e n d 1 1 1 e s e n d i n g e n dw h i c hb a s e do n d a v i n c id m 6 4 4 6b o a r du s i n gl i n u xm u l t i t h r e a dp r o 铲锄m i n gt e c h i q u e s e n a b l e s 肉蒙古大学硕 学位论文 v i d e oc a p t u r e h 2 6 4c o 婶r e s s i o na n dr t pn e 帆o r kt r a n s m i s s i o n t h e 托c e i v i i l ge n d a c h i e v e dr e c e i v i n g d e c o d i n ga n dp l a y b a c ko fs t r e a m i n gm e d i ad a t ab ye m b e d d i n g v l cp l a y e ra c t i v e xc o n t r o lt ow e bp a g ei nm ew i n d o w so p e r a t i n gs y s t e m t h e r e a l t i m ev i d e oc a p t u r e e n c o d i n g 钮a n s m i s s i o no ft h es e n d i n ge n da n dm es o f t w a r e d e s i g i lo fr e c e i v i n ge n dw e r ec o m p l e t e di nt h i sp a p e r t h ep e r 内r m a n c eo fr e a l t i m ev i d e ot r a i l s m i s s i o ns y s t e md e v e l o p e di nt l l i sp a p e r w e r et e s t e da n da n a l y z e da f t e r c o n 丘g u r i l l gt h es e n d i n ge n da n dr e c e i v i n ge n d e x p e r i m e n t a l r e s u l t ss h o wt h a tt h e 巧s t e m w a sr u n e d s t a b l y r e a l t i m e t r a n s m i s s i o no fv i d e ow a sr e a l i z e d v i d e o 纽a l i s m i s s i o np r i n c i p l ew a sd e 印l y 铲a s p e d b ya n a l y s i so fe 币e r i m e n t a ld a t a x e y w o r d s r e a l t i m ev i d e ot m s m i s s i o n h 2 6 4 r t p d a v i i l c i e n l b e d d e d s y s t e m 3 gn e t w o r k l 霉内蒙古大学硕士学位论文 第一章引言 1 1 研究背景及意义 嵌入式实时视频传输系统己成为当今数字视频研究领域的热点 实时视频传输技术以其 直观 准确 及时和信息内容丰富而广泛应用于安全防卫 交通管理 商业服务等众多领域 具有良好的市场前景l 近年来 受到世界互联网技术的总体发展影响 我国的网络环境也随之进一步的加速了 自身的发展 从无线3 g 的放号 到近期网络带宽的扩容与资费的下降 似乎这一两年里的 网络发展跨度已经大大超过了此前数年迈出的步伐 因此 这也为实时视频传输系统的推广 创造了非常重要的前提 与此同时 嵌入式技术也在迅速发展 高性能 低功耗的嵌入式平 台不断推出 嵌入式实时视频传输系统是由嵌入式处理器 嵌入式操作系统 可裁剪软硬件 等组成的专用计算机系统 是集多媒体信息处理 计算机的交互性 通信的分布性和传输的 实时性等技术于一体的综合系统 2 如何在现有的技术水平和硬件条件下 实现合理 优化 实时的视频监控产品一直是近 年来信号处理领域关注的话题 因此 将稳定的多媒体处理器 流媒体压缩技术和实时流媒 体传输技术相结合 实现高效的数字视频监控平台有着较高的工程意义和市场价值 本设计基于d a v i n c i 嵌入式硬件平台 搭载周边视频采集c c d t v p 51 5 0 等相关硬件 采用与3 g 网络兼容的r t p 传输协议 实时传输高质量的h 2 6 4 视频流 实现了视频图像实 时 清晰 流畅地传输 设计还需克服无线网络带宽窄 信道不稳定等不足 使该实时视频 传输系统通过无线移动通信网接入因特网 实现广域环境下实时 无线的反映监控现场 该 系统架构在公共信息基础设施上 让用户再一次享受到现代文明的高科技成果 并充分享用 了快速发展的无线移动通信网和因特网所带来的巨大的经济 社会效益 1 2 课题相关技术介绍 黪内蒙古大学硕士学位论文 一l 本文综述了嵌入式实对视频传输系统的发展背景 针对目前视频传输出现的问题 提出 了嵌入式实时视频传输系统设计的相关技术 d a v i n c i 技术 h 2 6 4 编码技术 与3 g 兼容的 r t p 传输技术 1 2 1d a n c i 技术 基于d a v i l l c i 技术的t m s 3 2 0 d m 6 4 4 6 处理器是专门面向视频编解码应用而设计 具备独 特的d s p 址u 双核架构 专用的视频处理予系统 具有完善的视频开发c o d e ce n g i l l e 机制 接口丰富 在视频开发方面性能优异 故选用该芯片作为视频编解码算法的实现平台 删 处理器通过运行l i n u x 操作系统来对系统进行整体控制及对d s p 算法的调用 d s p 处理器做 视频处理算法 本课题中删端负责视频采集 视频传输 d s p 核单独完成视频h 2 6 4 压 缩编码 它们之间的交互是由c o d e ce n g i l l e e r 完成 这样算法端的用户只需编写各种编解码 算法 控制端用户只需编写控制程序 双方不需要关心算法和控制程序之间是怎样通信的 这样算法程序员和控制程序员可以很好的进行分工协作 尽可能降低用户的开发难度和开发 周期 因此 基于d a v i n c i 技术的多媒体处理芯片在市场上得到了迅速的推广 3 o 1 2 2 丑左6 4 原始视频信号的数据量巨大 受限于网络带宽限制及传输效率等因素 将其直接传输非 常困难 必须在存储和传输之前对原始视频信号进行适当的压缩处理 以降低存储容量和传 输带宽 才能满足视频传输的需要 提高系统的效率 本设计采用h 2 6 4 压缩编码 h 2 6 4 视频压缩标准具有许多优点 在同等图像质量下 采用h 2 6 4 技术压缩后的数据 量比其他的视频压缩标准低 而且图像质量更加流畅 连续 h 2 6 4 提供了网络适应层 n e 呐o r k a d a p t a t i o n l a y e r 使得h 2 6 4 文件能容易地在不同网络媒介上传输 例如互联网 c d m a g p r s w c d m a c d m a 2 0 0 0 等 且具有很好的网络适应能力和容错能力 由于h 2 6 4 标准具有良好的编码效率 图像质量 网络适应性和抗误码能力 成为目前视频编码的主流 4 1 h 2 6 4 的结构分为视频编码层 v c l 和网络抽取层科a l v c l 可以有效地表示视频内 容 n a l 用于对v c l 层的视频内容进行格式化 并提供头信息 内蒙古大学硕士学位论文 一一 重 2 3 m p 传输拚议 实时传输协议r t p r e a i t i m et r a n s p o r tp r o t o c 0 1 是针对i n t e m e t 上多媒体数据流的一个传 输协议 由i e t f i n t e m e t 工程任务组 作为r f c l 8 8 9 发布 i u p 协议用来传输具有实时特点的 数据 提供端到端的实时数据传输服务 r t p 数据通常采用u d p 和i p 封装 5 利用u d p 的 多路复用及校验和服务共同完成实时数据传输功能 用户数据报协议u d p 建立在l p 协议基 础上 提供了一种面向无连接的 不可靠的数据传输服务 适合传输对实时性要求较高的数 据 本系统的实时视频传输功能也是采用基于u d p 的r t p 协议来实现的 r t p 分组由r t p 首部 i h ph e a d e r 和r t p 负载 r t pp a y l o a d 两部分组成 r t p 协议从应用程序获取到多媒体 码流 加上r t p 报头后交给u d p 协议 u d p 为其加上u 1 p 报头后再交给i p 协议 i p 加上 i p 报头后通过i n t e m e t 或者3 g 移动通信网络传输实时视频数据 注意i p 协议的最大传输单 元m t u 值是1 5 0 0 字节 6 o 1 3 主要研究工作及论文结构安排 本文在基于d a v i n c i 技术的t m s 3 2 0 d m 6 4 4 6 平台上实现了无线视频传输 提出了一种合 理高效的系统解决方案 在该系统中 我们实现了在发送端对采集的视频进行h 2 6 4 压缩 i h p 传输 接收端对实时视频图像播放等过程 在整个基于d i l l c i 的t m s 3 2 0 d m 6 4 4 6 平台 的无线视频传输系统中 主要工作包括 1 以t i 的t m s 3 2 0 d m 6 4 4 6 芯片为核心 阐述了其a r m d s p 双核处理器构架 分析 了双核间资源分配及通信方式 提出一种基于d a v i l l c i 技术的嵌入式硬件平台 2 系统软件的运行首先需要b o o t l o a d e r 代码的引导 本文从u b o o t 的启动流程入手 结合系统硬件结构 详细讨论了u b o o t 和l i n u x 内核在d m 6 4 4 6 开发板上的移植方法以及 n f s 文件系统的挂载 在完成以上工作后 探讨了d a v i n c i 软件c o d e ce n g i n e 的机制及v i s a 调用的过程 设计出系统软件开发框架 3 发送端在基于d a v i l l c i 技术的d v e v m 达盛公司提供 开发板上实现 基于l i l l u x 多线 程编程技术 开发出系统应用程序 从而使该系统能实现视频采集 h 2 6 4 压缩和r t p 网络 传输等功能 其中重点是发送线程获取并解析数据缓冲中n a l 单元方式 即每次循环获取一 帧编码后的h 2 6 4 视频数据 并且封装成i u p 包发送 肉蒙古大学硕士学位论文 4 接收端在w i n d o w s 操作系统上通过网页嵌入v l c 播放器a c t i v e x 控件实现流媒体数 据的接收 解码与播放 5 配置发送端与接收端 系统实现了视频画面实时流畅的传输 最后对实验数据记录分 析 论文结构安排如下 第一章 引言 阐述了课题的研究背景及意义 以及相关技术的介绍 第二章 基于d 矗v i n c i 的嵌入式系统构建 介绍d a v i l l c i 技术和系统硬件平台 对d a v i l l c i 平台的初始化过程做了详细研究 包括u b o o t 和内核的编译烧写 根文件系统的挂载 最后 探讨d a v i n c i 的c o d e ce n g m e 机制 第三章 系统总体架构及关键技术研究 首先介绍了整个系统的组成框架 然后将其分 为发送端和接收端分别研究 发送端采用l i l l u x 多线程编程技术实现应用程序设计 包括视 频采集 编码 传输 接收端包括网页嵌入v l c 播放器a c t i v e x 控件相关技术 第四章 系统测试与应用 包括发送端配置 接收端配置 对系统整体性能进行测试分 析 第五章 对全文的工作进行了总结 作出结论 并对下一步工作进行了展望 4 渗内蒙古大学硕士学位论文 第二章基于d a c i 的嵌入式系统构建 基于d a v i n c i 技术的嵌入式硬件平台的构建是实现实时视频传输系统的硬件支持 因而 也是本设计的基础 本章首先说明了嵌入式开发环境的构建方法 接着简要介绍了基于 d a v m c i 技术的嵌入式硬件开发平台d v e v m d i g i t a lv i d e oe v a l u a t i o nm o d u l e 数字视频评估 模块 开发板 然后结合硬件完成d a v i n c i 平台的初始化 最后分析了d a v i n c i 的软件开发架 构 2 1 嵌入式开发环境构建 本设计选用砌s c 处理器加数字信号处理器 d s p 方案 该方案通常选用一片a r m 处理 器和一片d s p 处理器 因此t i 公司的t m s 3 2 0 d m 6 4 4 6 处理器无疑是最佳选择 本系统选用 以d m 6 4 4 6 处理器为核心的d a v i l l c i 硬件开发平台 即数字视频评估模块d v e v m 本文基于d v e v m 进行视频传输系统开发的环境如图2 1 所示 d v e v m 开发板上运行 m o n t a v i s t al i n u x 操作系统 宿主机上运行r e dh a tl i l l u x2 6 系统 同时d v e v m 开发板和 宿主机通过r s 2 3 2 串口线连接 并且接入同一个局域网 集线器或交换机 图2 1d v e 订开发环境示意图 f i g 2 1t h ed e v e l o p m e me n v i r o n 瑚e n td i a 孕锄o fd v m 黪内蒙古大学硕士学位论文 一 一 d v e v m 开发板默认将d m 6 4 4 6 的串臼配置为系统运行时的超级终端监视口 即d m 6 4 4 6 的u b o o t 启动 直至m o n ta l v i s t al i n u x 操作系统启动完成 都可以通过串口接收操作系统打 印的信息 并可以通过串口给操作系统输入命令 因此通过宿主机w i i l d o w s 系统下的超级终 端即可实现对d v e v m 板进行控制 宿主机r e dh a tl i l l u x 系统给d v e v m 扳提供一个软件开发 交叉编译的环境 包括开发 编译d v e v m 板的操作系统和应用程序 同时 d v e v m 需要l i i l u x 宿主机通过t f t p 或者 f t p 等方式提供下载内核和n f s 文件系统服务 n f s 烈e t l o r kf 订es y s t e m 网络文件系统 是一种允许透明文件共享的技术 这种共享出 现在通过局域网连接的l i i l u x 系统之间吼将m o n t av i s t a 提供的文件系统安装在l i l l u x 主机 上 并开通n f s 服务器 这样d v e v m 板就可以通过n f s 共享这个文件系统 并将其当作 自己的文件系统 2 2 1d 舳d 技术 2 2d a 恤c i 硬件平台架构 d 蠢v i i l c i 技术是t i 德州仪器公司 为数字视频处理及应用所提供的一套解决方案 d a v i n c i 平台最大的特点就是基于d s p 与删的s o c 芯片 和与之相关的软件 对d a v i l l c i 平台 t i 公司在硬件上给予双核架构强有力的支撑 在d s p 端用d s p b i o s 来支持音视频算法的运 行 在删端用m o n t av i s t al i i l u x 来支持其对外设的管理和控制 这样的架构使得d a v i n c i 芯片既拥有了对数据信号的高速处理能力 又具有了对芯片外设的强大管理功能 非常适合 于高端多媒体平台 对于a r m 与d s p 之间的数据交互 则用c o d ee n g i n e 和c o d e cs e r v e r 来加以管理 8 d a v i l l c i 技术还提供了开发数字视频所需的应用编程接口 a p i a p p l i c a t i o np r o g r a h h n i i l g i n t e r f a c e 以及针对视频 图像 音频 语音处理算法的标准库 使开发者能更快 更容易 地实现多媒体应用程序 9 通过应用编程接口 开发者可以直接调用已经编写好的 符合接 口标准的d s p 库函数来实现编码 解码的功能 而不必再去关注编解码实现的具体细节 这 样就使得开发者可以集中精力于多媒体应用程序的开发 把更多的时间花费在视频程序的后 续开发和功能扩展上 应用编程接口a p i 将具体的应用程序和底层的硬件 驱动细节分离开 6 一 内蒙古大学硕士学位论文 二 一 来 大大提高了代码的可移植性 开发者只需修改少量的应用程序代码就可以把现有的应用 程序很容易地移植到新的平台和操作系统上 基于d a v i n c i 平台的先进性 对高端音视频系 统来说 无异于是开发平台的最好选择 2 2 2e i d m 6 4 4 6 达芬奇开发套件 本课题硬件系统采用北京精仪达盛科技有限公司的e l d m 6 4 4 6 达芬奇开发套件 实验 箱外观图如图2 2 所示 其核心板是t i 推出的基于d m 6 4 4 6 数字视频双层电路板 核心板 c p u 是t m s 3 2 0 d m 6 4 4 6 芯片 系统资源如下 图2 2d m 6 4 4 6 实验箱外观图 f i g 2 2t h ea p p e a r a n c eo fd m 6 4 4 6e x p e r i i l l e n t a l b o x 1 e l d m 6 4 4 6c p ub o a r d c p u t m s 3 2 0 d m 6 4 4 6 d s p 主频 5 1 3 5 9 4 m h zc 6 4 x t m a r m 主频 2 5 6 5 2 9 7 m h z a r m 9 2 6 e j s t m l 内存d d r 2 5 6 b n o r f l a s h 3 2 m 2 e l d m 4 4 6d v e v mb o a r d 音频 1 路输入 l 路输出 视频 2 路视频输入 4 路视频输出 内蒙古大学硕士学位论文 o 一一 c f 卡接圈 s d 卡接口 主 从u s b 接口 4 4 针硬盘接口 愆3 2 串口 标准r j 4 5 1 0 m l o o m 以太网接口 8 位l e d 灯 3 数字彩色c c d 摄像头 液晶电视 2 2 3 核心芯片 m 2 伽删晦i 拍处理器 系统硬件平台c p u 采用达芬奇t m s 3 2 0 d m 6 4 4 6 处理器 d m 6 4 4 6 采用a r m d s p 的双 核架构 主要应用于下一代嵌入式网络多媒体的编解码处理 处理器内部还集成了为加速数 字视频开发而专门设计的协处理器引擎和支持多媒体应用的多种外设接口 另外还有电源管 理模块 外部存储器接口 外围控制模块和交换中心资源 满足嵌入式多媒体通信终端对高 标准的视频等多媒体业务开发的应用需求 c p u 的删核主要执行多媒体信息的数据采集 网络与系统控制管理等用户应用任务 d s p 核则主要执行多媒体的算法处理 通过c o d e c e n g i l l e 和双核通信软件d s p 尾i n k 实现双核的协同工作 1 m s 3 2 0 d m 4 6 以下简称d m 6 4 4 6 是t i 公司于2 0 0 5 年1 2 月推出的高集成度视频处理 芯片 业界称为达芬奇 d a v i l l c i 数字媒体片上系统 d m s o c 该芯片为3 6 1 脚b g a 封装 引脚间距为o 8 m m 图2 3 是其内部功能模块 d m s o c 包括a r m 子系统 d s p 子系统 视 频处理子系统 v p s s 和系统控制模块 另外还有电源管理 外部存储接口 外围控制模块和 交换中心资源等部件 1 0 1 a i 洲模块介绍 a r m 子系统采用删v 5 t e j 3 2 1 6 b i t 指令集的删9 2 6 e j s 内核c p u 是采用管道化 流水线的3 2 b 砌c s 处理器 工作频率高达2 9 7 枷h z 同时配备t h u m b l e 扩展 a i u 9 2 6 e j s 内核小端模式 包括中断控制器 锁相环 p l l 控制器 电源休眠控制器 s c 嵌入式跟踪 宏单元及缓存 e t m e t b 及系统模块等 他可以处理3 2 b i t 或1 6 b i t 的指令和8 b i t 1 6 b 3 2 b i t 的数据 且通过使用协处理器c p l 5 和保护模块使体系结构得到增强 并提供数据和程序内 豢内蒙古大学硕士学位论文 一一 图2 3d m 6 4 4 6 处理器框图 f i g 2 3t h eb l o c kd i a g r a mo fd m 6 4 4 6p r o c e s s o r 存管理单元 m m u m m u 具有两个6 4 项的转换旁路缓存器 t l b 用于指令和数据流 每项 均可映射存储器的段 大页和小页 通过独立的1 6 k b 指令c a c h e 和8 k b 数据c a c h e 可以 保证内核周期的存取指令和数据 指令和数据c a c h e 均通过v i v t 四路连接 还提供了一个 大容量写缓冲来提升内核性能 缓冲数据容量高达1 7 k b 1 1 删子系统主要包括以下模块 1 c p l 5 内存管理单示 m m iy 1 6 k b 指令缓存和8 k b 缓存 2 1 6 k b 内部r a m 和8 k b 内部r o m 3 嵌入式跟踪模块和跟踪缓冲 e 1 m e t b 4 中断控制器 p l l 控制器 电源管理模块及其它系统模块等 删子系统主要负责d m 6 4 4 6 系统的整体配置和模块控制功能 d s p 子系统 图像处 理子系统和大部分外围模块以及外部存储器等都由a r m 9 2 6 控制 同时在t m s 3 2 0 d m 6 4 4 6 中 a r m 9 2 6 主要用于运行操作系统 例如l i n u x 等实时操作系统 其负责任务调度和设备 的管理 2 d s p 模块介绍 d s p 子系统c p u 采用t m s 3 2 0 c 6 4 x 刑 简称c 6 4 x d s p 内核 具有3 2 k b 的程序 r a m c a c h e 8 0 k b 的数据r a m c a c h e 及6 4 k b 未定义r a m c a c h e 支持3 3 v 或1 8 v 的i o 露内蒙古大学硕士学位论文 一 接口和存储器接口 c 6 4 x 的d s p 内核构建在v e i o c i t l 2 体系结构的基础上 是 l o e 汴l 2 体系结构的进一步增强 以其c 6 4 x 内核的先进超长指令字 v l l w 结构 能够满足当前应用 设备所需要的高性斛1 2 其主要结构特点有 c 6 4 x 最高工作频率为5 9 4 m h z 其1 6 b i t m a c 处理能力可以达到2 3 7 6 m m a c s m a c sp e r s e c o n d 而8 b i t m a c 处理能力可以达到4 7 5 2 m m a c s c 6 4 x 斗d s p 拥有6 4 个3 2 b i t 通用寄存 器和8 个独立的功能单元 2 个乘法器和6 个算术逻辑单元 c 6 4 x 结构的特点为 1 c 6 4 x 片内有2 个数据通道 8 个功能单元和2 个一般目的寄存器文件 k g i s t e rf i l ea 和r e g i s t e r f i l eb 2 c 6 4 x 斗d s p 采用超长指令字 v l i 即在每个时钟周期最高可提供8 条3 2 位指令 总字长为2 5 6 位的指令包同时分配到8 个并行处理单元 在5 9 4 m h z 的时钟频率下 当片内 8 个处理单元同时运行时 其最大处理能力可以达到4 7 5 2 m i p s 3 c 6 4 x 的d s p 有6 4 个3 2 位通用寄存器和8 个独立的功能单元 2 个乘法器和6 个算术 逻辑单元 c 6 4 x 的d s p 具有双1 6 b i t 扩充功能 芯片能在一个周期内完成双1 6 位的乘法 加减法 比较移位等操作 c 6 4 x 通过将d s p 运算压缩在较少的周期里 加速通信和图像应 用 在增强并行性的扩展中 四组8 位 两组1 6 位指令允许每秒进行约9 0 亿次8 位乘法累加 m a c 运算 在指令集方面 c 6 4 x 的d s p 内核引入了增强的s i m d 指令 其中包含许多关 于6 4 位操作数的新指令 新增加的加减指令a d d s u b 2 能在一个指令周期内完成两对1 6 位 数的加减运算 复数运算c m p y 指令可在4 个指令周期内进行复数的乘法运算 而d d o t p 4 等指令 能完成4 个1 6 位数的乘加运算 数据打包指令也由于新的d p a c k 2 和d p a c k x 2 等指令的加入而更加完善 4 c 6 4 x 的d s p 内核中还加入了s p l o o p 硬件缓存以解决视频算法中循环被软硬件中 断打断后 流水线需要重新排空和填充的问题 使用了s p l o o p 后 循环流水线中的指令可 填充到指定硬件缓存当中 在遇到中断之后 流水线能迅速恢复 5 在内存访问方面 还引入了l 2 m e m o 巧空间和带宽管理机制 能更加灵活地进行内 存访问 c 6 4 x 的d s p 有l l p l 1 d l 2 等多种资源 c p u s d m a i d m a 一致性操作 c o h e r e n c e 等多个主控单元都要使用这些系统资源 为了避免某一资源长时间占用系统资源而其它资源 长时间得不到系统的响应 c 6 4 x 使用带宽管理机制来解决这一问题 d s p 带宽管理使用一 种加权优先级来解决多个请求者同时访问同一系统资源时的拥塞问题 系统首先为每个主控 单元 d m a i d m a c p u 等 分配一个不同的优先级 优先级从o 到8 共有9 个 其中o 为 内蒙古大学硕士学位论文 一一 最高优先级 8 为最低优先级 当发生多个主控单元同时访闯一个资源时 商犹先级的主控 单元优先占用资源 但当连续多个周期发生同样的资源竞争时 t m s 3 2 0 d m 6 4 4 6 的d s p 竞 争计数器确保低优先级的主控单元在每n 个周期内至少有一个周期得到服务 其中n 由相关 寄存器凇x w a i t 位设置 每当冲突发生时 竞争计数器值自动加一 当竞争计数值达到 m a x w a i t 值时 高优先级主控单元的优先级被暂时赋值为8 强制使低优先级主控单元得 到服务 3 视频处理子系统 视频处理子系统 v p s s 具有完备的视频前端采集系统 v p f e 和视频后端处理系统 v p b e 分别用于视频采集和显示 视频处理前端 v p f e 接口由1 个c c d 控制器 c c d c 1 个预处理器 柱状模块 h i s t o g r a m b l o c k 一个图像尺寸变换器 s i z e r 自动曝射白平衡 聚焦模块 h 3 a 和寄存器组成 c c d 控制器可以与视频解码器 c m o s 传感器或电荷耦合装置连接 预处理器是一个实时的图形 处理器 它将c m o s 或c c d 得到的原始图形数据从r g b 转变为y u v 4 2 2 编码 i 沁s i z e r 为 图像尺度变换提供硬件支持 柱状模块和h 3 a 模块则提供原始图形信息 其中柱状模块可用 于统计指定区域的直方图信息 这在视频跟踪监测中经常用到f 1 3 视频处理后端 v p b e 接口由1 个在线视频显示处理器 o s d 和1 个视频编码器组成 在 线视频显示处理器既能显示两组独立的视频窗口或两组独立的o s d 窗口 还可以以1 个视频 窗口 1 个o s d 窗口和1 个属性窗口的形式显示 视频解码器以5 4 z 进行d a 转换 可 提供n t s c p a l s v i d e 0 等格式的视频输出 1 4 2 3n l v i n c i 平台的初始化流程 嵌入式软件开发包含以下几个步骤 引导加载b o o t l o a d e r 嵌入式l i n u x 内核 嵌入式 根文件系统 嵌入式应用程序等 与p c 平台软件开发相比 嵌入式软件开发有一些自己的 特点 应用程序需要交叉编译并下载到目标板上运行和调试 要开发d a v i n c i 平台的软件 首先要搭建交叉编译环境 需要安装下面的软件包 m v l50d e m os y ss e t u p l i i l u x b 访 交叉编译工具链和根文件系统 m v l 5opd e m o l s e t u p l i n u x 0 2 1 9 吐1 4 b i n l i l l u x 内核 d v s d kd m 3 6 5s e t u p l i i l u x2l o 0 l1 8 b i n 数字视频软件开发环境 露内蒙古大学硕士学位论文 一一一 x d c t o o l 趾s e t u p 轴u x 3 一 5 i 一5 9 南i f l x d c 工具 p s 趾0 2 1 0 p o 1 4 b i n 板级支持包 下面对嵌入式软件开发的四个步骤分别进行介绍 对于嵌入式系统来说 从开机上电到操作系统启动需要一个引导过程 这个过程罚q 做 b o o t l o a d e r b o o t l o a d e r 包含两层含义 b 0 0 t 是引导的意思 主要实现硬件的初始化和运行 环境的创建 然后由跳转指令实现软件的启动 l 0 a d e r 是加载的意思 一般存在f l a s h 存储 器 l o a d e r 代码把f l a s h 中代码复制到系统内存 这里是d d r 2 最终系统运行在内存上 这个 过程叫做l o a d e r 1 5 本设计在e l d m 6 4 4 6 开发板上采用u b o o t 作为b 0 0 t l o a d e r u b o o t 是德国d e n x 小组 开发的用于多种嵌入式c p u 的b o o t l o a d c r 程序 u b o o l 不仅仅支持嵌入式l i n u x 系统 还 支持n c t b s d v x w o r k s q n x r t e m s a r l s l y n x o s 等嵌入式操作系统 u b o o t 除 了支持p o v e r p c 系列的处理器外 还能支持m p s x 8 6 删 n i o s x s c a l e 等诸多系列 的处理器 它能自动从存储介质上启动 引导操作系统 且支持串口和以太网 1 u b o o t 移植 u b o o t 的源码中一般包含 b o a r d c o 咖o n c p u d i s k d o c d r i v e r s d t t e x 锄p l e s f s i l l c l u d e l i b 枷 l i b g e n e r i c n e t p o 砒n c t o o l s 等目录 u b 0 0 t 本身支持很多开发 板 在其源代码中 一般每个板子都对应一个b o a r d 目录下的文件夹以及i l l c l u d e c o n 埏s 目录 下的目标板配置头文件 因此 要添加u b o o t 对目标板的支持 首先就是要建立目标板文件 夹和配置头文件 并修改相关的m a k e f i l e 下面简要说明为u b o o t 添加新的目标板定义的过程 1 在b o a r d 目录下建立目标板目录d a v i i l c i 并根据目标板的硬件编写 或从相近开发 板修改 d a v i l l c i c n a s h c 等文件 2 在m c l u d e c o n f i g s 目录下建立目标板配置头文件 d a v i n c i h 3 修改m a k e f i l e 在u b o o t 源码顶层目录下的m a k e f i l e 中加入目标板的编译配置选项 d a v i i l c i c o n f i g u n c o n f i g f n k c o n f i g c o n f i 9 2 黝a n n 9 2 6 e j sd a v 硫i 内蒙古大学硕 学位论文 一一 定义c r o s s o m p l l e 豹值 c r 0 s s c o m p i l e o p u r 一 o m o n t a v i s t 脚r o d e v l i t a m v 5 t l 讹i n 猢一v 5 t l e 然后修改t h d a r d d a v i n c i 下的m a k e 丘l e o b j s d a v i n c i on a s h ot i m e r od m 6 4 4 e m a c o 当然 要使编译出来的u b o o t 能真正适用于我们的目标板 还有很多工作要做 包括处 理器工作状态 存储器映射设置 网卡驱动的移植等等 2 u b o o t 编译 切换到移植好的u b o o t 目录下 输入如下命令 m a k ed i s t c l e a n m a k ed a v i n c l c o n 埏 m a k e 编译完毕会生成后会在相应目录下生成二进制文件u b o o t b m 3 u b o o t 烧写 用仿真器烧写u b o o t 1 将需要的文件b u m n a s h o u t u b o o t l l 3 b i i l 拷贝到c 盘根目录 2 c p u 小板上的拨码开关设置为 u 3 1 一l o o f f o f f o f f o f f o f f o f f o f f o f f o f f o f f 3 仿真器连接到c p u 板 上电 打开c c s 连接a m 处理器 4 c c s 连上目标板后使用l o a dp r o g 掰n 命令将b u m n a s h o u t 下载到目标板上 5 点击运行程序 弹出第一个对话框 输入c u b 0 0 t l1 3 b h 后回车 6 弹出第二个对话框时输入o 回车 7 等到烧写完成 c c s 下面的信息框会出现b u mc o m p l e t e 的提示 断电 断开仿真器 8 c p u 小板上的拨码开关设置为 u 3 1 1 0 0 o n o f f o n o n o n o n o n 0 n o n 0 f f 9 使用交叉串曰线 交叉网线将目标板和电脑连接好 1 0 打开电脑上的超级终端 并设置参数如图2 4 所示 1 1 打开开发板电源 在3 秒内按下电脑键盘的空格键 我们看到超级终端输出图2 5 信息 图2 4 超级终端配置 f i g 2 4c o n f i g u r a t i o nf o rh y p e rt e r n l i i l a l l 蘩 i u b o o t1 1 3 j u n1 62 0 0 9 1 1 1 3 9 l l 霎 u b o o tc o d e 8 1 0 8 0 0 0 0 一 8 1 0 9 7 5 e 0b s s 一 8 1 0 9 f f d 0l r 日hc o n f i g u r a ti o n l b a n k 器0 8 0 0 0 0 0 0 02 5 6h b l h vn h d f l a s h 1 6h b i i n s e r i a l2 l o u t s e r i a li e r r s e r i a l1 日r hc l o c k 一2 9 7 m h zl d d rc l o c k 一1 6 2 h h zl t e c h s h i n e i h i td n yk e yt os t o pa u t o b o o t 1l i l i i 黼黼黼溯渊粼麓黼糕黼麟粼湖黼豢鏊粪黼鐾 惹囊纛霪蘩 图2 5u b o o t 烧写成功界面 f i g 2 51 1 1 e 硫e r f a c eo fu i b o o tp r o g r 猢e ds u c c e s s 允l l y 2 3 2l i n u x 操作系统移植 1 4 穆内蒙古大学硕 学位论文 1 配置和编译内核 本设计使用的l i n u x 内核叛本是r e dh a tl i i i u x2 6 1 0 打开 o p t m v p r o 4 0 m o n t a i s t a l p r o d e v k i t l s p t i d a v i n