（信号与信息处理专业论文）基于tms320dm6446的视频编码系统研究与实现.pdf

西南交通大学硕士研究生学位论文第l 页 摘要 近年来，数字信号处理理论不断取得进步，集成电路技术日新月异，半导体技术 突飞猛进等因素，促使数字信号处理器( d s p ) 也获得了飞速发展。视频信号处理的 特点是数据量大，这就对视频信号处理器提出了很高的要求。 t i 公司推出的t m s 3 2 0 d m 6 4 4 6 芯片，属于d a v i n c i 系列处理器，采用a r m + d s p 双核构架，其中，a r m 核是采用a r m v 5 t e j 指令集的a r m 9 2 6 e j s 核，d s p 核是目 前最先进的t m s 3 2 0 c 6 4 + 核。运算能力强大的d s p 核专门处理复杂的图像或视频处理 算法，a r m 核运行嵌入式l i n u x 操作系统，负责整个系统的管理工作。 首先，本文简要的介绍了课题的研究背景和国内外研究现状，包括d s p 技术的发 展状况、视频编码技术的发展状况和无线视频技术的发展状况。然后对本论文中使用 的d a v i n c i 技术进行了详细的叙述，包括d a v i n c i 技术的组成，d a v i n c i 技术在多媒体 处理方面的优势等。 其次，对系统的硬件设计，进行了详细的说明。首先给出了系统的硬件总体设计 框图，并对系统中的各个模块进行分析和必要的说明，接下来重点对自己负责设计的 几个模块进行详细的说明，包括电源模块、d d r 2 存储模块、n a n df l a s h 存储模块、 视频采集模块和复位模块。 再次，详细叙述了系统的软件部分，包括嵌入式l i n u x 开发环境的搭建、b o o t l o a d e r 设计、嵌入式l i n u x 内核移植、无线网卡驱动、视频压缩应用程序和d a v i n c i 平台下无 线网络程序。 最后，对本文的工作进行了总结和归纳，指出了系统目前存在的不足之处，及其 改进的措施。 关键词：d s p ；a r m ；d a v i n c i ；视频编码；l i n u x 西南交通大学硕士研究生学位论文 第1 l 页 a b s tr a c t i nr e c e n ty e a r s ，w i t ht h er a p i dp r o g r e s so ft h ed i g i t a ls i g n a lp r o c e s s i n gt h e o r y , t h e e v e r - c h a n g i n go fi n t e g r a t e dc i r c u i tt e c h n o l o g y , a n ds u c hf a c t o r s a st h er a p i dp r o g r e s so f s e m i c o n d u c t o rt e c h n o l o g y , t h ed i g i t a ls i g n a lp r o c e s s o r ( d s p ) a l s oh a s b e e nr a p i d d e v e l o p m e n t h o w e v e r , t h ev i d e os i g n a lp r o c e s s i n gi sc h a r a c t e r i z e db ya v e r yl a r g ea m o u n t o fd a t a , w h i c hh a sah i g hd e m a n do ft h ev i d e os i g n a lp r o c e s s o r t h et m s 3 2 0 d m 6 4 4 6c h i p ，i n t r o d u c e db yt i ，b e l o n gt od a v i n c if a m i l y t h ec h i pu s e s a r m + d s pd u a l c o r ea r c h i t e c t u r e w h e r e i n ，t h ea r m c o r ei so n eo ft h ea r m 9 2 6 e j - sc o r e ， w h i c hu s ea r m v 5 t e ji n s t r u c t i o ns e t d s pc o r ei st h em o s ta d v a n c e dt m s 3 2 0 c 6 4 + c o r e t h ed s pc o r ew i t hp o w e r f u lc o m p u t i n gp o w e ri su s e dt oh a n d l ec o m p l e xi m a g eo rv i d e o p r o c e s s i n ga l g o r i t h m s t h ea r m c o r er u n se m b e d d e dl i n u xo p e r a t i n gs y s t e m ，a n di s r e s p o n s i b l ef o rt h ew h o l es y s t e mm a n a g e m e n t f i r s to fa l l ，t h er e s e a r c hb a c k g r o u n da n dt h es t a t eo ft h ea r to ft h er e s e a r c ht o p i ci s i n t r o d u c e di nt h i sp a p e r , i n c l u d i n gt h ed e v e l o p m e n to fd s pt e c h n o l o g y , t h ev i d e oc o d i n g t e c h n o l o g y , w i r e l e s sv i d e ot e c h n o l o g y , a n ds o0 1 1 t h e n ，t h ed a v i n c it e c h n o l o g y a l s oi s d e s c r i b e dd e t a i l e d l yi nt h i sp a p e r t h ec o m p o s i t i o no fd a v m c it e c h n o l o g y , a n dd a v i n c i t e c h n o l o g ys u c ha sm u l t i m e d i ap r o c e s s i n ga d v a n t a g e si si n c l u d e d s e c o n d l y , t h es y s t e mh a r d w a r ed e s i g ni sd e s c r i b e dd e t a i l e d l yi nt h i sp a p e r t h es y s t e m b l o c kd i a g r a mo fh a r d w a r ed e s i g ni sa d d r e s s e di nt h ef i r s t t h e nm a k ean e c e s s a r ya n a l y s i s a n de x p l a n a t i o nf o ra l lm o d u l e so fo u rs y s t e m ，a n df o c u so nt h em o d u l e sw h i c hw a s d e s i g n e db ym y s e l f , i n c l u d i n gp o w e rm o d u l e s ，d d r 2m e m o r ym o d u l e sn a n df l a s h m e m o r ym o d u l e ，v i d e oc a p t u r em o d u l ea n d r e s e tm o d u l e t h i r d l t h es y s t e ms o f t w a r ed e s i g ni sd e s c r i b e dd e t a i l e d l yi n t h i sp a p e r , i n c l u d i n g 锄b e d d e dl i n u xd e v e l o p m e n te n v i r o n m e n t ，b o o t l o a d e rd e s i g n ，e m b e d d e d l i n u xk e r n e l p o r t i n 舀w i r e l e s sn e t w o r k c a r dd r i v e r s ，v i d e oc o m p r e s s i o na p p l i c a t i o n s ，a n dw i r e l e s sn e t w o r k p r o g r a mu n d e rt h ed a v i n c ip l a t f o r m f i n a l l v m ew o r ko nt h i sp a p e ri ss u m m a r i z e d ，a tt h es a m et i m e ，w ep o i n to u tt h e e x i s t i n gd e f i c i e n c i e sa n dh o w t oi m p r o v ei t k e yw o r d s ：d s p ；a r m ；d a v m c i ；v i d e oe n c o d i n g ；l i n u x 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并 向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授 权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密者，使用本授权书。 ( 请在以上方框内打“4 ”) 学位论文作者签名：雪舷 日期：砂卢矗ii 指导老师签名： 日期： 7 4 - i h 西南交通大学硕士学位论文主要工作( 贡献) 声明 本人在学位论文中所做的主要工作或贡献如下： 1 、对最新的具有a r m + d s p 构架的d a v i n c i 技术进行了研究、分析和总结。 2 、自己设计出基于t m s 3 2 0 d m 6 4 4 6 的视频处理系统，独立的设计出电路的原理 图，绘制出p c b 板，并将各个元器件焊接到电路板上，组成一个完整的硬件系统。 3 、在自己的硬件平台环境下，开发或移植系统软件，包括u - b o o t 、无线网卡驱动、 视频采集程序、视频编码程序和网络应用程序。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰 写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。 本人完全了解违反上述声明所引起的一切法律责任将由本人承担。 学位论文作者签孙望榻 日期：1 ，1 0 ，多k 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1 研究背景与国内外现状 1 1 1d s p 技术的发展状况 近年来，数字信号处理( d i g i t a ls i g n a lp r o c e s s i n g ) 理论在不断取得进步，集成电路 技术日新月异，半导体技术也突飞猛进等因素，促使数字信号处理器也获得了飞速发 展。 通常所说的d s p 指的是数字信号处理器，它将日常生活中接触到的模拟信号采样， 经量化编码成数字信号后，对数字信号进行相应处理【l 】。d s p 内置乘法单元，能在单 指令周期内完成乘加运算，同其他类型的处理器相比，d s p 具有功耗低、运算能力强、 专为信号处理设计等优点，但是，从软件方面看，同f p g a 相比，d s p 实现数字信号 处理算法的难度较大。 2 0 世纪5 0 年代至6 0 年代，数字信号处理通常只能在通用微处理器上实现，没有 专门针对数字信号处理而设计的处理器。直到2 0 世纪7 0 年代末，第一片d s p 芯片 i n t e l 2 9 2 0 的出现，才填补了这一空白，在d s p 的发展历史上，具有划时代的意义。 一般认为，第一代d s p 芯片是美国t i 公司的t m s 3 2 0 1 0 及其系列芯片，当然， 还包括当时的川d 2 9 0 0 、n e c 7 7 2 0 等系列芯片。由于潜在的需求，以及硬件上专门 针对数字信号处理设计，故引起了当时数字信号处理算法工程师的极大关注。2 0 世纪 8 0 年代末，d s p 获得了空前的高速发展，多核处理、并行处理指令和流水线技术成为 当时d s p 处理器的新的技术亮点。随后，在需求的推动下，、以t i 公司t m s 3 2 0 2 0 及 其系列为标志的第二代d s p 芯片面世，此后，d s p 处理器获得了前所未有的速度发展， 至今，t i 公司推出了第六代d s p 处理器t m s 3 2 0 c 6 0 0 0 系列，包括t m s 3 2 0 c 6 2 x 、 t m s 3 2 0 c 6 4 x 、t m s 3 2 0 c 6 7 x 等。美国的a n a l o gd e v i c e 公司也推出了一系列定点和浮 点的d s p 处理器，其定点的d s p 处理器包括a d s p 2 1 0 1 2 1 0 3 2 1 0 5 系列、a d s p 2 1 11 2 1 1 5 系列、a d s p 2 1 6 l 6 2 6 4 系列，其浮点的d s p 处理器包括a d s p 2 1 0 0 0 0 2 0 系列、 a d s p 2 1 0 6 0 2 1 0 6 2 系列等。 由于视频处理数字化有着广泛的应用价值和经济价值【2 j ，t i 公司推出了专门针对 数字多媒体应用的d a v i n c i 系列双核处理器【3 j ，运行在d a v i n c i 处理器上的d a v i n c i 技 术将软件开发环境、软件架构、外设驱动程序等一系列的工具整合在一起，提供一个 特别适合数字多媒体应用的解决方案【4 】，双核的处理器中a r m 核和d s p 核分工明确， 其中a r m 负责整个系统的控制，d s p 核负责多媒体视频处理算法的实现。此外，芯 西南交通大学硕士研究生学位论文第2 页 片的功耗很低，体积小，非常适合嵌入式视频处理系统。 1 1 2 视频编码技术的发展现状 视频编码技术实际是将未编码的视频文件，通过某种视频编码算法，编码生成一 个新的视频文件，而这个新的视频文件和原来的相比较，占用空间更小，而视频清晰 度基本在人眼的分辨范围之内。通过分析视频信号的特点，发现每帧图像之间存在诸 多相识之处，且个帧内的相邻区域也存在大量的冗余，因此，通过减少这些冗余，就 可以使用更少的比特来描述一段视频信号，而人眼基本分辨不出两者的差别。 目前，视频编码标准有两大类，一类是由国际标准化组织i s o i e c 提出的m p e g 系列，包括m p e g 1 、m p e g 2 、m p e g 4 等，另一类是由国际电信联盟电信标准部i t u t 提出的h 2 6 x 系列，包括h 2 6 1 、h 2 6 3 、h 2 6 4 等，下面分别对其进行简要的介绍。 m p e g 1 标准是针对家用v c d 的一种视频编码标准【5 1 ，最大码率为1 5 m b p s ，是 i s o i e c 下属运动图像专家组( m o v i n gp i c t u r ee x p e r t sg r o u p ) 于1 9 9 3 年制定的。 m p e g 1 标准采用了运动补偿、运动估计、二维d c t 、v l c 编码等技术。 m p e g 2 标准是在m p e g 1 的基础之上，为了提供更高质量的视频信号解决方案 而发展起来的，其编码之后的码率在3 m b p s 至3 5 m b p s 之间。m p e g 2 除了继承了 m p e g 1 的所有编码技术外，还应用了空间可扩展编码、基于帧场的运动补偿、容错 编码等新技术【6 】。由于m p e g 2 的出色性能，以被广泛应用在d v d 视频压缩、高清电 视等多个领域。 m p e g - 4 标准是i s o i e c 于1 9 9 9 年正式公布的新一代音视频编码标准【7 3 ，共包括 了1 0 个部分。m p e g 4 标准在m p e g 2 标准的基础之上，新增小波变换、视相关可扩 展编码、对象编码、动态网格编码等技术，可实现对不同的对象进行不同的编码算法。 此外，由于m p e g 。4 支持空间、时间的可分级，因此，其支持动态码率处理【8 】。 h 2 6 1 标准是针对可视电话、视频会议等需求而推出的一种视频编码标准【9 ，于 1 9 9 0 年提出，其码率必须是6 4 k b p s 的整数倍。h 2 6 1 标准的编码核一t l , 是将每帧图像分 层来处理，对视频编码的各个模块进行详细的定制，但对编码过程中出现的许多重要 环节没有详细规定。 h 2 6 3 标准是在h 2 6 1 标准发展起来的，仍然沿用了h 2 6 1 标准中采用的 d c p m d c t 混合编码方式，主要针对比码率的视频流，于1 9 9 6 年正式提出【加】。和h 2 6 1 标准相比较，h 2 6 3 标准采用了半像素运动补偿，同时提出了4 种新的压缩编码模式。 h 2 6 3 标准通常应用在公共电话交换网、无线电信网、互联网等环境下，支持多种输入 图像格式。 h 2 6 4 标准由i s o i e c 和i t u t 联合开发的新一代视频编码标准【l l 】，它的压缩性 能在m p e 4 标准的基础上提高了5 0 以上，由于其在压缩效率和传输可靠性上尤其突 西南交通大学硕士研究生学位论文第3 页 量曼皇曼曼曼蔓曼! 曼曼曼i _ i i 一i i e ii i i ii i 一一 _ 舅曼曼曼曼曼曼曼曼皇鼍 出，故h 2 6 4 特别适合于数字电视广播、实时视频、有线或无线网络流媒体等领域。 1 1 3 无线视频技术的发展现状 视频信号具有数据量大，实时性要求高的特点，因此，目前视频传输采用的传输 方式通常是同轴电缆和光纤等有线传输介质【l2 1 。但这种有线传输方式通常需要铺设大 量的地下或地上设备，由此带来了施工周期长，铺线成本高，维护极为不便的问题【l3 1 。 随着现代网络技术和现代通信技术，特别是无线通信技术的高速发展，无线网络 通信技术开始活跃在计算机网络的各个角落。目前，无线数据传输技术主要包括无线 局域网技术( w 乙蝌) 、蓝牙技术、r f 技术和超宽带技术等。由于无线网络组网灵活， 无需铺线，维护方便，对现有的计算机网络体系产生了深远的影响，如何合理的、高 效的、灵活的利用无线网络成为了许多高校和研究机构的热门研究【1 4 , 1 5 】。 无线视频传输系统具有功耗低、数据量大、压缩效率高和信道容错能力强等特点 【l6 1 。成为移动多媒体数据通信中，最具挑战性也最具有研究价值的一个课题。无线环 境是一个特别复杂的移动通信环境，它频谱资源十分有限，通信环境复杂多变，时延 抖动、多径衰落、多普勒频移等影响通信质量的因素又客观的存在【l 7 1 ，而视频数据量 又非常的大，因此，必须克服这些客观存在的因素，使得视频数据高效、高速、高可 靠的传输。然而，仅目前使用的这些无线通信技术仍然无法达到预期的效果，必须研 究开发出新的无线传输技术和编码效率更加高的视频编码技术，从而克服这些因素【l 8 1 。 1 2 本文的主要工作及关键技术 1 2 1 本文的主要工作 首先介绍了课题的研究背景和国内外研究现状，包括d s p 技术的发展状况、视频 编码技术的发展状况等。 对t i 公司推出的达芬奇技术进行简要的介绍，对什么是达芬奇技术、达芬奇技术 的组成、以及达芬奇技术在数字多媒体应用领域，有哪些优势等做出了简要的概括。 之后，对本系统所选用的达芬奇系列芯片t m 3 2 0 d m 6 4 4 6 进行了简要的介绍。 详细叙述了系统的硬件设计，首先给出了系统的硬件总体设计框图，并对系统中 的各个模块进行分析和简要的说明，接下来重点对自己负责设计的几个模块进行详细 的说明，包括电源模块、d d r 2 存储模块、n a n df l a s h 存储模块、视频采集模块和 复位模块。 以p r o t e l 公司的a l t i u md e s i g n e rs u m m e r0 8 为工具，设计并绘制出系统原理图， 西南交通大学硕士研究生学位论文第4 页 使用c a d e n c e 公司的a l l e g r os p b1 5 2 对p c b 进行设计，包括布局布线等。并在p c b 板制作完成后，将系统调试成功。 详细的叙述了系统的软件部分，包括嵌入式l i n u x 开发环境的搭建、b o o t l o a d e r 设 计、嵌入式l i n u x 内核移植、无线网卡驱动、视频压缩应用程序和d a v i n c i 平台下无线 网络程序。对l i n u x 环境的搭建分步骤进行了说明，着重介绍了达芬奇交叉编译环境 的搭建，d v e 和d v s d k 的建立。对b o o t l o a d e r 的概念、u b o o t 源码和对最新的 u - b o o t 稳定版本u - b o o t 1 3 4 进行了分析和详述。分步骤详细的说明如何把无线网卡的 驱动程序编译成模块，加载到内核中运行，还对可能出现的异常情况进行分析，对提 出引发这些异常可能的原因。将视频采集和视频压缩通过软件流程图的形式直观的表 示出来，然后以文字的形式对其实现步骤进行详述。 1 2 2 本文的关键技术 本文采用的是t i 公司最新推出的d a v i n c i 技术。d a v i n c i 技术包括软件、开发工 具、芯片和支持四个部分，其中芯片部分，我们采用t m s 3 2 0 d m 6 4 4 6 ，该芯片具有 a r m 核处理器和d s p 核处理器，采用a r m + d s p 架构，删核最高主频达2 9 7 m h z ， d s p 核最高主频达5 9 4 m h z 。该两个处理器相互分工协作，d s p 核负责多媒体算法的 实现，a r m 负责嵌入式系统的控制功能。d a v i n c i 技术另一个重要的部分就是软件部 分，软件部分中，包含了五个小部分，它们是：处理器间通信、操作系统、框架结构、 a p i 驱动和编解码器。其中处理器间通信部分是通过d s pl i n k 来实现a r m 核和d s p 核之间的通信，操作系统主要是嵌入式l i n u x 系统，也支持w i nc e 和v x w o r k s 等操作 系统，框架结构指达芬奇的软件框架结构，通过框架结构，a r m 端的应用程序可以很 方便的调用d s p 核上运行了编解码库函数，a p i 驱动是在a r m 端的驱动程序，在操 作系统中统一管理。有关d a v i n c i 技术的详细介绍，本文的第2 章中有详细的说明。 1 3 本文章节安排 本文主要研究基于t m s 3 2 0 d m 6 4 4 6 的d a v i n c i 平台下的视频处理，包括视频的采 集、视频压缩处理、视频传输、视频解压缩和视频播放等。d a v i n c i 技术是一种新的嵌 入式多媒体处理平台，具有双核处理机制，其中a r m 核运行嵌入式l i n u x 操作系统， 负责整个系统的管理，d s p 核主要任务是视频处理，其上运行d s pb i o s 操作系统。 本文首先从整个系统的硬件总体设计出发，再对各个功能模块的设计思路和设计过程 进行详细的介绍，并给出了各个模块的设计原理图。然后，对重点对软件实现部分进 行了详细叙述，包括嵌入式l i n u x 开发环境的搭建、b o o t l o a d e r 设计、嵌入式l i n u x 内核 移植、无线网卡驱动、视频压缩应用程序和d a v i n c i 平台下无线网络程序。其中视频压 西南交通大学硕士研究生学位论文第5 页 缩应用程序是本章的重点，包括视频采集、视频压缩、视频传输等几个部分。论文具 体结构如下： 第一章首先介绍了课题的研究背景和国内外研究现状，包括d s p 技术的发展状况、 视频编码技术的发展状况和无线视频技术的发展状况。然后对本论文进行一个总的概 述，并对本文的章节安排进行了简要的说明。 第二章对t i 公司推出的达芬奇技术进行简要的介绍，对什么是达芬奇技术、达芬 奇技术的组成、以及达芬奇技术在数字多媒体应用领域有哪些优势等做出了简要的概 括。之后，对本系统所选用的达芬奇系列芯片t m 3 2 0 d m 6 4 4 6 进行了简要的介绍。 第三章主要介绍了系统的硬件设计，首先给出了系统的硬件总体设计框图，并对 系统中的各个模块进行分析和简要的说明，接下来重点的对自己负责设计的几个模块 进行详细的说明，包括电源模块、d d r 2 存储模块、n a n df l a s h 存储模块、视频采 集模块和复位模块。 第四章详细叙述了系统的软件部分，包括嵌入式l i n u x 开发环境的搭建、b o o t l o a d e r 设计、嵌入式l i n u x 内核移植、无线网卡驱动、视频压缩应用程序和d a v i n c i 平台下无 线网络程序。其中视频压缩应用程序是本章的重点，包括视频采集、视频压缩、视频 传输等几个部分。 最后对全文的工作进行了总结，给出结论，并对下一步工作进行了展望。 西南交通大学硕士研究生学位论文第6 页 第2 章达芬奇技术 本章对t i 公司推出的达芬奇技术进行简要的介绍，对什么是达芬奇技术、达芬奇 技术的组成、以及达芬奇技术在数字多媒体应用领域有哪些优势等做出了简要的概括。 之后，对本系统所选用的达芬奇系列芯片t m 3 2 0 d m 6 4 4 6 进行了简要的介绍。 2 1 达芬奇技术 t i 公司推出的基于a r m + d s p 双核架构的达芬奇技术，是专为数字音视频处理而 设计的应用多媒体处理平台。该技术包含了多媒体处理器、软硬件开发工具、软件架 构和第三方支持四大模块19 1 。 2 1 1 什么是达芬奇技术 目前，在嵌入式图像视频处理领域，应用最为广泛的嵌入式处理器有a r m 、d s p 、 f p g a 、专用a s i c 等。它们各有各的优势，同时，也存在诸多的不足，比如f p g a ， 它具有强大的并行处理数据的能力，用来实现视频处理算法是非常合适的，但是f p g a 功耗大，价格昂贵，无法广泛应用到嵌入式视频处理领域，尤其是消费类电子领域。 d s p 虽然处理能力强大，功耗也小，但是其控制能力稍显不足，需要额外的增加系统 控制处理器，这也变相的增加了成本和开发的难度。专用的视频处理a s i c 芯片只针对 特定的用途，灵活性很差。a r m 处理器本身是针对控制领域推出的处理器，若用来处 理视频算法，其处理速度达不到视频处理的要求。为了迎合嵌入式视频处理的要求， t i 公司与2 0 0 5 年底正式推出了达芬奇技术，旨在提供系统级的视频处理解决方案。 德州仪器公司的全球通用d s p 部经理l e oa d a m s 对达芬奇技术做过如下评价：达 芬奇技术充分利用了t i 公司几十年来的集成电路专业技术，以及数字信号处理领域的 行业领先优势，应运而生的s o c 多媒体处理平台，这种处理平台专门针对数字视频信 号处理而精心设计和优化，集成了拥有超高处理能力的数字信号处理器内核、a r m 处 理器内核以及视频协处理器，可以为视频处理提供最理想的解决方案 2 0 2 1 。 2 1 2 达芬奇技术的组成 如图2 1 所示为达芬奇技术的系统构成，从图中可以看出，达芬奇技术包含了四 大部分：软件、开发工具、芯片和支持。 西南交通大学硕士研究生学位论文第7 页 图2 1达芬奇技术系统构成 软件部分中，包含了五个小部分，它们是：处理器间通信、操作系统、框架结构、 a p i 驱动和编解码器 2 2 1 。其中处理器间通信部分是通过d s pl i n k 来实现a r m 核和d s p 核之间的通信，操作系统主要是嵌入式l i n u x 系统，也支持w i nc e 和v x w o r k s 等操作 系统，框架结构指达芬奇的软件框架结构，通过框架结构，a r m 端的应用程序可以很 方便的调用d s p 核上运行了编解码库函数，a p i 驱动是在a r m 端的驱动程序，在操 作系统中统一管理【2 3 之6 1 。 开发工具套件，包含了四个部分的内容。针对每款达芬奇处理器，t i 公司推出了 配套的评估板和开发平台，对芯片上的每个片内外设都相应的做了硬件上和软件上的 支持，方便用户快速上手，缩短开发进度【2 7 3 3 1 。 芯片这个部分，主要又三个小部分组成，处理器、外设和加速器。如本系统采用 的t m s 3 2 0 d m 6 4 4 6 芯片，除了a r m 和d s p 两个处理器外，还有个视频协处理器，为 视频处理加速器，另外，还有串口、网口、u s b 口等大量的外设，和外围设备之间的数 据交换非常方便。 支持主要指t i 公司的第三方软件开发公司，针对达芬奇系列芯片，推出一些使用 的第三方软件或者d s p 端算法库文件，用户通过免费下载或者购买的方式，可以使用 这些成果，缩短项目的开发周期，尽可能快的推出产品。 2 2t m s 3 2 0 d m 6 4 4 6 简介 如图2 2 所示为t m s 3 2 0 d m 6 4 4 6 的功能框图。从图2 2 所示的芯片功能框图上就 可以看出，t m s 3 2 0 d m 6 4 4 6 包含了a r m 9 2 6 e j s 处理器和d s p 处理器两个处理器单 元，此外，为了配合视频处理，还专门配置了一个v p s s 处理单元，v p s s 处理单元实 际是一个视频协处理器，包括视频处理前端和视频处理后端两个部分，视频处理前端 实现视频采集和预处理，视频处理后端负责显示等功能。 西南交通大学硕士研究生学位论文第8 页 系统控制 视频图像 处理器 b t 6 5 6y c r a w ( b a v e r ) a r m 子系统d s p 子系统 网网 - - - - - - - jl - - - - - - - - - - j 6 4 k b l 2 r a m 3 2 k bl lp r a m 8 0 k b l ld 扎m 视频处理子系统 前端后端 交换中心资源( s c r ) 外围设备 串行接口系统 d d r 2 m e m a s y n ce m i f a t a c o m p a e t m m c c t r l ( 1 6 3 2 b ) n a n d s m a r tf l a s hs d 2 2 1a r m 子系统 图2 2t m s 3 2 0 d m 6 4 4 6 的功能框图 如图2 3 所示为d m 6 4 4 6 的a r m 子系统框图。a r m 9 2 6 e j s 核属于a r m 9 系列，最高 主频可达2 9 7 m h z ，支持高效的t h u m b 指令集，支持五级流水线操作 3 4 。 图2 3a r m 子系统框图 删子系统由以下几个部分组成： ( 1 ) 删9 2 6 e j s ，属于3 2 位刚s c 处理器。 ( 2 ) 1 6 k b 程序缓存。 ( 3 ) 8 k b 数据缓存。 ( 4 ) 内存管理单元。 ( 5 ) 系统控制协处理器，控制内存管理单元、缓存等。 ( 6 ) 1 6 k b 片内r a m ，8 k b 片内r o m 。 ( 7 ) 嵌入式调试跟踪模块和嵌入式调试跟踪缓存 3 5 】。 ( 8 ) p l l 控制模块，中断控制模块，电源管理模块等。 一一一瞄 糕 频码视编 线频示在视显 要圃 o 剽警 圈黑一 西南交通大学硕士研究生学位论文第9 页 2 2 2d s p 子系统 如图2 4 所示为d s p 子系统框图。d s p 核属于t i 公司的t m s 3 2 0 c 6 4 x + 系列的d s p 核，最高主频可达5 9 4 m h z ，支持增强型甚长指令字( v l 州) 。d s p 子系统采用两级 缓存机制，其中第一级缓存包括程序缓存和数据缓存两个部分，此外，还包括电源管 理模块、中断管理模块等部分3 6 。9 1 。 d s p 核具有如下特点： ( 1 ) 具有八个功能单元，包括两个乘法器和六个运算单元。一个周期内最多可以 执行八条指令。 ( 2 ) 特殊的指令打包机制，能将八条串行或者并行执行的指令合成一条指令，减 少指令大小，降低取指时间和芯片的功耗m 】。 皇! ! 篁! ! r a m 系统 c a c h e 缓存i 基础设施 2 2 3v p s s 子系统 图2 4d s p 子系统框图 视频协处理器包括视频处理前端( v p f e ) 和视频处理后端( v p b e ) 两个部分。 视频处理前端包括c c d 控制器、图像缩放模块、预览引擎模块、h 3 a 模块和直方 图模块，主要实现将c c d 摄像头或者视频解码芯片出来的数字视频信号采集，并进行 某些图像预处理 4 1 , 4 2 。 视频处理后端包括o s d 模块和v e n c 模块，主要是实现视频的播放功能，将数字 视频信号通过矩阵变换，输出r g b 分量，通过视频放大电路，将三个视频分量输出到 具有v g a 接口的显示器上进行播放【4 3 1 。 西南交通大学硕士研究生学位论文第1 0 页 2 3 本章小结 本章主要是简要的介绍本课题使用的达芬奇技术，包括达芬奇芯片、开发工具及 其套件、软件部分和第三方支持。之后，对课题使用到的处理器t m s 3 2 0 d m 6 4 4 6 分模 块进行介绍，包括d s p 核、a r m 核和v p s s 处理器，给出了各个核的功能框图，并结 合功能框图进行了解释说明。 西南交通大学硕士研究生学位论文第11 页 寰曼曼! 曼! 曼曼曼曼曼ii i i ；i i _ i i 曼曼曼曼! 曼曼皇曼曼曼曼曼曼皇! 曼曼曼! ! 曼! 蔓曼曼! 皇! ! 蔓曼曼曼! 曼曼皇曼皇皇! ! 曼曼曼曼曼曼曼曼曼! 曼曼鼍曼曼曼詈鼍 第3 章系统硬件设计 本章主要介绍系统的硬件设计，首先介绍系统硬件的总体设计，包括系统的各个 模块，然后，针对自己负责的具体模块，详细的叙述该模块的设计过程及设计电路， 包括电源模块、d d r 存储模块、n a n df l a s h 模块、c p l d 模块和复位电路。 3 1 系统硬件总体设计 根据课题的实际需求、开发过程中一些实用的调试手段，及团队合作开发的特点， 我们采用模块化设计的方式。 本系统按功能来划分，共分为电源模块、视频采集模块、视频播放模块、d d r 存 储模块、n a n df l a s h 模块、网络接口模块、u s b 接口模块、r s 2 3 2 模块、c p l d 模 块和复位模块。其中，我负责系统总体设计、电源模块、d d r 存储模块、n a n df l a s h 模块、视频采集模块和复位模块【删。 系统硬件总体框图如图3 1 所示。 图3 - 1系统硬件总体框图 电源模块由三片d c d c 芯片和必要的外围电路组成，输入5 v 电压，输出3 3 v 、 1 8 v 、1 2 v 。为了保证d m 6 4 4 6 要求的电源上电顺序( a r m 核电压和d s p 核电压比i o 口电压先上电，至少和i o 口电压同时上电) ，通过d c d c 芯片的外围电路来实现。 视频采集模块由t v p 5 1 5 0 及外围电路组成，t v p 5 1 5 0 是t i 公司的低功耗、小封 西南交通大学硕士研究生学位论文第12 页 装的视频解码芯片，支持两路复合视频输入和一路s 视频输入。通过d m 6 4 4 6 的1 2 c 口对其内部寄存器进行设置，可以输出8 位i t u rb t 6 5 6 标准数字视频信号和i t u r b t 6 0 1 标准数字视频信号。本系统中，我们采用同步信号内嵌的i t u rb t 6 5 6 标准。 视频播放模块采用d m 6 4 4 6 片内的四路1 0 位d a c 及外围视频放大电路组成。视 频放大电路核心是芯片o p a 3 5 7 ，将v g a 三个分量r 、g 、b 进行放大处理，配合行 同步信号h s y n c 和场同步信号v s y n c ，实现了v g a 接口的显示。同时，视频播放 模块还留有r c a 接口，可以和具有r c a 接口的显示设备无缝连接。 d d r 存储模块由d m 6 4 4 6 片内集成的d d r 2 存储器控制外设和m i c r o n 公司的2 片m t 4 7 h 6 4 m 1 6 组成，共2 5 6 m 字节的存储空间，主要用来存储双核的可执行代码、 视频采集的原始标准数字视频流、视频压缩或解压缩后的视频信号等。 n a n df l a s h 模块由d m 6 4 4 6 片内e m i f a 接口和s u m s u n g 公司的k 9 f 1 2 0 8 芯 片组成，k 9 f 1 2 0 8 共6 4 m 字节的存储空间。主要用来存储u b l 、u b o o t 、l i n u x 内 核、文件系统等。和n o rf l a s h 不同的是，n a n df l a s h 需要额外的驱动程序，这点在 使用的过程中需要特别注意。 网络接口模块由d m 6 4 4 6 片内e m a c 外设和b r o a d c o m 公司的b c m 5 2 2 1 组成， 通过外接带网络变压器的r j 4 5 连接器，实现网络的收发功能。该模块在本系统中主要 应用的系统的开发过程中，包括t f t p 下载文件、挂载网络文件系统，f t p 收发文件等。 当系统开发完成后，为了降低系统成本，减少系统功耗，该模块可以裁掉。 u s b 接口模块由d m 6 4 4 6 集成的u s b 2 0 控制器和u s b 插座组成，支持u s b 2 0 从机高速4 8 0 m b p s 和全速1 2 m b p s ，支持u s b 2 0 主机高速4 8 0 m b p s 、全速1 2 m b p s 和 低速1 5 m b p s 。该接口主要是作为无线网卡的接口，本系统的视频数据都是通过u s b 接口传送给无线网卡，通过无线网卡发送给接收端。 r s 2 3 2 模块由d m 6 4 4 6 集成的u a r t 控制器和t i 公司的m a x 3 2 2 1 芯片组成，t t l 电平端的收发信号通过c p l d 进行电平转换，将d s p 端的1 8 v 电平转换为m a x 3 2 2 1 端的3 3 v 电平，再由m a x 3 2 2 1 将t t l 电平转换为r s 2 3 2 电平。r s 2 3 2 模块的作用， 主要是对系统的启动参数的输入和启动后l i n u x 操作系统的终端控制。 c p l d 模块由x i l i n x 公司的x c 2 c 1 2 8 芯片组成，该芯片有两组不同电平的i o 口， 1 8 v 和3 3 v 。由于d m 6 4 4 6 有很多的片内外设是1 8 v 的，但是，外围电路又是3 3 v ( 如t v p 5 1 5 0 等) ，故需要电平转换。此外，复位芯片的复位输出也是经过c p l d ，来 给d m 6 4 4 6 、t v p 5 1 5 0 、b c m 5 2 2 1 等芯片提供复位输出。 复位电路非常重要，该电路能确保系统在启动过程中，各种电压未达到要求的电 平之前，d m 6 4 4 6 一直处于复位状态。复位模块由三片复位芯片t p s 3 8 0 8 级联组成， 分别监控三种电路的电压1 2 v 、1 8 v 、3 3 v 。只有当这三路电压都起来后，最后一级 的复位芯片的复位输出引脚才会输出逻辑高，否则，一直输出低有效电平，使系统中 西南交通大学硕士研究生学位论文第13 页 各个芯片都处于复位状态，不至于出现莫名其妙的状态。 3 2 电源模块 3 2 1 功耗估计 电路的电源模块直接关系着系统的稳定性和使用寿命，一个不稳定的电源电路， 可以引起电路的重启、部分电路不能工作，甚至减少芯片的使用寿命。在设计电源电 路时还要考虑p c b 布局布线的因素，让电源回路畅通无阻。 要设计电路的电源模块，首先要大概的估计一下系统中主要芯片的功耗有多大， 有几种不同的工作电压。t m s 3 2 0 d m 6 4 4 6 需要3 种电压：1 2 v 、1 8 v 、3 3 v 。其中， 1 2 v 为核电压，3 3 v 和1 8 v 为i o 口电压。因此，我们需要三种d c d c 芯片，将输 入的5 v 直流电压，转换为所需要的1 2 v 、1 8 v 、3 3 v 三种电压。表3 1 列出了本系 统的主要芯片的最大功耗【4 5 1 。 表3 - 1电路中主要芯片的最大功耗 西南交通大学硕士研究生学位论文