（电子科学与技术专业论文）基于“银河飞腾dsp”的视频显示子系统的设计.pdf

国防科学技术大学研究生院工学硕士学位论文 a b s t r a c t s i n c et h ea p p e a r a n c eo fk i n d so f h i g h - p e r f o r m a n c ed i g i t a ls i g n a lp r o c e s s o r ， i tb e c o m e sh o ti ne m b e d e ds y s t e md e v e l o p m e n tt h a tr e a l - t i m e , h i g h - s p e e dd e a l i n gt h e h u g e - d a t ad i g i t a lv i d e o a u d i oe n c o d i n g 、d e c o d i n ga n do t h e rm e d i aa p p l i c a t i o n sw i t ha e m b e d e ds y s t e mw i t had i g i t a ls i g n a lp r o c e s s o r t h i sp a p e rr e s e a r c h e st h ed e s i g na n d i m p l e m e n t i o no ft h ev i d e od i s p l a ys u b s y s t e mb a s e do ny h f t - d s p ，i m p l e m e n t i n g t w os o l u t i o i l t h ef i r s ts o l u t i o ni st h a tt h ev i d e od i s p l a ys u b s y s t e mi si m p l e m e n t e db a s e do n y h f t - - d 4 ba n df p g a i nt h i ss u b s y s t e m ，t h ed e c o d ep r o g r a mi sr u n n i n go nt h e y h f t - - d 4 b ，a n df p g as c a l e st h ei m a g e so fv i d e o ，c h a n g e st h es c a l am e t h o d ， f o r m a t st h ei m a g ed a t at ov i d e os t r e a m s n o wt h ed e b u g g i n go fs y s t e mo nb o a r dh a s b e e nf i n i s h e d t h es y s t e mh a sag o o di n t e r f a c e c o m p a t i b i l i t ya n das t e a d y p e r f o r m a n c e i tc a l lc o n t i n u o u s l yp r o v i d eac h a n n e lb t 6 5 6s t r e a m s ，t h e nt h i sp a p e r a n a l y z e st h el i m i t a t i o no ft h ef i r s ts o l u t i o n ，a n dp r o v i d e st h es e c o n ds o l u t i o na f t e r r e s e a r c h i n gl o t so f d o c u m e n to f c u r r e n td i g i t a lm e d i ap r o c e s s o r t h es e c o n ds o l u t i o ni st od e s i g nan e wd i g i t a lm e d i ap r o c e s s o r ，y h f t - - v d s p ， i n c l u d i n gaa d v a n c e dy h f t - - d 4 bd s pc o r e ，av i d e oc a p t u r es u b s y s t e m , av i d e o d i s p l a ys u b s y s t e ma n d ah i g n s p e e do u t s i d e m e m o r yi n t e r f a c e t h i sp a p e r i m p l e m e n t st h ei n t e g r a t e d v i d e od i s p l a ys u b s y s t e m v i d e o d i s p l a ys u b s y s t e m i n c l u d e saa s y n c h r o n o u sf i f om o d u l e , ap i p e l i n i n gv i d e of i l t e rm o d u l ea n da p r o g r a m a b l ef o r m a to u t p u tm o d d e t h i sp a p e rh a sc o m p l e t e dt h ev e r i l o gc o d e sa n d i th a sd o n eas i m u l a t i o n t h er e s u l ts h o w st h a tt h ep e r f o r m a n c eo f t h es e c o n ds o l u t i o n i sb e t t e rt h a nt h ef i r s ts o l u t i o n ，a n dt h es e c o n ds o l u t i o nc a nm a k eu pt h el i m i t a t i o no f t h ef i r s ts o l u t i o n , s u p p o r t i n gs da n dh i ) d i s p l a ye q u i p m e n t a tt h ee n do ft h i sp a p e r , w ed i s c u s s e dt h ev e r i f i c a t i o no ft h ei n t e g r a t e dv i d e o d i s p l a ys u b s y s t e mi nt h ey h f t - - v d s p ，i n c l u d i n gs i m u l a t i o na n df p g ae m u l a t i o n a m e t h o d ，u s i n gay h f t - - d 4 ba n df p g as y s t e m , i sp r o v i d e dt os i m u l a t et h e i n t e r f a c et i m i n go f v i d e o d i s p l a ys u b s y s t e m ，f o rf p g ae m u l a t i o n k e yw o r d s ：y h f t - - d 4 b 。y h f t - - v d s p ，d i g i t a ls i g n a lp r o c e s s o r 。 d i g i t a lm e d i ap r o c e s s o r , v i d e od i s p l a ys u b s y s t e m 。v i d e op r o c e s s v i d e of i l t e r 国防科学技术大学研究生院工学硕士学位论文 表目录 表2 1 表2 2 表3 1 表3 2 表3 3 表3 4 表4 1 表4 2 表4 3 表4 4 表4 ，5 表5 1 表6 1 外部存储器空间地址映射 s a a 7 1 2 1 控制寄存器的配置， v d s 接口描述 视频显示模式引脚映射 一1 1 ，1 5 2 8 v d o u t 总线数据的对齐和使用2 9 v d s 控制寄存器空间3 1 显示模式参数3 3 y 纪模式显示f i f o 打包3 3 视频显示阈值寄存器( v d t m 也d ) 字段描述3 6 视频显示显示事件寄存器( v d d i s p e v n 域描述3 8 自然二进制码与g r a y 码的对应关系4 1 滤波模式的选择5 3 l1 2 5 行和t 2 5 0 行系统相关参数6 3 第1 v 页 国防科学技术大学研究生院工学硕士学位论文 图目录 图1 1“银河飞腾”一d 4 b 的总体结构图2 图2 ，l 机顶盒总体框图9 图2 2 系统结构图l o 图2 3 d s p 与s d r a m 连接一1 2 图2 4d s p 与f p g a 连接1 2 图2 5e m i f 写f p g a 操作时序1 3 图2 6f p g a 功能模块结构图1 6 图2 ，7b t 6 5 68 位并行接口数据格式1 7 图2 8 视频处理模块结构图1 8 图2 9 分辨率放大功能原理图1 9 图2 1 0 分辨率放大功能原理图2 0 图2 11i z c 总线的数据传输2 1 图2 1 2d l l 模块连接方式2 2 图2 1 3t c m p c t e 测试序列测试结果2 3 图3 1 视频子系统在芯片结构中的位置2 5 图3 2 视频显示子系统结构图2 6 图4 1 视频显示f i f o 模块结构图3 2 图4 2 写总线地址判别逻辑3 5 图4 3 视频显示阂值寄存器3 6 图4 4d m a 启动逻辑状态图3 7 图4 5 视频显示显示事件寄存器3 8 图4 6 异步信号比较失败4 l 图4 7 异步信号一级同步失败4 2 图4 8 异步信号二级同步4 2 图4 9f i f o 空满状态4 3 图4 1 0 满信号生成逻辑4 4 图4 11 异步f i f o 总体结构4 5 图5 1b t 6 5 68 位模式解包4 7 图5 2 b t 6 5 61 0 位模式解包4 7 图5 3 b t 6 5 6l o 位压缩模式模式解包4 8 图5 4y c8 位模式解包4 8 图5 5 y c1 0 位模式解包4 9 第v 页 国防科学技术大学研究生院工学硕士学位论文 图5 6y c1 0 位压缩模式解包4 9 图5 7b t 6 5 68 位解包逻辑 图5 8 采样格式 图5 9 色度重采样 5 ( ) ，5 4 图5 1 0c o s i t e d 格式2 倍比例放大5 6 图5 1 1i n t e r s p e r s e d 格式2 倍比例放大5 6 图5 1 22 倍比例放大公式的硬件实现5 7 图5 1 38 位模式下，2 倍比例放大逻辑5 8 图5 1 48 位y 佗模式下，2 倍比例放大工作流程5 9 图6 1 隔行扫描视频时序6 1 图6 2 逐行扫描视频时序6 1 图6 36 2 5 5 0 系统b t 6 5 6 消隐间隔6 2 图6 4 显示格式定义模块逻辑示意图6 4 图6 5 水平消隐和水平同步信号产生6 6 图6 6 垂直消隐、垂直同步和场同步信号产生6 7 图7 1 视频显示子系统f p g a 验证板验证的方案7 2 第页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材抖与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目：薹要! 盈霉查送兰堂辈主查塑趣垦蠡垂盘堡丛汁 学位论文作者签名：狻叁五冬 日期：沙年r 月l z 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：蓦i ! 生垦垮整遂竺堕e 童垒型嵫垦主：坌毯毖趟 下 学位论文作者签名：疑众：蕴 日期：弘p z 年r 月i 占日 作者指导教师签名：l 茎垒! 堕赶 日期：伽年1 月l 日 国防科学技术大学研究生院工学硕士学位论文 第一章引言 数字信号处理器( d i g i t a ls i g n a lp r o c e s s o r ，d s p ) 是一种用于数字信号处理的 嵌入式专用微处理嚣，它拥有强大的数值运算能力。在全球数字化的进程中，d s p 以其数字器件特有的稳定性、可重复性、可大规模集成性、高可编程性、易于实 现自适应处理等特点，长期对数字媒体处理起到了积极的推动作用。 数字信号处理器强大的运算能力使得由d s p 处理器来实时高速完成大数据量 的数字视频和音频编解码处理成为可能。数字视频系统结合了网络通信技术，集 可编程图像和声音编解码、网络传输和自动化等技术，在社会生活中得到了广泛 的应用。d s p 在数字视频系统中，主要在数字监控、p 视频电话、视频会议、家 庭媒体网关、无线视频网关、数字摄录机、数码相机、个人数字视频播放器、点 播机和数字机顶盒等领域得到很好的应用。 由于网络传输带宽的限制，大数据量的数字视频信号必须经过视频编码，成 百成千倍地压缩以后才能传输到接收端。相应的接收端接受到数据以后，必须进 行视频解码，并把解码出来的视频数据转换成一定格式的视频流，才能输出到显 示设备上。本文设计的视频显示子系统就是用在视频接收终端，完成视频解码和 格式转换的功能，这在数字监控、i p 视频电话、视频会议、个人数字视频播放器、 点播机和数字机顶盒等应用领域都是不可缺少的部分。 本文对视频显示子系统提出了两种实现方法，包括基于“银河飞腾”- - d 4 b 和f p g a 的方法和集成在d s p 内部实现一款新的数字多媒体处理器的方法。 1 1“银河飞腾”- - d 4 b 简介及其在数字多媒体领域的应用 “银河飞腾”- - d 4 b 是我国自主研制的第一款超长指令字结构( 、，l t w ) 的高性 能定点数字信号处理器，也是目前国内正向设计的规模最大、功能最全、综合运 算性能最高的3 2 位d s p 。它基于0 1 8 微米6 层布线c m o s 工艺，规模近千万个 晶体管，采用了全定制与半定制相结合的设计方法，具有高性能、低功耗的特点。 “银河飞腾”- - d 4 b 主频可达2 5 0 m h z ，定点运算性能达2 0 0 0 m i p s ，1 6 位乘加运 算能力达每秒1g 次，8 位乘加运算能力达每秒2 g 次，功耗仅0 8 w ，采用1 8 v 和3 ，3 v 两种电源电压，2 5 6 引脚的p b g a 封装【l 】【2 】。 “银河飞腾”- - d 4 b 总体结构图如图1 1 所示，从整体上可分为c p u 核心、 片上外设和两级c a c h e 系统三个部分 2 1 。 “银河飞腾”- - d 4 b 的主要技术特征包括： 增强的哈佛结构，支持两级c a c h e ：l 2 级c a c h e 是指令和数据混存，6 4 k b ； 第1 页 国防科学技术大学研究生院工学硕士学位论文 2 个l l 级c a c h e ，指令c a c h e4 k b ，数据c a c h e4 k b ；3 2 个通用寄存器； 指令分取指、译码、执行3 个流水级，7 至1 0 站完成； 8 个高度独立的功能部件：2 个诺s i m d 功能的乘法部件，可实现有符号 的4 个1 6 位乘，或者8 个8 位乘；4 个带s i m d 加法部件，可实现2 个 3 2 位的有( 无) 符号数的加减，4 个1 6 位数的加减，或者8 个8 位的加 减：6 个逻辑运算部件，2 个函数执行部件；各功能单元独立执行，大大 提高运算能力； r i s c 指令集、3 2 位指令字： 指令条件执行，使编译器能够更大程度地开发并行性； 支持8 1 6 3 2 位数据，支持4 0 位长整数运算； c p u 与外设使用统一地址；丰富的寻址方式：线性寻址、循环寻址。前 者又分为寄存器间接寻址、寄存器相对寻址、寄存器相对偏移寻址、基址 寻址，各寻址方式内部又分为三种：寄存器不变、寄存器自增、寄存器自 减，方便程序的开发； 有支持数字信号处理的专有指令，包括饱和、归一化运算、s l m d 运算等； 支持位操作，提高对特定算法的运行效率； 指令条件分支的预测执行靠“延迟分支”技术，带5 个延迟分支槽，用以 减少分支的开销； 支持1 4 级中断； 有符合1 e e e 11 4 9 1 标准的边界扫描电路； 支持丰富的外部接口：定时器、主机接口( h p i ) 、e d m a 、e m i f 、多通 道缓冲串口，可以实现大容量数据传送。 第2 页 国防科学技术大学研究生院工学硕士学位论文 为了充分发挥性能，我们自主开发了支持“银河飞腾”- - d s p 指令集的c 编 译器和汇编器。为了便于应用，还自主开发了支持“银河飞腾”- - d s p 调试的软 件环境。 “锓河飞腾”- - d 4 b 应用前景广阔。在军事上可用于雷达信号处理、精确制 导、卫星图像处理、飞行控制、舰艇声纳探测、坦克火控、保密通信和电子对抗 等领域；在民用领域，可用于移动通讯、网络控制、硬盘、消费类电子产品等。 “银河飞腾”- - d 4 b 在数字多媒体领域的应用前景广阔，例如图像处理、数 码相机、高清电视、网络摄像机、数字机顶盒、可视对讲等应用。目前自主开发 的应用主要包括手机遥视系统、网络摄像机、数字机顶盒等。本文中基于“银河 飞腾”- - d 4 b 和f p g a 实现的视频显示子系统就应用在数字机顶盒系统中。 网络摄像机系统主要起到视频监控的作用，网络摄像机系统采用两块“银河 飞腾”- - d 4 b 芯片，一块芯片负责m p e g - 4 视频压缩，另一块芯片负责m p 3 音频 压缩、t c p i p 网络协议以及操作控制程序。主要功能是将c c d 摄像头采集到的视 频数据和从麦克风采集到的音频数据经定r 银河飞腾”- - d s p 进行m p e g - 4 和m p 3 压缩，压缩后的数据由t c p i p 协议发送到i n t e m e t 网或局域网上。 机顶盒主要功能是通过网络把网络摄像机压缩好的m p e g 4 视频流和m p 3 音 频数据流，经过机顶盒中的“银河飞腾”- - d 4 b 进行解码，解码后经过f p g a 进 行格式转换等处理，分别在电视机上和音箱中进行播放，也可以通过u s b 接口存 储在移动硬盘中。 1 2 数字多媒体处理器概述 随着多媒体技术的发展，数字视频标准的制定，视频数字化得以实现。一类 以数字视频处理为目标的新型d s p 器件：数字多媒体处理器( d i g i t a lm e d i a p r o c e s s o r ) ，随之产生，也越来越得到产业界的重视p j 。 数字多媒体处理器是一种具有特殊结构和特殊用途的微处理器，它包括数字 信号处理器核，集成的多媒体和通信外设接口，极大的简化了视频解决方案的系 统设计，减小了设计开销。本世纪以来，随着以t i 公司的t m s 3 2 0 d m 6 4 x 系列、 p i a i l i p s 公司的t r i m e d i a 系列、e q u a t o r 公司的b s p 系列等为代表的高性能数字多媒 体d s p 的出现，由嵌入式处理器来实时高速完成大数据量的数字视频和音频编鼹 码处理成为可能。 “银河飞腾”一v d s p 是一款研制中的高性能数字多媒体处理器，它包含一个 先进的“银河飞腾”一d 4 bd s p 核，一个高速的d d r 2 接口，一个视频采集子系 统，一个视频显示子系统和一些d s p 通用端口。以它为中心，可以方便的搭建一 个嵌入式的多媒体系统硬件平台。它的高可编程性，又可以使得它能够兼容正在 第3 页 国防科学技术大学研究生院工学硕士学位论文 发展的各种视频标准，方便进行软件升级。这些特性必将使它得到广泛的应用。 1 2 1 数据多媒体处理器的特点 数字多媒体处理器的主要应用是实时高速的完成大数据量的多媒体处理。处 理器结构上的许多特点，都是各种加速多媒体处理的技术在设计中的体现。一般， 数字多媒体处理器都包含以下功能部件： 高性能的d s p 核。多媒体处理的实时数据量非常庞大，例如视频解码过 程中，b t 1 1 2 0 标准的高清晰度数字电视信号最高数据量达1 5 0 m b s ，这 些数据可能全部由d s p 核产生，这就要求d s p 核有很高的性能。同时， 视频处理算法也变得约来越复杂，这对d s p 核的性能也有很高的要求。 - 高速的存储器接口。同样是由于多媒体处理的实时数据量非常庞大，视频 数据需要多次在d s p 核和存储器，存储器和视频处理部件间传输，存储 器接口的传输速率将极大影响多媒体处理的速度。 一专用图像视频处理部件。由于现有视频标准繁多，视频数据的采集、播放 和部分处理功能用硬件来实现将更加灵活，有效，并且可以简化软件设计。 现有的各种数字多媒体处理器都可以支持多种视频采集设备和视频显示 设备。可以将编程人员从繁琐的视频标准中解放出来，极大的缩短了多媒 体处理系统的实现过程。 1 2 2 数字多媒体d s p 芯片简介 现阶段在数字视频领域内，主要有以下一些d s p 厂商；p h i l , s 、e q u a t o r 、t i 、 a d i 等。各厂商的多媒体d s p 芯片的视频处理部件都各有其特点，以下进行简单 的介绍。 1 2 2 1t i 达芬奇技术和t m s 3 2 0 d m 6 4 2 多媒体处理器简介 达芬奇( d a v i n c i t m ) 技术的产品包括基于数字信号处理器( d s p ) 的片上系 统( s o c ) 以及多媒体编解码器、应用编程接口( a p i ) 、框架与开发工具等。这些 集成型组件是业界最早推出的、完整的开放式平台产品，无需具备广泛的数字视 频专业技能即可实现数字视频创新。对采用达芬奇技术的产品而言，为应用添加 视频功能变得像a p i 编程一样简单，不仅可为o e m 厂商节约数月的开发时间， 而且还能大幅降低整体系统成本”】。 t m s 3 2 0 d m 6 4 4 3 是达芬奇技术的典型产品，是一款高度集成的片上系统 ( s o c ) ，集成了数字视频所需的许多外部组件。d m 6 4 4 3 建立在1 m s 3 2 0 c 6 4 xd s p 内核基础之上，a r m 9 2 6 处理器、视频加速器、网络外设及外部存储器和存储设 第4 页 国防科学技术大学研究生院工学硕士学位论文 备接口等都专门为视频功能进行了调节，针对视频编码及解码应用进行了优化， 可提供数字视频解码所需要的全部组件，包括带集成式图像缩放工具及画中画 ( o s d ) 引擎的模拟及数字视频输出。 1 m s 3 2 0 d m 6 4 2 是达芬奇技术推出之前，t i 应用最广的一款多媒体芯片。 d m 6 4 2 集成了3 个视频端口，每个端口都可以输出路8 位或l o 位的b t 6 5 6 标 准、b t 1 1 2 0 标准和最多两路r a w 格式的视频数据，有专用的视频同步控制引脚 和时钟引脚州【7 i 。 1 2 。2 2 p h i l i p st r i m e d i ap n x - 1 5 x x 系列处理器简介 孙1 5 x x 系列多媒体处理器在一个芯片上集成了a u d i o n i d e o g r a p h i c s 系 统，它包含一个高性能3 2 位v l l w 处理器，t r i m e d i at m 3 2 6 0 ，能够进行软件的视 频和音频信号处理，还可以做为个通用控制处理器使用瞪】。 p n x l 5 x x 系列处理器集成了视频合成处理器( q u a l i t yv i d e oc o m p o s i t i o n p r o c e s s o r ，q v c p ) 。该视频处理器是一个高分辨率的图象合成和处理流水线，使得 图象和视频处理更加容易。q v c p 设计合成了一个视频层和一个图象层。它可以用 来显示一个完全合成的视频图象包括画中画( p i p s ) ，菜单( s ) ，和其它图象信息。 q v c p 支持逐行和隔行显示标准的完整范围：对于电视机，支持从标准清晰度 如p a l 或n t s c 格式，到a t s c 全部的1 8 种显示格示如1 0 8 0 i 或7 2 0 p ；对于计 算机和l c d 显示器，支持从v g a 到w - x g a 分辨率( 1 2 8 0 x7 6 8 ) ，刷新频率 6 0h z 。广泛的输出模式保证兼容大多数的显示处理芯片【s 】。 1 2 2 3 e q u a t o rb s p - 1 6 系列s o c 简介 b s p 一1 6 处理器是一个完整的片上系统设备，用在以视频为中心的应用上，如 消费电子，安全，监视，视频会议和数字图象。b s p 1 6 集成了2 个主要的视频处 理部件：视频滤波器、显示更新控制器。 在视频输出过程中和视频数据存储器搬移过程中，视频滤波器提供2 维多抽 头图象滤波用于缩放，格式转换和其它图象处理功能。当合成或在标准清晰度和 高清晰度显示器上显示图象时，视频的比例放大和缩小是非常关键的。 显示更新控制器支持多种图象流显示，从v g a 和隔行n t s c 到高清晰度逐行 扫描显示器的各种各样的输出设备上。协同d m a 控制器和视频滤波器，显示更新 控制器可以支持先进的显示模式，例如画中画和屏幕菜单显示( o n s c r e e n d i s p l a y ， o s d ) 。包含2 个视频端口，1 个8 位b t 6 5 6 视频输出端口和1 个l o 位r r u b t 6 5 6 或者b t 1 1 2 0 视频输出端i 二l p 。 1 2 2 4ad s pb l a e k f mb f 5 6 1 处理器简介 b f 5 6 1 处理器是一款双内核d s p ，提供了两个并行外设接口( p p i o ，p p i i ) ，它可 第5 页 国防科学技术大学研究生院工学硕士学位论文 以直接连到并行的a d 和d a 转换器，i t u r6 0 1 6 5 6 视频编解码器，和其他通用 外设上。每个p p i 包含一个专用的时钟输3 ；j 1 脚，3 个同步引脚，和1 6 个的数据 引脚。最高支持系统时钟一半频率的并行数据传输n o l 。 1 3 本文研究的目的、意义及主要内容 在数字视频的应用中，通用d s p 没有专用的接1 2 1 支持现有的各种视频显示格 式。如果以通用d s p 为基础搭建数字视频系统，需要增加硬件设备和软件程序来 完成视频的采样格式变化、分辨率太小变化和控制信号的生成。并且，由于数字 视频或图象的数据量非常庞大，用通用d s p 来完成数字视频的转化和与处理，d s p 与外设的数据传输将会使外设接口变的非常繁忙，这将严重影响d s p 的正常工作， 也使系统的设计变得非常复杂。基于“银河飞腾”- - d 4 b 和f p g a 的视频显示子 系统的实现方法解决了视频处理中的这些问题，可广泛用于数字视频系统的视频 图像处理和显示。 以通用d s p 为基础搭建数字视频系统遇到的问题，对于具有强大的视频和图 象处理功能的数字多媒体d s p 而言，就变得十分简单了。多媒体d s p 集成了图象 和视频处理部件来完成图象分辨率大小变换和采样格式变化等工作。为了支持各 种显示设备，多媒体d s p 还集成专门的格式转化部件，将视频数据转化成相应的 视频显示流和控制信号，从d s p 专用的视频显示接1 2 输出到显示设备，减轻了通 用外设接1 5 1 的负担。基于上述考虑，论文提出并设计实现了集成在“银河飞腾” - - v d s p 中的视频显示子系统解决方案。“银河飞腾”- - v d s p 集成了视频显示子 系统和高速的d d r 2 接口，具有强大的视频处理能力，广泛支持各种显示标准， 具有良好的应用前景。 数字视频的发展，使多媒体d s p 的应用有一个非常广阔的市场前景。但是现 阶段，主要的d s p 厂商都是国外的厂商，国内的多媒体d s p 产品基本空白。在现 有的“银河飞腾”- - d 4 b 芯片基础上，增加视频子系统，集成视频处理和格式转 换等功能，设计一款国产的多媒体d s p ，在芯片的国产化和芯片的产业化推广上 都是有十分重要的意义的。 本课题的主要内容对视频显示子系统提出的两种实现方法，基于“银河飞腾” - - d 4 b 和f p g a 的扳级实现方法和集成在d s p 内部实现的方法进行设计和实现， 对两种实现方法的性能进行比较。包括如下几个方面： 一、实现基于“银河飞腾”- - d 4 b 和f p g a 的视频显示子系统的设计，完成 板级调试。 二、用v e r i l o g 语言完成，集成在“银河飞腾”- - v d s p 中的视频显示子系统 的r t l 级的设计开发，实现一个8 位或1 0 位b t 6 5 6 模式显示通道，一个1 6 位 第6 页 国防科学技术大学研究生院工学硕士学位论文 或2 0 位y c 模式显示通道； 三、完成对集成在v d s p 中的视频显示子系统的功能级模拟验证，在现有开 发系统的基础上完成对视频显示子系统的f p g a 功能验证。 1 4 本文的结构 本文重点论述了视频显示子系统的两种设计实现方法，基于“银河飞腾”一 d 4 b 和f p g a 的方案和集成在“银河飞腾”- - v d s p 内部的方案。并对v d s p 的 视频显示子系统的功能验证进行了介绍。论文共分七章： 第一章为引言，介绍课题背景、相关知识、内容和意义。 第二章介绍了基于“银河飞腾”一d 4 b 和f p g a 的视频显示予系统设计，并 对该方案迸行了性能分析。 第三章对“银河飞腾”- - v d s p 的体系结构，特点以及视频显示子系统的总体 结构进行了简要介绍。 第四章对视频显示子系统同d m a 部件的协同工作模式给出了详细说明，给出 了v d s p 视频显示f i f o 模块的设计。 第五章介绍了视频数据解包和视频图象滤波的基本原理，给出了v d s p 视频 显示滤波模块的设计。 第六章介绍了各种视频显示标准和显示格式，给出了视频显示格式定义模块 的设计实现。 第七章详细介绍了v d s p 视频显示子系统的的功能测试码的开发及其功能验 证。并对在现有开发系统的基础上，v d s p 视频显示子系统的f p g a 功能验证的方 案进行了介绍。 正文之后的结束语，对本文工作做出小结，并对未来工作进行展望。 最后，对给予我无私帮助的所有老师、同学和朋友表示感谢，给出本文的参 考文献。 第7 页 国防科学技术大学研究生院工学硕士学位论文 第二章基于“银河飞腾”- - d 4 b 和f p g a 的视频显示子系 统设计 随着数字多媒体技术的不断发展，数字图像处理技术被广泛应用于电视会议、 可视电话和安全监控等各种民用、商用及工业生产领域中。数字图像处理系统中， 一个突出的问题是数据量庞大，特别是在图像帧频率及分辨率要求比较高的场合 下。由于传输网络传输带宽的限制，大容量的数字视频信号必须经过视频编码， 成百成千倍地压缩以后才能传输到接收端。相应的接收端接受到数据以后，必须 进行视频解码，并把解码出来的视频数据转换成一定格式的视频流输出到显示设 备上。 数字视频系统从技术层面上来讲，包括数字视频信号源、信号传输以及接收 终端三部分。但是，有些系统可能不包括全部的三部分，例如个人数字视频播放 器，只相当于一个显示终端。 基于“银河飞腾”- - d 4 b 实现的网络摄像机和数字机顶盒是一套完整的视频 系统。本章介绍的基于“银河飞腾”- - d 4 b 和f p g a 的视频显示子系统，就是用 在数字视频机顶盒中，完成视频解码和格式转换的功能。这在数字监控、m 视频 电话、视频会议、个人数字视频播放器点播机和数字机顶盒等应用领域都是不可 缺少的部分。 2 1 基于“银河飞腾”- - d 4 b 实现的机顶盒系统介绍 基于“银河飞腾”- - d 4 b 设计实现的机顶盒主要功能是通过网络把网络摄像 机压缩好的m p e g - 4 视频数据和m p 3 音频数据，经过机顶盒中的“银河飞腾”一 d 4 b 进行解码，解码后经过f p g a 进行格式转换等处理，分别在电视机上和音箱 中进行播放，也可以通过u s b 接口存储在移动硬盘中。机顶盒设计总体设计框图 如图2 1 所示： 机顶盒工作原理介绍： 1 视频处理：网络上传输过来的m p e g 4 编码视频数据经过网络芯片，解数 据包后交与“银河飞腾”一d 4 b ，由d s p 进行m p e g 4 解码后，将解码后的c i f 格式视频数据，通过外部存储器接口e m i f 传输给f p g a 。 2 视频格式转换：电视机采用的是p a l 制式，所以视频数据在电视上播放前 必须要进行格式转换和d a 转换。f p g a 进行数据格式转换，把采样格式为4 ：2 ：0 ， 分辨率为3 5 2x2 8 8 的逐行数据转换成采样格式为4 ：2 ：2 ，分辨率为7 2 0 5 7 6 的隔 行数据格式，然后将转换好的视频数据传送给s a a 7 1 2 1 h ，经过模数转换，在电 第8 页 国防科学技术大学研究生院工学硕士学位论文 视机上正确播放。 图2 1 中s d r a m _ i 是存放数据和程序的缓存区。s d r a m _ 2 是图像数据和音 频数据缓冲区，f l a s h 存放m p e g - 4 和m p 3 解码程序和t c p i p 协议ee p r o m 存放f p g a 运行的程序。另外我们还设有遥控器对机顶盒进行视频点播控制。u s b 接口用于存储解码后的视音频数据，r s 2 3 2 调试接口等功能。由于本设计主要做 的是视频工作，对红外遥控、u s b 、音频和网络部分不作详细介绍。 图2 1 机顶盒总体框图 2 2 视频显示子系统基本结构 视频显示子系统以高性能的定点“银河飞腾”- - d 4 b 为核心处理部件完成 m p g e 4 视频解码程序。采用大容量的s d r a m 存储器连接到d s p 的e m i f 端口作 为解码程序的数据源和帧缓存。由于“银河飞腾”- - d 4 b 片内集成了s d r a m 控 制器，可以方便的实现对片外s d r a m 的数据访问。同时在系统中还连接了一片 f p g a 到d s p 的e m i f 端口。d s p 解码完视频数据以后将数据送到f p g a ，由f p g a 完成视频数据色度重采样，低分辨率向高分辨率转换，逐行扫描到隔行扫描的变 换。同时将视频数据转换成标准的b t 6 5 6 视频数据流，送到p h i l i p s 的s a a 7 1 2 1 芯片。s a a 7 1 2 1 将标准的数字视频信号( b t 6 5 6 ) 编码成普通电视所能接收的p a l 制式复合电视信号。图2 2 描述了系统的结构图。 第9 页 国防科学技术大学研究生院工学硕士学位论文 “银河飞腾”- - d 4 b 是我国自主研制的第一款超长指令字结构( v u w ) 的高性 能定点数字信号处理器( d s p ) 。“银河飞腾”一d 4 b 主频可达2 5 0 m h z ，定点运算 性能达2 0 0 0 m i p s ，1 6 位乘加运算能力达每秒l g 次，8 位乘加运算能力达每秒2 g 次，功耗仅o 8 w i 】i z j 。在视频显示子系统中，t d 4 b 主频仅为i o o m h z ，d s p 外频和f p g a 频率为1 0 0 m h z 时就可以流畅的运行一路m p e g 4 视频解码程序。 图2 2 系统结构图 f p g a 采用x i n l i n x 公司的s p a r t a n - i i ex c 2 s 1 5 0 e ，使用频率1 0 0 m h z 。s d r a m 采用m i c r o n 公司的3 2 位m t 4 8 l c 2 m 3 2 8 2 芯片，连接d s p 的外部时钟。视频编 码芯片采用p h i l i p s 公司的s a a 7 1 2 1 ，使用频率2 7 m h z ，它可以将标准的数字视频 信号( b t 。6 5 6 ) 编码成电视所能接收的n t s c 或p a l 制式的复合电视信号【l ”。 d s p 中运行的m p e g 4 解码程序从s d r a m 中读取压缩的视频数据。该压缩数 据可能是从网络中传输到接收终端的，例如数字监控、i p 视频电话和视频会议， 也可能是从本地系统的移动存储设备中直接提取的，例如个人数字视频播放器。 为了更好的通用性，视频数据采用的是最常用的c i f ( c o m m o n i n t e r m e d i a t ef o r m a t ) 格式，分辨率为3 5 2 2 8 8 ，采样格式为y c b c r 4 ：2 ：0 ，而显示终端设备采用最普通 的标准清晰度电视s d t v ，p a l 制式。 2 3 d s p 外设接口连接以及视频解码与f p g a 的同步机制 “银河飞腾”- - d 4 b 的内部存储器只有6 4 k 字节，无论是基于主从系统还是 单独使用，“银河飞腾”- - d 4 b 都需外部存储器。e m i f ( e x t e m a lm e m o r yi n t e r f a c e ) 外围存储器件接口是外部存储器和d s p 片内其他单元间的接1 2 ，c p u 访问片外存 储器必须通过e m i f 。本系统中s d r a m 和f p g a 都连接到了d s p 的e m i f 接口 上。 “银河飞腾”- - d 4 b 的e m i f 具有强大的接口能力，其数据总线宽度为3 2 位， 可寻址空间为4 g b ，具有很高的数据吞吐率。可以与目前几乎所有类型的存储器 第1 0 页 国防科学技术大学研究生院工学硕士学位论文 接口。e m i f 支持的器件类型包括： 同步突发动态r a m ( s b s r a m ) ； 异步动态r a m ( s d r a m ) ； 异步器件，包括s r a m 、r o m 、f i f o 等； 当同时有多个器件申请外总线时，由e m i f 根据设置的优先级别进行仲裁。 e m i f 存在着一组存储器映射寄存器，通过设