（仪器科学与技术专业论文）基于dsp平台的视频采集系统与mpeg2视频压缩算法研究.pdf

重庆大学硕士学位论文中文摘要 摘要 近年来，随着d s p 技术的高速发展，使得视频处理技术取得了长足的进步， 而以d s p 为核心的视频处理系统也就得到了广泛的应用。本文在深入研究d s p 的技术和理论后，设计了一种基于d s p 的视频图像处理系统，该系统的研究主要 基于d s p 芯片体积小、处理速度快、实时性高、价格低廉等特点。 目前的图像处理多借助于图像卡和微机系统的高处理速度和大存储容量来完 成对图像的相关处理工作，但带来了体积大、成本高、工作稳定性差等缺点。本 文在研究了d s p 的特性后，选用t i 公司高性能的c 6 0 0 0 系列d s p ，并确定了系 统各组成部分的设计方案，对系统各组成模块的功能和特点作了详细的介绍。 整个系统设计包括硬件设计和软件设计两大部分，在系统硬件设计中给出了 视频采集子卡的硬件接口方案；在软件设计部分设计了对应于硬件接口的底层软 件并对m p e g 2 算法进行了深入研究。t m s 3 2 0 c 6 7 1 1 是t i 公司推出的一款高性 能浮点数字信号处理器，它强大的硬件结构和软件系统，以及高达2 0 0 m h z 的运 算速度，使其在本系统中得以采用，它主要完成对图像的处理。视频采集模块采 用的是m i c r o n 公司2 0 0 4 年生产的一款3 0 0 万像素( 2 0 4 8 x 1 5 3 6 ) c m o s 彩色 图像传感器，它采用d i g i t a lc l a r i t yi m a g es e n s o rt e c h n o l o g y 技术，使得它有4 3 d b 的信噪比、可广泛应用于视频会议、数码相机、摄象机等众多领域。为了提高系 统的集成度和可扩展性，从而达到小型化的目的，本系统采用c p l d 器件来完成 整个系统的逻辑控制功能。考虑系统所需c p l d 器件控制的输入输出管脚数量和 内部逻辑资源使用的情况，选用a l t e r a 公司的c p l d 芯片e p m 2 4 0 作为系统的 逻辑控制器件。 本论文的软件部分简述了视频压缩标准的概况和m p e g 2 标准的主要部分( 系 统部分，视频部分) 。阐述了视频压缩原理与m p e g 视频压缩算法：离散余弦变 换( d c t ) 、量化编码与行程幅度编码。对视频流与系统流的语法构造以及视频的 解码过程：可变长解码、反向扫描、反量化、反向离散余弦变换( i d c t ) 和运动补 偿进行了较为详细的分析和阐述。 本文通过实验研究，设计了一种应用于图像采集的子卡硬件方案，为基于数 字信号处理器的m p e g 一2 视频编解码算法提供了实验依据，具有一定的实用价 值。 关键词：数字信号处理器，图像采集，视频压缩算法 重庆大学硕士学位论文 英文摘要 a b s t r a c t i nr e c e n ty e a r s ，d s pt e c h n o l o g yw i t ht h er a p i dd e v e l o p m e n t ，m a k e sv i d e o p r o c e s s i n gt e c h n o l o g yh a sm a d er e m a r k a b l ep r o g r e s s d s pc o r ev i d e op r o c e s s i n g s y s t e mw i l lb ew i d e l yu s e d b a s e do nt h ei n d e p t hs t u d yo fd s pt e c h n o l o g i e sa n d t h e o r i e s ，t h i sa r t i c l ed e s i g n e dad s p - b a s e dv i d e oi m a g ep r o c e s s i n gs y s t e m t h es y s t e m i sm a i n l yb a s e do ns m a l ls i z e ，f a s tp r o c e s s i n gs p e e d ，r e a l t i m ea n dl o wp r i c eo fd s p s c h a r a c t e r i s t i c s t h ec u r r e n ti m a g ep r o c e s s i n gu s u a l l yd e p e n d so nt h eh i g hp r o c e s s i n gs p e e da n d l a r g es t o r a g ec a p a c i t yo fi m a g ec a r da n dp ct oc o m p l e t et h ei m a g ep r o c e s s i n g ，b u t w h i l eb r i n g sal a r g ev o l u m e ，h i g hc o s ta n dp o o rs t a b i l i t y t h i sp a p e rs t u d i e dt h e c h a r a c t e r i s t i e so fd s p ，s e l e c t e dt i sh i g h - p e r f o r m a n c ec 6 0 0 0d s p ，a n di d e n t l f i e dt h e v a r i o u sc o m p o n e n t so ft h es y s t e md e s i g n t h ec o m p o n e n t so ft h es y s t e mm o d u l e f u n c t i o n sa n df e a t u r e sa r ed e s c r i b e di nd e t a i l d e s i g no ft h ee n t i r es y s t e m ，i n c l u d e sh a r d w a r ea n ds o f t w a r ed e s i g n i n t h e h a r d w a r ed e s i g nt h eh a r d w a r ei n t e r f a c ep r o g r a mo fv i d e oc a p t u r ed a u g h t e rc a r dw a s m a d ec e r t a i n i ns o f t w a r ed e s i g nt h es o f t w a r ec o r r e s p o n d i n gt ot h eh a r d w a r ei n t e r f a c e w a sd e s i g n e da n dt h ea l g o r i t h mf o rm p e g 一2w a sa sw e l la sa ni n d e p t hs t u d y t m s 3 2 0 c 6 7 1li sah i g h p e r f o r m a n c ef l o a t i n g p o i n td i g i t a ls i g n a lp r o c e s s o rp r o d u c e d b yt ic o m p a n y i th a sp o w e r f u lh a r d w a r e a n ds o f t w a r e s y s t e m s ，a n dt h eh i g h c o m p u t a t i o n a ls p e e do f2 0 0 m h z ，s ot h i sc h i pi s u s e di n t h i sa r t i c l e i tm a i n l y c o m p l e t e si m a g ep r o c e s s i n g v i d e oc a p t u r em o d u l eu s e do n eo f t h et h r e em i l l i o np i x e l s ( 2 0 4 8 1 5 3 6 ) c m o sc o l o ri m a g es e n s o rp r o d u c e db ym i c r o nc o m p a n yi nt h ey e a r o f 2 0 0 4 i tu s e sd i g i t a lc l a r i t yi m a g es e n s o rt e c h n o l o g y , a n dm a k e st h es i g n a l t o n o i s e r a t i oi s4 3 d b i tc a r lb ew i d e l yu s e di nv i d e oc o n f e r e n c i n g , d i g i t a lc a l t l e r a ，v i d e oc a m e r a a n dm a n yo t h e rf i e l d s i no r d e rt oi m p r o v et h ei n t e g r a t i o na n ds c a l a b i l i t y , s oa st o a c h i e v et h eo b j e c t i v eo ft h es m a l l ，t h es y s t e mu s e sc p l dt oa c c o m p l i s ht h ew h o l e s y s t e mc o n t r o ll o g i cf u n c t i o n s c o n s i d e rc p l ds y s t e mf o rt h ec o n t r o lo ft h en u m b e ro f i n p u ta n do u t p u tp i n sa n di n t e r n a ll o g i co ft h eu s eo fr e s o u r c e s ，t h i sp a p e rc h o s ea l t e r a e p m 2 4 0c p l dl o g i ca sas y s t e mo f c o n t r o ld e v i c e t h i sp a p e rd e s c r i b e dt h es o r w a r ev i d e oc o m p r e s s i o ns t a n d a r da n dt h em a i np o r to f m p e g 一2s t a n d a r d ( s y s t e m ，v i d e o ) ，a n de x p o u n d e dt h ep r i n c i p l eo fv i d e oc o m p r e s s i o n a n dm p e gv i d e oc o m p r e s s i o na l g o r i t h m ：d i s c r e t ec o s i n et r a n s f o r m ( d c t ) ，q u a n t i f y t h er a t ec o d i n g v i d e oo ns t r e a mf l o wa n dt h es y n t a xa n ds t r u c t u r eo ft h ev i d e o i i 重庆大学硕士学位论文英文摘要 d e c o d i n gp r o c e s s i n gi s ：v a r i a b l el e n g t hd e c o d e r ，r e v e r s es c a n n i n g , a n t i q u a n t i z a t i o n ， i n v e r s ed i s c r e t ec o s i n et r a n s f o r m ( i d c t ) a n dm o t i o nc o m p e n s a t i o n , f o ram o r e d e t a i l e da n a l y s i sa n d e x p o s i t i o n b ye x p e r i m e n t a ls t u d y , ad e s i g ni sa p p l i e dt ot h ei m a g e a c q u i s i t i o nh a r d w a r ec a r d p r o g r a m f o rd i g i t a ls i g n a lp r o c e s s o r sb a s e do i lt h em p e g 一2v i d e oc o d e ca l g o r i t h m p r o v i d e se x p e r i m e n t a le v i d e n c e ，t h i sp a p e rh a ss o m ep r a c t i c a lv a l u e k e yw o r d ：d i g i t a ls i g n a lp r o c e s s o r , v i d e os a m p l e ，v i d e oc o m p r e s s i o na l g o n t h m u i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重废太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：枢彳签字日期：2 p 护1 年6 月午日 学位论文版权使用授权书 本学位论文作者完全了解重庆太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重废太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( 、- ) 。 ( 请只在上述一个括号内打“”) 学位论文作者签名：张晋导师签名： 签字日期：2 - 0 07 年6 月牛e l 签字日期：即) 年6 月r 日 重庆大学硕士学位论文 1 绪论 1 绪论 1 1 课题的研究背景、目的和意义 当今世界己跨入信息时代，信息的形式也从单纯的语音发展到包括数据、文 字，视频图像的多媒体信息。由此图形采集技术发展迅速，各种基于p c 机的 i s a ，p c i 等总线的图像采集卡都能在市场上买到，但是价格比较昂贵，并且处理 功能简单。同时使用图像采集卡必须打开p c 机机箱，将图像采集卡插入p c i 或 i s a 总线插槽中，非常不方便，尤其笔记本电脑就不可能使用p c i 插卡的图像采 集卡了。脱机图像系统是目前非常被看好的实现方式，随着大规模集成电路技术 的迅速发展和目前各种设备小型化、智能化的普及，对独立于p c 的视频压缩系 统的需求不断增加。这种系统可以广泛应用于家用的可视电话、野外作业、安全 监控等领域。 在数字视频处理技术飞速发展的今天，几乎所有视频处理的问题都可以用 d s p ( 数字信号处理1 来解决，这为实时视频处理技术的发展提供了广阔的空间。 数字信号处理中存在大量成熟的优秀算法，如f f t ，d c t 等，这些算法己经有效 地应用于视频处理中。实际上，真正的实时视频处理的研究始于2 0 世纪6 0 年 代。由于实时性视频处理的数据量相当大，现在的视频处理器除采用高速度、高 性能的主处理器方式外，还采用多处理器并行结构，如美国t h i n k i n gm a c h i n e 公 司1 9 8 7 年生产的c m 2 连接机，用了6 5 5 3 6 个处理器，处理器之间用超立方体结 构相连，并可组成网形结构，该系统进行3 2 位整数加法时，运算速度可以达到 2 5 0 0 0 m i p s 。目前，国外在计算机实时视频处理方面有了很大的进展，而国内开 展实时视频处理研究的起步比较晚。 视频信号高数据量问题是多媒体通信技术发展中的一个瓶颈问题，依靠单纯 扩大存储器容量、增加通信线路传输率的办法来解决是不现实的。但是在允许图 像有少量失真的情况下进行数据压缩，除去图像中的冗余信息量，不会对图像信 息的完整性产生破坏作用，这样会使存储量减少，传输速度加快，因此图像视频 信号的压缩具有重大的研究意义。 在图像编解码领域有两种实现方式，一种是基于p c 的实现方式，图像数据 通过微机软件或者是利用基于p c 的图像采集卡进行压缩编码。另一种方式抛开 了微机平台，应用数字信号处理器对图像进行编解码处理。这种构成的系统称为 脱机图像系统，脱机图像系统设备体积小，应用灵活方便。 m p e g 标准是由国际标准化组织i s o 和国际电工委员会i e c 共同制定的【1 1 1 2 1 。m p e g 为m o v i n gp i c t u r ee x p e r t sg r o u p 的缩写。m p e g 委员会初建于1 9 8 8 重庆大学硕士学位论文1 绪论 年，负责指定m p e g 标准，目前已经成功的指定了m p e g 一1 ，m p e g 2 ，m p e g - 4 等标准。m p e g 2 是一种高质量的视频压缩标准，也是广泛用于广播电视的视 频压缩标准。m p e g 一2 标准于1 9 9 1 年开始指定。初期m p e g 一2 标准的基本要求有 两条：其一是视频格式采用7 2 0 x4 8 0 像素，这和c c i r 6 0 1 标准规定的演播室用 的数字电视像素要求相同，是m p e g 1 标准所规定的4 倍；其二是传输码率为4 1 0 m h p s ，基本上也是m p e g 1 传输码率的4 倍。本课题对m p e g 一2 标准中的运动 补偿帧间预测、变换编码和可变字长编码做了较为深入的研究，并结合所选d s p 的特点对算法进行了优化，优化结果明显好于优化前。 因此，本文编码器的研制具有一定的市场及经济效益。可应用于d v b 系 统、高清晰度数字电视、d v d 及视频网络传输等的信源编码。 1 2 相关技术发展现状简介 1 2 1d s p 的发展现状 数字信号处理器( d s p ) 发展历程大致分为7 0 年代的理论先行、8 0 年代的产品 普及、9 0 年代的突飞猛进三个阶段。 1 9 8 2 年美国德州仪器公司( t e x a si n s t r u m e n t ，即t i ) 推出第一代d s p 芯片 t m s 3 2 0 c 1 0 它的问世是个里程碑，标志着d s p 应用系统由大型向小型化迈进了 一大步，至2 0 世纪8 0 年代中期，随着c m o s 技术的进步与发展，第二代基于 c m o s 工艺的d s p 芯片应运而生，其存储容量和运算速度成倍提高，为语音处 理、图像硬件处理技术的发展奠定了基石出【”。2 0 世纪8 0 年代后期，以t i 公司的 t m s 3 2 0 c 3 0 为代表的第三代d s p 芯片问世，开发者可以使用高级语言编程，大 大降低了开发难度，缩短了开发的时间。伴随着运算速度的进一步提高，其应用 范围逐步扩大到通信、计算机领域。 在d s p 技术发展史上的另一个里程碑是a t & t 在1 9 8 6 年把第一个浮点d s p ( d s p 3 2 ) 投放市场，d s p 芯片从此出现了定点和浮点并存的局面。1 9 8 8 年t i 第一 款浮点d s p ( _ c 3 x ) ，时钟频率提高到4 0 m h z 。定点d s p 芯片的结构相比之下较 简单，定点乘法与累加的运算速度很快，但受到数据格式和字长的限制，它的运 算相对精度低、动态范围小。定点d s p 芯片的产品主要有t i 公司t m s 3 2 0 c 2 0 0 0 c 5 0 0 0 c 6 2 x x 系列、a d 公司的a d s p 2 i x x 系列、m o t o r o l s 公司的m c 5 6 0 0 系 列、a t & t 公司的d s p1 6 1 6 a 等。浮点d s p 处理器动态范围大，运算精度高， 在对性能要求高的实时信号处理中有着广泛的应用。浮点d s p 产品主要有t i 公 司的t m s 3 2 0 c 3 x c 4 x c 6 7 x x 系列、m o t o r o l a 公司的m c 9 6 0 0 1 ，a t & t 公司的 d s p 3 2 3 2 c 等。定点和浮点d s p 芯片都有广泛的市场【4 】。 现今的d s p 属于第五代产品，它与第四代相比，系统集成度更高，将d s p 2 重庆大学硕士学位论文1 绪论 芯核及外围元件综合集成在单一芯片上。这种集成度极高的d s p 芯片不仅在通 信、计算机领域大显身手，而且逐渐渗透到人们日常消费领域 5 】。 1 2 2 图像编码发展简史与现状 从1 9 4 8 年o l w e r 提出p c m 编码理论开始，迄今已有5 0 多年的历史，很 多科学家、工程师先后提出了预测编码、变换编码、矢量量化编码、信息熵编 码、子带编码、结构编码以及基于知识的编码等。他们的目的就是为了从原始数 据中去除信息的时问冗余度、空间冗余度、信息熵冗余、结构冗余、知识冗余以 及视觉冗余等，保留有用信息，以提高信息处理、传输和存储效率 6 1 【7 】。 近年来，k u n t 提出第一代、第二代编码的概念。k u n t 把1 9 4 8 1 9 8 8 年4 0 年中研究的以去除冗余为基础的编码方法称为第一代编码，如p c m 、d p c m 、亚 取样编码法，变换域的d f t 、d c t 、w a l s h - h a d a m a r d 变换编码等方法以及以此 为基础的混合编码法均属于经典的第一代编码法。而第二代编码方法多是8 0 年 代以后提出的新的编码方法，如金字塔编码法、f r a c t a l 编码、基于神经元网络的 编码方法、小波变换编码法、模型基编码法等。现代编码法的特点是：充分考 虑人的视觉特性；恰当地考虑对图像信号的分解与表述；采用图像的合成与 识别方案压缩数据掣s 】【”。 图像编码这一经典的研究课题，经5 0 余年的研究已有多种成熟的方法得到 应用，特别是所谓的第一代编码更是如此。前几年世界上很多大的国际性公司， 为了设计开发多媒体计算机系统以及通信系统，专门研制了自己的视频音频信息 压缩解压算法，如i n t e l 公司d v i 系统中的p l v 算法，为了提高速度，投资了大 量研究费用，设计制造了专用芯片( i n t e l 公司8 2 7 5 0 芯片) ，当时在国际市场上 取得了良好的经济效益和社会效益，但是随着最近几年国际化组织i s o ( t h e i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 和i e c ( i n t e m a t i o n a le l e c t r o t e c h n i c a l c o m m i s s i o n ) 先后制定了：i s o i e c1 0 9 1 8 连续色调静态图像的数字压缩和编码 ( j p e g 标准) 1 ，i s o i e c1 1 1 7 2 ( 具有1 5 m b i t s 数据传输率数字存储媒体运动图 像及其伴音的编码m p e g 1 ) 以及c c i t t 制定的h 2 6 1 等国际标准，使得不符合 国际标准的产品的进一步发展受到限制【l o l 【l l 】。 1 3 本论文的研究内容 本文旨在设计一个基于d s p 平台的视频处理系统。该系统能为视频处理提供 一个完整可靠的硬件工作平台，能根据对视频处理的不同要求，通过软件编程来 完成相关的视频处理工作。在深入研究d s p 的技术和理论后，确定了d s p 的选 型原则，经过认真分析和比较，选定了以t i 公司c 6 7 1 1 d s k 板为母板，开发视 频采集子卡的方案。在此基础上，提出了以d s p 负责视频处理、c m o s 图像传感 重庆大学硕士学位论文1 绪论 芯片m t 9 t 0 0 1 进行视频采集、c p l d 完成各种接口逻辑和时序匹配的视频处理系 统设计方案，并绘制电路原理图、进行印刷电路板设计，开发底层软件和上层通 信软件。理解m p e g 一2 标准视频压缩部分，包括m p e g 一2 压缩中离散余弦变换 ( d c t ) 、量化、熵编码、预测编码、运动估计、运动补偿等关键算法。最后进行 了系统软硬件的调试。本论文着重讨论了以t m s 3 2 0 c 6 7 1 1 为核心的硬件平台的 构建以及基于此平台的软件的设计。 本文研究内容包括： 完成视频采集子卡的硬件设计与调试 对m p e g 2 编解码算法进行深入研究 在c 6 7 1 1d s k 平台上完成对编解码算法的优化 4 重庆大学硕士学位论文2 系统总体方案设计 2 系统总体方案设计 2 1 系统技术要求 随着多媒体应用技术的不断发展，人们越来越倾向于在日常生活、工作和学 习中使用多媒体手段来解决问题。用于矿山救援、视频会议、监控管理、安全保 卫的视频监控系统的市场需求量上升幅度很大，市场上也出现了各种各样的视频 处理设备。目前，对视频流进行压缩编码主要有一下四种实现的方式。 纯软件的方式： 把通过摄像头或视频传感器捕获的视频流数据直接交给计算机，后续所有的 编码工作都由计算机来完成。编码后的码流数据可以以文件的形式保存在计算机 中，也可以经传输线路传送出去。这种方式不能脱离计算机工作，因而灵活性受 到了限制；而且计算机c p u 负担过重，难以实现视频处理的实时性。对纯软件的 视频编码方式，没有繁杂的硬件电路设计与硬件的底层编码，可以把主要的精力 都放在计算机软件设计与优化上面，这是它的一大优点。 使用专用的视频压缩芯片： 这类芯片内部固化了高效的视频压缩算法，可以对视频码流进行高速的有效 的压缩；但其缺点也是显而易见的，就是这类专用芯片价格十分昂贵，而且用户 难以对其进行二次开发，适用面较窄。 使用专用的视频开发板卡( 如t i 公司的d m 6 4 2 e v m 板卡) ： 开发者需要购买成型的硬件平台和已优化过的代码。这种方法多数应用于商 业领域，开发周期短、难度小；但前期投资较大，而且开发者并没有真正掌握硬 件部分和编码部分的核心技术。 自主开发软硬件： 这种方式完全由开发者自主设计系统的软硬件，根据具体的需要选用核心芯 片和外围电路，使用通用d s p 芯片来完成压缩编码的工作。这种方式主要应用于 脱离计算机的一些视频终端上面，如可视电话终端、视频监控终端和多媒体救援 设备的终端等。由于采用了独立的硬件系统，使得设计和应用更加灵活，而且能 大幅度提高处理速度，迎合许多实时性较高的场合的需求。但是硬件设计的难度 较大，开发周期较长。 本系统采用第四种方式，使用通用d s p 作为编解码芯片，自主搭建硬件平 台，可根据需要进行设计和更改，预留了良好的软硬件接口和功能扩展模块，具 有较强的扩展性和二次开发性能，具有速度快、性能高、价格低廉等优点，而且 它的工作完全脱离计算机的控制。本方案分为硬件系统设计和软件设计两大部 分。分别在以后章节论述。 5 重庆大学硕士学位论文2 系统总体方案设计 2 2 硬件总体设计 2 2 1 硬件系统结构框图 该系统的硬件主要由c m o s 图像传感器、复杂可编程逻辑器件、图像处理模 块、存储器等组成。其结构框图如图2 - 1 所示。 篁遵 = = 舞= = f l a s 叫h 争玲o 。 d s p 墨 搿 姆匹 兽 给 1 一 6 7 11 爿 嘉 入蜃 f m n ny j 掣 倒 严( 壶碰 m c b s p 模拟i i c 总线逻辑控制 图2 - 1 硬件结构框图 f i 9 2 1h a r d w a r ea r c h i t e c t u r eb l o c kd i a g r a m 2 2 2 硬件系统结构的说明 下面将系统硬件的各主要模块进行说明： d s p 模块 d s p 模块是这个系统硬件的核心，主要负责视频压缩算法的实现和对d s p 外 设的控制。本文采用t i 公司提供的t m s 3 2 0 c 6 7 1 1 d s k 板为整个系统的母板，自 主开发视频采集子卡的方式。母板部分包括d s p 芯片、s d r a m 芯片、f l a s h 芯 片、j t a g 接口和时钟模块等。所采用的t m s 3 2 0 c 6 7 1 l 属于浮点数字处理器，主 频最高可为2 0 0 m h z ，最大处理能力可达1 5 0 0 m f l o p s ，每指令周期可执行8 条 3 2 位指令；超长指令字结构；支持3 2 位、1 6 位8 位数据。 视频采集模块 本系统采用的是m i c r o n 公司2 0 0 4 年生产的一款3 0 0 万像素 ( 2 0 4 8 x 1 5 3 6 ) c m o s 彩色图像传感器，它采用d i g i t a lc l a r i t yi m a g es e n s o r 6 重庆大学硕士学位论文2 系统总体方案设计 t e c h n o l o g y 技术，使得它有4 3 d b 的信噪比，它有简单的接口、功能寄存器多、 控制功能丰富的特点：窗口大小( 水平和垂直) 随意变动、图像坐标原点任意定 义、f l a m e 速率可调，隔行或列输出，因而广泛应用于视频会议、数码相机、摄 像机等众多领域。 电源模块 本系统的电源部分使用母板输出引脚的3 3 v 输出。数字电源、模拟电源和数 字地、模拟地间使用磁珠隔离以降低干扰。 c p l d 模块 c p l d 为复杂可编程逻辑器件，规模较大，比较适合时序控制和逻辑控制的 场合。为了提高系统的集成度和可扩展性，从而达到小型化的目的，本系统采用 c p l d 器件来完成整个系统的逻辑控制功能，包括视频数据的采集、各种芯片的 选通、地址译码、数掘锁存等。考虑系统所需c p l d 器件控制的输入输出管脚数 量和内部逻辑资源使用的情况，选用a l t e r a 公司的c p l d 芯片e p m 2 4 0 作为系 统的逻辑控制器件。 存储模块 存储器的速度是用存储器的访问时间来衡量。访问时间就是指从存储器接收 到稳定的地址输入到操作完成的时间。存储器的速度必须要与d s p 的速度相匹 配，才能发挥出最大的处理效率来。本文采用t i 公司的f i f o 存储器 s n 7 4 v 2 3 5 ，可以实现f i f o 和存储器的无缝连接。s n 7 4 v 2 3 5 有如下特点： 1 ) 2 0 4 8 x 1 8 b i t 容量大小 2 ) 7 5 n s 读写时间 3 ) 3 3 v 供电，空、满、半满标志位 4 ) 同步读写时钟 5 ) 同步异步的几乎空、几乎满标志位 p c b 板设计 板层设计问题，首先是印制电路板层的分配问题。多层印刷电路板的层如何 分配，关键是每一个走线层必须要相邻一个完整的平面。根据本设计的具体情 况，决定以下布线方案； 两层板方案 具体分层如下： 第一层：高速信号布线层和地层 第二层：普通信号布线层和电源层 7 重庆大学硕士学位论文 2 系统总体方案设计 2 3 软件总体设计 2 3 1 软件系统流程图 软件系统流程图如图2 - 2 所示： 、 (开始1 ， 系统初始化保存压缩视频流 0t d s p 通9 h c p l d 开 始采集图像 m p e g 2 视频压缩 0t c p l d 对齐图像的c p l d 通知d s p 图 行、场信号像采集完毕 | f i f o 享数据i ， 图2 2 软件系统流程图 f t 9 2 2s o f t w a r es y s t c i i lf l o w c h a r t 2 3 2 软件系统说明 程序主要包括以下部分 系统初始化程序模块，主要包括与中断相关的初始化、e d m a 初始化、外 部程序存储器接口的初始化、图像传感器和f i f o 初始化程序包，在这些模块 中，最重要的是最后一个模块，即图像传感器和f i f o 初始化程序，因为其他部 分可以利用t i 提供的c s l 来完成。c m o s 图像传感器芯片初始化来完成对 m t 9 t 0 0 1 设置数据输出格式。本系统设计中，采用模拟i 2 c 总线对m t 9 t 0 0 1 芯 片进行初始化。由于d s p 芯片c 6 7 1 l 不支持i 2 c 总线，所以利用c 6 7 1 l 的 m c b s p l 的两个管脚c l k r l 和f s r l 作为1 2 c 总线所要求的数据线和时钟线，通 过软件编程来实现1 2 c 接口。 视频压缩程序 8 重庆大学硕士学位论文2 系统总体方案设计 已有m p e g - 2 在定点处理器t m s 3 2 0 d m 6 4 2 上的程序源码，本文将其移植 到浮点处理器t m s 3 2 0 c 6 7 1 1 上，但由于两者处理器内部资源有较大区别和6 7 1 1 处理能力低于d m 6 4 2 的特点，所以需全部重新编写源码的汇编部分，并进一步 优化其中c 部分源码。 c p l d 程序包。接收c m o s 图像传感器m t 9 t 0 0 1 发送的图像信号，并将 图像剪裁成为合适的分辨率大小，然后产生f i f o 存储器的选通、地址和读写等 信号，并产生f l a g 信号，触发d s p 产生中断。在d s p 引导完f l a s h 中的程序 后，将f l a s h 不选通，即将其从地址、数据总线上断开。本系统使用的是a l t e r a 公司的e p m 2 4 0 ，利用硬件描述语言v h d l 完成程序的编写、调试和仿真。 9 重庆大学硕士学位论文3 硬件设计 3 硬件设计 3 1d s p 模块 本章将详细讨论本文的硬件系统构成。 3 1 1d s p 芯片的选型 美国t i 公司发布的新一代d s p 芯片t m s 3 2 0 c 6 0 0 0 系列，包括定点系列和浮 点系列。其中定点系列是t m s 3 2 0 c 6 2 x x ，浮点系列是t m s 3 2 0 c 6 7 x x ，二者相 互兼容。c 6 0 0 0 系列d s p 最主要的特点是在体系结构上采用了超长指令字v l l w 结构。v l i w 体系结构d s p 中，是由一个超长的机器指令字来驱动内部的多个功 能单元的。每个指令字包括多个字段( 指令) ，字段之间相互独立，各自控制一个 功能单元，因此可以单周期发射多条指令，实现很高的指令及并行效率。编译器 在对汇编程序进行编译的过程中，决定代码中哪些指令合成一个超长机器指令， 在一个周期中并行执行。这种指令上的并行安排是静态的，一旦决定，无论d s p 任何时候运行，它都保持不变。v l i w 体系结构也可以看着是一种依赖于编译器 的超标量实现方案，而且比一般的超标量结构更易于实现。c 6 0 0 0 的v l i w 采用 了类r i s c 指令集，使用统一的寄存器堆，结构规整，具有潜在的易编程性和良 好的编译性能，在科学应用领域可以发挥良好的作用。综上所述，选择c 6 0 0 0 系 列的d s p 作为本设计的核心处理器件无疑是非常合适的，通过性能分析并利用现 有条件，我们最终确定采用c 6 0 0 0 系列的定点d s p 中的t m s 3 2 0 c 6 7 1 1 作为本设 计的核心d s p 芯片【“j 。 3 1 2t m $ 3 2 0 c 6 7 1 1 的特点 c 6 7 1 1 d s p 是t i 公司c 6 0 0 0 系列中的高性价比浮点d s p 芯片，最高时钟频 率可以达到2 0 0 m h z ，使用了v e l o c i t lv l d w 的d s p 内核，这个d s p 内核拥有 两路共3 2 个3 2 位的通用寄存器和8 个高度独立功能单元，这8 个独立的功能单 元分为a ，b 两路，最高可以同时执行8 条指令，理论计算能力达到1 2 0 0 m i p s 。 同时还包括了一套2 5 6 位的程序总线，两套3 2 位的数据总线以及一套3 2 位的 e d m a 专用总线。c 6 7 1 l 并没有采用片内程序和数据存储器分开的结构，而采用 了l l l 2 二级片内缓冲的存储结构提供了6 4 k b 大小的程序、数据统一片内l 2 存 储器和大小分别为4 k b 的直接映射一级l i p 程序缓存和l i d 一级数据缓存，以 提高程序和数据的读写速度。它的3 2 位e m i f 接口支持最多5 1 2 m 的片外存储寻 址，支持s d r a m ，s b r a m 以及各种异步储存器【13 】【1 叭。所有这些都为c 6 7 1l 处 理大量的数据提供了强而有力的保证，使它能够胜任本文的视频编码任务，同时 针对c 6 7 11 d s p 的特点对编码程序进行优化和改进。 应用c 6 7 1ld s p 作为高速数据采集系统的主处理器，完全能够满足实时性的 1 0 重庆大学硕士学位论文3 硬什设计 要求，对采集到的数据进行实时处理：但目前基于c 6 0 0 0 系列的系统设计工作还 存在着硬件设计困难及成本太高等诸多问题。若完全从底层开始架构系统设计方 案，则工作量很大，困难较多，因此目前一个良好的折衷方案是在t m s 3 2 0 c 6 7 1 i d s k ( 简称为”c 6 7 1 1 d s k ”) 平台上进行开发【”1 。t m s 3 2 0 c 6 7 1 1 d s k 有以下特点： 板上留有2 个8 0 脚的接口，方便系统扩展 e m i f 接口有两种时钟模式可以选择，时钟频率分别为1 5 0 m h z 和1 0 0 m h z 1 0 0m h z 的1 6m b 同步动态存储器( s d r a m l 直接提供1 8 v 和3 3 v 直流电源 j t a g 仿真器，可支持并口或外接x d s 5 1 0 支持 1 个并行接口，主机可通过该并口访问开发板上的存储器 1 5 0m h z 主频，可执行9 0 0m f l o p s 浮点操作 1 2 8k b 的可编程f l a s h 存储器 1 6 位语音c o d e c 电路 c 6 7 11 d s k 与外部子板之间所有的信号传送都是通过板上预留的2 个8 0 脚插 头( j l 和j 2 ) 。其中j 1 集中了外部存储器接口e m i f 的接口信号( 数据线、地址线、 读写控制等) ，可以方便地进行存储器扩展。j 2 提供了其他外围器件的信号汇 总，包括多通道串口、中断、时钟、计数器等。儿和j 2 提供了大多数的板上内部 总线信号，开发者可以方便地通过这个插头共享c 6 7 1 1 d s k 的系统板，开发自己 的应用系统。本文既利用c 6 7 1 1 d s k 的预留引脚，设计与其能方便插拔子卡，并 利用由d s k 引出的电源做为子卡的电源。 3 1 3t m s 3 2 0 c 6 7 1 l 的内核描述 和其他的c 6 0 0 0 系列d s p 一样，c 6 7 11 采用t i 最新的v e l o c i t lv l i w 的 d s p 内核，主要包括以下三个部分： 程序读入以及译码、分配机构，包括程序取指单元、指令分配单元和指 令译码单元。 程序执行机构，包括了2 个对称的数据通道( a 和b ) ，2 个对称的通用寄存 器组( 每组1 6 个) ，2 个对称的功能单元( 每组4 个) ，控制寄存器和一些控制逻辑 以及中断逻辑等。 芯片测试和仿真端口及其控制逻辑。c 6 7 1 l 的中央处理器采用增强型的哈 佛总线结构，其程序总线和数掘总线分开，c 6 7 11 中央处理器从l 1 p 一级程序缓 存中直接读入指令，从l i d 一级数据缓存中读取数据。它的程序总线宽度为 2 5 6 b i t ，程序取指单元每次从l i p 中读取3 2 个字节大小的指令字，组成一个指令 包，一个指令包中包含了8 条d s p 指令。随后的指令分配单元和指令译码单元都 重庆大学硕士学位论文3 硬件设计 具备每个周期处理并传递8 条3 2 位d s p 指令的功能。同在一个取指包内的8 条 d s p 指令，可以组成一个或者多个执行包，译码单元把执行包按顺序送入执行机 构，进行程序的执行。理想的状况下一个指令包只包含一个执行包，也就是说8 条d s p 指令在单周期内完全的并行执行。中央处理器和程序读入机构保证了 c 6 7 1l 在理论上能够单周期执行8 条d s p 指令【l “。 采用大而且统一的寄存器堆以及完全并行的功能单元，是c 6 7 11 中央处理器 执行结构的最大特点。8 个功能单元负责所有的d s p 指令执行，并且完全独立， 以保证在单周期内能够并行8 条d s p 指令。除了个别内存读取和跳转指令外，其 他所有的d s p 算术逻辑指令都采用通用寄存器作为操作数，而且使用r i s c 的指 令结构，大多数d s p 指令有相同的流水级数，保证程序能够高速的运行。其中d 功能单元负责专门的数据寻址计算，保证寄存器和存储器之间数据交换的顺畅和 高效。另外，a ，b 通路之间还有2 个交叉通路(