（控制理论与控制工程专业论文）基于双dsp的多视频合成显示系统设计.pdf

摘要 随着信息技术、视频技术的飞速发展，无线、有线网络带宽的不断提升，视 频处理系统在生产、生活、工业和医疗等许多领域得到了广泛的应用。而利用高 性能d s p 设计视频处理系统，作为实现实时多视频处理的重要方法已经成为人们 研究的重点。由于多媒体处理芯片t m s 3 2 0 d m 6 4 2 具有强大的视频处理能力和丰 富的外部设备接口，我们选用它作为本系统的核心处理器。 基于实时多视频处理系统实时性要求高，数据量大，本文结合t i 达芬奇系列 d s p 多片互连困难的问题，设计了一种简洁的方法，方便了双t m s 3 2 0 d m 6 4 2 芯片 间互连，并很好的解决了两片d s p 的协同和大数据量的视频数据组织存储问题，最 终图像显示在了计算机显示器上。实践证明该系统工作性能良好，可以满足视频 监控、电视电话等多视频图像处理领域应用的需求。 本文首先简单介绍了视频技术的一些基础知识和1 2 c 总线标准；然后详细论述 了系统硬件平台的架构、系统性能指标和系统各个模块的设计实现包括视频解码 模块、核心处理器模块、视频编码模块、c p l d 逻辑控制模块；同时对系统p c b 设计的主要问题进行了分析，并给出了这套硬件系统的p c b 设计方案，最后叙述 了系统的仿真环境和整个系统调试的过程与步骤。 关键词：d m 6 4 2d s p 互连视频转换p c b 设计 a b s t r a c t w i t ht h eh i g hs p e e dd e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y , v i d e ot e c h n o l o g ya n d t h er i s i n gb a n d w i d t ho fw i r e l e s sa n dw i r e dn e t w o r k s ，t h ev i d e op r o c e s s i n gs y s t e mh a d b e e nw i d e l yu s e di np r o d u c t i o n ，d a i l yl i f e ，i n d u s t r y , m e d i c a lf i e l da n ds oo n + u s i n gh i g h p e r f o r m a n c ed s pt od e s i g nv i d e op r o c e s s i n gs y s t e m ，a sa ni m p o r t a n tt e c h n o l o g yo f r e a l - t i m ev i d e op r o c e s s i n gh a db e e nt h ef o c u so ft h er e s e a r c h w eu s et h em u l t i m e d i a c h i pt m s 3 2 0 d m 6 4 2 a st h ec o r ep r o c e s s o ro ft h i ss y s t e mb e c a u s eo fi t ss t r o n ga b i l i t yt o d e a lw i t hv i d e oa n di t sa b u n d a n ti n t e r f a c et op e r i p h e r a le q u i p m e n t t h ef e a t u r e so fm u l t i - - v i d e op r o c e s s i n gs y s t e ma r eh i g hr e a l t i m ea n dl a r g ea m o u n t o fd a t a f o rt id av i n c is e r i e so fm u l t i d s pc h i pd i f f i c u l ti n t e r c o n n e c t i o ni s s u e ，t h i s p a p e rd e s i g n e das i m p l em e t h o d ，f a c i l i t a t e dt w ot m s 3 2 0 d m 6 4 2 si n t e r c o n n e c t i o n ，w e l l s o l v e dt h et w od s p sc o o p e r a t i o na n dt h eo r g a n i z a t i o no fl a r g ea m o u n to fv i d e od a t a s t o r a g e f i n a l l yt h ev i d e oi m a g ed i s p l a y e do nt h em o n i t o r p r a c t i c eh a dp r o v e dt h a tt h i s s y s t e mi st ob eg o o dt om e e tv i d e os u r v e i l l a n c e ，v i d e oa n dt e l e p h o n ea n do t h e r v i d e o i m a g ep r o c e s s i n ga p p l i c a t i o n s f i r s t ，t h i sp a p e ri n t r o d u c e ds o m eb a s i ck n o w l e d g eo fv i d e oa n dt h e1 2 cb u s s t a n d a r d ；a n dt h e ni td i s c u s s e dt h es t r u c t u r eo ft h es y s t e mh a r d w a r ep l a t f o r i d ，s y s t e m p e r f o r m a n c ea n dt h ed e s i g no fs y s t e m sv a r i o u sm o d u l e s ，i n c l u d i n gv i d e od e c o d i n g m o d u l e ，c o r ep r o c e s s o rm o d u l e ，v i d e oe n c o d i n gm o d u l e ，c p l dl o g i cc o n t r o lm o d u l e ； a tt h es a l i l gt i m e ，t h i sp a p e ra n a l y s i s e dt h em a i np r o b l e m so fs y s t e mp c bd e s i g n , a n dt h e nb r o u g h t f o r w a r dt h ep c bb o a r dd e s i g np l a no ft h i sh a r d w a r es y s t e m f i n a l l y , i td e s c r i b e dt h es y s t e m s i m u l a t i o ne n v i r o n m e n ta n dt h et h es t e p so ft h es y s t e m sd e b u g g i n g k e y w o r d ：d m 6 4 2 d s pi n t e r e o n n e c t i o n v i d e oc o n v e r t e rp c b d e s i g n 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名： 导师签名： 醐半 第一章绪论 第一章绪论 1 1 研究背景和意义 随着计算机、图像处理、传输技术的飞速发展，数字视频褥到了飞速发展。 数字视频是以数字化为前提的，而d s p 技术则是数字化最重要的基本技术之一。 近年来，国内在视频图像综合显示、跟踪方面取得了长足的进步。多视频多窗口 技术己成为一个热点问题，具有广泛的应用，适用于民用和军用各方面，如高清 晰电视，视频会议系统等等。综上，为了适应新时代对综合信息显示系统的要求， 有必要借鉴国外现有技术，并对相关技术进行研究与应用。但许多关键技术和器 件需要引进。 目前，我们看到的多视频显示系统大多数是采用专用的图形处理芯片( a s s f ) 进行设计的。为了自主设计多视频多窗口合成显示技术下的多功能、高性能显示 系统，就必须采用先进的设计理念和高性能的处理芯片。而基于d s p 的视频处理 系统，作为实现实时视频处理的重要方法已经成为人们研究的重点。视频编解码 芯片是实现数字视频处理的前提，高性能d s p 是实现视频处理算法的核心部分， 我们面对的是多路视频，因此对基于多d s p 的视频处理系统的硬件实现方法进行 研究具有重要意义。视频多窗口合成处理的研究可以将一个大显示器当作一个整 体使用，也可分成多个窗口显示不同信息，这样可以迅速地从数量较少的显示终 端上得到需要的信息，从而直观的获得各种有用的数据信息。 1 2d s p 技术 d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 是一种独特的微处理器，是以数字信号来处理大量 信息的器件。其工作原理是接收模拟信号，转换为0 或1 的数字信号，再对数字 信号进行修改、删除、强化，并在其他系统芯片中把数字数据解译回模拟数据或 实际环境格式。它不仅具有可编程性，而且其实时运行时的速度可达每秒钟数以 千万条复杂指令程序，远远超过通用微处理器，是数字化电子世界中日益重要的 电脑芯片。它的强大数据处理能力和高运行速度，是最值得称道的两大特色。 d s p 以数字器件特有的稳定性、可重复性、可大规模集成、可编程性和易于 实现自适应处理等特点，给数字信号处理( d i g i t a ls i g n a lp r o c e s s i n g ) 的发展带来了巨 大机遇，使得信号处理更灵活、功能更复杂，应用遍及国民生活的各个方面，如 互联网、高速调制解调器、无线通信、语音识别、图像处理、工业控制、生物医 2 基于双d s p 的多视频合成显示系统设计 学、航空航天和各类自动化仪器等等。随着半导体制造工艺的发展和计算机体系 结构的改进，d s p 芯片的处理功能越来越强大，运算速度也越来越快，高速实时 数字信号处理成为研究的重点。 随着大规模集成电路的迅速发展，实时视频信号处理可以采用多种新型数字 硬件实现，包括a s i c 、f p g a 和d s p 。a s i c 是最特殊的硬件类型，只能够用在 已经设计实现的特定应用中，灵活性较差。f p g a 可以按照设计者所期望的方式配 置门阵列中的逻辑门，但是一旦逻辑配置好，功能就固定下来了。比较之下，d s p 代表了最通用的硬件类型，能够进行编程来实现各种功能。d s p 本质上是一种针 对数字信号处理的应用而进行优化的微处理器，灵活性强，可以方便的修改和升 级，从而减少了反复设计的时间，将d s p 应用到视频信号处理中也就成了一种必 然的趋势。 由于d s p 处理信息数据速度快，存储量大的特点非常符合视频信号处理的要 求，所以这将注定它会在这个领域大有作为。鉴于这种情况，很多d s p 生产商相 继推出了专门用于图像、视频处理的d s p 系列芯片，如t i 的达芬奇系列，a d s p 的b l a c k f m 系列等。 1 3 本人所做的工作与论文组织 本人研究的课题属于应用研究，来源于科研实践。主要负责设计基于双d s p 的多视频合成显示系统，绘制p c b 、编写底层软件代码，并完成系统的调试工作。 它是集视频采集、处理，不同制式转换于一体的嵌入式实时系统，实现了单路满 屏显示，四路均匀显示，字符叠加，画中画显示等功能。两片互连后的d s p 多方 位多角度，高实时性，强大的内核资源可以可靠地实现安全防范和后续的升级工 作。本文的各章编排如下： 第一章绪论，介绍了论文研究的背景、意义，所做的工作及论文的结构编排。 第二章为基础理论知识，介绍了该系统设计所涉及的视频技术的基础知识和 1 2 c 标准。 第三章为系统总体方案设计，介绍了处理器选择、方案的论证、系统的结构 框图以及系统主要芯片的功能原理。 第四章为系统的硬件设计，详细论述了系统各模块设计、系统接口的软件配 置、以及系统的p c b 设计。 第五章为系统调试，介绍了系统详细的调试过程与步骤。 最后为结束语，对系统进行总结和展望。 第二章视频技术基础 3 第二章基础i l i 知识 弟一早莶乍刘驮 2 1 图像视频概述 数字图像是经过数字化转换并可以用数字表示、处理的图像。由像素点组成， 其中横向的点数称为水平分辨率，纵向的为垂直分辨率，一幅完整的图像分为若 干行，称为一帧图像。每个像素根据量化精度不同其取值也不同，例如取三个色 彩分量均为8 位二进制数的r g b 表示方法，用连续的三个8 位二进制数表示一个 彩色点，( 2 0 0 ，1 0 0 ，6 4 ) 描述的点红色分量为2 0 0 ，绿色分量1 0 0 ，蓝色分量6 4 ， 其中每个分量的取值均为卜2 5 5 表示从最暗到最亮2 5 6 个等级。许多静态的图像 可以连续播放产生动态效果，2 5 帧秒或3 0 帧秒的帧速可产生较平滑的动态显示 效果。 视频简单地说就是活动图像。电影也是活动图像，电影把大量静止图像记录 在胶片上，一张一张地连续显示出来，就成了我们看到的电影。对于电视视频， 每秒钟包含几十帧静止图像，每一帧静止图像由几百个行组成，每一行又由几百 个像素点组成。1 秒钟包含的图像帧数为帧频，1 秒钟包含的总行数为行频，1 秒 钟包含的总像素数实际上就是相当于视频带宽。 2 1 1 模拟视频信号 彩色模拟视频有三大基本制式【1 1 1 2 1 1 1 1 j ：n t s c 制、p a l 制和s e c a m 制。p a l 制式，如我国就使用p a l 制，是p a l d ，是全世界唯一的制式，和其它p a l 制式 的区别是音频设在6 5 m h z 。香港采用山i 制度工，音频在6 0 m h z 。它是一种 逐行倒相制式，是针对n t s c 制式容易产生色度信号相移而开发的一种制式。n t s c 制式为美国日本等国的制式，比p a l 制式历史悠久，在发明早期容易由于色度信 号的相移造成偏色。但现在的电子线路水平提高，基本上已经不存在这个问题。 由于它的色彩处理方式更加直接，所以色彩的鲜艳度较好，串扰也较少。s e c a m 制式，是东欧等国家采用的制式，也是针对n 制式容易偏色的毛病而开发的。 由于各国所采用的扫描线数、帧的刷新率以及音频调制频率的不同，相互组 合总共合成了2 8 种电视制式，但都是在三大基本制式的基础上开发出来的。一般 来说，我们用a v 输入到电视的信号就是这2 8 种制式之一的信号，是完全调制好 的信号。如果采用s 端子输入信号，那是把色度信号和亮度信号分开来传输，可 以减少亮色串扰，图象会更好。分开的亮色信号方式有两种，一种用带通滤波分 4 基于双d s p 的多视频合成显示系统设计 开，线路简单，成本低，效果会差一些， 行良好的分离，不会损失亮度高频分量， 另一种用梳状滤波器可以把亮色信号进 效果更好。用s 端子后，由于各个色度 信号仍然没有分开，而且仍然采用压缩频带的方式传输，所以在颜色分辨率上仍 然不高，仍有一定的串扰现象存在。所以后来就产生了三基色输入方式，而三基 色方式也即为存储在d v d 片上的方式，可以最大限度的传输信号而尽量减少失真。 所以三基色方式是优于s 端子传输方式的。d v d 机也有v g a 输出信号的方式， 可以配合电脑显示器和某些有v g a 输入端口的电视，虽然v g a 方式从原理上来 说，不见得比三基色方式优秀，但实际上传输效果要更好一些。 我国的黑白视频信号帧频为2 5 h z ，就是说每秒显示2 5 幅图像。采用2 5 h z ， 主要是因为两个原因：一个与人的视觉生理特点有关，当图像的刷新速度达到5 帧秒的时候，人开始感觉图像是活动的，而达到2 4 帧秒的时候，人感觉图像是 完全连续和流畅的( 电影所使用的帧频就是2 4 h z ) ，所以视频信号帧频应大于等于 2 4 h z 。理论上来说帧频越高越好，但帧频越高，对电路的要求也越高，技术越复 杂，成本也越高( 现在有的电脑彩显帧频已达到2 0 0 h z ) ，在当时的条件下，只能选 择一个大于2 4 的尽量小的值；另一个原因是因为我国的电网频率是5 0 h z ，当采用 2 5 h z 帧频时，隔行扫描时的场频为5 0 h z ，正好与电网同频，这样，电源对图像的 干扰是固定的，人眼不容易感觉出来。电视在显示图像的时候，把一帧分成了两 场来显示，一个场由一帧中的奇数行组成，叫做奇场，另一个场由帧中的偶数行 组成，叫做偶场。这么做的原因主要是因为在c r t 显象管上一秒钟显示2 5 帧图 像时，人眼感觉到连续性还是不太好，而且还有明显的闪烁，一帧分成两场后， 场频为5 0 h z ，图像更加连续一些。 视频信号的缺点：1 、帧频低。视频信号的帧频只有2 5 h z ，必然导致图像闪烁。 2 、分辨率低。在一帧中有效的行只有5 7 6 行。由于采用了隔行扫描，一帧图像要 由连续的两场来拼合而成，而实际上很难保证两场中的行准确地错开( 对准间隙) ， 这进一步导致垂直方向的分辨能力损失。3 、亮色串扰。亮度信号和色度信号混合 在一起，解码的时候不能很好地分开，导致亮度信号和色度信号互相干扰。4 、缺 乏改进余地。除非重新制定新的标准，否则前面提到的三个问题在现有基础上都 很难改进。视频信号格式有这么多缺点，是因为受当年制定这个标准时的技术条 件制约造成的，而近年来通过在电视中加入一些数字处理的手段，比如倍频扫描 ( 1 0 0h z 场频) 、使用数字梳状滤波器等方法，电视的图像质量也得到一些提高。现 在正在研究的数字电视，是重新制定的全新的标准，用以获得胶片质量的图像， 可能会彻底淘汰现在的视频标准和电视设备。 第二章视频技术基础 5 2 1 2 数字视频及存储方式 视频信号起初是以模拟信号的形式保存在录像磁带上的，而现在随着数字技 术的发展，可以变成数字信号保存在光盘或计算机硬盘中，这些离不开功能强大 的计算机，在嵌入式领域，数字视频也有应用，比如用单片机或d s p 来处理数字 视频数据。 模拟视频信号每秒2 5 帧，每帧周期4 0 m s ，而每帧又分为2 场，每场2 0 m s ， 先输出的是奇场，然后是偶场，奇场的行号为第l 至3 1 2 5 行，偶场的行号为第 3 1 2 5 至6 2 5 行，其中，奇场的第2 3 5 至3 1 0 行包含有效的视频信号，偶场的第 3 3 6 至6 2 2 5 行包含有效的视频信号。把模拟视频信号解码为分量后，分别 进行a d 量化采样，转换为数字视频流，时间上按上面的顺序依次输出，有几个 相关的国际标准对此作了一些约定。如1 9 9 4 年国际无线电咨询委员会出台了 c c i r 6 0 1 标准，这个标准主要是针对演播室的要求制定的，其中规定亮度信号的 采样频率是1 3 5m h z ，色度信号的采样频率是6 7 5m h z ，采用8 位p c m 编码。 这样，每行的y 采样数为8 6 4 个，其中有效的y 采样数为7 2 0 个。而每行的u 或 v 采样数为4 3 2 个，有效的u 或v 采样数为3 6 0 个。平均描述每个像素的y 吣 的位数分别为8 b i t 、4 b i t 、4 b i t ，又叫做y u v 4 2 2 编码方案( 当然还有很多别的方案， 如4 1 1 等) 。国际无线电咨询委员会还出台了c c i r 6 5 6 建议，其中规定视频数 据的量化值中的0 和2 5 5 保留不用，而量化数据串行输出的顺序是：u 0 ，y 0 ，v 0 ， y 1 ，u 2 ，y 2 ，v 2 ，y 3 ，u 4 ，y 4 ，v 4 ，y 5 ，如此循环。因此，数字视频流应包 含的元素有：奇、偶场的指示信号f i ( 有的称为o d d ) 、场同步信号、行同步信号、 像素时钟、y u v 数据输出。计算一下数字视频流的数据量，每秒的数据量= ( 7 2 0 像素5 7 6 行x2 5 帧) 2 字节= 2 0 7 3 6 0 0 0 字节，数据率约1 6 5 m b p s ，数字视频的 数据量是很大，数据率是很高的。保存和描述数字视频流的最简单办法是记录和 描述连续的一帧帧的静止图像。 保存静止图像的最简单格式是b m p 格式，就是位图。b m p 文件记录图像的 方式有很多种，甚至可以直接在其中记录y u v 分量。b m p 文件由文件头、图像 特征描述、颜色表、图像数据四部分构成。在b m p 中记录的图像数据不一定就是 r g b 或y 的值，可以只是一个“编号 ，而这个“编号”对应的实际r g b 颜色 要从颜色表中查出来。2 4 位真彩图因为直接记录了r g b 值，所以是不需要颜色表 的，因此在2 4 位真彩b m p 文件中没有颜色表这部分，而其它的情况下就必须有 一个颜色表。颜色表一共2 5 6 项，每一项4 个字节，前三个字节分别代表b 、g 、 r 值，最后一个字节为0 。我们来以8 位灰度图举例说明，8 位灰度图是黑白图像， 记录的实际上就是亮度分量y ，根据r g b 三基色原理，i b y 、b = y 、g = y 的时候 合成的就是一个亮度为y 的灰色像素，极限的情况，当r = 2 5 5 、g = 2 5 5 、b = 2 5 5 6基于双d s p 的多视频合成显示系统设计 时表示最白的像素，当r = 0 、g - - 0 、b = 0 时表示最黑的像素。因此颜色表的值应为： 0 ，0 ，0 ，0 ，1 ，l ，l ，o ，2 ，2 ，2 ，o ，3 ，3 ，3 ，0 2 5 5 ，2 5 5 ，2 5 5 ，0 。 b m p 文件的最后部分记录图像数据，也是数据量最大的部分。一帧图像的像 素数据填入b m p 文件的顺序是：先填最下面的一行，从左到右依次一个个像素依 次填入，这样一行行一直到填完最上面的一行。对于8 位灰度图，对每个像素数 据只需填入一个字节的y 值。对于2 4 位真彩图，要填3 个字节，注意：先填b 值， 再填g 值，最后是r 值。 对于数字视频流，由于一帧中有效的行数是固定的5 7 6 行，所以如果把它转 换成5 7 6 行的b m p 图像，当然最简单，而且可以取得较好的效果。而如果取别的 值，比如6 0 0 行或者4 0 0 行，那么就必须进行插值运算，依据现有的行计算出假 想中的行，这样的转换其运算量很大，对图像的质量也有一定损失，一般要用专 门的硬件来实现( 一般高档的视频捕捉卡带有这样的功能) 。当然也可以转换成2 8 8 行，隔一行取一行，实际上就是只采集了一场。另外还可以丢弃一些行，只取中 间的4 8 0 行，而上下各丢掉4 8 行，这样得到的图像虽然被裁剪了，但清晰度不会 下降。由于模拟视频信号幅值在一行中是连续变化的，因此采样数没有行数那样 的限制。比如我们可以采4 0 0 个像素，当然也可以采4 0 1 个像素，这取决于我们 对水平分辨率的要求，一行中所采得的像素越多，则分辨率越高，但需要注意亮 度信号的带宽是有限的，采样率高到一定程度后，再提高就没有意义了。 2 2 色度空间 r g b 色彩空间：图像采集和显示设备采用，例如c c d 、c m o s 摄像头，c r t 监视器等，是最常用的色度空间。y c b c r 色彩空间：y 表示亮度，c b 和c r 表示 色差，色差信号常做2 ：1 抽样处理以节省带宽。y c b c r 使用红，绿，蓝的点阵组 合来减少信号中的信息量。y 通道描述l u m a 信号，它与亮度信号有一点点不同， 值的范围介于亮和暗之间。l u m a 是黑白电视可以看到的信号。u ( c b ) 和v ( c r ) 通道从红和蓝) 中提取亮度值来减少颜色信息量。这些值可以重新组合来 决定红，绿和蓝的混合信号。y c b c r 空间中，只有y 和c b ，c r 值被传输和存储， 而且c b 和c r 的分辨率可以比y 低，因为人类视觉系统对于亮度更加敏感。这就 减少了表示图像的数据量。通常的观察情况下，r g b 和y c b c r 表示的图像看上去 没有什么不同。对于色度采用比亮度低的分辨率进行采样是一种简单而有效的压 缩办法。一个r g b 图像可以在捕捉之后转换为y c b c r 格式用来减少存储和传输 负担。在显示图象之前，再转回为r g b 。二者之间转换的公式如下p j ： 第二章视频技术基础 7 y = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 口 c b = 0 5 6 4 ( b n cr=o713(r-y)(2-1) 尺= 】厂- i - 1 4 0 2 c r g = y 一0 3 4 4 c 易一0 7 1 4 c r b = y + 1 7 7 2 c 6 y c b c r 3 】的采样格式有三种。4 ：4 ：4 采样就是说三种元素y ，c b ，c r 有同样的 分辨率，这样的话，在每一个像素点上都对这三种元素进行采样。数字4 是指在 水平方向上对于各种元素的采样率，比如说，每四个亮度采样点就有四个c b 、c r 采样值。4 ：4 ：4 采样完整地保留了所有的信息值。4 ：2 ：2 采样中( 有时记为y u y 2 ) ， 色度元素在纵向与亮度值有同样的分辨率，而在横向则是亮度分辨率的一半( 4 ：2 ：2 表示每四个亮度值就有两个c b 和c r 采样) 。4 ：2 ：2 视频用来构造高品质的视频彩色 信号。在流行的4 ：2 ：0 采样格式中( 常记为y v l 2 ) c b 和c r 在水平和垂直方向上有y 分辨率的一半。4 ：2 ：0 有些不同，因为它并不是指在实际采样中使用4 ：2 ：0 ，而是用 来区别于4 ：4 ：4 和4 ：2 ：2 的编码方法。4 ：2 ：0 采样被广泛地应用于消费应用中，比如 视频会议，数字电视和d v d 存储中。因为每个颜色差别元素中包含了四分之一的 y 采样元素量，那么4 ：2 ：0y c b c r 视频需要刚好4 ：4 ：4 或r g b 视频中采样量的一半。 4 ：2 ：0 采样有时被描述为是一个“每像素1 2 位”的方法。这么说的原因可以从对四 个像素的采样中看出。使用4 ：4 ：4 采样，一共要进行1 2 次采样，对每一个y ，c b 和c r ，就需要1 2 8 = 9 6 位，平均下来要9 6 4 = 2 4 位。使用4 ：2 ：0 就需要6 8 = 4 8 位，平均每个像素4 8 4 = 1 2 位。在一个4 ：2 ：0 隔行扫描的视频序列中，对应于一个 完整的视频帧的y ，c b ，c r 采样分配到两个场中。可以得到，隔行扫描的总采样 数跟渐进式扫描中使用的采样数目是相同的。 2 31 2 c 总线规范简介 1 2 cb u s l 4 】【5 】【6 】【2 1 】( i n t e ri cb u s ) 是p h i l i p s 公司推出的芯片间串行传输总线，以 两根连线( s d a 和s c l ) 即可实现完善的全双工同步数据传送，具有规范完整、结 构独立和使用简单等特点。1 2 c 总线的时钟线s c l 和数据线s d a 均为双向传输线。 数据线上每传输一位数据都要求时钟线上有1 个时钟脉冲与其相对应。 通信过程如下： 假设控制器a 发送信息到控制器b 控制器a ( 主控器) 寻址控制器b ( 被控器) 控制器a ( 主控发送器) 发送数据到控制器b ( 被控接收器) 控制器a 终止传输 8 基于双d s p 的多视频合成显示系统设计 假设控制器a 接收控制器b 的信息 控制器a ( 主控器) 寻址控制器b ( 被控器) 控制器a ( 主控接收器) 接收控制器b ( 被控发送器) 的数据 控制器a 终止传输 在1 2 c 总线上产生时钟信号通常是主控制器件的责任，当在总线上传输数据 时，每个主控制器产生自己的时钟信号。主机发出的总线时钟信号只有在以下的 情况才能被改变：慢速的从机器件控制时钟线并延长时钟信号或者在发生仲裁时 被另一个主机改变。 时钟线s c l 和数据线s d a 都是双向线路，都通过一个电流源或上拉电阻连接 到正的电源电压。当总线空闲时，这两条线路都是高电平。连接到总线的器件的输 出级必须是漏极开路或集电极开路才能执行线与功能。1 2 c 总线上数据的传输速率 在标准模式下可达1 0 0 k b i v s ，在快速模式下可达4 0 0 k b i t s ，在高速模式下可达 3 4 m b i t s 。总线的驱动能力受总线电容限制，不加驱动扩展时驱动能力为4 0 0 p f 。 2 3 11 2 c 总线的信号定义 一、数据的有效性吲 由于连接到1 2 c 总线的器件有不同种类的工艺( c m o s 、n m o s 、双极性) ，逻 辑0 ( 低) 和1 ( 高) 的电平不是固定的，它由正电源电压的相关电平决定，每 传输一个数据位就产生一个时钟脉冲。 1 2 c 总线传输时，在时钟线的高电平期间数据线上必须保持稳定的逻辑电平。 数据线的高或低电平状态只有在时钟线是低电平时才能改变( 如图2 1 ) 。 s d a s c l 二二二_ - _ _ _ i _ l _ l l ii ic h a n g ei i o fd a t a i i a l l o w e di 劓bcb2， 图2 11 2 c 总线的位传输 二、起始和停止条件【4 】 在1 2 c 总线中，两种时序状态被定义为起始( s ) 信号和停i i - ( p ) 信号，如图2 2 所示。 起始信号：在时钟线保持高电平期间，数据线从高电平向低电平变化时启动 赫删 第二章视频技术基础 9 1 2 c 总线，为1 2 c 总线起始信号。 停止信号：在时钟线保持高电平期间，数据线从低电平向高电平变化时将停 止1 2 c 总线的通信，为1 2 c 总线停止信号。 s。-_。_。、二二：二二二二二二圹。s。a i l i l s c l s t a r tc o n d i t i o n s t o p c o n d i t o m 脚黝 图2 21 2 c 总线的起始信号和停止信号 起始和停止信号一般由主机产生。总线在检测到起始信号后被认为处于忙的 状态。在检测到停止信号的某段时间后，总线被认为再次处于空闲状态。 如果产生重复起始( s r ) 信号而不产生停止信号，总线会一直处于忙的状态。此 时的起始信号( s ) 和重复起始( s r ) 信号在功能上是一样的。 如果连接到总线的器件带有1 2 c 总线接口，那么用它们检测起始和停止信号十 分简便。但是，没有这种接口的控制器在每个时钟周期至少要采样数据线两次来 判别有没有发生电平切换。 2 3 21 2 c 总线的数据传输 1 2 c 总线上传送的每个字节均为8 位，每次传输可以发送的字节数量不受限制， 每个字节后必须跟一个应答位。 首先传输的是数据的最高位( m s b ) ，在全部数据传输结束后，由主控器发送停 止信号。如果被控器要完成一些其他功能后才能接收或发送下一个完整的数据字 节，可以保持时钟线为低电平，迫使主控器进入等待状态。当被控器准备好接收 下一个数据字节时，释放时钟线，数据传输继续。 1 2 c 总线数据传输时，每传送一个字节数据后都必须有应答信号，相关的应答 时钟脉冲由主控器产生。此时发送器释放数据线。在应答的时钟脉冲期间，接收 器输出低电平为应答信号( a ) ，输出高电平为未应答信号，如图2 3 所示。 通常，被寻址的接收器在接收到的每个字节后，除了特殊寻址形式( 详见下一 小节) ，必须产生一个应答信号。当被控器不能应答被控器地址时( 例如它正在执行 其他任务不能接收或发送) ，被控器必须使数据线保持高电平。主控器然后产生一 个停止条件终止传输，或者产生重复起始条件开始新的传输。如果被控接收器应 答了被控器地址，但是在传输了一段时间后不能接收更多数据字节，主控器必须 再一次终止传输。被控器使数据线保持高电平，主控器产生一个停止或重复起始 l o基于双d s p 的多视频合成显示系统设计 条件。如果传输中有主控接收器，在被控器不产生时钟的最后一个字节时，主控 接收器不会产生一个应答，向被控发送器通知数据结束。被控发送器必须释放数 据线，允许主控器产生一个停止或重复起始条件。 d a t a o u t p u t g yt r a n s m i t t e r d a t ao u t p u t b yr e c e i v e r s c lf f l 0 m m a s t e - 且 图2 31 2 c 总线的应答 2 4 本章小结 本章主要介绍了视频信号的的基本知识，包括模拟视频和数字视频的标准， 图像存储和色度空间的知识。还介绍了视频芯片的1 2 c 总线标准，主要为后续章节 的系统设计，图像处理、格式转换显示提供理论基础。 第三章系统总体方案设计 第三章系统总体方案设计 数字视频图像处理的一个主要瓶颈是数据量大、处理速度跟不上，因而实时 性较难保证。系统实现了输入四路标准p a l 制c v b s 模拟视频，最终以不同模式 显示在计算机显示器上。 四路视频输入的数据量为： ( 7 2 0 5 7 6 ) 4 l6 b i t 2 5 h z = 7 9 10 2 m b s 一路视频输出数据量为： ( 7 2 0 x 5 7 6 ) x l6 b i t 2 5 h z = 19 7 7 5m b s 处理如此多的视频路数和视频数据量，要求d s p 有足够多的视频通道接口、 较高的内核处理时钟、以及高性能的存储器接口资源。高速d s p 器件 t m s 3 2 0 d m 6 4 2 强大的视频口功能，高达7 2 0 m h z 的内核处理速度，功能强大的 外存接n ( e m i f ) 和主机接1 2 ( h p i ) 以及可以实现背景操作的d m a 通道，较高的 性价比，都突出显示了它在多视频处理中的优越性。但由于缺乏像a d i 公司许多 如t s 2 0 1 、t s l 0 1 d s p 的链路口资源，使得多片d s p 间的通信互连工作困难，在 面对不同角度、多路视频的采集、多模式显示、拼接、压缩处理等算法实现和高 实时性要求时，就显得捉襟见肘了，而构建多片d s p 互连系统就显得突出的重要。 因此，本系统采用两片t m s 3 2 0 d m 6 4 2 互连来构造系统核心处理器。 3 1 系统主要功能及技术指标 本系统设计了以强大的视频口通道为互连通道的双t m s 3 2 0 d m 6 4 2 核心处理 器，系统同时输入四路模拟c v b s 信号或者两路c v b s 和两路y c 信号，通过视 频解码芯片进行模数转换得到分辨率为7 2 0 x 5 7 6 的视频数据，由双d s p 进行算法 实现后，送给视频编码芯片，输出一路v g a 。而由c p l d 进行逻辑设计，产生模 式选择控制。它是集视频采集、处理，不同制式转换于一体的嵌入式实时系统【4 7 】， 实现了单路显示，四路均匀显示，字符叠加，画中画显示等功能，随时切换不同 角度。该系统体积小，可扩展性强，可应用于无人值守的智能监控系统，多片互 连后的d s p 多方位多角度，高实时性，强大的内核资源可以可靠地实现安全防范 和后续的升级工作。 本系统的主要特点与技术指标有： ( 1 ) 处理器：2 片t m s 3 2 0 d m 6 4 2 a z n z 7 【8 】，主频高达7 2 0 m h z ，处理能力可 达5 7 6 0 m p s ； 1 2 基于双d s p 的多视频合成显示系统设计 ( 2 ) s d r a m ：4 m 3 2 位，工作时钟最高可达1 6 6 m h z ，总共4 片； ( 3 ) f l a s h ：4 m x 8 位，9 0 n s ，总共2 片； ( 4 ) 数字i o ：3 2 路的数字量输入，1 6 路的数字量输出，实现现场环境检测与 控制，也可扩展为普通i o 口； ( 5 ) 8 个外扩按键可实现视频模式的切换； ( 6 ) 8 个发光二极管可用于程序调试和监测； ( 7 ) 提供上电自动复位和手动复位功能； ( 8 ) 工作温度：0 - - 7 0 oc ； ( 9 ) 视频输入输出指标如表3 1 所示： 表3 1 主要技术指标 输入输出 信号种类4 x c v b s ( 或者2 x c v b s 和2 x y c )v g a 10 2 4 7 6 8 分辨率 7 2 0 x 5 7 6 8 0 0 6 0 0 帧频 2 5 h z6 0 h z c v b s 一1 2 3 v p p 视频电平 0 7 v p p y ：1 2 3 v p pc - 0 8 9 v p p 3 2 双d s p 互连的方案论证 为提高系统的实时性和图像算法的处理能力，这里采用了双d s p 构建系统。 方法大致有两种：e m i f ( 夕b 部存储器接口) 方式连接和v p 口( 视频口) 连接。 我们曾经尝试e m i f ( 夕i - 部存储器接口) 方式互连即通过大双口r a m 来解决双 d s p 数据交互。但问题有：1 、大双口r a m 价格昂贵而且很少有支持6 4 位数据 的大双口r a m ( 低于3 2 位的较多) ，为提高读写速度需进行两片3 2 位宽度扩展( 增 加了设计的复杂度) 。2 、为避免左右两边同时读写大双口r a m 的同一地址数据， 控制逻辑复杂不易实现。3 、当d s p l 在工作中突然改变输出模式时，为规避操作 同一地址空间，d s p 2 不易马上刷新数据、组织输出，实时交互性差。 而这里所采用的双d s p ，通过t m s 3 2 0 d m 6 4 2 自身强大的视频口作为通信通 道，则大大简化了数据的组织过程，方便了d s p 间的数据交换与协同。因为 t m s 3 2 0 d m 6 4 2 的视频口通道是个f i f o 结构，我们只需在d s p 中设定该视频流的 数据格式和e d m at 作方式，设定相应视频口的通道为输入口还是输出口，双d s p 就以2 7 m h z 钟频率( 采用b t 6 5 6 格式【9 】时) 进行图像数据交换，非常简单易行。 第三章系统总体方案设计 3 3 双d s p 互连的系统结构与框图 本视频系统集成了d s p 、s d r a m 、f l a s h 、s a a 7 11 3 、a d v 7 1 2 5 、c p l d 和 单片机等芯片，实现了四路视频实时显示。系统输入四路c v b s 信号或者两路 c v b s 和两路y c 信号，通过视频解码芯片s a a 7 11 3 t 1 0 】进行模数转换得到分辨率 为7 2 0 x 5 7 6 的b t 6 5 6 视频格式【9 j 数据，以像素时钟频率2 7 m h z 送给d s p 。d s p l 的v p l 口与d s p 2 的v p 0 口对接构成互连通道，这里设置视频口为单向通道，只 从d s p l 到d s p 2 单向传输数据，d s p l 处理好的视频信号以一幅图像的方式，在 2 7 m h z 的时钟控制下传给d s p 2 ，进行视频图像的合成显示。并最终通过d s p 2 的 v p l 口输出给视频编码芯片转换成r g b 和行、场和时钟信号，最后通过a d v 7 1 2 5 变成v g a 显示在液晶显示器上。系统结构框图如下图3 1 所示： 图3 1 系统结构框图 从上图中我们可以看出两片d s p 都可以自成系统，而c p l d 就是它们之间协 同的控制器。这里通过d s p 的外部中断口、键盘和d s p 的i o 扩展口来实现模式 切换，为获得高的处理速度和实时性，此处设计的双t m s 3 2 0 d m 6 4 2 的内核时钟 都为7 2 0 m h z ( 输入c l k 为6 0 m h z ，设置成1 2 ) ，d s p 外围器件工作时钟c p u 6 为1 2 0 m h z ，f l a s h 为4 m x8 位，d m 6 4 2 的c e l 空间只有1 mx8 位，采用c p l d 进行分页操作，这里我们把f l a s h 分成8 页，系统程序默认加载在第一页，其它 页可用来存储图像数据。 1 4 基于双d s p 的多视频合成显示系统设计 3 4 系统主要芯片功能介绍 3 4 1 核心处理器t m s 3 2 0 d m 6 4 2 介绍 t