（通信与信息系统专业论文）基于fpga的两路视频同步播放系统的设计与实现.pdf

上海大学硕士论文 摘要 随着人们对影像技术需求的不断提高，多路视频图像同步播放问题应运而 生。而两路视频同步视频的同步播放作为多路同步播放的基础成为了本课题的出 发点。同时，基于低成本、低功耗等方面的考虑，本课题应用嵌入式系统作为实 现两路视频同步播放的实现方式。在比较多种嵌入式系统实现方案之后，本课题 最终将f p g a 确定为系统的核心。 在确定系统实施方案之后，本文首先对整体试验平台的搭建以及系统的初始 化过程作了详尽的描述。接着，本文对两路视频同步问题进行相关性建模、判别 优化以及失同步帧数检测等的算法理论研究。然后，针对f p g a 的具体特点及限 制，本文作了算法的运算量优化以及程序设计。接下来，文章对算法作了有效性 仿真，并对系统的各功能部件做了测试。最后，笔者设计了可控偏差的两路视频 测试信号进行了系统整体性能测试，结果证明本系统可以初步的实现两路视频的 同步功能。 本系统证明了基于图像重叠区域图像内容相关性进行两路视频图像同步播 放是可行的。然而，本系统还处于实验室阶段，在算法及硬件资源配置等方面还 有待于进一步改进以提高系统的同步范围、判别精度及实时性。 关键词：f p g a 、两路视频同步、互相关系数、抽样 v 上海大学硕士论文 a b s t r a c t w i t ht h ei n c r e a s eo ft h ep u 璐u ro fi m a g et e c h n o l o g y , m u l t i c h a n n e lv i d e o s y c h r o n i z a i t o nc o m e so u t a st h ef o u n d a t i o no fm u l t i - c h a n n e lv i d e os y c h i o n i z a i t o n ， t w o - c h a n n e lv i d e os y n c h r o n i z a t i o ni st h es t a r t i n gp o i n to ft h i sp r o j e c t m e a n w h i l e ， w i t ht h ec o n s i d e r a t i o no fl o wc o s ta n dl o wp o w e rc o n s u m i n g ，t h i sp r o j e c tu s e e m b e d d e ds y s t e mt oi m p l e m e n tt w o - c h a n n e lv i d e os y n c h r o n i z a t i o n a f t e rc o m p a r i n g s e v e r a le m b e d d e dc h i p s ，f p g ai sf i n a l l yc h o s e na st h ek e yo ft h e s y s t e m a f t e rt h ei n t r o d u c t i o no ft h ei m p l e m e n t a t i o np l a n , t h ea s s i s ts y s t e mi sd e s c r i b e d i n t od e t a i i s t h e n ，t h er e l a t i v i t ym o d l ee s t a b l i s h m e n t , j u d e n m e n to p t i m i z a t i o n ，a n d l o s t s y n c h r o n i z a t i o nc h e c k i n ga r ep u ti n t od e e pr e s e a r c h n e x t , t h ev a l i d i t yo ft h e a l g o r i t h ma n dt h ef u n c t i o no fe a c hm o d u l ea r et e s t e dr e s p e c t i v e l y a tl a s t , at e s t i n g m e t h o do fu s i n gc o n t r o l l a b l el o s t - s y c h r o n i z a t i o n s i g n a l si sd e s i g n e dt ot e s tt h e f u n c t i o no ft h ew h o l es y s t e m 。t h er e s u l tc a nb eap r o o ft h a tt h i ss y s t e mc 翘w o r k p r e t t yw h i l e0 1 1s y n c h r o n i z i n gt w o - c h a n n l ev i d e o t h i sp a p e rp r o v e st h a tu s i n gt h ei m a g ec o n t e n da st h es y n c h r o n i z a t i o na c c o r d a n c e i sa v a i l a b l e h o w e v e r , t h i st w o - c h a n n l ev i d e os y n c h r o n i z a t i o ns y s t e mi ss t i l li nt h e e x p e r i m e n ts t a g ew h i c hr e q u i r e sm o r ei m p r o v e m e n to nt h ea l g o r i t h ma n dh a r d w a r e r e s o u r k e yw o r d s ： f p g a 、t w o - c h a n n l ev i d e os y n c h r o n i z a t i o n 、c o - r e l a t e dc o e f f i c i e n t 、s a m p l e v i 上海大学硕士论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：趟日期：埠z 即日 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 1 1 日期： 上海大学硕士论文 第一章绪论 1 1 研究背景及现实意义 随着人们对高分辨率以及某些特技显示效果的需求日益提高，采用多路视频 进行拼接播放的影像技术应运而生。随之而来的问题就是如何避免因各路视频不 同步所产生的多路图像之间的超前或滞后，从而克服其对拼接后的画面造成的不 良影响。 可以想象，在多路视频不同步播放的情况下，最终在同一屏幕显示的画面质 量必然有所降低。据笔者观察，目前仅有少数厂商( 如北京博睿的大屏幕拼接控 制器b r v p 2 0 0 0 、彩讯t m c 4 2 0 0 大屏幕拼接器) 在生产图像拼合器时增加了产 品对输入信号进行自动调整的功能。然而，市场上大多数同类产品的处理对象都 是经同一视频分割得到的子视频，对于独立拍摄的多路视频同步无能为力。由此 可见，对视频同步问题进行研究是有现实意义的。而目前对视频同步的研究仅仅 局限于p c 机软件实现，无法移植到各类产品中去，因此，笔者认为运用嵌入式 系统实现视频同步播放具有一定的创新意义。两路视频同步问题是多路视频同步 问题的最简化情况，对后者的研究有着重要的参考价值。基于这层认知，本文将 两路视频同步作为课题研究的出发点。 1 2 课题研究涉及的内容 本课题的研究内容涉及到： 1 在深入研究同步问题的基础上，提出基于图像内容、运用嵌入式系统、实现 视频同步播放的方案。 2 搭建并调试两路视频同步播放系统实验平台，并且论证此实验平台可以提供 两路视频同步播放的可能性。 3 提出一种实现两路视频同步检测的算法，并研究如何降低此算法的运算量， 以便将其移植到嵌入式系统中。 4 将此算法在p c 机上进行实验仿真，再运用v h d l 语言进行f p g a 算法移植。 圭塑查兰堡主笙奎 在搭建实验平台的过程中，两路视频播放同步系统的电路原理图及印制板的 设计采用了软件p r o t e l 9 9 ；在实验平台的辅助系统设置中应用了s o p c b u i l d e r 对n i o s 软核进行c 程序设计；在q u a r t u s i i 环境下完成f p g a 的软件设计部分； 在m a t l a b 7 0 环境下进行算法的可靠性、合理性分析及仿真。 1 3 文章主体内容编排 第一章，介绍同步播放技术的特点，应用领域和研究背景；简要介绍课题研 究的范围以及研究过程中借助到的主要工具；为以后章节作总体划分。 第二章，引出两路视频同步播放问题，对其进行剖析，得出系统设计的核心 思想通过图像内容检测的方法，运用嵌入式系统，实现两路同步播放。 第三章，辅助系统的软硬件配置，主要介绍s o p c 平台和d a c - c p l d 系统 的初始化配置。 第四章，阐述硬件平台设计的总体构想；详细介绍了系统硬件设计及实现， 其中包括各个电路模块的功能、结构框图、器件介绍、以及工作原理等。 第五章，对适用于嵌入式系统的基于内容的两路视频同步检测算法进行了研 究和阐述；依次进行了总体程序设计和各功能模块的程序设计。 第六章，阐述了两路视频同步播放系统的调试流程及方法，其中包括系统硬 件调试、系统各功能调试以及系统同步播放性能测试等内容。 第七章，总结本文成果，并指出如何进一步改进本系统，以及本课题的发展 方向问题。 2 上海大学硕士论文 第二章两路视频同步播 孜系统设计思想的确立 2 1 问题的提出 在摄影过程中，经常需要进行分镜头拍摄。如图1 1 所示，两台摄像机c 1 、 c 2 分别对两片区域进行拍摄，但是镜头的边缘存在交叠区域。拍摄下来的图像a 、 b 经过压缩、编码等过程，分别存储于d 1 、d 2 。在某一时刻t 1 进行拍摄，得到 了第一组图像a 1 、b l ；在下一时刻t 2 拍摄，得到了第二组图像a 2 、b 2 。 图2 1 原始图像的摄取示意图 在重现影像的阶段，d 1 、d 2 分别由 两个搔放器读出，两路视频a 、b 在屏幕 的对应区域显示。在理想情况下，a 、b 两路视频图像的播放时序应如图2 2 所 示。a 1 与b 1 同时播放，a 2 与b 2 同时播 放。这样，在显示屏上将显示正确的拼接 结果。 ，1 ：t - 一 l 图2 2 正常播放时序 然而，在现实条件下，两路视频播放器通常是独立的，两路视频的播放起始 圭塑查兰堡圭丝苎 时间通常是有差别的。即使在起始播放时间相同的情况下，在播放过程中也会出 现两路视频播放速度上的差异。差异存在的原因也有多种，如m p e g 2 解码器对i 、 p 、b 帧的解码方式不同及激光头读取速度不一等。以上问题的出现具有极大的 不确定性，对其的研究也超出了课题的研究范围，这里不加深入讨论。 在播放时序错乱的情况下，显示在屏幕的效果是a 路播放过快或者b 路播放 过快( 如图2 3 所示) 。图2 3 表示的仅仅是一帧不同步的显示效果，如果各路 视频的不同步随着时间推移不断累加，最终会使两路图像拼接后的影像质量让人 无法忍受。因此，我们有必要对两路视频的同步播放问题进行研究。 图2 3 播放时序错乱示意图 从应用方面考虑，用p c 机进行两路视频的同步播放在成本、功耗、体积和 产品化等方面都存在着缺陷。因此，开发一套基于嵌入式系统的两路视频同步播 放系统值得探索与尝试。 2 2 问题的分析 要解决两路视频不同步的问题，首先得从研究两路视频图像的关系入手。通 过上一节的论述可以得知：要使两路视频达到同步播放，在任意时刻播放的图像 内容都应该对应同一时刻摄取的原始图像。但由于播放器的独立性以及解码的不 同步，两路视频播放的内容会对应不同时刻摄取的原始图像。 如图2 1 所示，两路视频图像是在同一时刻拍摄同一景物的不同区域，并且 有一部分交叠区域，因此，图像内容之间必然存在一定的关联性。如图2 4 所示， 4 圭塑查兰堡主堡壅 把两路视频a 、b 的交叠区域a 、b 分别抽取出来，视频图像a 、b 的格式、大小 是相同的。显然，a 、b 的图像内容反映的是同一景物，在理想情况下，a 、b 甚 至是完全相同的。然而，由于在实际的拍摄、压缩、存储、播放等过程中多种因 素的影响，a 、b 受到了各种噪声的污染，导致其并不完全相同。但是，即使存 在一定程度的噪声和干扰，由于a 、b 表现的内容始终是反映同一景物的，两者 的内容必然存在较强的关联性。因此，在同步播放的情况下，图像的交叠区域必 然保留原有图像内容之间的关联。当然，如果噪声和干扰过大，视频本身的质量 也是很低的，从主观感觉的角度上来讲，人眼对图像的清晰度更为敏感，同步问 题退居其次。 从另一个角度而言，a 、b 内容的关联性也可以反映出a 、b 之间的关系。如 果a 、b 内容存在较强的相关性，那么可以推断a 、b 两帧图像是同步的；反之则 不同步。研究两路视频图像a 、b 是否同步的问题进而就转化为研究其交叠区域 画面a 、b 是否关联的问题。因此，如何刻画a 、b 内容的关联性以及判别其强弱 成为判别a 、b 是否同步的关键，这部分内容本文将在第五章中进行详细阐述。 图2 4 从a 、b 中抽取交叠区域a 、b 根据上面的分析，在一定的噪声和干扰的容限内，任何两帧图像是否同步都 可以通过检测这两帧图像交叠区域的内容关联性而得以判别。检测结果无非两 种：a 、b 同步或a 、b 不同步。如果a 、b 是同步的，那么系统不需要对两路视 频的播放速度进行调整。但是，如果a 、b 不同步，就必须考虑如何进行两路视 频播放快慢程度的检测以及相应的调整。 如图2 5 所示，a n 、b n 对应同步情况下对应的交叠区域的两帧图像，a n 、b n 内容必然存在强关联性。a 与b 在内容上相差了k 帧，因此当前交叠区域的两帧 图像为a n 、b n - k 。那么在不知道a 与b 哪路图像过快的情况下，如何找到与a n 同步的b 。? 如果以b 以为中心，对前后共大于2 k 帧的图像都进行内容关联性检 测，b n 一定会被列在检测范围内。根据b n 被检测到的次序可以得出两路视频哪 5 上海大学硕士论文 路更快或更慢，以及相差的帧数k 。若视频a 播放过快则降低a 路视频播放速度， 若视频b 播放过快则降低b 路速度。从理论上讲，只要检测范围大于2 k 就能找 到与a n 帧同步的b n 帧。但是从实时性和系统的可实现性考虑，检测范围的扩大 意味着计算时间和系统复杂性的增加，而现有系统的数据处理能力和硬件资源总 是有限的。因此，一旦系统给定，其最大的检测范围k 也就确定了，如果两路视 频相差的k 帧大于系统最大检测范围k ，系统是无法完成两路视频同步的。 检测时剃 b a - # k ，赳州一司ha -扎一a la 瓠州 b ，。b ，。b ，。b 。白。b 一一b r b 。k i 一救援竣虢一口口口口口口口口酉 图2 5 视频a b 相差k 帧 综上所述，两路视频同步播放问题的解决包括三个方面： 1 如何判别当前两帧图像是否同步； 2 在失同步的情况下，怎样确定两路视频失同步的帧数； 3 采取怎样的系统硬件配置。 根据上面的分析，前两个方面的解决都以两帧图像交叠区域内容关联性的检 测为基础。如何刻画以及量化两帧图像内容的关联性成为问题的一个关键。问题 的第三个方面决定着两路视频同步播放系统的性能。 2 3 实施方案设计 如图2 6 所示，整体试验平台由两部分组成两路视频同步播放系统、辅 助系统。辅助系统的主要功能在于其一，将播放器输出的模拟视频信号转换 成两路视频同步播放系统能够识别的数字视频信号格式：其二，提供显示平台。 在下一章中将详细讲述辅助系统的组成和配置。 6 上海大学硕士论文 图2 6 整体试验平台 从功能层面上，两路视频同步播放系统的设计考虑到以下三个方面： 1 从两路播放的视频中截取交叠区域，并提取有用信息； 2 判别交叠区域是否相关，并且在非同步条件下能够进行偏差帧数检测； 3 两路视频播放速度调整。 因此，相应的两路视频同步播放系统应该由交叠区域信息提取模块相关 性判别、同步偏差检测模块播放调整模块中心控制模块四个模块组成。a 、b 两路数字视频信号同时在模块给出的采样控制信号的控制下，经过模块得到 所需的交叠区域图像a 、b 的信息；图像a 、b 信息经过模块得出两路视频同步 与否的判断结果，若不同步，模块将给出不同步的帧偏差量；模块根据模块 的判别结果以及偏差值，向模块发出调节控制命令，由模块进行两路视频 播放器的调节。 可以看到整个系统的有序工作，依赖于模块强有力的时序控制能力和模块 的运算能力，所以选择强有力的时序控制和运算能力的c p u 成为方案设计的 核心。对于嵌入式系统设计来说，c p u 的选型一般有三种：a r m 、d s p 、f p g a 。 7 上海大学硕士论文 下面逐个分析基于以上三种c p u 的系统设计方案。 基于d s p 处理器的帧同步设计方案 d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 处理器以其高速、低功耗和高集成度在军事、 航天、图像处理等领域大显身手；随着半导体工艺的进步和工业民用领域的大量 采用，近几年来，d s p 价格大幅下调，而性能却不断提高，以不可阻挡的趋势， 进入通信、工业控制和消费领域，d s p 正日渐成为现代信息产业的重要基石。从 d s p 应用范围看，d s p 可分为通用d s p 和专用d s p 两种。其中专用d s p 往往 是实现信号处理的某些专项功能，实现方式则往往是通用d s p 的掩模版本。生 产通用d s p 的主要厂家有t i 公司，a d 公司，m o t o r o l a ，l u c e n t ，其中t i 公司 著名的t m s 3 2 0 系列占据了国际市场接近一半的市场份额。 基于d s p 的两路视频同步播放系统是以d s p 处理器为核心处理芯片，再加 上预同步电路、采样电路、图像存储单元和外围控制电路等部件组成。整个系统 设计流程如下：在p c 机上编写两路视频同步算法，算法论证阶段，帧同步算法 转换成d s p 处理器能够运行的代码，再进行d s p 算法代码优化，最后将优化的 同步算法代码移植到d s p 处理器中用于视频图像同步并构建成整个硬件系统。 使用d s p 处理器实现图像同步播放算法有处理速度快、运算精度高、硬件 扩展功能强，可以方便实现图像相关性运算的后期处理和系统的扩展升级等一系 列优点。 此方案的整个硬件系统设计，高性能时序控制和代码移植与优化是系统开发 的难点和重点，一般需要d s p 与f p g a 共同组成运算控制核心，成本较高。 基于a r m 处理器的帧同步设计方案 a r m ( a d v a n c e dr i s cm a c h i n e s ) 是微处理器行业的一家知名企业，设计了 大量高性能、廉价、耗能低的r i s c 处理器、相关技术及软件。技术具有性能高、 成本低和能耗省的特点。适用于多种领域，比如嵌入控制、消费教育类多媒体、 d s p 和移动式应用等。a r m 将其技术授权给世界上许多著名的半导体、软件和 o e m 厂商，每个厂商得到的都是一套独一无二的a r m 相关技术及服务。利用 这种合伙关系，a r m 很快成为许多全球性r i s c 标准的缔造者。低价、低能耗、 高性能系统微处理器，配有c a c h e 、内存管理和写缓冲是a r m 处理器的一系列 优点。广泛应用于高级引擎管理、保安系统、顶置盒、便携计算机和高档打印机 上海大学硕士论文 中。 基于a r m 处理器的两路视频帧同步系统是以a r m 9 为核心的控制处理器， 再加上进行外围视频输入输出电路构成的。a r m 9 处理器属于实时响应处理器， 处理速度快，系统时钟速率高，功耗低，控制方便等优点，完全满足图像处理系 统的需要和产品设计的要求。 但是，它的开发周期长、实时高速算法实现难度大，而且在操作系统上移植 算法有很多难点要去克服。 基于高性能f p g a 芯片的帧同步设计方案 随着超大规模集成电路( v l s i ) 技术的不断发展。图像的并行处理技术也得到 飞速发展现场可编程门阵列( f p g a ) 是在专用集成电路( a s i c ) 的基础上发展起来 的一种可动态编程的器件，与其他中小规模集成电路相比，其优点主要在于它有很 强的灵活性，即其内部的具体逻辑功能可以根据需要配置，对电路的修改和维护很 方便，设计周期短，可重构，扩展性好等，特别适用于流水线方式的数据处理。 a l t e r a 公司开发了一大批新器件包括：c p l d ( m a x 、m a xm 、低成本 f p g a ( c y c l o n e 、c y c l o n ei i 、s t a r t i xi t ) 、高密度f p g a ( s t a r t i xi i 、s t a r t i x 、s t a r t i x g x ) 以及结构化a s i c ( h a r d c o p ys t r a t i x ) 。基于实验室阶段的功能性和成本方 面考虑，本设计选用c y c l o n e 系列f p g a 。c y c l o n e 现场可编程门阵列系列基于 1 5 v 、0 1 3 u m 及全层铜s r a m 工艺，其密度增加至2 0 0 6 0 个逻辑元件( l e ) ，r a m 增至2 8 8 k b 。它具有用于时钟的锁相环以及d d rs d r 和快速周期r a m ( f c r a m ) 存储器所需的专用数据率( d d r ) 接口等。c y c l o n e 期间支持多种i o 标准，包 括6 4 0 m b p s 的l v d s 以及速率为3 3 m h z 和6 6 m h z 、数据宽度为3 2 位和6 4 位 的p c i 。c y c l o n e 器件为在f p g a 上实现低成本的数字信号处理( d s p ) 系统提 供了一个理想的平台，能够实现设计中所需的多个乘法器。利用m 4 k 块，可采 用并行乘法方式或分布式运算方式来实现不同数据宽度的软乘法器。这两种不同 的实现方案提供了等待时间、存储器利用率和乘法器尺寸上的灵活性。2 1 汇总 了在c y c l o n e 器件的m 4 k 块中可以实现的乘法器的数量。 9 上海大学硕士论文 器件 m 4 k 块的数量用m 4 k 块可实现的乘法器的数量 e p l c 31 3j e p i ( 7 41 76 e p l 0 6加7 e p l c l 2 5 2 e p l c 2 0 6 4笛 表2 1c y c l o n e 器件m 4 k 块数量及其可实现乘法器数量 l o 上海大学硕士论文 第三章实验辅助系统的软硬件配置 整个试验系统由辅助系统和两路视频同步播放系统组成。引入辅助系统是由 于两路视频同步播放系统所处理的图像信息是黑白数字视频信号，而且经过同步 处理后的黑白数字视频图像需要在同一屏幕上显示，以检验同步结果。 本课题设计的辅助系统由两台d v d 播放器、两台s o p c 嵌入式视音频开发 平台以及d a c c p l d 系统组成，如图2 6 所示。 3 1s o p c 嵌入式视音频开发平台简介以及初始化配置 s o p c 嵌入式视音频开发平台( 下称s o p c 平台) 是一种视音频嵌入式开发 平台，该平台具有完善的视频、音频以及各种数据通信接口，结构设计简洁，自 带1 5 寸液晶显示屏。该平台可以作为数字视频音频处理实验平台，完成多种视 音频实验；其次可以利用对用户开放的标准系统对外总线和丰富的数据通信接 口，基于本平台进行数字视频音频嵌入式系统的二次开发；另外，还可以利用本 系统的可编程特性，在不改变硬件的基础上，进行专用嵌入式软件开发或者视频 音频产品的样机研制工作。s o p c 平台采用大规模可编程器件作为主控核心，并 且植入了n i o s i i 软核管理整个系统。 s o p c 平台在辅助系统中的功能在于： 1 将从s - v i d e o 端口输入的模拟视频信号转化成为两路视频同步播放系统所需 的黑白数字视频信号( 4 ：2 ：2 ) 。 2 将两路经过同步处理过的黑白数字视频信号在同一显示屏中显示。 s o p c 平台输出的图像格式是由n i o s 控制下的s a a t i l l a 实现的，因此， 要使s o p c 平台输出y u v 4 ：2 ：2 格式信号，就必须应用n i o s 软核进行平台初始 化配置。在显示阶段，两路视频同步播放系统输出的8 位y 信号需要转换为s o p c 平台能够识别的1 6 位r g b 信号。 上海大学硕士论文 3 1 1s a a 7 1 1 1 a 初始化 s a a 7 1 1 1 a 是p h i l i p s 公司生产的一款支持多格式视频输入( s - v i d e o 信号输 入、v g a 信号输入、双路c v b s 复合视频信号输入) 、输出( 1 2 位y u v 4 ：i ：i 、 1 6 位y u v 4 ：2 ：2 、8 位y u v 4 ：2 ：2 、1 6 位r g b 5 ：6 ：5 、2 4 位r g b 8 ：8 ：8 ) 、多种显示 格式( n t s c 制、p a l 制) 、1 2 c 控制总线的视频处理芯片。 s a a 7 1 1 1 a 总线输出格式与1 2 c 总线控制信号的关系如表3 1 所示。从表中 可以知道，当o f t s o = i 、o f t s i = o 时，总线输出的高8 位为亮度y 信号，低8 位是色差u 和v 信号。表3 2 为1 2 c 配置寄存器地址及状态字格式，因此输出 1 6 位n j v 4 ：2 ：2 信号的1 2 c 状态字应设置为0 4 0 0 h 。s o p c 平台内集成了n i o s 软核，运用s o p cb u i l d e r 可以通过c 语言程序实现对s a a 7 1 1 1 a 总线的配置， 具体配置程序详见附录。 b u ss * 诅l n2 _ b f r恐1 1 _ 8 盯c c ir 憾嵌日 r f t 呻 r g b 幢噶m v y ”y ” y ry 杆 y t ， 啦7y wv ， y 7 r 7 ky 1 e y 擤 y m y ” 妇y v *v e 髓 v p 0 1 3 y 。y by *y 疆y ”kv y ， r 5 v p o 2y y k y *by u ，y “v *yr - r 4 v p o ” y t 3by y 1 30 0y v y t 3 船 v p 0 1 0 v y t 2乜y j ：y y 1 ：u y v y 2 g 7g 7 v p 0 9y c t y y 2 1y “毪t丫出，y c t v y ” s 4g 6 y l oby y y u y v y g 5 u f u zj u 蛳v xx x xr 2 u u *j =l v xxx xr 1 协v v v ，u v xxx触 v *v v u *hx xxxg 1 xxxx u 。3v xxxx g 。 xxxx xxxxb 2 xxxx 幽坞 x xx x b 1私 b 1 xxxx 她 xxxx即 0123c1in o 船5 p wii l l。2u：2ucc o 町s皿= 0 0 f t 0 ：1o f t ：0 ：0 = o f 由咯g r i 虹o f t r 1 = 10 丌j- 1 ：e0 f t ：1 1 = 1 ：0 t g b b强= ，r g b sa 8 ：xi 6 8 8噼= )r 0 8 a 鹕：0r s b g鳃：1 表3 t 输出信号格式与总线控制信号的关系 r e w r h c s i 翻j 匪 o d r e s 日ha m 4 b h稿h0 州拍h s u b f u h c t o h n o 亿 0 7翻瞄1 1 4 l f 0 m o 哪r ii x e r $ 1l 1y d e l l 表3 21 2 c 配置寄存器地址及状态字格式 3 1 2f p g a 输入信号格式转换 将信号转换为r g b 信号是根据以下公式： 1 2 上海大学硕士论文 鼬挚s 圈 限。， 眺g = u ：， 3 2d a c - c p l _ d 系统配置 d a c c p l d 系统的引入是为了实现b 路s o p c 平台输出信号对两路视频同 步播放系统的接入。由于s o p c 平台提供的接口为两排8 0 针1 2 7 m m 双排直插 式插座，而两路视频同步播放系统的接口设计无法同时满足与两台s o p c 平台直 接相连。d a c c p l d 系统是基于s o p c 平台接口标准开发出的可用于数模转换 的子系统，可以使s o p c 平台标准接口信号经过其内部c p l d 的控制，直通到输 出接口，并与两路视频同步播放系统b 路视频进行连接，如图3 1 所示。 图3 1d a c - c p l d 系统与两路视频同步系统连接示意图 上海大学硕士论文 第四章两路视频同步系统硬件平台设计 根据第二章的总体方案设计，两路视频同步播放系统在功能上应该由交叠 区域信息提取模块，相关性判别、同步偏差检测模块，播放调整模块，中 心控制模块四个模块组成，系统的运算和控制功能应该采用f p g a 实现。因此， 系统的硬件组成为：接口电路、输入视频信号预同步电路、输入视频信号重叠区 域图像采样窗电路、数据存储电路、主控运算及播放器控制电路。 如图4 1 所示，a 、b 两路视频信号及其同步信号和外部控制信号通过接口 电路被接入系统，同时经过处理的视频信号及其同步信号通过接口电路1 输出给 s o p c 平台a 进行显示。a 、b 两路视频信号分别通过预同步模块l 、2 ，在主控 运算电路发出的预同步控制信号的控制下，得到了a 、b 两路预同步视频信号。 同时，a 、b 两路视频信号也分别通过采样电路l 、2 ，在主控运算电路发出的采 样控制信号的控制下得到a 、b 两路采样数据。主控运算电路分别对两块s d r a m 电路进行存储与读取操作( 这是由s d r a m 存储器自身特点所决定的，4 4 节将 进行详细阐述 i 一最后，一主控运算电路通过搔放器控制电路对播放器进行调整。 + 5 v 电源由接口l 接入，再由电源电路进行转化得到系统需要的各种电源。下面 分别对各部分电路设计进行具体说明。 图4 1 两路视频同步播放系统硬件平台方案设计 1 4 上海大学硕士论文 4 1 接口电路 接口电路分为接口电路1 和接口电路2 。接口电路1 与a 路s o p c 平台直接 相连，负责+ 5 v 电源、a 路视频信号及其同步信号和外部控制信号的接入，并且 将输出视频信号及其同步信号输出给s o p c 平台a 进行显示。接口电路2 与 d a c c p l d 系统相连，负责接入b 路视频信号及其同步信号。 s o p c 平台接口电路1 本身提供+ 5 v 电源， 因此可以接入系统。外部控制信号主要指的是 a 路s o p c 平台的7 位键盘控制信号。它提供 了简单4 状态键盘( k e y l 、k e y 2 、k e y 3 、k e y 4 ) 以及1 2 c 键盘控制两种模式选择( k e y s c l 、 k e y s d a 、k e y i n t ) 。由于两路视频同步播放系 统仅针对黑自信号进行处理，所以仅接入a 路 视频信号的8 位y 信号( v d v 8 i v d v l 5 1 ) 、 行同步( v h r e f - 1 ) 、场同步( v v r e f - 1 ) 、点时 钟( v l l c 2 11 3 5 m ) 、倍频点时钟( v l l c l 2 7 m ) 以及奇偶场标志信号( v r s t 0 - 1 ) 。同理， 8 位输出视频信号及其5 位同步信号通过接口 1 连接到s o p c 平台，如图4 2 所示。 _ - - - 呻i r 纠- - _ _ _ _ _ _ _ _ _ _ _ 一i l r f fi - 一# p - - - 一r ”i - 、h ， - ii r ? n ll 一 o n n f ik 一 d 掣￥杆 一_ h 、“f 一 链“l h - - - “ m 、- - - 一 m - - _ _ i t h 4 i 一 帆簪 - - - - - x 驸l - - - - k 、i e - - - 、i t d _ _ _ _ _ “ - - v - + 一k # 、h t - - 一k r - - - 峨f v 斟- s ，、 图4 2 接口电路1 电路接口2 相对简单，直接与d a c c p l d 系统相连，接入了b 路视频信号 的8 位y 信号( v d v 8 - 2 “v d v l 5 - 2 ) 和5 位同步信号( l l c 一2 、v l l c 2 2 、v v r e f 一2 、 v h r e f - 2 和v r s t 0 - 2 ) 。 从具体的物理器件组成上讲，电路接口1 主要按照s o p c 平台系统总线接口标 准进行设计，其接口为两排8 0 针1 2 7 m m 双排直插式插座。具体规格为两排8 0 针 1 2 7 m m 双排直插式插头。电路接口2 采用1 6 芯i d t 插座通过信号线与d a c c p l d 系统 连接。接口电路l 、2 电路图详见附录。 4 2 预同步电路 由于a 、b 两路视频是相互独立的，为了保证两路视频同时到达主控运算电 上海大学硕士论文 路，系统设计了预同步电路。 预同步电路需要对信号进行缓冲，所以它需要有一定的存储能力( 每场8 位y 信号5 0 h z 隔行p a l 制图像大小为7 0 2 x 2 8 8 b y t e 1 9 8 k b y t e ) 。系统采用了f i f o 芯片 u p d 4 2 2 8 0 作为预同步电路的存储芯片( u p 0 4 2 2 8 0 是容量为2 5 6 k b y t e 的高速场存储 器，容量足够一场图像的存储，c m o s 动态电路实现了芯片的高速和低功耗) 。 u p d 4 2 2 8 0 可以设置为同步或异步读写的f i f o 。d i o 7 为8 位y 信号，d 0 0 7 为8 位经 过预同步处理后y 信号。6 位f i f o 控制信号与主控运算电路( f p g a ) 相连：w e 、 r e 分别为写使能和读使能；w r s t 、r r s t 分别为写复位和读复位；w c k 、r c k 分 别为写时钟和读时钟。v d d 接+ 5 v 。如图4 3 所示，a 、b 两路视频信号分别经过两 片u p d 4 2 2 8 0 进行预同步处理。 渖dq!：#qd422辫 一 _ 。 图4 3 预同步电路 图4 4 为a 路信号经过u p d 4 2 2 8 0 的读写时序图，读写时钟均和点时钟相同 ( 1 3 5 删z ) 。w e 、r e 均为v r e f ，写入整场数据。w r s t 、r r s t 均为v r e f ，读 写地址在场消隐期复位。预同步处理的关键在于u p d 4 2 2 8 0 控制信号的设置。在写 入阶段两片u p d 4 2 2 8 0 分别由各路视频的同步信号产生的写时序控制，而在读取阶 段，采用同一组读控制时序。 1 6 上海大学硕士论文 假1 几n 几九n 几几几几。几几n n 几几广几几八几九九n 几n 厂。几几几 - 船：r 1 ：广弋。：广- 。_ ： 棚厂一。_ = 一。_ _ _ _ = _ 啊- 1 n n 九r 【r 几几几九n 丌几丌几n 广兀九几。，几几n 几丌几广n 几门 m 1 ： 一 ： ： ，船厂_ 一_ 一 ： 矗1 几兀几n 几几：几n 几。几几几n n 几厂几几几。：。：九几n 几几几广几几几 抽_ 1 ：。：。= ：。i ： 4 3 采样电路 一：一：r 。? - = - 1 图4 4u p d 4 2 2 8 0 整场直通读写控制时序 采样电路的功能应该具备：将交叠区域分割出来：对交叠区域的图像数 据进行采样。 每一场图像大小为7 0 2 2 8 8 点，取图像交叠区域为1 2 8 2 8 8 点，全部存储 所需的存储空间为3 6 k 。每一路采样电路是由两块u p d 4 2 2 8 0 芯片串联组成，如 图4 5 所示，存储器的容量增大了一倍( 5 1 2 k ) ，可以容纳约1 4 场完整图像重叠 区域。 l 口0 驰埘d h h ! ：孵 图4 5 采样电路 为了用有限的存储容量储存更多图像的采样信息，系统将交叠区域1 2 8x 2 8 8 点图像进行抽样，这里以最简单的均匀抽样方式进行。图4 6 为每路采样电 路第一片u p d 4 2 2 8 0 的写入控制时序，第二片写时序和第一片相同。写使能在纵 向每8 行的后1 2 8 点有效，水平方向用1 4 时钟频率进行写入。这样，每帧图像 1 7 上海大学硕士论文 抽样点数为变为3 2 x 3 2 点，存储量为1 k ，每路采样电路最多能够存储5 1 2 场抽 样图像。读出控制时序以点时钟( 1 3 5 m ) 读出作为读时钟，读使能前3 2 点有 效，每2 5 6 场读复位。 图4 6 采样写入控制时序 4 4s d r a m 存储器电路 4 4 1 硬件功能设计与器件选型 存储电路的设计是由于三个方面的需求。第一，当系统的同步范围加大时， 采样电路的数据必须进行存储；第二，对于存储的数据根据同步算法进行运算， 运算的中间数据需得到存储；第三，随着算法的扩展，系统对存储器的容量也提 出了更高要求。 嵌入式系统的存储器的选择一般有s r a m 、s d r a m 以及f l a s h 。s r a m ( s y n c h r o n o u sr a n d o m a e e e s sm e m o r y ) 的读写控制最为简单，但是一般的r a m 芯片容量有限，容量较大的r a m 的成本也比较高。f l a s h 芯片的存储容量很 大，但是成本较高，控制较为复杂，而且会消费过多的f p g a i o 端口。同步动 态随机存储器s d r a m 具有价格低廉、容量大等优点，但因s d r a m 的控制结 构复杂，需要设计s d r a m 通用控制器。而且单片s d r a m 不能同时进行读写 操作，一般采用“乒乓式”时序控制模式交替对两片以上的s d r a m 芯片读写操 作。因此，s d r a m 作为本系统实验硬件电路的存储器电路最为合适，本系统采 用的两片s d r a m 芯片为h y a i x 公司的h y 5 7 v 6 4 1 6 2 0 h g 。 上海大学硕士论文 4 4 2s d r a m 存储器原理简介及h y 5 7 v 6 4 1 6 2 0 h g 芯片特点简介 存储器的最初结构为线性，它在任何时刻，地址线中都只能有一位有效。设 容量为n x m 的存储器有s o s n 1 条地址线；当容量增大时，地址线的条数也 要线性增多，利用地址译码虽然可有效地减少地址选择线的条数，但这种存储器 的长宽比太大，显然，这在工业上是无法实现的。而且由于连线的延时与连线的 长度成正比，这样的设计会使存储器的存取速度很慢。为了解决这个问题，现在 常用的存储器都是将存储单元设计成阵列形状，使其长宽比接近1 ：l 。这样， 电路就必须增加一个列地址译码器，才能选出正确的存储单元。这样，整个存储 器的地址线被分为行地址线和列地址线，行地址线要将要选择执行读或写操作的 行，而列地址线则可从被选中的一行中再选出一个用于真正执行读或写操作的存 储单元。 s d r a m 的行地址线和列地址线是分时复用的，即地址线要分两次送出，先 送行地址线，再送列地址线。这样可进一步减少地址线的数量、提高器件的性能， 但寻址过程会由此变得复杂，新型的s d r a m 的容量一般比较大，如果还采用简 单的阵列结构，就会使存储器的字线和位线的长度、内部寄生电容及寄生电阻都 变得很大，从而使整个存储器的存取速度严重下降，实际上，现