（信号与信息处理专业论文）多路图像显示控制系统及其pci接入的研究与实现.pdf

上海大学硕士学位论文 摘要 专业大屏幕系统近来开始向展览展示、工业设计、教育培训、会议中心等 专业领域发展，尤其是近些年来的会展业的迅速崛起，更是为专业大屏幕系统 提供了一个巨大的市场。专业大屏幕系统的关键技术是多路图像显示控制器。 目前从事多路图像显示控制器应用研究主要是国外的高校实验室和个别专业大 屏幕系统厂商。这些设备往往成本高，使用复杂，而且多数受知识产权保护。 因此发展具有自主知识产权，成本低，可靠性好的多路图像显示控制器是必然 趋势，具有广阔的应用前景。 本文提出了基于p c i 总线的多路图像显示控制系统的解决方案，可为2 2 多屏无缝拼接大屏幕提供其所需的多路显示信源。文中研究了系统硬件总体设 计、各模块实现方案和软件总体框架的同时全面讨论了系统硬件的具体实现、 s o p c 嵌入式控制软件的设计与实现、设备w d m 驱动程序的设计与实现和p c i 总线协议如何在可编程逻辑器件上实现。 通过前期测试，证明本课题设计并完成的多路图像显示控制系统原型机达 到了预定软硬件的设计要求，为进一步开发本系统奠定了基础。 关键词：多路图像显示；多屏显示；s o p c ；p c i ；w d m ； v 上海大学硕士学位论文 a b s t r a c t p r o f e s s i o n a lm u l t i - s c r e e ns y s t e mh a sr e c e n t l yb e g u nt og r o wi ne x h i b i t i o n s ， i n d u s t r i a ld e s i g n ，e d u c a t i o na n dt r a i n i n g , c o n f e r e n c ec e n t r ea n ds oo n s p e c i a l l y r e c e n ty e a r s ，w i t ht h er a p i dr i s eo ft h ee x h i b i t i o ni n d u s t r y , i tw i l lb ep r o v i d e da h u g e m a r k e t t h ek e yt e c h n o l o g yo fp r o f e s s i o n a lm u l t i - s c r e e ns y s t e mi st h em u l t i i m a g e d i s p l a yc o n t r o l l e r c u r r e n t l yt h ei n s t i t u t e se n g a g e di nm u l t i - i m a g ed i s p l a yc o n t r o l l e r a p p l i c a t i o n sr e s e a r c ha b r o a di sm a i n l yt h ec o l l e g el a ba n dp r o f e s s i o n a lm u l t i s c r e e n s y s t e mv e n d o r s b u tt h ee q u i p m e n t sa r eh i g hc o s t ，c o m p l e xu s i n ga n dm o s to ft h e m p r o t e c t e db yi n t e l l e c t u a lp r o p e r t yr i g h t s t h e r e f o r et h ed e v e l o p m e n to fm u l t i - i m a g e d i s p l a yc o n t r o l l e r , w h i c hh a si n d e p e n d e n ti n t e l l e c t u a lp r o p e r t yr i g h t s ，l o wc o s t ， r e l i a b i l i t y , i sa ni n e v i t a b l et r e n da n dh a sb r o a da p p l i c a t i o np r o s p e c t s t h i sp a p e rp u t sf o r w a r dak i n do fm u l t i - i m a g ed i s p l a yc o n t r o l l e rb a s e do np c i b u s ，i tc a np r o v i d em u l t i s o u r c ef o r2x 2m u l t i - s c r e e nd i s p l a y t h eh a r d w a r ed e s i g n o ft h es y s t e m ，i m p l e m e n t a t i o no ft h em o d u l e sa n ds o f t w a r eo v e r a l lf r a m e w o r ka le g i v e n t h e nt h ep a p e rg i v eac o m p r e h e n s i v ed i s c u s s i o no ft h es y s t e mh a r d w a r e r e a l i z a t i o n ，s o p cs o f t w a r ed e s i g na n di m p l e m e n t a t i o n , w d md r i v e rd e s i g na n d i m p l e m e n t a t i o na n dh o wt oa c h i e v ep c ib u sp r o t o c o li nt h ep r o g r a m m a b l el o g i c d e v i c e t h r o u g hs y s t e mt e s t i n g , i ti sc o n c l u d e dt h a tt h i sm u l t i i m a g ed i s p l a yc o n t r o l l e r b a s e do np c ib u sm e e t st h ee l e m e n t a r yr e q u i r e m e n t s i te s t a b l i s h e saf o u n d a t i o nf o r f u r t h e rd e v e l o p m e n to ft h es y s t e m k e y w o r d s ：m u l t i - i m a g ed i s p l a y ；m u l t i s c r e e nd i s p l a y ；s o p c ；p c i ；w d m ； v i 勘误表 第4 页：“表2 - 1 多路图像显示控制系统主要技术指标 改为五号字体。 第l l 页：图2 8 中视频a d c 输出除了y u v1 6 还应有相应的s y n c y x ( 第x 路 视频的同步信号) 。 第1 l 页：图4 - 3 中“s o p c b u i l d e r 定制嵌入式处理器”这一框中流程应该为： 配置n is o ii 处理器一 选择并配置外设一 分配外设地址和中断一 连接各外设 模块。 第5 4 页，第4 行：“a t u o o p e n d r a i n 改为“a u t o o p e n d r a i n 。 第5 5 页：“表5 3 配置空间头标区( 类型0 ) 改为五号字体。 第5 9 页：c l k 8 这一段中“读取最后个 改为“读取最后一个刀。 第6 2 页：最后一行“i o 或m e m o r y 读操作”改为“i o 或m e m o r y 写操作 。 第6 3 页：第一行“r w 在连续读操作”改为“n 在连续写操作 。 第6 3 页：第三行“r w 在连续写操作 改为“i v # 在连续读操作 。 第6 3 页：“地址译码功能的实现”这一部分第二段中“m e m o r y 基址该值位1 改为“m e m o r y 基址该值为l 。 第6 7 页：图5 9 中p c i 模块与本地端t e s t b e n c h 之间激励和响应方向应为 原方向的反向。 第6 7 页：“图5 - 9 测试平台与本次设计中p c i 总线模块连接示意 改为五号 字体。 第7 4 页：第2 9 份参考文献中“i c 设计核心技术实力详解 改为“i c 设计 核心技术实例详解 。 王卓磊 0 5 7 2 0 8 2 5 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：驻日期：划 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 日期：继：2 ：绰 上海大学硕士学位论文 第一章绪论 1 1 课题研究的背景和意义 大面积、高分辨率的显示在科学研究、交通指挥、展示、娱乐等方面得到 越来越广泛的应用。实现大面积、高分辨率显示的一个有效方法就是将多台成 像设备拼接起来形成一个逻辑上统一的大屏幕。它比普通的标准投影系统具备 更大的显示尺寸、更宽的视野、更多的显示内容、更高的显示分辨率以及更具 冲击力和沉浸感的视觉效果。专业大屏幕系统一般用于虚拟仿真、系统控制和 科学研究，近来开始向展览展示、工业设计、教育培训、会议中心等专业领域 发展。 特别是近些年来国内的会展业随着改革开放的不断深入，依靠经济飞速的 发展而迅速崛起来。其中最具代表性的是上海的会展业。从2 0 世纪8 0 年代每 年只举办十几个展览项目而且作为主办和经营会展的专业公司只有寥寥数家， 到上世纪9 0 年代在上海经济大飞跃的推动下开始以2 0 的速度递增，创造了 巨大的经济效益和社会效益，尤其是成功申办2 0 1 0 年世博会又为这一行业注入 了强大的动力。这还只是全国市场中的上海市场，而像北京的2 0 0 8 奥运会，博 鳌的亚洲论坛等等都为该地区的会展业的发展提供了难得的机会和良好的环 境。会展业的飞速发展又为专业大屏幕系统提供了一个巨大的市场。 专业大屏幕系统由两大部分组成，即多路图像显示控制器与组合显示屏幕。 其中多路图像显示控制器是关键技术核心。 1 2 国内外研究概况 通过对国外高校发表论文以及多路图像显示控制器生产商产品的调研，得 出高校和生产商对于多路图像显示控制器的应用研究与开发主要分三大方案： ( 1 ) 依靠多个含有视频采集卡的计算机组成计算机阵列，每个计算机负责一 个显示屏( 或称显示单元) 上的视频、v g a 和计算机图形的显示，通过各台计算 机之间的相互协调实现整个系统显示的图像达到无缝拼接的效果。 上海大学硕士学位论文 ( 2 ) 控制器采用嵌入式设备方案，每个设备处理几路视频和v g a 信号，依 靠该装置负责单屏的显示，所需计算机图形依靠显卡输出的v g a 信号提供。 ( 3 ) 基于p c i 总线的多路图像显示控制器，包含视频和v g a 处理功能，依 靠p c i 总线的协调实现对多路显示控制器的控制。 通过调研后发现国内的商业机构没有研发此类产品的案例，高校和研究单 位相对于国外而言发表的论文很少。 通过对国外多路图像新式控制器三个方案的分析可以发现都不可直接照 搬，主要考虑到以下三点： 方案1 当显示屏幕数量多的时候对计算机需求量就会增加，对设备现场搭 设，安置设备场地的空间都有较高要求，同时也会增加运输设备的成本； 方案2 存在的问题主要体现在当计算机图形要铺满整个无缝拼接的大屏幕 时，它的清晰度就依靠计算机的显卡分辨率和屏幕的数量。而当一块显卡输出 分辨率固定且系统要求的屏幕数量越多，则通过v g a 通道显示的计算机图像 质量就越差； 方案3 存在的问题是此类设备上大量使用视频处理和v g a 处理的a s i c ， 而使用这些芯片是要与相关生产厂商签订保密合同支付大量协助开发费用，对 于高校或研究所而言不可承受。 通过对多路图像显示控制器市场的调研，国内外发展的现状以及现存的各 种不足之处的研究，得出研发一套具有自主知识产权的，低成本的，能适用于 各种应用场合的多路图像显示控制器是一个极具现实意义的研究课题。 1 3 课题的主要研究内容 本课题完成了多路图像显示控制系统及其p c i 接入的研究与实现，达到了 预期的设计要求。主要的研究内容与所需完成的工作如下： ( 1 ) 硬件总体方案及各功能模块实现方案的制定； ( 2 ) 实现方案所需的器件选择及具体硬件电路的设计与实现； ( 3 ) 完成多路图像显示卡上主控芯片的嵌入式处理器植入，实现基于该处理 器的s o p c 嵌入式程序的设计； 2 上海大学硕士学位论文 ( 4 ) 完成了p c i 总线协议在可编程逻辑器件中的研究与实现； ( 5 ) 完成了p c i 设备在w i n d o w s 下w d m 驱动程序的研究与实现； ( 6 ) 完成适用于本系统控制界面软件的用户库函数的开发； ( 7 ) 系统整体的调试与开通。 多路图像显示卡上的多路视频和v g a 图像的插值、画中画、运动检测等 图像处理算法由本课题另一名同学负责，不在本文讨论范围之内。 1 4 论文内容安排 第一章绪论，首先调研了多路图像显示控制系统的国内外概况以及存在的 巨大市场。同时简单介绍了本课题的研究内容，为下文详细描述作铺垫。 第二章多路图像显示控制系统设计方案，提出本次课题中设计多路图像显 示控制系统的开发方案，包括系统总体硬件方案的制定及相关各模块硬件方案 的讨论与制定，软件总体框架说明。 第三章多路图像显示控制系统主要电路设计与实现，主要根据第二章中各 模块的硬件方案的要求，选择适合的芯片，设计具体的电路，给出设计中关于 p c b 布板的心得与总结，列出在系统调试中各模块所需调试的内容。 第四章多路图像显示控制系统软件与实现，研究了多路图像显示卡上主控 模块中如何植入基于s o p c 理念的嵌入式处理器，完成基于s o p c 的嵌入式程 序设计，给出主要代码和程序流程图；研究和实现了在w i n d o w s 操作系统实现 下p c i 设备w d m 驱动程序以及适合于本系统的用户库函数的开发，给出了关 键部分的代码及说明和相关工作流程图。 第五章基于c p l d f p g a 的p c i 总线接口模块设计，主要研究本次设计中 如何实现p c i 接入。研究总线规范，给出p c i 总线模块内部结构框图，并对如 何实现其中的关键技术进行了详细的分析，接着提出了如何对总线功能进行精 简以便适应某些对p c i 协议使用要求不高的场合，最后给出了如何调试p c i 总 线模块的有效方法。 第六章总结与展望是对全文的总结以及通过本次设计中遇到的问题作者所 提出的对今后进一步工作的展望。 3 上海大学硕士学位论文 第二章多路图像显示控制系统设计方案 2 1 系统硬件总体设计方案 2 1 1 系统的指标 根据前期的国内外调研，可以列出一个2 x 2 规模的多路图像显示控制系统的 主要技术指标，如表2 - 1 。 表2 1 多路图像显示控制系统主要技术指标 1 6 路c v b s 复合视频或8 路s - v i d e o ； 视频信号输入4 路v g a 信号； p c ig r a p h i c s ： 视频输出接口d v i - i 接口 p a l n t s cc c i r 一6 5 6 ；p a l n t s cc ci r 一6 01 ： 视频处理格式 p a l n t s cr g b ( 8 ，8 ，8 ) ； v g a 输出最大分辨率 1 4 0 0x1 0 5 0x7 5 h z ( p e rc h a n n e1 ) d v i 输出最大分辨率 1 4 0 0x1 0 5 0x7 5 h z ( p e rc h a n n e l ) 支持最多显示屏的数量 4 2 ( 8d i s p l a yc h a n n e l s ) 单屏显示要求显示四路视频窗口，两路v g a 窗口 除了上述指标外，还需要补充该系统的功能描述： l 、p c ig r a p h i c s 能够铺满整个拼接大屏幕，视频与v g a 图像可以跟据用户的 需求切换显示于大屏幕上任意一块单屏。 2 、单屏有四路c v b s 视频( 或2 路s - v i d e o 视频) 显示通道和两路v g a 显示通 道。 3 、显示一路视频或v g a 图像( 称之为一路视频或v g a 图像窗口) ，可以被任 意放大缩小、跨屏显示、相互叠加或在拼接的大屏幕上随意拖动；若存在跨 屏显示情况，则对于拥有一部分该窗口的单个屏幕相应减少一路显示通道。 4 、窗口内的图像信号亮度、色度、彩色分量或分辨率等属性可以进行调节。 5 、要求在一个具有友好度的人机交互界面控制软件下进行上述功能的操作。 图2 - 1 是专业大屏幕系统的整体示意图。 4 海大学硕十学位论文 多路图像显示2 1 控制系统 4 * “，q j c 、b b 1 口【i 2 镕、l d 口i j ：# 、r r 自【_ 图2 1 专业大屏幕系统的整体示意图 系统主要技术指标中对p c ig r a p h i c s 有要求，则系统硬件应为p c i 设备。 基于考虑多路不同图像信号输入，p c i 板卡的物理面积的明确规定，以及对 输入的视频信号与v g a 信号进行画中画、窗口游动、图像缩放，运动检测等处 理，需对上述主要性能指标和系统功能进行分析制定出一个合理的系统硬件解 决方案。 212 系统硬件主要组成部分 图2 2 是多路图像显示控制系统的硬件整体的一个合理构想。系统的信号输 入这一级由两组矩阵组成，一个是1 6 x1 6 视频矩阵，可以完成1 6 路c v b s 视频或8 路s v i d e o 的信号切换。另一个是4 8 的v g a 矩阵，负责4 x8 的v g a 信号切换。 视频信号和v g a 信号从矩阵输出后依靠排线传输给后级所需的设各。p c i g r a p h i c s 依靠p c i 总线提供给图像处理显示卡 多路图像信号的处理咀及显示是由图中四块“多路图像显示卡”完成。 分四块“多路图像显示卡”的主要原因：单屏最大分辨率为1 4 0 0 ( 1 0 5 0 则 4 x 2 太屏幕拼接的分辨率为5 6 0 0 2 1 0 0 ，而单块g p u 不能产生如此大的分辨率的 p c ig r a p h i c s 若分为四块显示卡，每块卡上安放两块g p u ，一块g p u 负责一块 屏的p c ig r a p h i c s ，这样四块多路图像显示卡上的g p u 产生的g r a p h i c s 正好铺满整 个4 2 的拼接大屏幕。 现有四块多路图像显示卡，每块可以被分配到1 6 路c v b s q ，的任意四路( 或8 上海大学硕士学位论文 路s v i d e o 中的任意两路) 和四路v g a 信号中的任意两路，考虑到每块卡上安放元 器件的面积有限，设置四个视频处理模块和两个v g a 处理模块于多路图像显示 卡，通过两个d v i i 接口连到两块单屏上，可满足“单个屏幕拥有四路视频显示 通道和两路v g a 显示通道 这一要求。 整个系统的控制协调通过p c i 总线来实现，需要有个与p c i 总线进行数据交互 模块，该模块可以用a s i c 或f p g a c p l d 芯片来实现。 1 ， 图2 2 系统硬件总体框图 上述要求是多路图像显示控制系统的最终目标，在项目刚开始的时候考虑到 经费、系统成功概率等因素，则需要简化主要性能指标。 简化方案与完整方案相比较情况如下：视频矩阵和v g a 矩阵不变；连接无 缝拼接显示大屏改为每块显示卡驱动一个d v i i 接口；显示卡上视频处理模块改 为两路，可两路c v b s 信号或s v i d e o ，满足了多路视频窗口要求；v g a 处理模块 不变；g p u 暂不考虑但p c i 总线接口保留，用做系统协调控制。 图2 2 的系统总体硬件框图可简化为图2 3 第一阶段系统硬件框图。 因此第一阶段系统硬件由三个p c i 设备组成： 多路图像显示卡 多路视频矩阵 多路v g a 矩阵 6 上海大学硕士学位论文 图2 3 第一阶段系统硬件总体框图 2 2 系统中各硬件组成部分的设计方案 本节将对第一阶段总体硬件框图进行逐一细化讨论。 2 2 1 多路图像显示卡 第一阶段多路图像显示卡上由七个模块组成，表2 1 列出了各模块名称与 该模块功能描述。 表2 k 多路图像显示卡各模块功能 模块名称功能描述 实现p c i 总线协议，与总线进行数据交互；多路图像的输 主控模块 出控制；多路图像卡的功能控制。 接收主控模块传来的控制命令，对视频a d c 模块输出的 视频处理模块图像信号进行隔逐行变换、插值运算、帧频提升、运动检 测、画中画等功能，然后送到后端图像输出模块。 接收主控模块传来的控制命令，对v g a 信号a d c 模块输 v g a 处理模块 出的图像信号进行插值运算、帧频提升、画中画等功能， 然后送到后端图像输出模块。 视频信号a d c 模块将输入的复合视频或s - v i d e o 信号进行a d 转换和解码。 v g a 信号a d c 模块 将输入的v g a 信号进行a d 转换。 将视频处理模块和v g a 处理模块输出的数字图像信号转 图像输出模块 换成模拟r g b 信号或者d v i 信号输出到显示屏。 电源转换模块 将p c i 总线上提供的电源转换成需要的电源电压。 7 上海大学硕士学位论文 图2 4 是各模块的连接示意图。 视频a d c 障! i 翌掣视频处理模块 v g a a 控制 信号 数字 处理周的数字r g b 数据 亡一 v g a 处理模块l 控锕一 信号 二= 主控模块 控制 信号 p c ii n t e r f a c e 卜一电源转换模块 图2 - 4 多路图像显示卡第一阶段各模块连接示意图 在这七个模块中最重要的是视频处理模块、v g a 处理模块和主控模块。 下面对这三个模块的设计方案进行详细分析与讨论。 视频处理模块 视频处理模块从视频a d 模块接收数字化y u v 信号后进行隔逐行变换、帧 频提升等处理，因此对数字y u v 信号进行缓存。通常的解决方案是每路视频 都一个缓存组，由两片s d r a m 组成，实行“乒乓操作。即一块s d r a m 处 于写状态时另一块处于读状态，两块读写状态在一个时间点上互不相同，在一 段时间内相互交替。这样能保证该路数据在时间上读写都是连续的。 v d 1 jl jl juul juu j ： v 毒d 孺t ，嚆黼oa 霸缸i 影l 骠盈，e 膏搴i 跣j 氍1 i 蹬妒l _ 曩群i 曩j 随：蜀l 辅凹啊e 。黟t 雕a 睫- 葺，嘲 v 1 o d 2w v 1 一2l p w 一2w - l v l 一珥lr dv 4 _ 1w r v 1 一lr d _ v ii l t s w rv l _ e elt m ) _ v te s 磁翳邑蜀呵绷v ze z 翁曝u 口霉黝v z 王4 麟，覆册jv 2e 6 断撅二固嘤f 期v z 王8 v k - o2 juuu i uuuuiuu v t o d l 圈础i 二i 口蜕爨曩t ，i ；已礴孵玉j 舅- l 二鬻翱既，壶捕啊舷茹臻霸i 毪，目鲶雕垂期绺e 搿孵髫霸雕j 毫善啊强 上、土上上上土，、 v 4 j d 2 1 w l v l _ 噎l ，l vl 2i 仡1 o l v ，- 1w 凡v l i d l v l - 1w l v l - 1i t l 叫_ vl l 出摹准 jju_ juuuuuu5 0 h z 出基准 - - - _ _ 一- 1 广 旷 厂n 厂 f 广1 厂 兀_ 厂1 厂 旷 厂1 厂 7 5 t l z o _ 起来的区域表示在基准同步下无法输出的数据 图2 - 5 两路视频分别进行“乒乓”操作时序图 上图给出了两路视频分别进行“乒乓 操作的时序示意图。 上海大学硕士学位论文 图中“v xs d i 表示第x 路视频缓存的第一片s d 洲；“w rv xo n 表示将第x 路视频信号的奇数场写到s d r a m 中，n 表示标识视频序列的下 标；”r dv xe n 表示将视频信号的偶数场写入s d r a m 。 假设两路视频信号不同步，输入都为5 0 h z 场频，要将这两路视频信号显 示到一块显示屏上则需要有个统一的输出同步信号，但是从图2 5 中可以看出 由于两路视频不同步，在一个基准场频下无法读取第二路信号，更不用说将场 频提升为7 5 h z 输出。因此需要在输出端添加一个“o u t p u tm e m o r y ，再做一 级缓存( 同样使用乒乓操作) 来保证两路视频能以基准同步输出和场频提升。 根据上述分析，两路视频处理已经使用了六片s d r a m ，处理四路视频需 放置1 2 片s d r a m ，对p c i 设备的p c b 走线是一个很大的挑战。因此对上述 视频处理的存储模块方案进行优化。 在本次设计中最终使用视频处理的存储模块方案如下： 1 、对于单路视频信号先进f i f o 进行行缓存，保证两路视频从f i f o 输出时 行同步，f i f o 的读写时序由c p l d 控制。 2 、f i f o 输出的两路视频信号在三片s d r a m 组成的“o u t p u tm e m o r y 中 进行乒乓读写，完成隔逐行变换、帧频提升、图像插值运算等，由f p g a 来 控制三片s d r a m 的“乒乓读写。 s d r a m f p g a l 一一 一一。 图2 - 6 利用f i f o 实现两路视频信号的行对齐 图2 - 6 中是异步f i f o ，可实现慢写快读。以两倍点时钟频率读出数据，则 可在一场时间内对一片s d r a m 进行两场不同视频信号的写入。再将每块 s d r a m 分成两部分，分别存放第一路与第二路的数字y u v 信号，若是选择 9 上海大学硕学位论文 3 2 位的s d r a m 则在读s d r a m 时便可一次读出两路视频数据( 一路数字y u v 是1 6 b i t s 信号) 。 图2 7 是三片s d r a m 的读写时序图。图中带斜线的“w rs d x ”表示将 某一路视频写到第x 片s d r a m 中：不带斜线的“w rs d x ”表示在这段时期 第x 片s d r a m 处于写状态( 即此时期内该s d r a m 不可读) ；“r d e ns d x ”表 示第x 片s d r a m 处于可读状态。 假设第一片与第二片s d r a m 都可读时读取第二片中的数据，第二和第三 片部可读时读第三片，第三和第一片都可读时读第一片，按照谈规则可在输出 基准7 5 h z 场频下将两路视频连续输出至单块显示屏上，既完成了隔逐行变换， 同时也用了一种简易的方法实现帧频提升。 帧频提升利用原来的5 0 h z 的奇偶场进行场问插值产生新的场。两个场频 之比5 0 h z ：7 5 h z = 2 ：3 ，在5 0 h z 下图像序列在时间轴上的下标为0 、1 、2 、3 、4 、 5 、6 、7 、8 、9 、1 0 - ，则在7 5 h z 情况下相应变为0 、07 、i3 、2 、27 、3 3 、 4 、47 、53 、6 、67 、7 3 、8 ，87 、93 、1 0 ，四舍血入得0 、1 、1 、2 、3 、 3 、4 、5 、5 、6 、7 、7 、8 、9 、9 、1 0 ，与图2 7 中图像序列r ds d ! 、r ds d 2 、 r d s d 2 、r d _ s d 3 、r ds d l 、r d _ s d i 、r ds d 2 、r d _ s d 3 、r o _ s d 3 、r d _ s d i 、 r ds d 2 、r ds d 2 一致，利用“就近原则”复制帧信息，简易地完成了帧 频提列。 vd01 “9 q m m m 8 。z ，2 ”：8 z m ! 塑! ! ! ! j ! ! ! 一 ，哩k 8 弧。，鼍b 目。亲墨 。， k 一 理；享唧墨盎= 罡畦盐! 鼙目! ， 一 自一一i 一十一一一? i _ + f r ，j 嘶警 i 1 - 1 1 _ _ 1 1 一i l _ 一_ 一l0 1 一t _ _ i 制墨里i ! ! 由- _ 凶g 茧目! 虫- _ _ _ 由i 目 i e ! 士_ _ 违日垂! ! 目堕型 图2 - 73 片s d r a m “乒乓”读写时序 图2 - 8 为视频处理模块内部各子模块相互连接囤。主要设计思路如下 上海大学硕士学位论文 1 控制f i f o 读写时序的器件称为v p ( v i d e op r o c c s s o o ，通过f i f o c o n 来 控制f i f o 数据的输入( d a t a 砷以及数据的输出( d a t a _ o u t ) ； 2 v p 传递到d vp r o c e s s o r 的视频数据称为d v 【31 ：o 】( d i 百t a lv i d e o ) ，是3 2 b i t s 数据，s v x 表示发送给主控模块的第x 路视频同步信号； 3 控制s d r a m 时序的器件称为d vp r o c e s s o r ，a b 、c b 和d b 是控制 s d r a m 的地址总线、控制总线和数据总线；d vp r o c e s s o r 接收d v 3 1 ：0 ， 输出2 4 b i t 数字r g b 信号；d vp r o c e s s o r 还需根据主控模块发送的控制命 令来决定何时进行图像的插值，隔逐行变换等： 4 v p 与d vp r o c e s s o r 都采用可编程逻辑器件，控制f i f o 时序相对简单所 以选用c p l d ；控制s d r a m 时序是d vp r o c e s s o r 工作的一部分，还要进 行图像插值运算、运动检测等功能，需要使用到一定数量的存储单元，因 此选择f p g a ，利用其内部存储资源。 图2 8 第一阶段视频处理模块硬件框图 v g a 处理模块 视频处理模块从v g a 的a d 模块接收数字化r g b 信号，对其进行插值运 算，窗口“游动 等处理。因此对数字r g b 信号也需缓存。现给出v g a 处理 中存储模块的优化方案： 每路v g a 处理模块都只由一片f p g a 与三片s d r a m 组成，在该模块中 上海大学硕士学位论文 完成所有的v g a 图像数据的处理。 虽然增加两片s d r a m ，但少了前端的f i f o 和c p l d ，同样节省面积而且 没有明显增加p c b 走线复杂度。提出这样的结构主要是为了和视频处理模块的 结构作比较，哪种便于时序上的实现。 图2 - 9 中虚线框出的部分是第一阶段v g a 处理模块硬件框图，图中s g x 表示发送给主控模块的第x 路v g a 同步信号：v g a 的a d 模块输出数字化r g b 信号传递给gp r o c e s s o r ，经处理后输出2 4 b i td r g b 信号；gp r o c e s s o r 通过a b 、 c b 和d b 总线控制s d r a m 读写时序，同时受主控模块发送的控制命令来进行 插值运算、窗口“游动 等处理。 图2 9 第一阶段v g a 处理模块硬件框图 图2 1 0 给出了利用两组三片s d r a m 如何实现两路v g a 图像显示在一块 屏上的时序图。 输入的模拟v g a 是场频为7 5 h z 的逐行信号，因此无需帧频提升与隔逐行 变换。图中输入的两路v g a 信号不同步：s d r a m 单片容量为1 2 8 m b i t s ，对于 1 4 0 0 x1 0 5 0 的v g a 信号，该s d r a m 可以存放三帧图像；g 1l 、g 12 、g i3 表示第一路v g a 信号序列，g 2l 、g 22 、g 23 表示第二路v g a 信号序 列；g x s d n 表示第x 路v g a 处理模块中的第n 片s d r a m 。 1 2 上海大学颈学位论文 每片s d r a m 都有三个状态：w r i t e 、w a i t 和r e a d 。对于某一路v g a 处理， 写入s d r a m 可以根据它自己的同步信号，而读出数据则要根据输出基准同步 信号输出；如图2 1 0 所示，在写和读状态中加入等待状态，这可使两路v g a 实现在不同步输入的前提下连续写入和读出s d r a m 。 图中最后一行显示两行输出在时间上是重叠的，表示同一时刻可由主控模 块选择输出的v g a 图像信号数据。 箍厂v t t - _ _ - r r 【几厂 厂v 厂丁1 l 广r 一 憎，圈圈亘叵巫亘叵亚丑匝圃亟叵亚玉卫亟 ”嘲觯“8 嚼才嘿8 。啊嘎雪日 ”2 玛弘2 8 哥毋嚅8 8 写壤掣 。“雩器。”毡譬才嘿霉。8 墨2 器乎 憎t 圈圈圈囹固囵世匣：翊哑受三至亘 m _ - - - _ - ： 一_ - n n n _ 1 n 一厂_ _ _ 一n r n _ _ _ n _ _ r 一1 嘲驴。两甲唏8 8 喁嚼掣 ”2 嘲弘。8 挈富黑翠。霉鼋严 骂。8 瓷器择。8 呵乒 圈噩噩蒌墨篓窭墨瑾噩霉窭篓譬连噩噩 图2 1 03 片s d r a m “乒乓”读写时序运用在v g a 处理模块 主控模块 根据表2 1 了解主控模块主要完成两大任务： l 与p c i 总线进行数据交互： 2 控制多路图像显示卡上其他模块，接收多路图像的同步信号产生输出基 准同步信号来控制多路图像输出。 现给出主控模块的三种实现方案： aa s i c + 可编程逻辑器件； b 可编程逻辑器件( p c i 部分使用口c o r e ) i c 可编程逻辑器件( p c i 部分使用硬件描述语言实现) 。 上海大学硕士学位论文 表2 刁实现主控模块中p c i 总线协议的方案比较 用专用集成电路芯片来实现p c i 接口功能，设计者需要详细的 了解a s i c 芯片使用方法，一般a s i c 的使用是比较复杂的， 如i n t e l 的2 1 1 5 2 b b ，详细了解其功能用法和对其编程，是需要 a s i c + 可编程逻辑器件一些时间的。另外，a s i c 芯片及其所需的非易失性存储器等， 占用了一定的板卡面积，还有就是设计缺少灵活性，这些都是 其缺点。用a s i cp c i 接口芯片的优点就是功能强，可靠性高， 设计者不必掌握复杂的p c i 规范协议，而且其价格也不贵。 用专用口核来实现p c i 接口功能，设计者只需知道口函数的 功能，以及如何使用，不必关心p c i 规范的具体内容。设计者 可编程逻辑器件将p 函数与用户逻辑综合在一起，采用f p g a 器件就可设计出 ( 使用i pc o r e 实现p c i性能价格比很高的单芯片p c i 接口板卡。这样节省了宝贵的板 总线协议) 卡面积。采用这种方式的另一个优点就是口核函数的可重复使 用。其缺点就是整套开发系统价格过于昂贵，不适用于高校及 中小企业的实验研究使用。 用c p l d f p g a 自己设计p c i 接口，既可免去购买专用i p 及开 可编程逻辑器件发板的费用，又能节省使用a s i c 所需的宝贵的板卡面积。设 ( 使用硬件描述语言实现 计者可结合具体应用，有选择性的实现p c i 接口功能，然后连 p c i 总线协议)同用户逻辑一起集成在单个芯片中，使整个设计灵活方便。这 种方法要求设计者对整个p c i 规范有很深入的理解。 通过对这三种方案的比较，以及考虑多路图像显示卡板卡面积要小的同时 还要尽可能减少开发费用，所以本课题使用第三种方案。 结合上述的各部分硬件框图，可给出第一阶段多路图像显示卡完整的硬件 框图，如图2 1 1 所示。 图中虚线框区域表示该部分电路不在p c i 设备上，而是制作成小p c b 板( 称 为“s u b c a r d ) ，依靠设在显示卡上的双排插针与多路图像显示卡相连。多路 图像卡上只一路视频处理，另一路视频输入的a d 、行缓存和两路v g a 的a d 以及处理模块均以“s u b c a r d ”形式与它相连。图的下半部分为v g as u b - c a r d 硬件框图。图中“vi fl r 表示视频s u b c a r d 左右半接口：“gi fl r 表 示v g a s u b c a r d 蔚右半接口； 主控模块中m a i np r o c e s s o r 发送“r e 和“r c l k ”信号，分别表示读使 能和读时钟，对于视频处理模块而言是用来将行缓存中的数据读到d v p r o c e s s o r ，而对于v g a 处理模块而言是用来输出v g a 图像数据d r g b ；主控 模块的c o n 信号控制视频处理模块中d vp r o c e s s o r 输出d r g b 数据，同时负 责向视频处理模块和v g a 处理模块发送功能控制命令；主控模块产生的基准 1 4 上海大学硕士学位论文 信号s d v i ( d v i 输出所需的同步信号) p a g th a 、v a ( 模拟v g a 输出所需的行频 和场频) 用来满足d v i i 输出接口的需要。 2 2 2 视频矩阵 图2 1 l 第一阶段多路图像显示卡硬件框图 图2 1 2 是第一阶段的1 6 1 6 视频矩阵硬件框图。 图2 1 2 视频矩阵硬件框图 1 5 上海大学硕士学位论文 图中与p c i 总线相接的是c p l d ，完成与p c i 总线数据交互和逻辑控制矩 阵芯片；1 6 路视频进入1 6 1 6 视频矩阵，可根据用户需求进行信号切换，进 过一级驱动电路后分成四组，分配给四块显示卡。 2 2 3v g a 矩阵 v g a 矩阵从硬件结构上来说和视频矩阵上极为相似，因此在设计上可以参 照视频矩阵的硬件设计。下图是v g a 矩阵的硬件框图。 图2 - 1 3v g a 矩阵硬件框图 2 3 系统软件总体框架 在硬件整体方案都确定了的情况下还需要制定一个总体的软件的框架。系统 需要编制的软件、运行载体、编程语言以及主要作用如表2 字所示： 1 6 上海大学硕士学位论文 表2 4 系统软件编程列表 考虑 编号软件名称 运行载体 主要作用 语言 lp c 操作计算机 v c 4 - + 人机交互 2p c i 驱动计算机c c + + p c i 驱动 m a i np r o c e s s o r 3 p c i 总线模块 h d l p c i 接口 矩阵l o 舀cc o n t r o l 4 视频矩阵控制 视频矩阵l o # cc o n t r o l h d l 矩阵切换 5v g a 矩阵控制 v g a 矩阵l o g i cc o n t r o l h d l v g a 切换 图像显示卡 6m a i np r o c e s s o r n i o sc 图像卡人机交互 功能控制 图像显示卡 7m a i np r o c e s s o rh d lm p 、d v p 、g p 协调 输出控制 8 视频预处理 v ph d l 视频a d c 控制 9v g a 缓存输出gp r o c e s s o r h d lv g aa d c 缓存控制 1 0 视频缓存输出 m a i np r o c e s s o rh d l两路v i d e o 合并控制 1 1 i i c 控制( c p l d ) v ph d l c p l d 模式i i c 1 2 i i c 控制( n i o s ) m a i np r o c e s s o rc m u c 模式i i c 各软件编制要求如下： 1 p c 操作：系统操作主界面操作功能全面，主要包括矩阵控制、图像显 示控制、特定显示模式训练保存、维护信息等； 2 p c i 驱动：完成p c i 接口驱动和w i n d o w s 编程调用功能： 3 p c i 通信：运行于嵌入式芯片端，完成p c i 接口和h d l 或c 调用功能； 4 视频矩阵控制：控制1 6 1 6 视频图像的切换； 5 v g a 矩阵控制：控制4 8v g a 图像的切换； 6 图像显示卡功能控制：根据p c 操作要求，完成对图像显示卡的显示控 制信息译码及控制信号产生： 7 图像显示卡输出控制：根据控制信号命令，计算相应的显示控制地址 值，同时产生输出基准同步信号； 8 视频预处理：控制a d c 电路： 9 v g a 缓存输出：控制v g a 的a d c 、v g a 图像缓存、v