（通信与信息系统专业论文）基于fpga的视频图像画面分割器的设计.pdf

摘要 视频监控一直是人们关注的应用技术热点之一，它以其直观、方便、信息 内容丰富而被广泛用于在电视台、银行、商场等场合。在视频图像监控系统中， 经常需要对多路视频信号进行实时监控，如果每一路视频信号都占用一个监视 器屏幕，则会大大增加系统成本。视频图像画面分割器主要功能是完成多路视 频信号合成一路在监视器显示，是视频监控系统的核心部分 传统的基于分立数字逻辑电路甚至d s p 芯片设计的画面分割器的体积较大 且成本较高。为此，本文介绍了一种基于f p o a 技术的视频图像画面分割器的 设计与实现。 本文对视频图像画面分割技术进行了分析，完成了基于i t u - r b t 6 5 6 视频 数据格式的画面分割方法设计；系统采用x i l i n x 公司的f p g a 作为核心控制器， 设计了视频图像画面分割器的硬件电路，该电路在f p g a 中，将数字电路集成 在一起，电路结构简洁，具有较好的稳定性和灵活性：在硬件电路平台基础上， 以四路视频图像分割为例，完成了1 2 c 总线接1 ：3 模块，异步f i f o 模块，有效 视频图像数据提取模块，图像存储控制模块和图像合成模块的设计，首先，由 摄像头采集四路模拟视频信号，经视频解码芯片转换为数字视频图像信号后送 入异步f i f o 缓冲。然后，根据画面分割需要进行视频图像数据抽取，并将抽 取的视频图像数据按照一定的规则存储到图像存储器。最后，按照数字视频图 像的数据格式，将四路视频图像合成一路编码输出，实现了四路视频图像分割 的功能。从而验证了电路设计和分割方法的正确性 本文通过由f p g a 实现多路视频图像的采集、存储和合成等逻辑控制功能， 1 2 c 总线对两片视频解码器进行动态配置等方法，实现四路视频图像的轮流采 集、存储和图像的合成，提高了系统集成度，并可根据系统需要修改设计和进 一步扩展功能，同时提高了系统的灵活性 关键词：现场可编程门阵列，异步f i f o ，视频采集，图像合成 a b s t r a c t v i d e om o n i t o r i n gi sa l la p p l i e dt e c h n o l o g yw h i c hp e o p l ea l w a y sp a ym o r e a t t e n t i t 0 i ti sw i d e l yu s e di na r e as u c ha st e l e v i s i o ns t a t i o n s , b a n k s m a r k e t se t c , f o ri t sc o n v e n i e n c ea n da b u n d a n ti n f o r m a t i o n i nv i d e om o n i t o r i n gs y s t e m , m a n y c h a n n e l sv i d e oa r cn e e d e dt ob em o n i t o r e d ，i fw eu s em o n i t o rf o re a c hc h a n n e l ，i t w i l li n c 托蜘t h ec o s to f t h es y s t e m m u i t i l s o u c ep “k e s s o fi st h ec o 佗p a r to f v i d e o m o n i t o r i n gs y s t e m , t h em a i nf u n c t i o n so f i ti st os y n t h e s i sm a n yc h a n n e l si n t oo n e t h ev o l u m eo ft r a d i t i o n a lm u i t i - s o u r c ed i s p l a yp r o s s o rd e s i g nb a s e d0 1 1 d i s c r e t ed i g i t a lc i r c u i to rd s p , i sl a r g e ，a n dt h ec o s ti sh i i g h s oi nt h i sp a p e r , t h e d e s i g na n dr e a l i z a t i o no fm u l t i - s o u r c ed i s p l a yp r o c e s s o rb a s e do nf p g ai s i n t r o d u c e d t h i sp a p e rd e a l sw i t ht h et e c h n i q u eo fi m a g es y n t h s i sb a s e0 1 1i t u - r b t 6 5 6 f o r m a t t h es y s t e mu s e dx i l i n xc o r p o r a t i o n sf p g aa st h ec o 他c o n t r o l l e r , c i r c u i to f t h es y s t e mw a sd e s i g n e d a l lt h ed i g i t a lc i r c u i tw e r ei m p l e m e n t e dv i af p g a , m a k i n g c i r c u i ts i m p l i e dw i t hg o o ds t a b l i t ya n dg o o df l c x i b i l i t y b a s eo nt h eh a r d w l i r c p l a t e f o r m ，t a k ef o u rc h a n n e l so fv i d e of o re x a m p l e , 1 2 cb u si n t e r f a c em o d u l e , a s y n c h r o n o u sf i f om o d u l e ，e f f e c t i v ei m a g ed a t ae x t r a c t i o nm o d u l e , i m a g ed a t a s t o r a g ee o n m 3 1m o d u l ea n di m a g es y n t h e s i sm o d u l ea r ci m p l e m e n t e dv i af p g a f i r s t l y , f o u rc h a n n e l so fa n a l o gv i d e oa r cc a p t u r e db yc a m o l - aa n dc o n v e r t e dt o d i g i t a lv i d e os i g n a lb yt h ev i d e od e c o d e rc h i p d i g i t a lv i d e os i g n a li ss e n tt ot h e a s y n c h r o n o u sf i f ob u f f e r s e c o n d l y e f f e c t i v ev i d e os i g n a l sa 托e x t r a c t e df r o m t h e ma c c o r d i n gt ot h en e e do fd i s p l a ya n ds t o r e di nm e m o r ya c c o r d i n gt oc e r t a i n r u l e s a tl a s t , t h ef o u rc h a n n e l sv i d e oi ss y n t h e s i z e da c c o r d i n gt ot h ef o r m a to f t h e d i g i t a li m a g e ，i m p l e m e n tt h ef u n c t i o no ff o u rc h a n n e ld i s p l a y ，t h u sv e r i f i e dt h e e r r e c t i o no f t h ec i r c u i td e s i g na n dt h ed i v i s i o nm e t h o d i nt h i sp a p e r , t h ef u n c t i o ns u c ha sv i d e oa c q u i s i t i o n , s t o r a g ea n ds y n t h e s i so f t h es y s t e ma r ea l lc o m p l e t e dv i af p g a , f o u rc h a n n e l sv i d e oa r ca c q u i r e d s t o r e di n m i l l , a n ds y n t h e s i z e dt h r o u g hc o n f i g u r i n gt w oc h i p so fv i d e od e c o d e rd y n a m i c a l l y u s i n g1 2 ci n t e r f a c e 田他d e s i g nb a s e d o nf p g ai m p r o v e st h es y s t e m a t i ci n t e g r a t i o n l e v e l ，t h es y s t c na l s o c a nb em o d i f i e da n de x p a n d e de a s i l y t h e r e f o r e , t h e f l e x i b i l i t ya b i l i t yo f t h es y s t e mi sf u r t h e rr a i s e d k e yw o r d s ：f i e l dp r o g r a m m a b l eg a t ea r r a yc f k ；a ) ，a s y n c h r o n o u sf i f o ( n r s ti n f i r s to u t ) ，v i d e oa c q u i s i t i o n , i m a g es y n t h e s i s 学位论文独创性声明： 本人所呈交的堂位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果。与我一同工作的同事对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。如不实，本人负全部责任。 论文作者( 竽名) ：幺 髦扯1 广扩年， 月影日 学位论文使用授权说明 河海大学、中国科学技术信息研究所、国家图书馆、中国学术期刊( 光盘 版) 电子杂志社有权保留本人所送交学位论文的复印件或电子文档，可以采用 影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容 相一致除在保密期内的保密论文外，允许论文被查阅和借阅。论文全部或部 分内容的公布( 包括刊登) 授权河海大学研究生院办理。 论文作者( 签名) ：j 喜囊止。喈年 弓 月“日 河海大学工学硕士论文第一章绪论 1 1 选题背景及意义 第一章绪论 视频图像监控一直是人们关注的应用技术热点之一，它以其直观、方便、信 息内容丰富而被广泛用于在电视台、银行、商场、仓库、保安、生产管理等场合。 在视频图像监控系统中，经常需要对多路视频信号进行实时监控【l 2 l ，如果每一 路视频信号都占用一个监视器屏幕，则会大大增加系统成本。视频图像画面分割 器主要功能是完成多路视频信号合成一路，使多路视频在一个画面上显示，是视 频监控系统的核心部分比如使用一台四画面分割器。可以在一台监视器上可同 时监控四个目标。从而节约了系统成本并提高了观察效率 3 1 。 视频图像画面分割器的设计经历了一个从模拟电路到数字电路的过程。早期 的视频图像画面分割器，在视频信号的传输和处理电路中使用了大量的模拟器 件，各路视频信号用模拟开关进行切换。电路开发周期长，调试、修改及升级比 较困难，成本较高，体积较大后来的视频图像画面分割器开始大量使用的数字 逻辑电路进行设计首先，各路模拟视频信号通过模数转换器转换成数字视频信 号；然后，在数字领域对各路视频信号进行处理使电路的设计、调试得到了很 大的改善嘲。但是，设计中所使用的独立的逻辑电路较多 6 1 7 ，有的甚至使用专 用的d s p 芯片去处理视频画面的分割 s l 。虽然可以满足对视频图像数据处理速度 的要求，但是还需要外加c p u 去协调系统工作【9 】，使得整个系统仍显得体积较大， 而且系统成本较高 现场可编程门阵列f p o a f f i e l dp r o g r a m m a b l ec r a t ea r r a y ) 是2 0 世纪8 0 年代 由美国x i l i n x 公司首先推出的o o l 。随着半导体加工工艺的不断发展，f p g a 在结 构、速度，工艺、集成度和性能方面都取得了很大的进步和提高。与之相对应的 设计方法和自动化设计工具也得到了迅速的发剧”1 1 2 1 f p g a 作为a s i c 设计的快 速原型系统，开发过程投资少，周期短，可反复修改，保密性好，开发工具智能 化等特点成为当今电路系统设计的首选方式之【1 3 1 “l ”。 本文将详细介绍基于f p g a 开发技术的视频图像画面分割器的软硬件设计 与实现。本课题来源于常州市工业科技攻关项目在课题设计中，首先将多路模 拟视频信号经过视频解码转换为数字视频信号，将转换得到的数字视频信号送 f p g a 处理。由f p g a 实现对多路视频信号的提取、存储、合成等功能。最后， 将多路视频图像合成一路经视频编码转换为模拟视频信号输出到显示器，实现将 多路视频信号在同一个屏幕显示的功能。视频提取，存储和合成等逻辑电路都集 成在一块f p g a 芯片上实现，提高了系统的集成度。同时f p g a 器件可以重复编 程反复修改，可以在不改变硬件或者稍做修改计的条件下，通过修改f p g a 的程 河海大学工学硕士论文基于f p g a 的视频图像面面分割器的设计 序以满足不同场合的需要或进一步扩展功能，使系统具有很好的适应性，便于系 统的升级 1 2 画面分割技术研究现状及本课题要解决的关键技术 视频图像的画面分割技术是指将来自多个视频源的视频数据，通过一定的合 成算法，合并成一路数据，使输出显示终端能够同时显示多路视频图像画面分 割的实现方法有多种多样，根据不同的视频数据源有不同的视频图像画面分割技 术，总体上可分为两种：一种是基于像素域的视频图像的分割，另一种是基于压 缩域的视频图像的分割。 像素域视频图像的分割是多路视频编码数据进行解码，将解码后的y u v ( 或 r g b ) 数据按照一定线性规则进行捧列。合并成一路y u v ( 或r g b ) 视频数据，再 将合并后的视频数据进行编码 压缩域合成是指，对多路压缩的源视频编码数据不进行解码，而是根据视频 编码数据结构的特性，进行数据重组，重组后的数据即是多个终端合成后的数据。 本文基于f p g a 所设计的视频图像画面分割器是基于像素域的图像分割，各 路模拟视频信号经视频解码芯片解码并数字化后，根据所需要的分割方式将各路 视频图像进行缩小并存储，将多路视频图像合成一路。所有逻辑控制功能的都由 f p g a 来实现，f p g a 它是整个画面分割模块核心部件编程语言选用v e r i l o g h d l 语言。 在整个设计过程，需要解决的关键技术是视频图像画面分割的算法设计和 f p g a 的控制接口和控制逻辑的设计 1 3 本文的工作和组织结构 整个视频图像画面分割器系统的设计由两部分构成：系统硬件设计和系统软 件设计。在基于上述两个方面的设计中，主要做了以下几个方面的工作： i 通过查阅资料，分析视频信号的格式，对视频图像分割的原理和方法进 行研究。 2 选用x i l i n x 公司的s p a r t a n 3 系列的x c 3 s 4 0 0 型号的f p g a 作为设计的核 心处理芯片。在系统的硬件设计中，把整个硬件系统分为电源模块、视频解码电 路模块、视频编码电路模块、图像存储器电路模块和f p g a 及其配置电路模块。 用电路设计软件o r c a d 完成原理图和p c b 板的设计工作。 3 进行视频图像画面分割器的f p g a 系统的软件设计f p g a 软件系统由 1 2 c 接口模块、异步f i f o 模块、有效视频数据提取模块、图像存储控制模块和 图像合成模块组成各个模块采用v e r i l o g h d l 语言编程，在i s e 、m o d e l s i m 和 s y n p l i f y 等e d a 软件平台下，按照f p g a 的设计流程进行设计最后，将设计 2 柯海大学工学硕士论文第一章绪论 的软件经过仿真、综合、布局布线、后仿真等过程，将生成的比特流文件下载到 硬件电路进行在线调试。 基于所完成的工作，在文章的结构安排上，首先，对电视扫描原理和视频解 码芯片输出的i t u r b t 6 5 6 标准的视频数据格式进行分柝然后，对整个系统的 硬件部分和软件部分分模块进行设计和介绍。最后，进行系统的软件硬件调试。 以下是本文各章的内容和组织结构。 第一章对课题的来源以及研究的意义进行了简要的叙述，并对整个系统的 设计结构进行了整体介绍，指出了本设计工作主要内容和文章的组织结构 第二章根据本文设计要求，对电视的扫描方式和视频信号标准进行了分析 和介绍。重点介绍了视频解码电路模块输出的i t u - r b t 6 5 6 标准y u v ( 4 ：2 ：2 ) 格 式视频信号，并对一帧图像的组成结构进行了详细的分析，为后续视频图像的提 取和合成奠定了基础 第三章介绍硬件电路系统的设计。首先，根据功能将硬件划分为电源电路、 f p g a 及其配置电路、视频编码电路、视频解码电路和图像存储电路等模块然 后，对各个模块分别进行设计和叙述。 第四章在硬件电路韵基础上进行软件设计首先，将整个软件系统按功能 划分为：1 2 c 总线接口模块，异步f i f o ( 先进先出) 模块、有效视频数据提取模块、 图像存储控制模块和视频图像合成模块。然后，将各个模块分别进行设计，仿真 和实现。最后，对视频图像画面的合成原理进行了详细的分析，并实现了四路视 频图像合成 第五章系统调试，将程序下载的硬件电路中，进行软件和硬件的联合调试， 并对调试中出现的问题进行分析和解决。 第六章对本文所做的工作进行总结，并提出对系统的改进设想和建议。 河海大学工学硕士论文基于f p g a 的视频图像画面分割器的设计 第二章视频信号研究 本设计是将由多个视频摄像头采集的多路模拟信号经过数字化后，在数字领 域对视频信号进行处理，将多路视频合成一路在电视机显示。对于不同扫描方式 的显示设备和不同标准的视频信号，对多路视频数据的处理方式是不同的，所以 在本章简要的介绍一下电视的扫描方式和视频信号的知识。 2 1 电视扫描原理 在电视技术里，无论是c c d ( c h a r g ec o u p l e dd e v i c e 电荷耦合器件) 把光信号 变成电信号，还是显示器把电信号变成光信号，其过程都是按一定扫描方式顺序 实现的在人们观察电视图像时，当光脉冲进入人的视觉器官时，其感觉并非瞬 时发生，而是有一些时间上的延迟。光脉冲停止以后，光的感觉还会暂留一个短 的时间，这种视觉延迟和视觉暂留的现象可以认为是人的神经系统时间响应限制 的缘故。由于荧光屏的余辉作用以及人眼的视觉延迟和视觉暂留的影响，人们就 可以看到连续的图像t t l 6 1 2 ” 扫描是按照从左向右均匀扫过的，在自左向右达到右端后迅速的从右端折回 到左端，再开始下一行的扫描。这种沿着水平方向的扫描称为行扫描，或者称为 水平扫描行扫描正程时间长，逆程时间短。在进行水平扫描的同时，也缓慢的 进行着从上到下的扫描，这种沿着垂直方向的扫描称为场扫描，或者称为垂直扫 描【”嘲在显像管中的扫描也是这样从左到右、从上到下的进行。 按照扫描方式划分，可将其分为逐行扫描( p r o g r e s s i v es c a n n i n g ) 和隔行扫 描( i n t e r l a c e ds c a n n i n g ) 两种方式【1 9 1 z 0 | ( 一) 逐行扫描 一行紧跟着一行的扫描方式称为逐行扫描扫描轨迹的集合称为扫描光栅。 图2 1 为逐行扫描光栅示意图 由于电子束沿水平方向的扫描速度远大于垂直方向的扫描速度，因此形成的 扫描光栅是一条条略微向下倾斜的水平线。为了使图像清晰而均匀，在逆程期间 不传送图像信号在逐行扫描方式中，如果每场的扫描行数用l 来表示，则有 ，一2 l 、 2 f y 即行频是场频的l 倍，场频和帧频相等。不过，逐行扫描 存在一个问题，为了使显示器显示的视频图像没有闪烁感，逐行扫描方式下，视 频图像的传送速度一般达到5 0 帧，秒，即帧频为5 0 i - l z 。这样，对传送通道的带 宽要求非常高为了在不增加图像信号带宽的情况下，有效克服闪烁现象，电视 系统采用了隔行扫描方式 4 河海大学工学硬士论文 第二章视频信号研究 ( a ) 场正程扫描轨迹( b ) 场逆程扫描轨迹( c ) 正常扫描轨迹 图2 1 逐行扫描光栅 ( - - ) 隔行扫描 根据人眼有一定的视觉惰性和分辩能力，在不产生亮度闪烁感觉和保证有足 够清晰度的情况下，场扫描频率须在4 8 h z 以上，扫描行数须在5 0 0 行以上根 据这些指标计算出的电视图像信号的频带是很宽的。若减少行数，又会引起图像 清晰度下降【2 l 】于是提出了隔行扫描方式，使上述矛盾得到较妥善的解决。 隔行扫描方式是将一帧电视图像分成两场进行扫描。第一场扫出光栅的第 l 、3 、5 、7 等奇数行，第二场扫第2 、4 、6 、8 等偶数行，并把扫奇数行的 场称为奇数场，扫偶数行的场称为偶数场。这样每一帧图像经过两场扫描，所有 像素就可全部扫完。假如每秒传送2 5 帧图像，那么每秒扫描5 0 场，即场频为 5 0 i - i z ，亮度闪烁现象就不会出现显然在隔行扫描方式中，工= 2 厂r ，即场频是 帧频的两倍，同样，行扫描频率也减低到逐行扫描时的一半，结果使信号带宽也 减小一半而每帧画面扫描的总行数是两场扫描行数之和，仍与逐行扫描时相同。 这样，隔行扫描既保持了逐行扫描的清晰度，又达到了降低图像信号频带的目的。 隔行扫描的扫描结构要比逐行扫描的复杂，下面举例说明隔行扫描过程。图 2 2 是7 行隔行扫描方式光栅形成的示意图。如图z 2 ( a ) 中所示，电子束由左上 端开始按i i 、3 3 、5 - 5 等顺序扫描，即第一场( 奇数场) 顺序扫第l 、3 、5 、 7 等奇数行；当扫到第一行的一半( 点a ) 时，正好扫过3 行半，完成了第一场( 奇 数场) 扫描。电子柬立即返回到a ，点，并由a 点开始第二场的顺序扫描，首先扫 完第7 行余下的半行，紧接着扫描第2 、4 、6 、等偶数行当扫到右下端第6 行 末( 点6 ) 时，也扫了3 行半，完成了第二场( 偶数场) 扫描。两场扫描行数共为7 行，恰好是一帧的扫描行数其中偶数场的光栅应刚好落在奇数场光栅的中问， 即两场光栅恰好镶嵌，这样才能构成一幅隔行扫描的均匀光栅，并得到最高图像 清晰度瓦和l 分别表示一帧数据的场周期和帧周期。由于隔行扫描既减小了 闪烁感，又使图像信号的频带仅为逐行扫描的一半，因此世界各国都采用隔行扫 描的电子扫描方式需要强调指出的是，隔行扫描方式要求每帧扫描总行数为奇 数。因为只有这样，在扫描锯齿波电流波形项点位置对齐的情况下方可使相邻两 场均匀嵌套。隔行扫描方式中，n t c s 制式下的工= 6 0 h z ，每帧扫描的行数为 河海大学工学硕士论文基于f p g a 的视频图像画面分割器的设计 5 2 5 行。p a l 制式- f 的场频f , = 5 0 h z ，每帧扫描的行数为6 2 5 行奇数场和偶 数场两场图像相互嵌套形成一幅完整的图像。隔行扫描方式中，帧频没有改变， 为2 5 1 - i z ，但由于将每一帧分成两场来传送和显示因此，重现画面的闪烁频率 变成了5 0 h z ，这在很大程度上克服了闪烁现象。 ( a ) 隔行扫描光栅扫描电流波形 图2 2 隔行扫描光栅及扫描电流波形图 2 2 数字视频信号及i t u - r b t 6 5 6 标准分析 2 2 1 数字视频信号及编码方式 从摄像头的光电转换器件得到的视频信号都是模拟信号。模拟信号是在时间 和幅度上连续的信号在某些场合下，对模拟电视信号进行数据处理是非常困难 的，所以需要对模拟电视信号进行模，数转换，转换后的信号称为数字视频信号， 对数字视频信号进行处理要比对模拟视频信号进行处理方便的多。数字视频信号 是在时间上和幅度上都离散化的视频信号。将模拟视频信号转化为数字视频信号 需要抽样、量化和编码三个步骤吲。 抽样是用每隔一定时间的信号值序列代替原来在时间上连续的信号，也就是 在时间上把模拟信号离散化。量化是用有限个幅度值来近似原来连续变化的幅度 值，把模拟信号的连续幅度值变为有限数量的有一定间隔的离散值。编码则是按 照一定的规律把量化后的值用二进制数字表示经过抽样、量化和编码后所得到 的数字信号就是视频i ，c m ( p u l s ec o d i n gm o d u l a t e ) 信号 2 3 j 1 2 4 j 。 模拟信号数字化的方式有两种，即复合编码方式和分量编码方式。复合编码 是将复合视频信号直接编码成p c m 形式复合视频信号又称为彩色全电视信号， 它包含亮度信号和色度信号分量编码是将三基色信号r 、g 、b 分量或亮度和色 差信号y 、( b 、( r 分别编码成p c m 形式，然后将这些信号时分复用合成为 数字复合电视信号。根据数字视频信号的抽样频率和格式，现行的扫描制式主要 有6 2 5 行5 0 场和5 2 5 行6 0 场两种，它们的行频分别为1 5 6 2 5 h z 和1 5 7 3 4 2 6 5 i - i z i t u - - r 6 0 1 分量编码标准的亮度抽样频率为1 3 5 m h z ，这恰好是上述两种行频 的整数倍嘲。对于6 2 5 行5 0 场的视频信号，每行的抽样点数为8 6 4 个。对于5 2 5 行6 0 场的视频信号，每行的抽样点数为8 5 8 个。按照国际现行电视制式，亮度 6 河海大学工学磺士论文 第二章视频信号研究 信号最大带宽是6 m h z 。根据奈奎斯特抽样定理，抽样频率至少要大于2 6 = 1 2 m h z ，因此取1 3 5 m h z 是合适的。由于色差信号的带宽比亮度信号窄得多， 所以在分量编码时两个色差信号的抽样频率可以低一些，同时也考虑到抽样的样 点结构满足正交结构的要求i t u r b t 6 5 6 建议两个色差信号的抽样频率均为亮 度信号抽样频率的一半，即6 7 5 m h z ，每行的采样值点数也是亮度信号采样值点 数的一半，即分别为4 3 2 个，行和4 2 9 个珩因此，对演播室数字电视设备进行 分量编码的标准是：亮度信号的抽样频率是1 3 5 m i - l z ，两个色差信号的抽样频率 是6 7 5 m h z ，其抽样频率之比为4 2 2 ，因此也称为4 ：2 ：2 格式对于信号源信号 处理的质量要求更高的设备。还可以采用4 ：4 ：4 的抽样关系模拟电视有p a l 、 n t s c 等制式，必然会形成不同制式的数字视频信号，不便于国际数字视频信号 的互通。为了获得高质量的数字化电视信号和便于国际间的节目交换，国际无线 电咨询委员会( c c i r ) 通过了第一个关于彩色电视信号数字编码的建议，即 c c i r 6 0 1 号建议，1 9 9 3 年变更为i t u - r b t 6 0 1 分量数字系统建议该建议中确 定以分量编码为基础，即以亮度分量y 、和两个色差分量r - y 、b - y 为基础进行 编码，作为电视演播室数字编码的国际标准，现称为i t u - r b t 6 5 6 标准1 2 6 在本 课题中采用该标准对复合视频信号( c v a s ) 进行数字化，采用的是4 ：2 ：2 格式。下 面对该标准做详细分析 2 2 2i t u - r b t 6 5 6 标准视频信号分析 i t u - r b t 6 5 6 标准是在国际电信联盟无线电通信部门6 5 6 - 4 号建议书中提出 的，它的全称是工作在i t u - r b t 6 0 1 建议( 部分a ) 的4 ：2 ：2 级别上的5 2 5 行和6 2 5 行电视系统中的数字分量视频信号的接口实施这种标准是为了在5 2 5 行和6 2 5 行两者间提供一种世界范围兼容的数字化方法1 2 7 删 该标准在单一信号源与单一终点之间提供了单向互连。数据信号采用编码成 8 比特字( 也可为1 0 比特字) 的二进制信息的形式这些信号包括：视频信号、定 时基准信号和辅助信号n u r b t 6 5 6 标准视频数据的场间隔定义如表2 1 所示 表2 1 场间隔定义 6 2 55 2 5 数字场消隐 开始( v = 1 ) 行6 2 4 行l 结束( v = o )行2 3 行2 0 开始( v = 1 ) 行3 1 1 行2 6 4 结束( v = 0 ) 行3 3 6行2 8 3 数字场标识 第一场 f = 0 行l行4 第二场 f = i 行3 t 3行2 6 6 河海大学工学硕士论文 基于f p g a 的视频图像画面分割器的设计 在经视频解码器输出的数字视频数据中，如果8 个最高有效比特都是l 或都 为0 ，则该数据字用于标识目的，所以2 5 6 个8 比特字中只有2 5 4 个可以用于表 示信号值 在4 ：2 ：2 的数据格式中，亮度信号的采样频率是色度信号采样频率的两倍， 两个亮度采样点对应一个色度采样点视频数据字是以2 7 兆字秒的速率复用传 送的，其顺序是：c b ，y ，c r ，y ，c b ，y ，c r 其中，c b ，y ，c r 这三 个字指的是同址的亮度和色差信号取样，后面的y 字对应于下一个亮度取样。 在r 1 3 j - r b t 6 5 6 标准6 2 5 行5 0 场4 ：2 ：2 格式中，一行数字视频信号在数据 流中的构成如图2 3 所示。 图2 3 一行数字视频数据流的构成 从上图可以看出，一行视频数据包括有效视频数据、定时基准数据和消隐数 据。有8 6 4 个亮度y 采用点，4 3 2 个色度c b 采样点和4 3 2 个色度c r 采样点， 每行数据一共有1 7 2 8 个字节，其中1 4 4 0 个字节的有效视频数据，共计7 2 0 个像 素。每个像素都有自己的亮度数据y ，每两个相邻的像素共用一组色差数据c b 、 c r ，视频数据输出顺序是c b ，y ，c r ，y ，c b ，y ，c r ，相邻两个共用色 差信号的像素构成一个宏像素，一个宏像素占4 个字节其余2 8 8 个字节由定时 基准信号和消隐信号组成。 一行数字视频流中有两个定时基准信号f f0 00 0s a v 和f f0 00 0e a v ，f f o o0 0s a v 在每个视频数据块的开始，f f0 00 0e a v 在每个视频数据行的结束 ( e n do f a c t i v ev i d e o ，e a r ) 每个定时基准信号数据由4 个字节的序列组成，格 式如下：f f0 00 0x y ，前三个是固定前缀( 以1 6 进制表示) ，第4 个字节包含定 义的场标识、场消隐状态和行消隐状态的信息，定时基准信号内的比特分配如表 2 2 所示 i 河海大学工学硕士论文 第二章视频信号研究 表2 2 定时基准信号 数据位第一个字节第二个字节 第三个字节第四个字节 伊f )( )( )o ( y ) 9 ( m s b ) l00l 8l00f 7 100v 6l0oh 5lo 0p 3 4 l00p 2 3lo0p l 2loop 0 l l000 0looo 表2 2 所示的数值是为1 0 比特接口的建议值。为了与己有的8 比特接口兼 容，d l 和d o 比特的值未作规定第四个比特中，用于s a v 和e a v 的保护比特 如表2 3 所示，最高位固定为l ，f 为场标志位，第一场为o 竹，第二场为“l ”，v 为0 ”时处于有效数据阶段，为“l ”时处于场消隐阶段；h 在s a v 中为o 竹，在e a v 中为“1 ”p o ，p l ，p 2 ，p 3 为保护比特位，它们的状态决定于f 、v 和h 的值， 采用这样的方法，可以在接受方纠正一个比特的误码及检测两个比特的误码。 表2 3 保护字节 fvhp 32p lp 0 0o0 oooo o0 lllol olololl 0lloll0 l0o o l ll l oll0lo llo 1l0o lllo00i 在输出的视频数据流中，数字消隐期间出现不用作定时基准码时，应在复用 起来的数据中的适当位置上填入相当于c b ，y ，c r ，y 信号消隐电平的8 0 h ，1 0 1 1 ， 8 0 1 1 ，1 0 1 1 等序列 经过上文对i t u - r b t 6 5 6 标准的分析，i t u r b t 6 5 6 标准6 2 5 5 0 h z 扫描格 式的视频数据，每秒2 5 帧数据，每帧数据6 2 5 行分两场输出。其中l 2 2 行、3 1 1 - 3 3 5 行以及6 2 4 - - 6 2 5 行是场消隐数据，2 3 - - - 3 1 0 行和3 3 6 - - 6 2 3 行是有效视频行 同时，从i t u - r b t 6 5 6 标准的数据格式的行、场结构的定义可以看出，两个定 时基准信号s a v 、e a v ，在其中包含了关于同步的所有信息：包括奇偶场、有效 期、消隐期等系统可以根据这些同步信息对视频数据进行取舍，根据视频图像 画面合成的需要提取其中的有效视频数据，再组合成一路视频数据输出，从而实 现视频图像画面的分割。 9 河海大学工学硬士论文基于f p g a 的视频图像面面分割器的设计 2 3 本章小结 本章根据视频图像画面分割系统的设计需要，对电视的扫描方式和视频信号 标准详细的进行了介绍。在电视的两种扫描方式介绍中，对隔行扫描和逐行扫描 的原理进行了分析。在对视频信号标准的分析中，介绍了模拟视频信号数字化的 方法，对本系统视频解码输出的i t u - r b t 6 5 6 标准的视频数据进行了详细的分 析。 1 0 河海大学工学硕士论文 第三章视频图像画面分削器的硬件设计 第三章视频图像画面分割器的硬件设计 3 1 视频图像画面分割器的硬件总体设计 本系统主要实现以下功能：由多个摄像头采集多路模拟视频数据，经过视频 解码芯片s a a 7 11 3 将模拟视频数字化，由f p g a 对根据视频图像画面分割的需 要对多路视频数据的有效部分进行提取，最终将多路视频图像合成一路，经视频 编码器s a a 7 1 2 1 转换为p a l 制式的复合视频信号输出到电视机显示。本文系统 结构框图如图3 1 所示，从系统结构图可以看出，系统主要组成包括：视频摄像 头，视频解码芯片s a a 7 1 1 3 、f p g a 及其配置芯片p r o m 、视频编码芯片s a a 7 1 2 1 以及s r a m ( 静态存储器) 下面分别对各个部分的功能和设计进行介绍 图3 1 视频图像画面分割器系统结构图 3 2f p g a 及其配置电路 f p g a 是整个系统中的核心处理部分，首先，根据图像画面合成的需要，从 各路视频数据中提取有效视频信号；然后，将提取的有效视频信号按照一定的规 则存储到s r a m ( 静态存储器) 中，在存取视频数据的过程中，由f p g a 完成对存 储器的读写控制，地址产生操作等最后，将提取的各路有效视频数据重新合成 一路，送视频编码电路输出到电视机显示，实现视频图像画面分割的功能。 本系统选用x i l i n x 公司的s p a r t a n 3 系列中的x c 3 s 4 0 0 p q 2 0 8 型号f p g a 作为 核心处理芯片 2 q 1 s p a r t a n 3 系列f p g a 是x i l i n x 公司的基于9 0 n m 技术的高性能、 低功耗可编程逻辑器件，为电路设计提供了一个可替代传统定制a s i c 设计的功 能强大、成本经济的灵活的解决方案。 选用s p a r t a n 3 系列中的x c 3 s 4 0 0 r w 2 0 8 型号f p g a 主要是基于以下三个方 面的考虑：首先，该芯片工作最高系统时钟频率为3 2 6 m h z ，支持多达1 7 种单 河海大学工学硕士论文 基于f p g a 的视频图像西面分割器的设计 端接口标准和7 种差分接口标准。其次，系统等效门数4 0 万门，分布式r a m 容量( d i s t r i b u t e dr a mb i t s ) 5 6 k b ，块r a m 容量( b l o c kr a mb i t s ) 2 8 8 k b ，专用乘 法器( d e d i c a t e dm u l t i p l i e r s ) 5 个多达4 个数字时钟管理器模块和8 个全局时钟 多路复用缓冲器，构成了内部高性能和丰富的时钟资源，从而可提供灵活的系统 时钟解决方案最大的用户i o 数( m a x i m u mu s e ri o s ) 1 4 1 个可以充分满足与 其他电路接口的需要。第三，价格比较便宜。综合以上的考虑，选取该型号f p g a 足以满足系统要求。 3 2 1f p g a 接口电路设计 f p g a 作为系统的核心处理芯片。主要完成的功能是：通过1 2 c 接口对视频 编码电路和视频解码电路进行配置。根据视频图像画面合成的需要，对各路有效 视频数据进行提取，并将提取的各路有效视频数据按照一定的规则存储到s r a m 中。在图像合成的过程中，把有效视频数据顺序从存储器中读出并在相应位置插 入定时基准信号和消隐数据合成一路视频图像。合成的图像数据经视频编码器转 换成p a l 制式的复合视频信号输出到电视机显示 f p g a 所涉及的所有接口电路设计包括：视频解码电路模块，视频编码电路 模块，存储器模块和f p g a 配置电路模块f p g a 与视频解码模块的接口有 s a a 7 1 1 3 的8 位视频数据线v p o 和同步时钟线l c c 。f p g a 在每个l c c 时钟 的上升沿，对s a a 7 1 1 3 的v p o 口采样接收一个8 位的视频数据与存储器电路 模块的接口有存储器s r a m 的数据信号线、地址线信号和控制信号线与视频 编码电路的接口有s 从7 1 2 l 的l c c 和m p o m p 7 。由于f p g a 电路引脚达2 0 8 个之多，f p g a 的接口电路图在附录中给出 由于f p g a 内部配置存储单元采用s r a m 结构，掉电后不能保存自身配置， 所以把f p g a 的编程数据存储在p r o m 中，每次上电时由p r o m 向f p g a 加载 程序，下面具体介绍f p g a 的配置电路部分。 3 2 2f p g a 配置模块 在f p g a 的设计中，设计的最终结果必须转化为f p g a 的配置文件，下载 配置到f p g a 硬件中，才可以实现设计的功能。f p g a 的i o 逻辑功能和内部逻 辑单元的互连是通过配置数据建立的。配置电路的设计是整个设计过程中必不可 少的关键环节。 x c 3 s 4 0 0 型号f p g a 支持从串模式( s l a v es e r i a l ) 、主串模式( m a s t e rs e r i a l ) 、 从并模式( s l a v ep a r a l l e l ) 、主并模式( m a s t e rp a r a l l e l ) 、边界扫描模式( b o u n d a r - s e a n j t a g ) 五种配置模式通过对f p g a 的m 2 、m i 和m 0 引脚进行设置，可以实现 对其下载配置模式的选择。配置模式设置如表3 1 所示。 河海大学工学磺士论文第三章视频图像画面分割器的硬件设计 表3 1 配置模式设置表 配置模式 m 0m lm 2 同步时钟位宽 d o u t 主串模式 ooo c c l k 输出 ly e s 从串模式 lll c c l l 输入 ly e s 主并模式 ll0 c c l k 输出 8n o 从并模式 oll c c l k 输入 8n o j t 、a glolt c k 输入ln o 在从串模式和从并模式下，c c l k 为f p g a 输入配置时钟；主串模式和主并 模式下，c c l k 为f p g a 输出配置时钟；j t a g 模式下，使用t c k 作为配置时钟。 串行模式、主并模式和j t a g 模式下，d i n d o 作为配置数据线；从并模式和主并 模式模式下，d 0 - d 7 作为配置数据线。在j t a g 模式下，用专用的引脚来t d i 、t d o 、 t