（光学工程专业论文）高速数字视频实时采集系统研究.pdf

硕士论文 高速数字视频实时采集系统研究 摘要 本文研究的是激光通信前瑞的视频采集方案，设计了一个具有标准化接口的高速 实时数字采集系统。在系统设计中，采取f p g a + s a a 7 1 1 1 a 的架构，成功实现了系统的 实时化、小型化、标准化和模块化。由f p g a 充当控制器，经1 2 c 总线对视频解码芯 片s a a 7 1 1l a 进行初始化，以获得符合激光通信具体要求的数字视频信号。为方便外 接图像处理单元的读取，设计了两个读写互斥的存贮单元，分别用来存贮所采集的奇 场和偶场数据，并专门设计了一个用于和图像处理单元的通信的标准握手接口：为减 小传送数据流量，对采集后的图像进行了提取和预处理；对整个系统进行了综合调试， 对遇到的一些问题进行了深入的分析。通过反复试验仿真，可以证明整个图像采集方 案可行，能够在高速图像采集处理系统中得以应用。 关键词：视频图像采集、实时处理、s a a 7 1 1 1 a 、f p g a 、图像预处理 硕士论文 高速数字视频实时采集系统研究 a b s t r a c t t h i sd i s s e r t a t i o n1 sas u b 。r e s e a r c hp r o b l e mo f1 a s e rc o m m u n i c a t i o n i ti sa b o u tt h e s o l u t i o no fv i d e oc a p t u r eo ft h ew h o l ec o m m u n i c a t i o ns y s t e m b a s e do nt h ec o m p a r i s o no f t h er e s e a r c hw o r k ，t h ep a p e rd e m o n s t r a t e sad e s i g no fv i d e oc a p t u r es y s t e mw i t ha s t a n d a r d i z e di n t e r f a c e i nt h e d e s i g np e r i o d ，i tm a k e st h es y s t e mm i n i a t u r i z a t i o n s t a n d a r d i z a t i o na n dm o d u l a r i z a t i o nb yu s i n gt h es t r u c t u r eo ff p g a + s a a 71 11a i tu s e s f p g aa sac o n t r o l ，a n di n i t i a l i z e st h ea dc h i ps a a 71 11ab ys e n d i n gc o d e st h r o u g h1 2 c b u si no r d e rt oo b t a i nd i g i t a lv i d e os i g n a la c c o r d i n gt ot h er e q u e s t t om a k ei te a s i e rt o r e a dt h ed a t ao ft h ee x t e r n a li m a g ep r o c e s s i n gc e l l ，i td e s i g n st w om e m o r yc e l l sw h i c ha r e m u t e xt oe a c ho t h e rf o rt h es t o r i n go fo d df i e l d sa n de v e nf i e l d sd a t as e p a r a t e l y a n di ta l s o d e s i g n sas t a n d i z e di n t e r f a c e b e s i d e s ，i no r d e rt om i n i m i z et h ed a t af l u x ，i tr e a d so u tt h e i m a g ea n dp r e p r o c e s s e st h ei m a g e a tt h es a m et i m e ，t h ep a p e ra l s om a k e sas u m m a r yo f s y s t e md e s i g na n dd e b u ge x p e r i e n c e ，a n dm a k e sd e e p l ya n a l y s i so fs e v e r a lp r o b l e m s t h r o u g ht h er e p e a t e dt e s ts i m u l a t i o n ，m a yp r o v et h ee n t i r ep i c t u r eg a t h e r i n gp l a n i s f e a s i b l e ，c a r lb ea b l et oa p p l yi nt h eh i g hs p e e dp i c t u r eg a t h e r i n gp r o c e s s i n gs y s t e m k e y w o r d s ：v i d e oc a p t u r e ，r e a l t i m ep r o c e s s i n g ，s a a 7 11 1a ，f p g a ，p r e p r o c e s s e so f t h ei m a g e 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：舻 孤年伽知日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：抄年月如日 硕士论文高速数字视频实时采集系统研究 1 绪论 数字视频处理技术是把来自摄像机或其他视频输入装置的视频或图像信号，经过 数字变换后得到数字视频信息，再由数字处理系统进行处理。随着计算机技术、网络 技术和多媒体技术的飞速发展，数字视频处理技术正在迅猛发展，逐步取代了模拟视 频处理技术。 1 1 课题的理论意义和应用价值 目前的实时视频处理正经历着从模拟化向数字化、网络化的迈进过程，数字图像 处理技术的成果应用也遍布多个领域，医学上的染色体分析以及超声、x 射线、伽马 射线、核磁共振的医学成像；保安的智能监控；通讯上的可视电话、电视会议；公安 刑事侦察中的指纹识别、人脸组合与识别、模糊图像复原以及数字警察工程：遥感领 域垦的星、空、地、一体化系统；办公室自动化中的文字识别；工业领域里的智能机 器人、在线的零部件检测；军事上的目标跟踪、地形匹配等领域。近年来，数字视频 产品己经取得了显著的发展，可以预料在未来的十几年，数字视频产品必将对计算机 和通信产业产生深远的影响。 在实际的工程应用中，实时视频处理系统基本上是不停机工作的，因此系统除了 对算法本身有很高的要求以外，视频信号处理的速度和高稳定可靠性是至关重要的。 因此无论是从国家的战略高度还是国民生产的具体需要，都急需要研制新一代的实时 数字视频处理系统，而近几年来，随着数字图像处理技术飞速发展，处理芯片的性价 比趋于合理，处理速度越来越高，使得我们用数字图象处理技术代替模拟图象处理成 为可能，超大规模集成电路和嵌入式软硬件技术的迅猛发展，为我们找到了一种解决 问题的新思路，即研制嵌入式结构的实时数字视频采集统。 基于嵌入式设备的实时视频采集系统的优点表现在：由于这种系统的硬件是一个 同处理器和软件捆绑较为紧密、功能专一、设计专门的独立的设备，不像插卡系统那 样受通用计算机系统中其它软件硬件的影响“儿”，因此性能上更稳定，且便于安装、 维护，易于实现系统的模块化设计，便于管理、维护、降低费用；另一方面，由于功 能的单一，只要算法选择正确，系统的实时性就可以得到保证，而且控制功能较p c 系统容易实现且远为强大。 1 2 发展趋势及国内外研究概况 传统的以模拟设备为主的视频处理系统，由于视频处理系统中信息流的形态没有 硕士论文 高速数字视频实时采集系统研究 变，仍为模拟的视频信号，系统的结构主要是一种单功能、单向、集总方式的信息采 集，因此系统尽管已发展到很高的水平，已无太多潜力可挖，其局限性依然存在，要 满足更高的要求，数字化的是必由之路。 与传统的模拟视频相比，数字视频还具有如下优点： 第一，适合远距离传输。数字信息抗干扰能力强，不易受传输线路信号衰减的影 响。 第二，保密强。数字视频传输是码流，只要通信双方作好算法约定，就是被别人 窃取也无关紧要。 第三，提高了图像的质量与传输效率。利用专门的图像处理单元可以对不清晰的 图像进行去噪、锐化等处理，还可通过算法进行压缩。 第四，系统易于管理和维护。数字视频采集系统主要由电子设备组成，集成度高， 视频传输可利用有线或无线信道。这样，整个系统是模块化结构，体积小，易于安装、 使用和维护。 正是由于实时数字视频处理系统具有传统模拟处理系统无法比拟的优点，而且 符合当前信息社会中数字化、网络化和智能化的发展趋势，所以数字视频处理正在逐 步取代模拟视频处理，广泛应用于各行各业。 在国外，美国、欧洲和日本已经开展了大量相关项目的研究。例如，1 9 9 7 年美 国国防高级研究项目署设立了以卡内基梅隆大学为首、麻省理工学院等高校参与的视 觉监控重大项目v s u , i 。1 ，主要研究用于战场及普通民用场景进行监控的自动视频理解 技术；英国的雷丁大学已开展了对车辆和行人的跟踪及其交互作用识别的相关研究。 国内许多科研机构，如中国科学院自动化研究所模式识别国家重点实验室对该领 域作了大量的研究，在人运动的视觉分析、交通行为事件分析、智能轮椅和视觉导航 等领域取得了许多科研成果。许多生产厂家也相继推出了多种类型的相关产品，但总 体说来，由于相互间的技术保密，各种产品的通用性、兼容性都在不同程度上存在着 这样或那样的问题，很难在市面上找到一款符合自己要求的标准化采集系统。 而作为自由空间激光通信的前端，数字视频采集系统对系统的实时性、标准化、 模块化、小型化和独立性都提出了更高的要求。在自由空间通信中，信道的性能以及 许多外界的干扰，都会对通信的质量产生影响。通常自由空间信道都是随即的，尤其 是大气中的气体分子、水雾、雪等粒子，其几何尺寸和半导体激光波长相近，甚至更 小，这就会引起光的吸收和散射。特别是在强湍流的情况下，光信号将受到严重的干 扰甚至脱靶。因此保证系统在随机信道条件下的正常工作，对自由空间光通信系统的 工程化研究十分重要。为此本文研究的主要是在已搭建的激光通信传输系统的基础 上，设计前端标准化接口的图像采集方式及其实现方法。 碗士论文 高速数字视频实时采集系统研究 1 3 论文的主要研究内容 本文结合自由空间激光通信项目，在己具备激光传输试验平台和图像处理单元的 前提下，着重对视频图像采集部分进行进一步的研究。 设计中，采用解码芯片s a a 7 1 1 1 a 对模拟视频信号进行采样，获得标准的数字视 频码流，由主控单元f p g a 经1 2 c 总线对其进行一些基本参数据的设置。 通过f p g a 的软、硬件设计，设置了一个读写互斥锁，使用跳跃式存贮，把采集 图像的奇偶场分别存贮在两个s r a m 中，进行统一编址，外接图像处理系统不需要对 s r a m 进行复杂的寻址，只要设置它的起始地址，通过握手逻辑就可以获得一幅完整 的图像。 为降低传输流量，强采集的实时性，在不影响激光通信传输图像品质的前提下， 在本文设计的系统中加入了图像提取模块，对采集图像进行取舍，提取满足我们要求 的部分。 另外，作为标准化、模块化设计，不要求外接图像处理单元对图像的具体参数进 行干预。只是进行单一功能的处理，如压缩或降噪。本文利用f p g a 设计了图像的预 处理单元，对所采集的图像进行一些基本的优化。 1 4 本章小结 本章主要介绍了课题的理论意义、应用价值和国内外研究现状，以及本文的主要 研究内容。 硕士论文高速数字视频实时采集系统研究 2 视频信号概述 视频信号分为模拟视频信号和数字视频信号，数字视频信号是模拟信号量化的结 果，技术的关键是对模拟信号进行周期采样。 2 1 模拟视频信号 本系统输入信号是c 、r b s ( 全电视信号，又称复合视频信号) 端口，也就是普通的 电视系统所采用的标准模拟传输信号。在这里，首先了解一下c 、，b s 信号的结构与原 理。 2 1 1 视频信号的扫描机制 当光脉冲进入人的视觉器官时，其感觉并非瞬时发生，而是有一些时间上的延迟。 光脉冲停止以后，光的感觉还会暂留一个比较短的时间，这种视觉延迟和视觉暂留的 现象可以认为是人神经系统时间响应限制的缘故。在电视技术里，无论是电视摄像机 把光信号变成电信号，还是监视器把电信号变成光信号，其过程都是按一定扫描方式 顺序实现的。在人们观察电视图像时，由于荧光屏的余辉作用以及人眼的视觉延迟和 视觉暂留的影响，人们就可以看到连续的图像了 扫描是按照从左向右均匀扫过的，在自左向右达到右端后迅速的从右端折回到左 端，再开始下一行的扫描。这种沿着水平方向的扫描称为行扫描，或者称为水平扫描。 在进行水平扫描的同时，也缓慢地进行着从上到下的扫描，这种沿着垂自方向的 扫描称为场扫描，或者称为垂自扫描。在显像管中的扫描也是这样从左到右、从上到 下的进行。 扫描方式有逐行扫描和隔行扫描之分。 当水平和垂自偏转线圈中分别流过如图2 1 ( d ) 。( e ) 所示水平和垂自扫描电流 时，就能产生逐行扫描光栅。图2 1 ( a ) 和( b ) 分别是场正程和场逆程期间的扫描光 栅，图中实线是行扫描的正程线，虚线是行扫描的逆程线。 在广播电视中，为了使图像均匀而清晰，在逆程期间不传送图像信号，故采取措 施使行、场逆程期间电子束截止而不显示图象( 或称消隐) 。图2 1 ( c ) 是消去行、场 回扫线后的正常光栅。为了提高传输效率，应使正程时间远大于逆程时间。即 ，乙 互， 4 颂士论文 高速数字视频实时采集系统研究 n t 2 ) c t 3 ， “j 甜 珏l l n i o b 4 以以以以以以以以以 l vvvvvv vvvvi b ( 7 ) c ( 3 ) 4 ( 5 ) ( 6 ( 7 8 9 d i n f 吲、r 、。7 水平扫描逆程 乙水平扫描正程 ( 畦) ( e ) 翻2 1 逐行扫描原理图 在逐行扫描中，若每场含有z 行( z 为整数) ，则当z 增加时，扫描光栅的水平倾 斜角减小而趋于平直；当z 足够大时，人眼将分辨不出行扫描的光栅结构，而只能看 到一个均匀发光的平面。 要使人眼察觉不出画面的翻滚，场频必须大于1 2 场秒；要使人眼觉察不出画面 的闪烁，场频则不低于4 0 场秒，若帧频为5 0 且每帧的扫描行数为6 2 5 行，那么视 频带宽： 允一f o = j 1 k i k 2 警_ o ， ( 2 1 ) zl 一口 r 91 、 ( 其牛= 5 0 h z ，z = 6 2 5 ，口= o 1 8 ，= o 0 8 ，墨= 0 7 6 ，k 2 = 将超过1 0 m h z ，而我国的现行标准为6 m ，这样势必使电视频道太宽了，同时电视 设备的工艺水平和成本也将大幅度提高。f s c h r o t e r 在1 9 7 2 年发明了一个简单的 办法，即采用隔行扫描的办法来解决上述问题。利用这种方法可在2 5 h z 帧频时获得 5 颈士论艾高速数字税额实时采集系统研究 5 0 h z 的场频。 如果行频不等于场频的整数倍，则相邻场的光栅不能重迭，当厶= ( n + l 2 ) ；v 时( n 为整数) ，相邻两场的光栅就能均匀相嵌，形成隔行扫描的光栅。 在隔行扫描中，扫完一帧图像所需时间称为帧扫描周期n ，其倒数1 乃= 矗称 为帧频，并且存在办；o 2 ) f v 的关系。 l l 彳以y 彳久。 + 入彳彳月“r 一 vv v vy vvvy e r l334 ；67 霉 91 0 l l 口 - 日 点 l 一石弋l 。j ：l t 7 第一蜗第= 场 1r 【白， tc ) 奇数场 8 7 ( j ) 偶数场 7 l s2 93 1 0 4 5 图2 2 隔行扫描原理图 若己知隔行扫描的行、场扫描电流波形，则可先找出行( 场) 的起点和终点位置， 从而画出其扫描光栅。图2 2 是隔行扫描的一个简例，设每帧有1 1 行，则每场有5 5 行。在隔行扫描里，扫描分奇偶两场进行。扫描线从1 到1 ，这段时间为行正程， 到扫描达到1 点后，经过行逆程时间，扫描迅速的从1 点到达2 点，第一场扫描到 4 点，经场逆程后回到b 点，再开始第二场的扫描。第二场扫描到b 点，经场逆程 后回到a 点，从而完成了一帧图像的扫描。第二场的扫描线均匀的插在第一场相邻扫 描线中间，合为一帧图像。 6 硕士论文 高速数字视频实时采集系统研究 2 1 2 彩色电视信号与彩色电视制式 自然界中的所有可感知的色调，几乎都可以由三种基色混合而得到。反之，任何 一种色彩，也可以分解成三种基色光分量。在彩色电视中，选用红( r ) 、绿( g ) 、蓝c b ) 为三基色。嘲 幅静止的彩色图像，如果采用r g b 彩色空间来描述，则可以表示为 ，= 【，( 矗) ，( g ) ，却】 其中 i c r ) 2 b ( j ，y ) ，( 回= f o ( x ，y ) ) 2 r 日c x , y ) ( 2 2 ) 彩色电视为了与黑白电视兼容，必须传送一个亮度信号，以便黑白电视机接收。 根据彩色具有亮度、色调和饱和度三个要素的理论，传送彩色图像必须选用三个独立 的信号。除了亮度信号外，还必须选择另两个信号来代表彩色的色度信息。这两个信 号与色调和饱和度之间应存在确定的相互变换关系。例如用x ，y 坐标值。但是，彩 色电视中常用两个色差信号b _ y 和r y 来代表色度信息，它们与彩色摄像机输出的 r ，g 、b 三基色信号存在下列关系。 j ，= 0 3 r + 0 5 9 g + o 1 l b r y = 0 7 r 一0 。5 9 g 一0 1 1 b 露一y = - 0 3 r o 5 9 g + 0 8 9 b ( 2 3 ) 目前的彩色电视是将两个色差信号进一步变换成色度信号，并且叠加在亮度信号 上一起传送出去。黑白电视机收到这种彩色电视信号后，由于色度对正常黑白图像的 干扰和影响很小，故黑白电视机显像管上只产生与亮度信号成比例的正常的黑白图 像。彩色电视机收到这种彩色电视信号后，先变换成上述三种信号，即y ，( b 吖) ) 和 ( r - y ) ；再经解码矩阵按公式 r = ( r _ y ) + y b = ( b - y ) + y g = ( g _ y ) + y( 2 4 ) 还原成r ，g ，b 三基色信号。在上式中， 7 颂士论文 高速数字视频实时采集系统研究 g - y - 苦m d 一器旷y ) = - 0 5 1 m 叫- 1 9 伊y ) ( 2 5 ) 还原出的r 。g ，b 信号加到彩色显象管三个阴极( 或者栅极) 上，使荧光屏上重现 出正确的彩色图像。采用亮度信号和两个色差信号作彩色电视传输信号的方式，称为 恒亮传输方式。 色度信号只需要在图像的大面积部分进行传送，在图像的细节部分只需传送亮度 信号，不必传送色度信号，这就是大面积着色原理。根据这一原理，可用全部视频带 宽( 例如o 一6 姗z ) 传送亮度信号y ，以保证清晰度；可用较窄的频带( 例如o 一1 3 眦z ) 传送两个色差信号( b _ y ) 和( g _ y ) ，以进行大面积着色。这样在接收端所恢复的三个 基色信号是： r = ( r 一】，) o 1 j + k 弗= r o 1 34 - 五j q g = ( g y ) o 13 + k 巧= g o 1 3 + k 3 。6 b = ( b y ) o 川3 + r o “= b o 1 3 + k3 6 ( 2 6 ) 由上式可知，接收端所恢复的三基色信号只含有较低的频率分量( 0 1 3 删z ) ， 而它们的高频部分( 1 3 6 渊z ) ，则用同一亮度信号的高频部分来补充。这就是高频 混合原理。它是1 9 5 0 年首先由美国a b e d f o r d 提出的。利用这一原理，既节省了频 带，又减轻了亮度信号和色度信号共用频带而产生的相互干扰。 采用恒亮传输出方式和高频混合措施后，彩色电视信号带宽等于8 6 m h z ( y 为 6 m h z ，( b y ) 和( r - y ) 各为1 3 m h z ) ，它还是大于黑白电视信号的带宽。为了兼容带 宽，还需要进行频带压缩。 由于彩色摄像管的扫描参量( 力、厶、z 隔行扫描) 与黑白电视一样，所有r 、g 、 b 信号的频谱结构和带宽与黑白电视的亮度信号完全相同。而彩色电视的亮度信号y 和色差信号( r y ) ，( b - y ) ，( p y ) 都是r 、g 、b 的线性组合，因此它们和黑白电视的 亮度信号频谱结构也完全一样。我们可以把色差信号设法安插在亮度信号频带的空隙 中进行传送，但是不能简单地将亮度信号和色差信号混合在一起：否则，由于它们的 基波和谐波的频率相同，势必使它们相互重叠，而无法在接收端将它们分离出来。 n t s c 制和p a l 制都采用两个色差信号对同一个副载波进行正交平衡调幅，把色 差信号的频谱搬到视频高端，精确选定副载波的频率，使己调色度信号的频谱，正好 硕士论文高速数字视频实时采集系统研究 插入亮度信号的频谱空隙处，以形成频谱交错，从而达到压缩频带的目的。 通过高频混合原理和频谱交错两项措施，将彩色电视信号的频带压缩到与黑白电 视信号的带宽相同( 例如6 姗z ) 。 c v b s = y + u s i n c o s c t + v e o s o ) s c t f ，7 、 式中，y 为亮度信号，u 、v 为色差信号，c o s c t 为彩色副载波频率。u 、v 和色差 信号( b y ) 、( r y ) 的关系为 u = 0 4 9 3 ( b n v = o 8 7 7 ( r 一聊 r ，r 、 以上解释了彩色全电视信号的构成和与黑白全电视信号的兼容原理，下面介绍一 下彩色电视的制式。 电视可用不同的方式来实现。实现电视的一种特定方式，称为电视的一种制式。 在黑白电视和彩色电视发展过程中，分别出现过许多种不同的制式。 目前世界上彩色广播电视制式最主要的有三种，这三种制式皆属兼容制，其共同 点都采用能与黑白电视兼容的亮度信号和两个色差信号作为传输信号；其不同点是两 个色差信号对副载波采用不同的调制方式。 一、n t s c 彩色电视制式：它是1 9 5 2 年山美国国家电视标准委员会指定的彩色 电视广播标准，它采用正交平衡调幅的技术方式，故也称为正交平衡调幅制。美国、 加拿大等大部分西半球国家以及中国的台湾、日本、韩国、菲律宾等均采用这种制式。 二、p a l 制式：它是西德在1 9 6 2 年指定的彩色电视广播标准，它采用逐行倒相 正交平衡调幅的技术方法，克服了n t s c 制相位敏感造成色彩失真的缺点。西德、英 国等一些西欧国家，新加坡、中国大陆及香港，澳大利亚、新西兰等国家采用这种制 式。 p a l 制式中根据不同的参数细节，又可以进一步划分为g 、i 、d 等制式，其中p a l - d 制是我国大陆采用的制式。 三、s e c a m 制式：s e c a m 是法文的缩写，意为顺序传送彩色信号与存储恢复彩色 信号制，是由法国在1 9 5 6 年提出，1 9 6 6 年制定的一种新的彩色电视制式。它也克服 了n t s c 制式相位失真的缺点，但采用时间分隔法来传送两个色差信号。使用s e c a l i 制的国家主要集中在法国、东欧和中东一带。表2 1 为不同制式的主要参数对比： 9 硕士论文高速数字视顾实时采集系统研究 表2 1 同制式的主要参数对比 t v 制式 r s c m p a l d s e c m 帧频( h z ) 3 0 2 5 2 5 行帧5 2 56 2 56 2 5 亮宦带宽( m h z )4 26 06 o 彩色副载波( 姗z ) 3 5 84 4 34 4 3 色度带宽( m h z )i 3 ( i ) ，0 6 ( q )1 3 ( u ) 。1 3 ( v ) 1 0 ( u ) ， 1 0 ( v ) 声音载波( m h z ) 4 56 5 6 5 2 2 数字视频信号 当我们把传统的绘画原作复制成照片、录像带或印制成印刷品时，这样的转化结 果我们称之为模拟图像( i m a g e ) 。它们不能直接用电脑或微处理器进行处理，还需要 迸一步转化成用一系列的数据所表示的数字图像( i m a g e ) 。这个进一步转化的过程也 就是所谓图像( i m a g e ) 的数字化。在操作上也就是人们通常所说的“采样”。” 所谓采样就是按照一定的规律，对模拟图像( i m a g e ) 的位点所呈现出的表象特性， 用数据的方式记录下来的过程。这个过程有两个核心要点；一个是采样要决定在一定 的面积内取多少个点，或者叫多少个像素。这个问题就是我们今后常常要提及的所谓 “分辨率( d p i ) ”。另一个核心要点是记录每个点的某一因素的数据位数，也就是所谓 数据深度。比如记录某个点的亮度用一个字节( 8 b i t ) 来表示，那么这个亮度可以有 2 5 6 个灰度级差。这2 5 6 个灰度级差分别均匀地分布在由全黑( 0 ) 到全自( 2 5 5 ) 的 整个明暗带中。当然每个一定的灰度级将由一定的数值( 0 2 5 5 ) 来表示。亮度因素 是这样记录，色相及其彩度等因素也是如此。显然，无论从平面的取点还是记录数据 的深度来讲，采样形成的图像( i m a g e ) 与母本必然有一定的差距，必然丢掉了一些数 据。但这个差距如果控制得相当的小，以至人的肉眼难以分辨，那么这个差距就是可 以接受的，或者说追求绝对地等同于母本是没有实际意义的。 2 2 1 模拟视频信号的数字化 在图像数字化过程中，往往在进行a d 变换之前，还要对模拟图像进行一些预处 理，其中包括放大、钳位、滤波等。有时，我们把视频图像数字化器中的预处理和 a d 部分统称为视频通道。在一般图像数字化器中，除了包括视频通道以外，还包括 同步锁相、采样脉冲形成以及a d 地址形成等电路。视频图像数字化主要分为两大类： 黑白视频图像数字化和彩色视频图像数字化。 l o 硕士论文 高逮数字视频实时采集系统研究 一个完整的黑白视频图像数字化器的常用形式图2 3 所示”1 ： 图2 3 黑白视频图像数字化器 图2 3 中，a d 部分常用一个a d 芯片来完成，再根据a d 芯片的要求对预处理 部分进行设计，而采样脉冲的形成，则依据系统的要求来产生同步与锁相部分，要 解决系统同步问题。采样脉冲形成电路要为a d 芯片提供采样脉冲，而地址形成电路 主要是提供在图像采集时的a d 地址。 彩色图像数字化器比较复杂，方式也比较多，归纳起来，主要有三类：r g b 方式、 y w 方式和s h i 方式，和黑白图像数字化器相比，它们之间的差别主要在视频通道上。 图2 4 给出了r g b 方式的视频通道电路框图。图中，解码器首先对全彩色电视信号进 行解码，得到r 、 、e 三路模拟信号，然后再经过三个类似于黑白数字化器的视 频、通道，分别得到、g 。、三路数字信号，由此形成了一幅彩色的数字图像。 在r g b 方式里，三个基色的b i t 位有8 ，8 ，8 的，也有5 ，5 ，5 的，为了凑够 1 6 b i t 的字长，还有5 ，6 ，5 的，5 ，6 ，5 的b i t 分配比5 ，5 ，5 的要好，原因 在于g 分量的图像质量往往要比r ，b 分量的图像质量好。也有用8 b i t 来表示一幅彩 色图像的，按照3 ，3 ，2 b i t 码位来分配r ，g ，b 的b i t 位，这样的b i t 位分配虽对某 些特定的图像来说，图像显示的效果还可以，但难以准确描述大多数的彩色图像。由 是三路信号，显然彩色图像的数据量是黑白数字图像的三信，例如一幅5 1 2 x 5 1 2 点 阵的彩色图像，r ，g ，b 分别为8 b i t ，其数据量为7 6 8 k b ，可见彩色图像的数据量是 很大的。 图2 4r g b 方式的彩色视频通道电路框图 硕士论文 高速效字税频实时采集系统研究 2 2 2 采样频率的确定 在图像处理系统里，正确地确定采样频率是很重要的。确定采样频率，一般来说， 大致应从以下三个方面来考虑。埘 第一，要满足采样定理的要求，p 儿制标准的黑白图像视频带宽为 5 5 6 6 删z ，n t s c 标准的黑白图像视频带宽为4 2 m h z 。以6 m i i z 带宽为例，那么采样 频率应不低于1 2 1 d h z ，如果低于此值，就要对输入的模拟信号进行限带，以满足采样 定理，否则，数字化的图像将产生频谱交叠噪声。 图2 5 视频信号的采样阵列 第二，应考虑在如上图的采样阵列里，血和缈在几何上等值的问题，即在x ，y 两方向上等间距采样的问题。这个问题我们成为像素点等距问题。如果不等距，则数 字化的图像就要产生几何失真，这种几何失真将对图像的测量带来严重的影响，如计 算面积、周长等几何参数，因为这种不等距系统不具备旋转不变性，当所放物体位置 的方向不同时，会产生不同的测量结果。根据最近的研究结果表明，这样的几何失真 不仅影响测量的准确性，甚至还对模糊图像的复原产生严重的影响。像素点等距问题 与扫描制式有关，这里以p a l 制标准为例，来推导缸和缈等距时采样频率的取值。 我们知道，电视是按一行一行地进行扫描的，也就是说，该图像是按行离散化了， 缈间距应以行距为准。在电视技术中，为了适应人们眼睛的特点，与平时自然视野 相似，电视的宽高比和电影一样为4 ：3 ，p a l 制标准一帧图像为6 2 5 行，5 0 行为奇偶 两场的消隐，正程显示行为：6 2 5 行一5 0 行= 5 7 5 行。为了等间距，那么每一行应该取 n 个采样点，则有 n ：5 7 5 术4 3 = 7 6 6( 2 1 0 ) 根据p a l d 制标准，行周期乃= 6 4 9 s ，行消隐= i i 8 芦，行正程 = 5 2 2 k s ，那么x 的时间间隔t o 应为： r o = 5 2 2 9 s 7 6 6 6 8 n s f 91 1 、 于是采样频率正为 硕士论文 高速数字视频实时采集系统研究 五= i t o 1 4 6 7 m h z ( 2 1 2 ) 这就是p a l 制标准1 ：1 时待选的采样频率。如果在行方向上的采样是隔行采样( 奇 数场或偶数场采样) ，这时垂自分辨率下降了一半，那么相应的1 ：1 采样频率则改为 f s 2 。 第三，在最后确定采样频率时，应考虑该频率的信频能否形成标准的行频( 严格 来讲应能形成半行频) ，显然，上述的1 4 6 7 m h z 频率不满足这一要求。 综合上述三方面的考虑，我们选取1 4 6 2 5 m h z 为p a l 制标准1 ：l 方式的采样频率。 显然，这个采样频率大于1 2 m h z ，满足采样定理。同时，1 4 6 2 5 m h z 的9 3 6 分频正好 是行频( 2 5 * 6 2 5 ) ，9 3 6 这个数字是偶数，显然1 4 6 2 5 m h z 也能形成半行频，满足了第 三方面的要求。经过计算，这是缸：缈= 1 o l ：1 ，还是很接近1 ：1 的。 对n t s c 制的视频图像的采样，通过类似上述三方面的综合考虑，可以选取 1 2 9 7 8 m h z 作为采样频率。 2 2 3 数字视频信号标准 模拟图像经过采样、量化后变成数字图像。数字图像色彩模式可以分为很多类， 各自定义的颜色范围不同，特点也不同。大体可以分为：r g b 模式，c 1 m i ( 模式， b i t m a p ( 位图) 模式，g r a y s c a l e ( 灰度) 模式，h s b 模式，l a b 模式等。r g b 模式是最 常见的一种色彩模式。不管是扫描输入的图像还是绘制的图像，几乎都可以以r g b 模式存储。r g b 模式的图像的优点很多，比如图像处理很方便，图像文件小，并且在 r g b 模式下可以使用众多的图像处理软件的所有命令和滤镜。r g b 模式由红( r e d ) 、 绿( g r e e n ) 和蓝( b l u e ) 三种颜色组合而成，然后由这三种原色混合出各种色彩。 根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍。因此其数字化时 可采用幅色采样法，即对信号的色差分量的采样率低于对亮度分量的采样率。用y ：u ： v 来表示1 u 、，三分量的采样比例，则数字视频的采样格式分别有4 ：l ：1 ，4 ：2 ：2 和4 ： 4 ：4 三种。电视图像既是空间的函数，也是时间的函数，而且又是隔行扫描式，所以 其采样方式比扫描仪扫描图像的方式要复杂得多。分量采样时采到的是隔行样本点， 要把隔行样本组合成逐行样本，然后进行样本点的量化，y u 、，到r g b 色彩空间的转换 等等，最后才能得到数字视频数据。 y u 、是一种基本的色彩空间，被欧洲的电视系统所采用。它被p a l ，n t s c 和s e c a m 用作复合色彩视频标准。y 指明视度，即亮度，而u 和v 则是色调，即描述图像色彩 饱和度的属性。通过式2 1 3 可实现r g b 到y u v 的转换。嘲 顿士论文 高速数字视频实时采集系统研究 f y = o 2 9 9 r + o 5 8 7 g + o 1 1 4 b u = 0 4 9 2 ( b - 】，) 2o 8 7 7 ( 足一y ) ( 2 1 3 ) y c r c b 是y u r 的子集，它将色度值缩放和偏移到0 到1 范围内，由r g b 到y c r c b 的线性变换产生1 个亮度空间y 和2 个色度空间c r 和c b ，如式式2 1 3 。 f 】，= 0 2 9 9 r + o 5 8 7 g + 0 1 1 4 b c = “b 一】，) ，2 ) + o 5 p 2 ( ( r r 3 i 6 ) + o 5 ( 2 1 3 ) 一般人们所讲的唧大多是指y c r c b ，y c r c b 有许多取样格式，如4 ：4 ：4 ，4 ： 2 ：2 ，4 ：1 ：1 。 如在不同的应用和产品之间交换数字视频，就需要数字视频格式标准。在计算机 行业有标准的显示分辨率，在t v 行业有数字化演播室标准，而在通信行业已经建立 了标准的网络协议。数字视频通信的出现使得上述三个行业更日趋紧密。 为了在p a l ，n t s c 和s e c a m 电视制式之间确定共同的数字化参数，国家无线电咨 询委员会( c c i r ) 制定了广播级质量的数字电视编码标准，称为c c i r6 0 1 标准。 在该标准中，对采样频率、采样结构、色彩空间转换等都作了严格的规定，主要 有： ( 1 ) 采样频率为f s ：1 3 5 m h z 。( 2 ) 分辨率与帧频如下表所示。 表2 2 不同电视制式的分辨率与帧频 电视制式分辨率 帧频 n 1 s c6 4 0 * 4 8 03 0 p a l 、s e c a m7 6 8 * 5 7 62 5 根据f s 的采样率，在不同的采样格式下计算出数字视频的数据量如表2 3 所示。 表2 3 不同采样格式下数字视频的数据量 2 3 本章小结 采用格式 数据量( m b y z e s ) 4 ：2 ：2 2 7 4 ：4 ：44 0 本章主要介绍了模拟视频信号的扫描原理、电视信号的组成和制式以及模拟视频 信号的数字化原理、采样频率的确定和有关的数字视频信号标准。 1 4 硕士论文 高速数字视频实时采集系统研究 图像采集系统的硬件实现 在数字图像处理中，图像的获取或采集是第一步，它的好坏直接影响到图像处理 的性能。现今数字图像采集系统，主要分为基于p c 架构的视频采集卡和嵌人式视频 采集系统。对复合视频基带信号( c v b s ) 主要借用视频解码芯片来完成，例如p h i l i p s 公司的视频解码芯片s a a 7 1 1 x ，s a a 7 1 3 x ，c o n e x a n t 公司的b t 8 4 8 ，b t 8 7 8 等。其中具 有p c i 接口的芯片如s a a 7 1 3 x ，b t 8 7 8 等为视频采集卡的首选，而没有p c i 接口的如 s a a 7 1 1 x 则常用在嵌人式视频采集系统中。嵌人式视频采集系统的另一重要组成部分 是数字视频信号的存储、传输，由于其控制时序复杂，一般由f p g a 或c p l d 来完成各 种同步逻辑控制，以保证采集的实时性。本文讨论的嵌入式视频采集系统选用 p h i l i p s 公司的s a a 7 1 1 1 a 完成视频解码，由e p i k s o q c 2 0 8 型f p g a 完成同步逻辑控制 与必要的图像预处理。 系统基本原理框图如图3 1 所示。作为数字图像处理系统的前端采集部分，其主 要组成包括c v b s 信号的a d 变换，数字视频帧数据存储以及传输。因为数字视频信 号的数据量大，所以系统实现的关键技术是帧数据的有效存储与传输。 图3 1 图像采集结构原理图 本文介绍的采集系统，采用两片l o n s 存取时间的s d r a m 与f p g a 构成双口r a m ， 以实现具有跳跃存贮工作机制的双帧存贮结构，保证了视频信号的实时采集。由 p h i l i p s 公司的视频解码芯片s a a 7 1 1 1 a 完成c v b s 信号到数字视频信号的转换，输出 符合c c l r 6 0 1 或c c i r 6 5 6 格式的数字视频信号。图3 1 中，该系统将c c d( c h a r g e i。 硕士论文 高速数字视频实时采集系统研究 c o u p l e dd e v i c e s ) 输出c v b s 信号经p h i l i p s 公司的视频解码芯片s a a a 7 1 1 i a 完成数 字视频转移后存储到由一片f p g a 和两片s d r a m 组成的双口存储器中。此处f p g a 将 承担两项任务：一是与两片s d r a m 一起实现双口存储器，与数字图像处理器对双口存 储器的读写之间的互锁，即保证s a a t i l l a 与图像处理器不同时读写同一片s d r a m ， 这一功能由f p g a 实现的跳跃工作机制完成；二是实现s a 8 7 1 i i a 解码的初始化参数的 写入，s a a 7 1 l l a 的初始化由f p g a 通过1 2 c 接口实现。 系统设计简要流程如下：从c c d 摄像头捕捉到的模拟视频信号经过视频a d 芯 片( s a a 7 ui a ) 的数模转换，由f p g a 控制写入片外高速大容量s r a m 储存，直到一 帧图像存储完毕，f p g a 交出总线。此时，外接图像处理单元的m c u 从s r a m 读出 图像数据流进行处理。处理后的数据流经激光调制后进行远距离无线图像传输。 3 。1 视频信号的来源( c c d ) c c d 的全称是c h a r g ec o u p l ed e v i c e ，即我们通常所说的电荷耦合器件。这种感 光器件与我们日常使用的半导体集成电路相似。它是利用微电子技术制成的表面光电 器件。在- 片硅单晶上集成了几千到几万个光电三极管，这些光电三极管分为三列， 分别用红绿蓝三色的滤色镜罩住，从而实现彩色扫描。光电三极管在受到光线照射时 产生电流，经放大后输出。c c d 芯片上有许多光敏单元，它们通过把不同的光线转换 成不同的电荷，从而形成图像的电荷图像。如果我们想增加图像的分辨率，就必须增 加c c d 上的光敏单元数量。实际上，c c d 的性能决定了摄像机的光学分辨率n 帕 目前流行的c c d 有两种：半导体隔离c c d 和是硅氧化物隔离c c d 。这些c c d 是通 过在一片硅单晶片上集成了数干到上万个光电三极管构成的，并且这些光电三极管又 分成以r g b ( 红色r e d 、绿色g r e e n 和蓝色b l u e ) 三列为基础的色彩模型来实现彩色扫 描。但是由于数千个光电三极管的距离很近( 微米级) ，而半导体隔离c c d 各三极管之 间的绝缘还是靠半导体p n 来隔离的，所以它们之间隔离电阻较小。但是各光电三极 管之间存在着明显的漏电现象，导致信号互相干扰，造成摄像机实际清晰度的降低。 而采用硅氧化物隔离技术便解决了上述问题，各光电三极管之间的半导体单晶硅用二 氧化硅替代。二氧化硅的绝缘性质非常好，几乎可以杜绝各光电三极管之间的漏电现 象，从而使摄像机的实际清晰度有个质的飞跃。 本系统所采用的视频信号为c v b s ，是c c d 摄像机摄取动态的视频图像，并且经 过处理的标准p a l 制视频信号。系统所采用的是m i n t r o n 的6 3 k 8 0 a h f 摄像机，由于 它采用了7 5 2 个水平像素的1 1 3 英寸行间变换c c d 图像传感器及数字信号处理大