（电路与系统专业论文）数字视频视觉采集与处理系统及SoPC设计[电路与系统专业优秀论文].pdf

摘要摘要随着电子技术和计算机技术的迅速发展，基于图像内容的处理与控制系统已广泛应用于安防监控、工业检测、包装印刷、智能交通等领域数字图像和数字视频具有便于处理、传输和存储等特点已成为研究的热点。本文丌发出一种基于浮点d s p 和大容量f p g a 实现的视频视觉采集与处理系统，给出了具体的软硬件设计方案，重点研究了前端的图像采集和图像预处理、i e e e l 3 9 4 高速串行总线的传输和终端的图像显示与图像处理。该系统可用于验证数字视频实时处理算法，为将来的运动视觉处理与控制s o c 设计提供丌发参考和设计原型。本文还初步探讨了运动视觉采集与处理系统s o p c 的设计与实现。实验结果表明，本系统已经达到预期目标，在实现图像实时采集、处理与传输的同时，图像的成像质量和d s p 的工作效率得到了明显的改善与提高，为今后运动视觉处理与控制s o c 的丌发提供了良好的实验平台。关键词：运动视觉可编程片上系统浮点d s pf p g a1 e e e l 3 9 4a b s t m c ta b s t r a c tw i t ht h ec o n t i n u o u sd e v e l o p m e n to fe l e c t r o n i c sa n dc o m p u t e rt e c h n o l o g y , t h ep r o c e s s i n ga n dc o n t r o ls y s t e m sb a s e do ni m a g e sh a v ew i d ea p p l i c a t i o n s ，s u c ha ss e c u r i t yb u r g l a ra l a r m , i n d u s t r yd e t e c t i o n , p a c k a g i n ga n dp r i n t i n g , i n t e l l i g e n tt r a f f i c ，e t c d u et of l e x i b i l i t i e sf o rp r o c e s s i n g ，t r a n s m i s s i o na n ds t o r a g e ，d i g i t a li m a g ea n dd i g i t a lv i d e oh a v eb e c o m er e s e a r c hb o t s p o t t h i sp a p e rr e a l i z e sad i g i t a lv i s i o ns y s t e mb a s e do nf l o a t - d s pa n dh i g h - v o l u m ef p g a t h ed e s i g n so fh a r d w a r ea n ds o f t w a r eh a v eb e e ni n t r o d u c e di nd e t a i l t h er e s e a r c hf o c u s e si n c l u d ei m a g ea c q u i s i t i o na n dp r e - p r o c e s s i n g , d a t at r a n s m i s s i o nv i ai e e e i3 9 4f i 咒w i r e ，d i s p l a ya n dp r o c e s s i n g i no r d e rt op r o v i d ear e f e r e n c ef o rf u t u r e ss o cd e s i g n ，t h em a i np u r p o s eo ft h i ss y s t e mi sap l a t f o r mt od e v e l o pa n dv a l i d a t ea l g o r i t h m so fr e a l - t i m ed i g i t a lv i d e op r o c e s s i n g i nt h el a t t e rc h a p t e r , ap r e l i m i n a r yi n t r o d u c t i o na b o u ts o p cd e s i g ni sd i s c u s s e d h i t h e r t o ，a l lt h ee x p e c t e dt a r g e t sh a v er e a c h e d t h ew h o l es y s t e ma c c o m p l i s h e sr e a l - t i m ei m a g ea c q u i s i t i o na n dp r o c e s s i n ga n dt r a n s m i s s i o n i m a g eq u a l i t ya n dd s pe f f i c i e n c yg e td i s t i n c ti m p r o v e m e n t w h i c hf a c i l i t a t e st h ef o l l o w i n gr e s e a r c ha n dd e v e l o p m e n ti nf u t u r e k e y w o r d ：m o t i o nv i s i o ns o p cf l o a t - d s pf p g ai e e e l 3 9 4声明创新性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包括其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。本人签名：篮丝堡日期：兰堕：兰：丑关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。本人签名导师签名侵稳重篮毒。盟移日期：兰些! ：兰：! zf i 期：。2 垃笸：兰：王7第一章绪论第一章绪论步入2 l 世纪后，随着电子技术、计算机技术和信息处理技术的迅速发展，人类社会逐渐走向数字化的信息时代，信息的获取与处理已经成为一种产业。据统计，在人类从外部环境所获取的所有信息中，视觉信息大约占8 0 。视觉图像具有直观和形象的优点，但其庞大的数据量也给存储和传输增加了不小的负担。在某些应用场合，我们需要的仅仅是该图像所包含的某些特征信息，如车牌识别，只要提取出车牌号码即可，没有必要保存整幅图像。因此，需要对图像进行必要的加工处理，以提取出我们所感兴趣的相关信息。大多数情况下，提取信息时需要的不只是单独的一帧静态图像，而是连续的多帧运动图像，即视频图像或者运动视觉信息。1 1 数字视频视觉的研究内容与应用按照处理前后的输入输出信号，数字视频视觉处理可以分为3 个层次：( 1 ) 低层次处理自口的输入信号和处理后的输出结果均为图像( 2 ) 中层次处理前的输入信号为图像，处理后的输出结果为特征信息( 3 ) 高层次同人类视觉一样具有认知能力低层次数字视频视觉处理的主要目的是为了改善图像质量，如直方图均衡化、灰度拉伸、中值滤波等在像素级上进行处理，属于图像处理的范畴：中层次则是把原来用像素描述的图像分割后进行分析，提取出感兴趣的特征信息，如车牌识别、人脸识别和医学影像等，属于图像分析的范畴：高层次则是对提取出来的抽象的特征信息做进一步的处理，完成与人类视觉类似的逻辑推理，得出某种结论或者产生相应的控制信号，如工业检测、视觉导航、电子警察等，属f 图像理解的范畴。基于数字视频视觉的处理与控制系统，主要应用领域包括：( 1 ) 机器视觉工业检测、包装印刷、无损探伤等( 2 ) 视觉导航辅助驾驶、自圭导航、智能交通等( 3 ) 安防监控电子警察、小区防盗、远程监控等由于我国已经成为名副其实的。世界工厂”，与制造活动密切相关的机器视觉技术f 逐步被商家认可，接受和采用。此外。国内生活水平的大幅提升，使得人们对生活质量的要求越来越高，安全意识同益增强。视频视觉处理与控制系统町广泛用于工业生产、安防监控、视觉导航等领域在不久的将来，我国将会成为2数字视频视觉采集o 处理系统及s o p c 致计全球继北荚、欧洲与闩本之后的第4 大视觉设计生产地与消费市场。1 2 国内外的研究现状与未来的发展趋势国外在数字图像处理领域的研究起步较早，成果也比较多。早在上世纪六十_年代就丌始了对视频视觉系统的研究，主要集中在理论和算法方面。到上世纪九t 年代，随着光电技术和计算机技术的发展，国外取得的部分研究成果在印刷、包装，半导体等工业制造领域得到了广泛的推广与戍用，如荚国洛五德视像系统公a ( r v s l ) 的d m x 、m x i 系列读码器，芙国康埘观公d ( c o g n e x ) 的o c r( o p t i c a l c h a m c m r r e c o g n i t i o n ) 系统以及美国国家仪器公司( n i ) 的机器视觉系统等；在国内，对视频视觉的研究与丌发，起步较晚，但发展迅速。理论方面：国防科技大学e 润生教授的课题组在b u m s 直线提取算法的基础上，将这种中i 日j 层视觉处理分解为叮累加的计算过程，采用软硬件模块设计实现了图像中直线的实时提耿。北京大学余道衡教授的课题组设计了：维胞元自动机( c a ) 电路，并就此研究出一种一：维神经网络形念学空洞滤波器( c n n h f ) 的电路原理图。硬件方面，有北京嘉恒中自图像技术有限公司的o kp c i o a 系列嵌入式图像采集卡，上海高德威公司的g w - p r 9 9 0 2 t 智能交通监控系统，深圳视觉龙公司的c o g ( c h i po ng l a s s ) i c 预压对位机以及西安丰唐公司的p h o t o n c h e c k 系列i c 管脚检测系统等。就目前而言，大部分视觉系统都是p c 式说觉系统。一股由光源、光学镜头、c c d 或c m o s 相机、图像采集 、图像处理软件和台通用p c 或嵌入式p c 机构成。基于通用p c 机的视频视觉处理系统，在实时住。便携性和丌发周期和成本等疗面，比集成电路和s o c 都稍逊一筹。随着# 导体设计工艺和，产工艺的不断键高，s o c 势必将成为构建运动视觉处理与控制系统的e 流。1 3 数字视频视觉采集与处理系统的实现典哩的数字视频采集与处理系统一般由成像模块、处理控制模块、传输或显示模块3 部分组成。成像模块主要包括镜头和图像传感器，常见的图像传感器包括c c d 传感器( c h a r g ec o u p l e dd e v i c e 电荷耦合器件) 和c m o s 传感器( c o m p l e m e n 哪m e t a l o x i d e s e m i c o n d u c t o r 互补会属氧化物半导体) 两种。c c d 图像传感器具有分辨率高、感光面积大、动态范围广、抑噪特性好等特点广泛应用f 数码相机( d s c ) 、数码摄像机( d v ) 等产品。c m o s 图像传感器则具有体积小、功耗低、集成度高等特点，图像传感器所需的大部分功能，例如垂直镜像、水乎镜像、时序控制、自动自平衡( a w b ) 、数模转换器( a d c ) 等，都可以集成在单个芯片上。第一章绪论3从而减小了体积，降低了成本。c m o s 图像传感器主要用于电脑眼、可视电话、拍照手机、电予玩具等产品。处理控制模块通常由通用p c 机、通用d s p 或a s i c 构成。基于p c 机实现的主要是由各种板卡和入机交互应用软件组成，如高速公路收费系统、医疗成像系统等。基于通用d s p 或a s i c 实现的则具有工作效率高，体积较小、携带方便等优点，多用于实时性要求较高的场合，如生产线监控、无人驾驶汽车等。传输与显示模块负责把捕获的信息或处理后的信息。发送给终端进行存储，显示或进一步的处理。由于图像，尤其是视频图像，数据量大，实时性又高，对数据的传输速率要求非常严格。现在应用较为普遍的传输总线有u s b 2 0 和i e e e l 3 9 4 a 。这两种高速串行总线的最高数据传输速率分别为4 8 0 m b p s 和4 0 0 m b p s 。1 4i e e e l 3 9 4 高速串行总线简介1 3 9 4 最初由苹果公司于1 9 8 6 年公布，原名为火线( f i r e w i r e ) 高速串行传输线。1 9 9 5 年由i e e e ( i m t i t u t eo f e l e c t r i c a la n de l e c t r o n i ce n g i n e e r s 电气与电子【程师学会) 发布，称为i e e e l 3 9 4 ，正式名称为i e e e l 3 9 4 1 9 9 5 。另外，索尼及德州仪器( t i ) 也制定了1 3 9 4 的另外一种规格：i e e e l 3 9 4 a ，现在已经普遍用于数字视频领域，也称为i l i n k 或l y n x 。i e e e l 3 9 4 高速串行总线的t 要特点有：( 1 ) 使用方便一支持热插拔、即插即用( p l u ga n dp l a y p r i p )( 2 ) 传输速率高- - i e e e l 3 9 4 a 支持1 0 0 m 2 0 0 m 4 0 0 m b p s 的数据传输率，i e e e i1 3 9 4 b 则支持8 0 0 m i 6 g 3 2 g b p s 的数据传输率( 3 ) 具有很大的地址映射空问一l 条总线最多可支持6 3 个节点，每个节点具有2 5 6 t b 的地址映射空问( 4 ) 可以独立于主机系统进行操作一支持点对点及时通信( 5 ) 线缆供电一最多町提供4 5 w 的功率( 6 ) 支持等时和异步两种传输模式本运动视觉处理与控制系统的设计目标，是成为独立的系统，而不仅仅是p c机的一个外设。采用i e e e l 3 9 4 总线与p c 机进行通信，既不影响系统的独立性又方便了系统的丌发和调试工作。1 5 论文的研究内容和组织结构在前期的设计和丌发基础上本文设计了一种基于浮点d s p 和大容量f p g a4数字视频视觉采集与处理系统及s o p c 设计实现的数字视频视觉采集与处理系统，给出了具体的软硬件设计方案，重点研究了的端的图像采集和图像预处理，i e e e l 3 9 4 高速串行总线的传输与终端的图像显示与图像处理，最后还初步探讨了采用s o p c ( s y s t e mo nap r o g r a m m a b l ec h i p ，可编程片上系统) 实现的设计思路与方法。本文主要内容可分为直部分：第一章：绪论，简要介绍了本文的研究内容和研究重点。第二章：系统硬件设计，分成像模块、处理控制模块、传输或显示模块3 部分，详细介绍了设计原理、器件选型和具体实现的硬件电路。第三章：系统软件设计，详细阐述了摄像头成像控制、图像预处理和i e e e1 3 9 4总线配置与响应，以及p c 机终端显示程序的软件设计工作。第四章：s o p c 设计初步探讨，介绍了s o p c 的研究现状和方向，探讨了采用s o p c 实现数字视频视觉采集与处理系统的可行性与优缺点。第五章：结论和展望，总结系统设计与调试的经验与问题，提出今后的研究内容和工作重点。第- 二章系统硬什设计5第二章系统硬件设计在d s p 处理器应用普及之前，大多数的视频视觉处理系统，通常采用图像采集卡把模拟视频信号转换成数字图像序列，再利用通用p c 机进行后续处理。尤其是采用c c d 图像传感器时，要设计专门的时钟驱动电路和电源管理电路，输出的图像还要经过模数转换之后，彳能交给p c 机进行处理；而且处理的速度很大程度上取决于p c 机的性能。这样的系统，不但设计比较复杂，实时性也比较差。现在，随着c m o s 成像芯片工艺的提高和数字信号处理器功能的增强，使得数据量与计算量较大的实时视频处理成为可能。本章详细介绍了以t l 浮点d s pt m s 3 2 0 c 6 7 1 l b 为核心处理器，利用6 0 万门f p g a 实现逻辑控制的数字视频视觉采集与处理系统的设计原理，器件选型和具体的实现方法。2 1 系统原理概述为了更加接近人类双眼的工作机理在本系统中，视频采集由两个相互独立的c m o s 摄像头完成，d s p 负责实现视频处理算法，f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ，现场可编程门阵列) 协同d s p 完成时序逻辑控制和组合逻辑控制。处理后的图像既可以通过i e e e l 3 9 4 接口传输至p c 机或带1 3 9 4 接口的存储器。也可以外接l c d 直接显示。由于f p g a 和d s p 设计灵活，整个系统具有较强的可重构性。整个系统的原理如图2 1 所示：系统上电后，f p g a 配置f 板先启动，把配置文件加载到f p g a 的r a m 中。然后d s p 由位于外部c e i 宅日j 的f l a s h r o m 引导，通过f p g a 先设置i e e e l 3 9 4接e l 芯片的内部寄存器，再通过1 2 c 总线设置摄像头l 和摄像头2 的控制寄存器。云台在d s p 的控制f ，可以实现运动目标的跟踪。f p g a 提供摄像头的工作时序和图像序列的存储时序。1 6 m 字节( 4 m 3 2 b ) 的s d r a m 充与d s p 的外部数据缓冲存储器。处理后的图像既可以直接输出至l c d ( l i q u i dc r y s t a ld i s p l a y ，液晶显示屏) 显示，也口r 以经由i e e e l 3 9 4 高速串行总线传送至p c 机做进。步的处理。为了便于调试现在采用的是后者。6数字视频视觉采集与处理系统及s o p c 设计幽2 1系统原理框幽2 2 视频采集模块设计图像质量对处理结果关系重大，视频采集模块的设计在整个系统中处于首要的位置。因为研究的是运动视觉，类似于人类的眼睛，所以序列图像的帧率必须不低于2 4 f p s ( f r a m ep e rs e c o n d ，帧秒) a 本系统中我们采用了两路c m o s 摄像头，其中一路的图像帧率为3 0 f p s 6 4 0 4 8 0 ，另一路在输出p a l 制式复合电视信号的同时，还町以输出数字图像信号，帧率为3 0 f p s 5 1 4 4 8 4 。2 2 1 成像芯片的选型目前成像芯片主要分为c c d 和c m o s 两种。c c d 全称为电荷耦合器件( c h a r g ec o u p l e dd e v i c e ) ，由高感光度半导体材料制成，外部光线明暗改变时会引起其内部电荷的变化，通过模数转换器( a n a l o g - t o d i g i t a lc o n v e n e r ，a d c ) 将电信号变成数字信号；c m o s 全称为互补型会属氧化物半导体( c o m p l e m e n t a r ym e t a l - o x i d es e m i c o n d u c t o r ) ，主要山锗硅半导体构成。c m o s 上有n 型和p 型场效应管，二者互补效应所产生的电流经过a d 采样后还原成图像。c m o s 与c c d图像传感器的比较如见表2 1 ：第- 二章系统硬 ，l ：设计7表2 1c m o s 与c c d l 玺j 像传感器近年来，随着半导体工艺的不断提高，c m o s 图像传感器除了迸一步降低功耗，提高集成度之外，成像质量也大幅提升。整合了自动曝光控制( a u t o m a t i ce x p o s u r e c o n t r o l ，a e c ) ，自动增益控制( a u t o m a t i cg a i n c o n t r o l ，a g c ) 和自动白平衡( a u t o m a t i cw h i t eb a l a n c e ，a w b ) 等功能的c m o s 图像传感器，成像质量基本可以达到同规格的c c d 水平。综合感光性能、封装体积、功耗等因素，本系统选用了v c 0 7 0 1 和h v 7 1 3 l e 两款c m o s 图像传感器。2 2 2 成像芯片v c 0 7 0 1v i m i c r o 公司的电视成像芯片v c 0 7 0 1 集成了2 4 万像素的c m o s 图像传感器，数字图像处理器，视频编码器和模数转换器。v c 0 7 0 1 不仅支持p a l n t s c制式的复合视频输出，r g b y c b c r 混合视频输出和s v i d e o 端子输出，还支持8 位r g bl a wd a t a 输出。所以该款芯片不仅适用j 二传统电视，还适用于逐行扫描电视和v g a 显示器。v c 0 7 0 1 具有自动曝光，自动增益，自动自平衡，防抖动和背光补偿等功能。芯片的工作参数既可以通过外部管脚的上拉或f 拉设置，也町以通过e 2 p r o m 或者1 2 c 接口进行编程控制，其功能框图如2 2 所示：v c 0 7 0 1c m o s刊鳖h 鲨b溢肄图像簿潜传感器系绷刷鳓蟆块l鞠t：t：t彰l p r o m1 2 c 控制器5 4 m 晶俸幽2 2v c 0 7 0 1 功能框| ! f i8数字视频视觉采集与处理系统及s o p ( ：设计2 2 3 图像传感器h v 7 1 3 1 eh v 7 1 3 1 e 足韩国现代采用o 5 1 t m c m o s 工艺尘产的r g b 彩色图像传感器。h v 7 1 3 1 e 配置方便，可通过标准的1 2 c 接口设置芯片内部的2 8 个寄存器，控制图像的同步信号、曝光时日j 、分辨率、帧率、r g b 增益、水乎垂直镜像等。其主要性能指标和技术参数如下：( 1 ) 感光面积为4 8 6 x 5 9 8 ( m m 2 )( 2 ) 像素尺寸为8 8 ( 1 a m 2 )( 3 ) 像素阵列为6 4 8 x 4 8 8( 4 ) 内置8 位模数转换器( 5 ) 感光度2 7v l u x s c c( 6 ) 相关双采样电路( c d s )( 7 ) 自动黑电平补偿( a b l c )( 8 ) 信噪比大于4 8 d b( 9 ) 最大工作频率1 5 m h z0 0 ) 功耗低于9 0 m w 3 3 vh v 7 1 3 i e 总的像素阵列为6 4 8 x 4 8 8 ，有效像素阵列为6 4 4 x 4 8 4 。默认像素阵列为6 4 2x 4 8 2 ，三种像素阵列的关系如图2 3 所示：i 茔l2 3h v 7 1 3 i e 的像素阵州从图2 3 可以看出h v 7 1 3 i e 输出分奇偶行：奇数行依次输出g r g r g r 偶数则行依次输出b g b g b g 。但每个像素点只是r g b 三个分量中的一个，其它2 个分量必须通过差值计算来获取。如果采用3 3 的模板则为了得到分辨第一二章系统硬什设计9率为6 4 0 x 4 8 0 的v g a 图像，需要采集6 4 2 x 4 8 2 的图像，即h v 7 1 3 i e 默认像素阵列。通过| 2 c 总线设置h v 7 1 3 1 e 内部的帧寄存器( f r a m er e g i s t e r s ) 。可以得到分辨率小于6 4 2 4 8 2 的任意图像。同样灵活的还有h v 7 1 3 i e 的帧率，除了设置时序寄存器( t i m er e g i s t e r s ) 之外，还有更简便的方法一调节h v t l 3 1 e 的工作频率即可。从图2 4 可以计算出，当外部晶振为1 0 m h z ，输出v g a 图像时，h v 7 1 3 1 e 每帧图像的输出用时约为：f = ( 3 + 3 + ( 6 4 2 + 1 0 ) x 4 8 2 + 5 。1 2 0 + 3 + 3 y l o m 3 2 0 m s ( 式2 - 1 )即帧率为l “3 2 0 m s 3 l 帧。若外部晶振为1 5 m h z 。则帧率最高h r 达4 5 f p s 。m c t k 几几n 几f 几几几几几几几n 几几几几几几几几几几几几n 几h s y n c ：厂一vsync厂t i m es i di 惴磊嬲紫l mt a i蛊麓i 糕v s y n cb 憎h e a d。嚣d bib l a n k m 日8 b n h n g，翟l 蚴。“t f c e1 打ef锹。“1 计口b l a m g3c w s3 c k 3 c 自吐s2 2 4 视频采集模块接口电路幽2 4h v t l 3 i e 的时序幽该模块主要山两组c m o s 摄像头和云台组成。其中一个摄像头采用现代h v t l 3 1 e ，以每秒3 0 帧的速率输出v g a 格式的r g br a wd a t a ；另一个采用v c 0 7 0 i 电视成像芯片，在输出p a l 制式复合视频信号的同时，还町以通过d a t a 7 ：0 输出8 位r g b l a w d a t a 。v c 0 7 0 1 的这一功能对于摄像头的调试很肯帮助。摄像头镜采用头多层玻璃透镜，可以滤除波长大于6 3 0 r i m 的红外线，并采用超焦距对焦方式，最小成缘g 巨离为3 c m 。摄像头可以借助云台来调整视野范围以及跟踪运动目杯，云台要包括两个步进电机：一个进行水平方向的调节，调节范嘲为1 8 0 0 1 8 0 0 ；另一个负责俯仰调整，调节范围为4 5 0 4 5 0 。该模块的接u 电路信号见图2 5 。其中，s c l 、s d a 分别是1 2 c 总线的时钟线和数据线。s d a 以字节为单位，高位在前，低位在后传输数据。6 7 1 i b 没有标准的1 2 c 接口，通过d r r寄存器( d a mr e c e i v er e g i s t e r ) 将多通道缓冲串口( m u l t i - c h a n n e lb u f f e r e ds e r i a lp o r t m c b s p ) 的接收器配置成模拟1 2 c 接1 3 。同样，通过设置d x r 寄存器( d a ml o数字视频视觉采集与处理系统及s o p c 设计t r a n s m i tr e g i s t e r ) ，可以利用m e b s p 的发送器控制步进电机的转动方向、速率和角度。f p g a 中的逻辑控制部分向s r a m 提供片选、读写和地址信号。并负责s r a m 日j 的切换。考虑到视频处理需要多帧序列图像，每组摄像头配备了4 片5 1 2 k b 的1 6 位s r a m 。其中，2 片用做采集缓冲，l 片存储d s p 处理的中赳结果，l 片存储处理后的图像并且可以通过1 3 9 4 接口被主机访问。另外，以后采用l c d 显示或更换像素更高的摄像头的话，通过f p g a 将两片或更多片的s r a m级联成一个大容量的s r a m ，可以作为视频图像的显示缓存或传输缓存。幽2 5 视频采集模块接口电路2 3 图像预处理模块设计图像颈处理模块主要由浮点d s p 处理器和大规模f p g a 组成，负责整个系统的采集、处理和传输。d s p 设计灵活，可以用高级语占进行编程，适合于数字信号的处理工作和随机事件的中断响应；f p g a 拥有丰富的p l l ( p h a s el o c k e dl o o p ，锁相环) ，触发器和逻辑单元，适合构建时序控制电路和组合逻辑电路。下面几个小节藿点介绍d s p 和f p g a 各自的工作任务，器件的选型依掘和具体的外围硬件电路设计。2 3 i 数字信号处理器d s pd s p 处理器与通用微机，单片机相比，具有更适合于数字信号处理的优点：采用改进的哈佛总线数据总线和程序总线互相分离。内部集成硬件乘法器和第- 二章系统硬r i ：设计累加器，采用流水线指令结构，具有丰富的片上外设，并有专门针对数字信号处理的指令系统。d s p 的这些优点，非常适合实时性要求较高的视频处理领域。现在，提供d s p 的厂商主要有美国德州仪器公司( 1 1 ) ，美国模拟器件公司( a d d ，美国摩托罗拉公司( m o t o r o l a ) 以及美国电话电报公司( a t & t ) 台湾凌阳科技( s u n p l u s ) 选择d s p 时，源，丌发工具和性价比。综合以上因素，浮点d s p - t m s 3 2 0 c 6 7 1 l b 。主要考虑的因素有：运算速率，片上资本系统选用了t i 公司的c 6 0 0 0 系列的t m s 3 2 0 c 6 7 1i b 的最高主频可以达到2 0 0 m h z ，在指令体系结构上采用了v e l o c i t i 甚长指令字( v l i w ) 的结构，每个指令字包括多个字段，字段之问相互独立，各自控制一个功能单元。因此可以单周期发射多条指令，达到很高的指令级并行效率，在1 5 0 m h z 时钟下，可以达到9 0 0 m f l o p s ( 每秒9 0 0 万次浮点运算) 的运算能力。俐$ 3 2 0 c 6 7 1 1 b 的片上资源相当丰富：3 2 位e m i f 接口( e x t e r n a lm e m o r yi n t e r f a c e )1 6 位主机接口( h o s t p o r ti n t e r f a c e h p i )两路多通道缓冲串口( m c b s p )1 6 位增强型d m a 通道两路3 2 位的通用定时器内置p l l ，最高支持4 倍频其中，3 2 位的e m i f 能够和许多常见的数掘接口实现无缝连接，该特点非常适合本系统。在本系统中，既有d s p 和i 3 9 4 总线控制器之间的1 6 位数据接口，也有d s p 和摄像头控制器之自j 的8 位数据接口，还有d s p 和外部f l a s h ，s r a m ，s d r a m 之问的1 6 ，3 2 位数据接口。在整个系统中，d s p 主要完成的功能有：( 1 ) 加电自举，初始化1 3 9 4 接口芯片( 2 ) 通过1 2 c 设置摄像头的内部控制寄存器( 3 ) 和f p g a 共同完成日口端的图像采集、存储与后端的数据传输( 4 ) 控制摄像头曝光，白平衡以及数字图像预处理算法的设计及实现2 3 2d s p 的e m i f 接口设计t m s 3 2 0 c 6 7 1 i b 的e m i f 接口信号包括外部时钟输入e c l k i n ，外部时钟输出e c l k o u t ，外部空h j 使能西三丽j ，字节使能面幂厕，外部数据线e d 3 1 ：0 ，外部地址线e a t 2 1 ：2 1 和读写控制使能等，见图2 6 所示：1 2数字视频视觉采集与处理系统及s o p ( ：设计e n h a r l ( * dd a mm e m o r yo o r l t r o l l e re c l k i ne c l k o u te d f 3 1 ：o l 1e a | 2 1 ：2 ls h e c lb y 酬硼re x , 日r n a li n t e r f a c e s百印硒ja 只d y、硒瞵瓯k 舔s 涎im u x e d五商e 霞而硒髑两厢 a s y n c s d r a m s b s r a m葡罹阎粥百溉l ”删h - - o - q 3j再翻：蕊b u $ r e oi n t e r n a lp e r i p h e r a lb u s幽2 6e m i f 接口信号通过e m i f 的控制寄存器c e c t l 0 3 ，可以把四个相互独立的外部宅白j 设置成不同的数据宽度。而且，e m i f 接口的工作时序也町以由控制寄存器c e c t l 0 3束设定。e m i f 支持的外部数据接口类型见表2 2 ：表2 2e m i f 支持数据接口第一二章系统硬r i ：设计1 3图2 7 为e m i f 与s d r a m 之问的数据线、地址线接口以及控制信号接口：e x t e m a lo l o o k幽2 7e m i f 与s d r a m 接口其他部分，如1 3 9 4 控制芯片，f l a s h 等与e m i f 的接口类似于图2 7 。在本系统中c e 0 空日j 分配给s d r a m ，数掘宽度为3 2 位；c e l 空b j 分配给f l a s h数据宽度为1 6 位；面空f b j 分配给云台，数据宽度为3 2 位；面空f b j 是摄像芯片内部控制器与1 3 9 4 链路层控制寄存器数据宽度为8 1 6 位。2 3 3 现场可编程门阵列f p g a现场可编程门阵列具有速度快，容量大，可重构等特点，配合d s p 町以方便地实现时序控制电路和组合逻辑电路。f p g a 还支持采用v h d l ，v e r i l o g 硬件描述语言进行设计，能够迅速完成。些基于整数的数学运算，如f f t d c t 等。f p g a在本系统完成的功能有：( 1 ) 提供视频图像采集，存储与传输工作时序( 2 ) 协同d s p 实现复杂的组合逻辑控制电路( 3 ) 实现标准的v g a 接口，外接l c d 显示器( 4 ) 通过v h d l 迸行基于整数运算的图像处理( 5 ) 为重要信号设置测试点，便于硬件调试a i t e r a 公司a p e x2 0 k e 系列的f p g a ，采用0 1 8 p m 工艺。铝金属互连技术，专为s o p c ( s y s t e mo nap r o g r a m m a b l ec h i p 可编程片上系统) 而设计，支持n i o s l l 3 2 位嵌入式软核处理器。具有速度快( 6 4 0 m b p s 的数据速率) ，容量大( 最1 4数字视频视觉采集与处理系统及s o p c 设计高1 5 0 力个系统门) ，噪声低和功耗小，兼容多种f o 接口标准等特点。本系统采用的e p 2 0 k 6 0 0 e b c 6 5 2 有6 0 万个典型门，4 个p l l ，4 8 8 个低电压差分信号( l v d s ) f o 口，3 1 l ，2 9 6 b i t s 的片内r a m ，工作电压为2 5 v 和1 8 v 。其中，a p e x2 0 k e 的i o 口同时兼容3 3 2 5 ，l - 8 v ，可以直接与系统中的s r a m ，c m o s成像芯片，1 3 9 4 控制芯片等连接，无需串接电平转换芯片。从而大大地简化了各芯片之自j 的电气连接设计工作。2 41 3 9 4 总线传输模块设计外设与p c 机的通信大致分为两种：并行方式和串行方式。并行端口比较复杂，需要许多的软件方面的控制。相对而言，串行总线只有几根线组成，比并行总线简单，成本也低，并且大部分串行总线都支持即插即用和热插拔，使用方便。目的应用较广的串行总线主要是u s b 和1 3 9 4 。本系统采用的是i e e e l 3 9 4 a 异步传输方式，由1 1 公司的1 3 9 4 链路层控制器t s b l 2 l v 3 2 和1 3 9 4 物理层控制器t s b 4 l a b 3 组成。1 3 9 4 总线可以提供8 4 0 vd c 的电压以及最高可达1 5 a 的电流，足以满足整个系统的供电需求。2 4 1i e e e l 3 9 4 协议简介为了简化硬件和软件的实现，i e e e1 3 9 4 定义了4 个协议层：( 1 ) 总线管理层负责总线配置和每个节点的活动管理( 2 ) 事务层支持有关异步传输读取，写入锁定操作的请求和响应，由应用程序直接调用驱动程序实现( 3 ) 链路层将事务层请求和响应转化为相应的包或者于事务，发送到串行总线上。本层还对异步包和等时包进行地址或信道号的编解码，冗余校验( 4 ) 物理层提供数据传输所必需的电气和机械接口，负责管理总线的仲裁进程，以确保同一时刻只有一个节点在总线上传输数据总线管理层1 3 9 4 的各个节点都实现了总线管理层，以支持包括总线配置，电源配置在内的多种功能具体包含的功能取决于节点的实际能力，如陔节点是否为根节点。根据不同的应用场合，每个节点的总线管理层所包含的功能各异。但所有的节点，无论是根节点还是子节点，都必须包含支持总线自动配置这一功能。事务层事务层只支持异步传输。确切的说，事务层是个软件层。1 3 9 4 应用程序与事务层以下的各层是相互隔离的，所有的传输请求部由事务层转换成完成这个请第一二章系统硬件没计1 5求所需的一个或多个事务请求，产生的事务请求指示了事务类型读取，写入，或者锁定。链路层对于异步事务，链路层提供了事务层和物理层之日j 的接口，请求者的链路层将来自事务层的事务请求转换成数据包，然后发送到1 3 9 4 总线上：响应者接收到数掘包后，解码并传递给本地的事务层。对于等时事务，链路层提供等时软件驱动程序和物理层之日j 的接口。传输期日j ，链路层负责生成将要通过1 3 9 4 总线发送的等时包。链路层还接收来自总线的等时包，并将包的信道号解码，如果此节点是数据包的目标节点，则将包传给软件驱动程序。物理层物理层提供链路层和1 3 9 4 电缆之间的接口，每个端口使用两对双绞线( t p a f r p a 和1 1 p b 厂r p b ) 发送信号，支持i e e e l 3 9 4 协议操作所需的多种事件，包括总线配置，总线仲裁以及数据传输等。实际的1 3 9 4 电缆分4 芯和6 芯两种。区别是日i 者只有两对双绞线，采用差分信号传输数据：后者还包括一对电源线。6 芯的电缆如图2 8 所示：2 4 2 链路层控制器削2 8i e e e l 3 9 4 也缆切面l 玺|t s b l 2 l v 3 2 是一款同时兼容i e e e1 3 9 4 1 9 9 5 和i e e e l 3 9 4 a 协议标准的链路层控制器( l l c ) ，具有2 k b 的通用接收f i f o ( g r f ) 与2 k b 的通用发送f i f o( a t f ) ，支持异步与等时事务。微控制器接口支持8 1 6 位的可编程数据宽度，能够非常方便地与各种微控制器，如m o t o r o l a 的6 8 0 0 0 和c o l d f i r e 处理器相连工作时钟频率最高可达6 0 m h z ，i o 管脚同时兼容3 3 v 和5 v 。t s b l 2 l v 3 2 提供直通模式( d m a ) 的数据传送，待发送数据无需事先打包，可以边读取边传送，这使得异步包发送能够达到与等时传送相当的总线带宽，从而传输效率大大提高。t s b l 2 l v 3 2 内部的寄存器配置由d s p 完成，设备的发现6数字视频视觉采集与处理系统及s o p c 设计与识别，驱动程序的安装，1 3 9 4 控制寄存器的初始化等也需要d s p 进行响应和干预。d s p 充当了链路层控制器的微控制器( m c u ) 。该部分属于d s p 程序的开发与没备驱动程序的丌发，详见第三章相关部分。2 4 3 物理层控制器物理层控制器( p h y ) t s b 4 1 a b 3 提供3 个1 3 9 4 端口，3 3 v 单一供电，符合1 3 9 4 a 协议标准，支持等时传输和异步传输，支持1 0 0 2 0 0 4 0 0 m b p s 的传输速率，可以与 i s b l 2 l v 2 1 、t s b l 2 l v 3 l 、t s b l 2 l v 3 2 、t s b l 2 l v 4 1 或t s b l 2 l v 0 1 a等链路层控制器实现无缝连接，具有较高的通信速率与町靠性。t s b 4 1 a b 3 具有线缆电压监测功能，与链路层的接口支持总线隔离。此外，t s b 4 1 a b 3 有多种封装形式以供选择p h p 4 8 p j n ，p a p 4 8 p i n ，g q e 8 0 b a l l 和z q e 6 4 一b a l l 。2 4 ，4l l c 与p h y 的接口电路设计链路层与物理层的接口电路如图2 9 所示。微控制器的数据地址和读写控制信号由d s p 控制：d m 端口连接到f p g a 中1 3 9 4 传输控制模块。主要完成视频图像的实时传输：t s b 4 1 a b 3 直接与1 3 9 4 电缆连接完成系统和p c 机之日j 的通信： 作和数据传输。l 笙i2 9 链路层j 0 物理层接口电路第二章系统软r i ：设计1 7第三章系统软件设计本章主要介绍整个系统的软件设计工作，包括d s p 中运行的程序，p c 机的终端应用程序，还有负责本系统和p c 机之间通信的1 3 9 4 设备驱动程序。d s p程序包括1 3 9 4 总线接口芯片的配置和初始化，1 2 c 总线的模拟实现，成像芯片自动曝光以及白平衡处理等。3 1c 6 0 0 0 的软件开发环境c 6 0 0 0 系列d s p 采用1 1 提供的集成软件_ 玎= 发调试环境c c s ( c o d ec o m p o s e rs t u d i o ) 。c c s 工具齐全，观察直观，可以在线仿真，实时分析，而且允许使h j 第三方插件。c c s 可以编译汇编，a n s lc ( a m e r i c a nn a t i o n a ls t a n d a r d si n s t i t u t e 美国国家标准协会) 以及线性汇编。d s p 程序以a n s ic 语言设计为毛，在实时性要求较高的场合，再用汇编语言设计。这样。除了提高程序的可读性之外，还可以降低设计难度，缩短丌发周期。此外，由于1 1 的c 2 0 0 0 c