（测试计量技术及仪器专业论文）基于立体视觉的二维图像采集开发平台研究与实现.pdf

摘要 基于立体视觉的二维图像采集开发平台研究与实现 摘要 随着半导体工业和图像处理技术的迅速发展，机器视觉技术正被运用到各个领 域，从普通的日常生活到航空航天都能看到其身影，前景非常广阔。 本文中三维重建是基于机器视觉的一种较为前端的应用，也被称作双目立体视 觉，采用两个图像采集系统测量目标物体。传统立体视觉硬件平台的构建多采用计算 机板卡方式，这种方式灵活性差，而且成本相对较高。本系统使用“f p g a + a r m ” 硬件处理平台，利用计算机网络通信接口与计算机实现数据传输，完成了网络摄像机 的设计，满足了多摄像机的协同工作和远距离数据传输的要求。 系统使用的图像压缩和预处理芯片是x i l i n x 公司s p a r t a n 3 e 系列的5 0 万门f p g a ( x c 3 s 5 0 0 e ) 。意法半导体公司的基于a r m 9 核的s t r 9 1 2 作为主控芯片，完成简 单的控制任务及网络数据的传输。由f p g a 直接控制图像传感器，并将采集到的图像 数据经过预处理后存入s r a m 中。a r m 9 将s r a m 中的图像数据读出，并通过t c p i p 网络协议传输至计算机，由计算机负责最终的图像处理算法。 本文最后搭建了简易双目立体视觉系统，并对三维重建原理进行了验证。 关键词：机器视觉双目立体视觉f p g aa r m 三维重建网络摄像机 竺些 一型丝生 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fs e m i c o n d u c t o ri n d u s t r ya n dd i g i t a li m a g ep r o c e s s i n g ， m a c h i n ev i s i o nh a v e b e e n a p p l i e d t o m a n yf i e l d s ，f r o md a i l yl i v i n g t oa v i a t i o n t e c h n o l o g y s o ，t h e r ew i l lb eab r i g h tp r o s p e c tf o rm a c h i n e v i s i o n t h r e e d i m e n s i o n a lr e c o n s t r u c t i o ni st h es o p h i s t i c a t e da p p l i c a t i o nb a s e do nm a c h i n e v i s i o n w h i c hi sa l s oc a l l e db i n o c u l a rs t e r e ov i s i o n i nt h i ss y s t e m ，t w oc a m e r a sa r eu s e da s t h ec o l l e c t i n gd e v i c e so ft h ei m a g ed a t at om e a s u r et h eo b j e c t t h ep l a t f o r mo f t r a d i t i o n a l s t e r e ov i s i o ng e n e r a l l yc o n s i s to fc o m p u t e r sb o a r d c a r d n e v e r t h e l e s s ，s u c hm e t h o d si sn o t q u i t ef l e x i b l e ，a n dt h ep r i c ei sv e r yh i g h t h e r e f o r e ，t h es y s t e m ，i nt h ep a p e r , w i l lc o n s i s t o f f p g aa n da r m ，a n dc h o o s et c p f l pa sm a i nc o m m u n i c a t i o nm e t h o dw i t hp c t h e n ， w h i c hc o u l ds a t i s f yt h ed e m a n do fm u l t i c a m e r a sc o w o r k i n ga n dt h ed a t at r a n s m i s s i o no f l o n gd i s t a n t i n t h es y s t e m ，i m a g ec o m p r e s sa n dp r e - p r o c e s s i n gc h i p i sap i e c eo ff p g a ( x c 3s 5 0 0 e ) o fs p a r t a n 3 es e r i e sp r o v i d e db yx i l i n xc o m p a n y , w h i c hh a s5 0 0 0 ，0 0 0 s v s t e mg a t e s s t r 912b a s e do na r m 9 c o r ei sm a i nc o n t r o lc h i pi nt h ed e v i c e ，w h i c hw i l l p e r f o r ms o m es i m p l em i s s i o n so fc o n t r o la n dd a t at r a n s m i s s i o nt h r o u g ht c p i pp r o t o c 0 1 f p g ad i r e c t l yc o n t r o lt h ei m a g es e n s o r , a n dd a t ag a i n e df r o mt h ei m a g es e n s o ri ss t o r e di n s r a m t h e n a r m 9w i l lr e a dd a t af r o ms r a m ，a n dt r a n s m i tt op c f i n a l l y , p cw i l l r e a l i z et h ea l g o r i t h mo fi m a g ep r o c e s s i n g 1 1 1t l l ee n d i n go fp a p e r , i no r d e rt ov a l i d a t et h et h e o r yo f3 dr e c o n s t r u c t i o n ，w e e 站a b l i s h e dad e v i c eo f b i n o c u l a rs t e r e ov i s i o n ，a n dm e a s u r e dt h e3 d d a t ao f t h eo b j e c t k e yw o r d ：m a c h i n ev i s i o n , b i n o c u l a r s t e r e ov i s i o n , f p g a ，a r m ，3 dr e c o n s t r u c t i o n , n e t w o r kc a m e r a u 声明尸明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名： 乒口d 8 年6 月明 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 硕士论文 基于立体视觉的二维图像采集开发平台研究与实现 1 绪论 1 1 课题背景及意义 视觉是人类观察世界和认知世界的重要手段。据统计，人类从外部世界获得信息 约有8 0 是由视觉获取的。这既说明视觉信息量具大，也表明人类对视觉信息有较高 的利用率，同时也体现了人类视觉功能的重要性。随着信息技术的发展，给计算机、 机器人或其它智能机器赋予人类视觉功能，是人类多年以来的梦想。虽然目前还不能 够使计算机、机器人或其它智能机器也具有像人类等生物那样高效、灵活和通用的视 觉，但自2 0 世纪5 0 年代以来视觉理论和技术得到了迅速发展，这使得人类的梦想正 在逐步实现。 当前，机器视觉的应用已经超越了其传统的检验领域，向着更深层、更为多样化 的领域扩展。其应用最多的领域依次为：检验，条形码阅读，运动控制，校准和机器 人装置，主要服务于制造业。它与传统传感器技术相比有着明显的优势，主要体现在： ( 1 ) 二维图像包含全部所有的与被测对象相关的“面信息 。因此，在一次处理过 程中可以同时处理大量的检测任务。这些检测任务可以包括物理尺寸，比如长短、位 置、转角；也可以包括视觉信息，包括颜色、对比度和反射强度。 ( 2 ) 彻底的数字化。与传统技术所采用的手动调整所引起的人工误差方式不同， 数字化可以实现近乎完美的精度。由于机器视觉拥有这些优点，使得其在制造业自动 化当中得到了广泛的应用。 1 2 国内外的研究现状1 1 2 1 机器视觉的发展状况 机器视觉是用计算机实现人的视觉功能对客观世界的三维场景的感知、识别 和理解。机器视觉是在2 0 世纪5 0 年代从统计模式识别开始的，当时的工作主要集中 在二维图像分析、识别和理解上，如光学字符识别、工件表面、显微图片和航空照片 的分析和解释等。2 0 世纪6 0 年代，r o b e r t s 将环境限制在所谓的“积木世界”，即周 围的物体都是多面体组成的，需要识别的物体可以用简单的点、直线、棱柱体等多面 体的三维结构，并对物体形状及物体的空间关系进行描述。r o b e r t s 的研究工作开创 了以理解三维场景为目的的三维机器视觉的研究。到7 0 年代，已经出现了一些视觉 应用系统。 1 9 7 3 年，英国的m a r r 教授应邀在麻省理工学院( m ) 的人工智能实验室创建并 领导一个以博士生为主体的研究小组，从事视觉理论方面的研究。1 9 7 7 年，m a r r 提 出了不同于“积木世界 分析方法的机器视觉理论m a r r 视觉理论，该理论在2 0 1 绪论 硕士论文 世纪8 0 年代成为机器视觉研究领域中的一个十分重要的理论框架。到了8 0 年代中期， 机器视觉获得了迅速发展，主动视觉理论框架、基于感知特征群的物体识别理论框架 等新概念、新方法、新理论不断涌现。而到9 0 年代，机器视觉在工业环境得到广泛 的应用，同时基于多视图几何的视觉理论得到迅速发展。 1 2 2 机器视觉系统的构成 机器视觉系统一般以计算机为中心，主要由视觉传感器、高速图像采集系统及专 用图像处理系统等模块构成。视觉传感器是整个机器视觉系统信息的直接来源，主要 由一个或者两个图像传感器组成，有时还要配以光投射器及其他辅助设备，它的主要 功能是获取足够的机器视觉系统要处理的原始图像；高速图像采集系统是由专用视频 解码器、图像缓冲器和控制接口电路组成的，它的主要功能是实时地将视觉传感器获 取的模拟视频信号转换为数字图像信号，并将图像直接传送给计算机进行显示和处 理，或者将数字图像传送给专用图像处理系统进行视觉信号的实时前端处理；专用图 像处理系统是计算机的辅助处理器，主要采用专用集成芯片( a s i c ) 、数字信号处理 器( d s p ) 或者f p g a 等设计的全硬件处理器。 计算机是整个机器视觉系统的核心，它除了控制整个系统的各个模块的正常运行 外，还承担着视觉系统的最后结果运算和输出。由图像采集系统输出的数字图像可以 直接传送到计算机，由计算机采用纯软件方式完成所有的图像处理和其他运算。如果 纯软件处理能够满足视觉系统的要求，专用硬件处理系统就不出现在机器视觉系统 中。这样，一个实用机器视觉系统的结构、性能、处理时间和价格等都可以根据具体 应用而定，因此比较灵活。 1 2 3 机器视觉面临的问题 对于人的视觉来说，由于人的大脑和神经的高度发展其目标识别能力很强。但是 人的视觉也同样存在障碍，例如，即使具有一双敏锐视觉和极为高度发达头脑的人一 旦置于某种特殊环境中( 即使曾经具有一定的先验知识) ，其目标识别能力也会急剧 下降。事实上人们在这种环境下面对简单物体时，仍然可以有效而简单的识别；而在 这种情况下面对复杂目标或特殊背景时，则在视觉功能上发生障碍。两者共同的结果 是导致目标识别的有效性和可靠性的大幅度下降。将人的视觉引入机器视觉中，机器 视觉也存在着这样的障碍。它主要表现在三个方面：一是如何准确、高速( 实时) 地 识别出目标；二是如何有效地增大存储容量，以便容纳下足够细节的目标图像；三是 如何有效地构造和组织出可靠的识别算法，并且顺利地实现。前两者相当于人的大脑 这样的物质基础，这期待着高速的阵列处理单元，以及算法( 如神经网络、分维算法、 小波变换等算法) 的新突破，用极少的计算量以及高度地并行性实现功能。 另外，由于当前对人类视觉系统和机理、人脑心理和生理的研究还不够，目前人 2 硕士论文基于立体视觉的二维图像采集开发平台研究与实现 们所建立的各种视觉系统绝大数是只适用于某一特定环境或应用场合的专用系统，而 要建立一个可与人类的视觉系统相比拟的通用视觉系统是非常困难的。 1 3 本文的研究内容和技术关键 本课题主要任务是完成网络摄像机的设计，为立体视觉系统搭建硬件平台，完成 图像的采集，并能够对三维重建原理进行实验验证，为日后对立体视觉的算法研究打 下基础。 整个方案的难点在于高质量的图像获取技术和较好的实时性，使网络摄像机平台 既具有实时处理能力，又具有高速网络传输能力。 1 4 设计方案简介 对于二维图像数据的采集，国内外采用“f p g a + d s p ( 或删) 的网络传输方 案目前比较成熟，此方案具有成本低和系统灵活的特点，通过网络互联实现多摄像机 的协同工作。在高速采集模式下，可以由f p g a 对图像数据进行压缩、编码等预处理， 然后将图像数据通过网络接口传输给计算机，由计算机完成对图像的处理和海量存 储；在图像数据的实时处理模式下，由f p g a 直接完成图像处理相应算法，d s p ( 或 删) 作为协处理器实现部分辅助处理算法及处理结果的网络传输。 文本将使用“f p g a + a r m 9 方案，二维图像传感器数据接口连接到f p g a 的f o 口，由f p g a 完成图像数据的接收、处理和帧存，帧存单元由2 片2 5 6 k x l 6 位的s r a m 组成。a r m 9 选用意法半导体的s t r 9 1 2 芯片，该芯片的a r m 9 6 6 e s 核包含了d s p 指令集，使其兼顾了d s p 运算能力和m c u 的控制特性，同时还具有1 0 i o o m 网络 传输能力，可以将数据通过网络接口远程高速地传输给计算机。基于f p g a 可重构的 特性，a r m 9 还兼顾对f p g a 实时配置的功能，由计算机发出指令及配置数据，在线 改变f p g a 的处理方案，例如高速实时传输和实时处理模式的切换。 图1 4 1 为系统硬件结构的框图，光电转化单元采用二维c m o s 图像传感器，负 责外界图像信息的接收和数字图像的转化，由f p g a 控制时序将数字图像存贮至 s r a m 中，两片s r a m 完成了数据存取的乒乓操作，a r m 9 将存入s r a m 中的数字 图像通过t c p i p 网络协议传输给计算机，再由计算机做最后的算法处理。a r m 9 对 f p g a 进行配置，配置数据来源有两种途径：一种为计算机通过网络接口实时上传配 置数据；另一种配置数据来源为s p i 串行f l a s h ( m 2 5 p 1 6 ) 预存储的数据。 l 绪论硕士论文 4 图1 4 1 系统硬件结构的框图 硕士论文基于立体视觉的二维图像采集开发平台研究与实现 2 基于f p g a 核心模块的设计 2 1f p g a 原理及x c 3 s 5 0 0 e 选型 2 1 1f p g a 原理及结构口1 f p g a ( 现场可编程门阵列) 与c p l d ( 复杂可编程逻辑器件) 都是可编程逻辑器件， 它们是在鼢山、g a l 等逻辑器件的基础之上发展起来的。同以往的p a l 、g a l 等相 比较，f p g a c p l d 的规模比较大，它可以替代几十甚至几千块通用i c 芯片。这样 的f p g a c p l d 实际上就是一个子系统部件。这种芯片受到世界范围内电子工程设计 人员的广泛关注和普遍欢迎。经过几十年的发展，许多公司都开发出了多种可编程逻 辑器件。 尽管f p g a 、c p l d 和其他类型p l d 的结构各有其特点和长处，但概括起来，它 们是由三大部分组成的： ( 1 ) 一个二维的逻辑块阵列，构成了p l d 器件的逻辑组成核心。 ( 2 ) 输入输出块。 ( 3 ) 连接逻辑块的互连资源。连线资源：由各种长度的连线线段组成，其中也 有一些可编程的连接开关，它们用于逻辑块之间、逻辑块与输入输出块之间的连接。 对用户而言，c p l d 与f p g a 的内部结构稍有不同，但用法一样，所以多数情况 下，不加以区分。 f p g a c p l d 芯片都是特殊的a s i c 芯片，它们除了具有a s i c 的特点之外，还具 有以下几个优点： ( 1 ) 随着v l s i ( v e r yl a r g es c a l ei c ，超大规模集成电路) 工艺的不断提高，单 一芯片内部可以容纳上百万个晶体管，f p g a c p l d 芯片的规模也越来越大，其单片 逻辑门数已达到上百万门，它所能实现的功能也越来越强，同时也可以实现系统集成。 ( 2 ) f p g a c p l d 芯片在出厂之前都做过1 0 0 的测试，不需要设计人员承担投 资风险和费用，设计人员只需在自己的实验室里就可以通过相关的软硬件环境来完成 芯片的最终功能设计。所以，f p g a c p l d 的资金投入小，节省了许多潜在的花费。 ( 3 ) 用户可以反复地编程、擦除、使用，或者在外围电路不动的情况下用不同 软件就可以实现不同的功能。所以，用f p g a c p l d 试制样片，能以最快的速度占领 市场。f p g a c p l d 软件包中有各种输入工具、仿真工具、版图设计工具和编程器等 全线产品，电路设计人员在很短的时间内就可完成电路的输入、编译、优化、仿真， 直至最后芯片的制作。当电路有少量改动时，更能显示出f p g a c p l d 的优势。电路 设计人员使用f p g a c p l d 进行电路设计时，不需要具备专门的i c ( 集成电路) 深 层次的知识，f p g a c p l d 软件易学易用，可以使设计人员更能集中精力进行电路设 2 基于f p g a 核心模块设计硕士论文 计，快速将产品推向市场。 2 1 2x i l i n xs p a r t a n 3 e 系列f p g a 介绍及x c 3 s 5 0 0 e 选型口1 s p a r t a n - 3 e 系列f p g a 芯片主要包括5 个基本单元：可配置逻辑单元( c l b ) 、输 入输出单元( i o b ) 、块状r a m ( b l o c kr a m ) 、1 8 b k 乘法器( m u l t i p l i e r ) 、数字时 钟管理模块( d c m ) 。可编程逻辑单元在器件中排列为阵列，周围环绕着可编程内部 连接单元，可编程输入输出单元则分布在四周的引脚上。由于f p g a 的3 个组成部 分都是可以进行编程操作的，因此改变f p g a 的功能除了改变各c l b 之间的连接外， 也可以通过改变各个c l b 所实现的逻辑功能来实现。块状r a m 单元分成组，不同 型号的芯片块状r a m 的个数不同，每组块状r a m 旁边关联一个18 b f f 的专用硬件乘 法器，组块状r a m 的顶部有一个时钟管理模块( d c m ) 。 ( 1 ) 可配置逻辑单元( c l b )可配置逻辑单元基于查找表结构，通常它是由静 态存储器( s r a m ) 来构成，而查找表又可以进一步构成相应的函数发生器。经过相 应的计算，可以得出m 个输入项的逻辑函数可以由一个2 m 位容量的s r a m 实现。 在相应的查找表结构中，函数值存放在s r a m 中，s r a m 的地址线起输入线的作用， 地址即输入变量值；s r a m 的输出为逻辑函数值，由连线开关实现与其他功能的连接。 ( 2 ) 输入输出单元( i o b ) 输入输出单元( i o b ) 提供封装引脚与内部逻辑 之间的连接接口，每个输入输出单元都支持数据双向传输，能够兼容2 4 种不同的信 号标准，包括1 8 种单端信号标准、6 种差分标准，支持数据的双倍速度传输标准 ( d d r ) 。 ( 3 ) 块状r a m ( b l o c kr a m )块状r a m 的功能是用来实现器件内部的数据 随机存取。s p a r t a n - 3 e 系列f p g a 的块状r a m 单块容量为18 k b i t ，每块r a m 都可 以配置成双口模式，同时完成r a m 的读和写操作。但要注意的是，虽然在同一个时 钟沿可以通过双口读、写块r a m ，但是这个读、写操作不能针对块状r a m 的同一 地址。 本设计使用的x c 3 s 5 0 0 e 为s p a r t a n3 e 系列的5 0 万门的f p g a ，拥有7 3 k b 的分 布式r a m 、3 6 0 k b 的块r a m 、4 个d c m 时钟模块以及2 3 2 个用户可用i o 口，其 最大工作频率为3 0 0 m h z 。 2 2 图像数据采集单元设计 2 2 1 图像传感器介绍嘲 目前被广泛运用的图像传感器主要有c m o s 和c c d 两种光敏介质，各有其特点 和应用领域。 ( 1 ) c c d ：电荷藕合器件( c h a r g ec o u p l e dd e v i c e ) ，它使用一种高感光度的半 6 硕士论文 基于立体视觉的二维图像采集开发平台研究与实现 导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成数字信号。c c d 由许多感光单位组成，通常以百万像素为单位。当c c d 表面受到光线照射时，每个 感光单位会将电荷反映在组件上，所有的感光单位所产生的信号加在一起，就构成了 一幅完整的画面。 c c d 的优势在于成像质量好，但是由于制造工艺复杂，只有少数的厂商能够掌握， 所以导致制造成本居高不下，特别是大型c c d ，价格非常高昂。在相同分辨率下， c m o s 价格比c c d 便宜，但是c m o s 器件产生的图像质量相比c c d 来说要低一些。 ( 2 ) c m o s ：互补型金属氧化物半导体( c o m p l e m e n t a r ym e t a l o x i d e s e m i c o n d u c t o r ) 和c c d 一样同为可记录光线变化的半导体。c m o s 的制造技术和一 般计算机芯片没什么差别，主要是利用硅和锗这两种元素所做成的半导体，使其在 c m o s 上共存着n 和p 级的半导体，这两个互补效应所产生的电流即可被处理芯片 纪录和解读成影像。然而，c m o s 的缺点就是太容易出现杂点，这主要是因为早期的 设计使c m o s 在处理快速变化的影像时，由于电流变化过于频繁而会产生过热的现 象。 c m o s 影像传感器的优点之一是电源消耗量比c c d 低，c c d 为提供优异的影像 品质，付出代价即是较高的电源消耗量，为使电荷传输顺畅，噪声降低，需由高压差 改善传输效果。但c m o s 影像传感器将每一像素的电荷转换成电压，读取前便将其 放大，利用3 3 v 的电源即可驱动，电源消耗量比c c d 低。c m o s 影像传感器的另 一优点，是与周边电路的整合性高，可将a d c 与讯号处理器整合在一起，使体积大 幅缩小。 2 2 20 v 7 11 0 简介】 o v 7 11 0 是o m n i v i s i o n 公司生产的3 0 万像素单色c m o s 面阵图像传感器，在v g a 工作模式下每秒3 0 帧的速度，芯片内部集成了自动曝光、自动白平衡等自动控制功 能。内部具有8 位a d 转化能力，其转化过程完全自动，不需要外部进行任何干预， 外部处理器可以直接接收8 位数字图像进行处理。同时还可以通过1 2 c 通信接口进行 功能的配置，包括传感器工作模式的选择、采集模式的选择、曝光控制等。 2 2 31 2 c 通信模块设计脚 i 2 c 总线是p h i l i p s 公司推出的一种串行总线，它是具备多主机系统所需的包括总 线裁决和高低速设备同步等功能的高性能串行总线。在采用1 2 c 总线的系统中，不仅 要求所用单片机内部集成有1 2 c 总线接口，而且要求所用外围芯片内部也要有1 2 c 总 线接口。现在，许多公司的产品已经具有1 2 c 总线接口，例如，新一代的8 0 c 5 1 单片 机，a v r 的8 位单片机以及3 2 位的a r m 单片机系列。所以，1 2 c 总线是一种很有发 展前途的总线。 7 2 基于f p g a 核心模块设计硕士论文 1 2 c 串行总线只有两根信号线：一根是串行数据线s d a ，另一根是串行时钟线 s c l 。总线上允许连接的设备数主要取决于总线上的电容量，一般设定为4 0 0 p f 以下。 s d a 和s c l 都是双向总线，它们都通过上拉电阻连接到电源上。当总线处于停止 ( i d l e ) 状态时，两根都是高电平，而连接到总线上的输出必须是漏极开路( o p e n d r a i n ) 或集电极开路( o p e nc o l l e c t o r ) 输出，这样才能做到线与( w i r ea n d ) 功能。 对于1 2 c 总线来说，总线上连接的设备，例如微控制器、l c d 驱动器、存储器或 键盘接口等都有一个唯一的地址识别，而且都可以作为一个发送器或接收器。至于是 作为发送器还是接收器，主要取决于连接设备的具体功能。例如l c d 驱动器只是一 个接收器，而存储器则既可以接收又可以发送数据。除了发送器和接收器外，设备在 执行数据传输时也可以被看作是主机或从机。主机是初始化总线的数据传输，并产生 允许传输的时钟信号的设备，这时任何被寻址的器件都被认为是从机，非常适合在器 件之间进行近距离、非经常性的数据通信。由于1 2 c 总线使用两线的硬件接口简单， 1 2 c 总线的应用越来越广泛。 一般来说，实现1 2 c 总线通信协议采用以下两种方法： ( 1 ) 利用m c u 对两根i o 口线进行软件编程，模拟1 2 c 总线的s c l 和s d a 时 序要求； ( 2 ) 采用专用1 2 c 总线控制核，但受其主机( h o s t ) 接口方式和时钟频率的限制， 因此在有些场合应用并不方便。 1 2 c 总线上的主从关系( 即发送和接收) 不是一成不变的，而是取决于此时数据 传送的方向。s d a 和s c l 均为双向i o 线，它们通过上拉电阻接正电源。当总线空 闲时，两根线都是高电平。连接总线的器件的输出级必须是集电极或漏极开路，以便 具有“线与”功能。1 2 c 总线的数据传送速率在标准工作方式下为1 0 0 k b i t s ；而在快 速方式下，最高的传送速率可达4 0 0 k b i 讹。 1 2 c 总线的读操作和写操作的具体过程如图2 2 3 1 所示。 ) 弼操作过程 l ( s r ) | s i a v ea d o r e s s 疆) la c k - sl 瓢t a 镰b h e s ) l a c k 皤 l 。：i b ) 缓撩作过程 s z 开始，s r ；燕开始。p l 停出。- s 扶故备。甄耄设旃謦；写位r ：该挽 图2 2 3 1i 2 c 总线的读操作和写操作 1 2 c 总线的命令转移图如图2 2 3 2 ，设备在每接收到一个字节时都要返回一个响 应信号，数据的传输也是先传送地址再传送数据。 8 硕士论文 基于立体视觉的二维图像采集开发平台研究与实现 图2 2 3 21 2 c 总线命令转移图 根据1 2 c 通信格式及状态图，可以得出以下关键源码，使得f p g a 具备了1 2 c 通信能力。 p r o c e s s ( s c l ，r e s e t , d e t e c t _ s t o p ) b e g i n i f r e s e t = r e s e ta c t r 、吧o rd e t e c ts t o p = l t h e n s t a t e - - - - - i d l e ； s i n _ s t o p - o ： e l s i fs o l e v e n ta n ds c l = 0 t h e n c a s es t a t ei s w h e n i d l e = i f d e t e c ts t a r t = 1 t h e n s t a t e - - - - h e a d e e n d i f ； w h e n h e a d e r 冷 i f b i tc n t = c n td o n et h e n s t a t e _ a c k _ h e a d e r ； e n d i f ； w h e na c kh e a d e r = i f a r bl o s t = 。1 t h e n s t a t e - i d l e ： e l s i f s d ai n = 0 t h e n i f m a s t e rs l a v e = l 也e n i f m 钦= 0t h e n s t a t e ，- r c vd 虹a ： e l s e 9 1 0 s t a t e = x m i td a t a ； e n d i e l s e 强a d d rm a t c h = 1 廿1 e n 讧i 2 c = _ h e a d e r ( 0 ) 0 t h e n s t a t e r c vd a t a ； e l s e s t a t e - x 加td a t a ； e n d i e l s e s t a t e = i d l e ； e n d i f ： e n d i f e l s e s t a t e = m l e ； i fm a s t e rs l a v e = 1 t h e n s m s t o p i f ( d e t e c t _ s t a r t = 1 ) t h e n s t a t e = h e a d e r ； e l s i fb i t _ e n t = q 盯d o n et h e n s t a t e = a c kd a t a ； e n d i f ； w h e n 舢td 觚a 冷 i f ( d e t e c ts t a r t = 1 t h e n s t a t e - h e a d e r ； e l s i fb i tc n t = c n td o n et h e n s t a t e s t a t e = r c vd a t a ； w h e n a i ta c k = i f a r bl o s t = 1 t h e n s t a t e 一i d l e ： ；e l s i f ( s d a ；0 3t h e n s t a t e _ = x m i td a i a ； e l s e i fm a s t e rs l a v e2 。1 t h e n s i n _ s t o p - 1 ； e n d i f s t a t e - 玎) l e ： e n d i f ； 硕士论文基于立体视觉的二维图像采集开发平台研究与实现 e n dc a s e ； e n d i f ； e n dp r o c e s s ； 2 2 4f p g a 图像传感器接口设计伽 o v 7 1 1 0 连接电路图见图2 2 4 1 ，其中x c l k l 为输入2 7 m 驱动时钟信号，p c l k 为像素同步输出时钟，h r e f 为水平参考输出，y 为像素8 位灰度值，h s y n c 为水平输出同步信号，v s y n c 为垂直同步输出，f o d d 为奇数帧标志位，h r e f 为 水平参考输出，1 2 c b 为芯片1 2 c 配置功能使能管脚，s c l 和s d a 分别为1 2 c 通信接 口的时钟总线和数据总线。 图2 2 4 1o v 7 11 0 连接图 图2 2 4 2 为图像传感器工作在奇偶场隔行模式的时序图，当f o d d 为高电平l 时，传输奇数行的一帧图像数据；当f o d d 为低电平时，传输偶数行一帧的图像数 据。h r e f 高电平1 时指示了图像数据开始采集，p c l k 每出现一个上降沿时，一 个8 位图像数据被接收。h r e f 高电平期间总共产生6 4 0 个8 位图像数据。 2 基于f p g a 核心模块设计硕士论文 ：u 慷t f w ：口 h 撇 厂、厂- 、j_ 、厂、厂、厂_ 、厂_ 、厂_ 、厂、，_ _ 、f 、- ，1 冒_ o 、o o e f 、o o z r 广 广一 鳓h o r i z o n t a l i 捌i i n g n 孵 几网网几冈同几网冈网冈r ； 惭v e r t i c a l t i w o 图2 2 4 2o v 7 1 1 0 时序图 以下为图像数据接收进程的v 玎) l 源码，p c l k 上升沿启动进程，m 通f 为高电 平期间接收一个8 位图像数据y ，同时行计数信号量c o l 自加1 ，当c o l 计数满6 4 0 时，列计数信号量r o w 自加l ，r o w = 4 8 0 且c o l = 6 4 0 时为一帧图像数据接收完毕。 p r o c e s s ( p c l k ) b e g i n i f ( p c l k t e v e n ta n dp c l k = o s t h e n i f ( h r e f = i a n dc o l 6 4 0 ) t h e n d a i a 8 = y c o l = c o l + 1 ； e l s e i f ( r o w = 4 8 0 ) t h e n r o w = i ； e l s e r o w = r o w + i ； e n d 礤： d a i l a 8 音y c o l = 1 ； e n d i f ： e n di f ： e n dp r o c e s s ； 2 3 数据存储模块设计 2 3 1s r a m 存储器原理啪 1 2 硕士论文基于立体视觉的二维图像采集开发平台研究与实现 随机存储器r a m ( r a n d o ma c c e s sm e m o r y ) 指通过指令可以随机地、个别地对 各个存储单元进行访问，一般来讲，访问所需时间基本固定，而与存储单元地址无关。 通常意义上的随机存储器多指读写存储器，在一切计算机系统中，不论是大、中、小 型及微型计算机的主存储器主要采用随机存储器，用户编写的程序和数据等均存放在 r a m 中。 按照存放信息的方式不同，随机存储器又可分为静态和动态两种。静态r a m ( s 删) 是以双稳态元件作为基本的存储单元来保存信息，因此，其保存的信息在 不断电的情况下，是不会被破坏的。而动态r a m ( d 洲) 是靠电容来存放信息的， 由于电容的充放电功能，使得这种存贮器中存放的信息会随时间的流逝而丢失，因此 必须定时进行刷新。 s r a m 读取过程： ( 1 ) 通过地址总线把要读取的数据的地址传送到相应的读取地址引脚( 这个时 候w e 引脚没有激活，所以s r a m 知道不是写入操作) ； ( 2 ) 激活c s 选择该s 洲芯片； ( 3 ) 激活o e 引脚让s r a m 知道是读取操作。 s 洲写入操作： ( 1 ) 通过地址总线确定要写入信息的位置( o e 引脚不被激活) ； ( 2 ) 通过数据总线将要写入的数据传输到数据引脚； ( 3 ) 激活c s 引脚选择s r a m 芯片； ( 4 ) 激活w e 引脚通知s r a m 进行写入操作。 2 3 2c y 7 c 1 0 4 1 简介及连接方法徊】 c y 7 c 1 0 4 1 是由c y p r e s s 公司生产的2 5 6 k x l 6 b i ts r a m ，读写数据的一个周期 为1 5 n s 。所要存储的图象数据为6 4 0 x 4 8 0 的8 b i t 灰度图象，单帧需要3 0 7 2 x 8 k b i t 的容量。由于图像传感器工作在隔行输出模式下，可以将图像的奇数行帧存于s r a m 的低8 位，偶数行帧存于s r a m 的高8 位。同时让a r m 外部存储扩展接口( e ) 工作在1 6 b i