（信号与信息处理专业论文）基于fpga的双目立体视觉sopc设计.pdf

摘要 双目立体视觉系统由于其计算复杂性以及庞大的数据量使得基于计算机的处 理方式很难满足实时性需求，本文主要研究如何利用f p g a 实现双目立体视觉系 统的实时性处理。 论文首先分析了双目立体视觉系统的基本原理和关键技术，根据系统特征以 及实时性处理需求设计了基于f p g a 的软硬件联合处理的双目立体视觉系统整 体实现方案。接着根据系统方案具体实现了影像获取、图像校正、立体匹配以及 数据传输等关键模块，最终利用a l t e r as o p cb u i l d e r 开发环境完成系统各功能的 集成。本系统采用c a m e r a - l i n k 接口协议，支持g p i o u s b u a r t s d r a m ，影像 分辨率为6 4 0 x 4 8 0 ，最大视差范围为1 2 8 个像素，可选8 8 或1 6 x 1 6 两种匹配窗； 并能够根据系统配置选择输出原始影像、视差图、匹配代价或矫正影像。 本系统较低的资源占用率以及流水线设计使得无需复杂的时序约束便能够获 得较高的处理速率；丰富的接口以及可配置输出使得系统能够支持不同的应用； 模块化、参数化设计思想使得本系统易于扩展以支持更大的分辨率以及匹配范围。 关键词：双目立体视觉图像校正立体匹配s o p c a b s 仃a c t c o m p u t a t i o n a lc o m p l e x i t y a n dt h e l a r g e r a m o u n to fd a t aa c c e s sm a k e c o m p u t e r - b a s e da p p r o a c hd i f f i c u l tt om e e tt h er e a l - t i m er e q u i r e m e n t so ft h ea p p l i c a t i o n b a s e do nb i n o c u l a rs t e r e ov i s i o n n l i sp a p e rm a i n l ys t u d i e sh o wt ou s ef p g at od e s i g n ar e a l t i m ep r o c e s s i n gs y s t e mf o rb i n o c u l a rs t e r e ov i s i o n f i r s t l y , t h ep a p e ra n a l y z e st h eb a s i cp r i n c i p l e sa n dk e yt e c h n o l o g i e so fb i n o c u l a r s t e r e ov i s i o n a c c o r d i n gt ot h es y s t e mc h a r a c t e r i s t i c sa n dr e q u i r e m e n t sf o rr e a l - t i m e p r o c e s s i n g ，af p o a - b a s e dh a r d w a r e s o r w a r ec o p r o c e s s i n gs o l u t i o ni sg i v e n t h e n s u b s y s t e m sr e q u i r e db yt h es o l u t i o na r ei m p l e m e n t e d ，i n c l u d i n gi m a g ea c q u i s i t i o n , i m a g er e c t i f i c a t i o n , m a t c h i n ga n dt r a n s m i s s i o no fd a t aa n do t h e rk e ym o d u l e s f i n a l l y a l ls u b s y s t e m sa r ei n t e g r a t e di n t oas i g n a lt o pm o d u l eu s i n ga l t e r as o p cb u i l d e re d a t 0 0 1 n es y s t e mc a na c h i e v ed e n s ed e p t hm a p p i n gw i t h6 4 0 x4 8 0p i x e l sw i t h i n 1 2 8 - p i x e l d i s p a r i t ys e a r c hr a n g e u s i n g t h e w i n d o ws i z e o f8 x 8o r1 6 x 1 6 r n l el o w e rr e s o u r c eu t i l i z a t i o na n dp i p e l i n ed e s i g ne l i m i n a t e st h en e e do f c o m p l e x t i m ec o n s t r a i n t s ，w h i c hw i l lb eu s e f u lf o ro b t a i n i n gah i g h e rp r o c e s s i n gr a t e ；w i t l l c a m e r a - l i n ki n t e r f a c es p e c i f i c a t i o n sf o ri m a g ea c q u i s i t i o na n du a r t a j s bf o rs y s t e m c o n f i g u r a t i o na n dd i f f e r e n td a t at r a n s m i s s i o ni n c l u d i n go r i g i n a li m a g e s ，r e c t i f i e d i m a g e s ，c o s tv a l u ea n dd i s p a r i t ym a p ，t h es y s t e mc a ns u p p o r td i f f e r e n ta p p l i c a t i o n ； m o d u l a ra n dp a r a m e t r i cd e s i g nm a k et h es y s t e me a s yt ob ee x t e n d e df o rh i g h e r r e s o l u t i o na n dg r e a t e rm a t c h i n gr a n g e k e y w o r d ：b i n o c u l a rs t e r e ov i s i o ni m a g er e c t i f i c a t i o ns t e r e om a t c h i n g s o p c 第一章绪论 第一章绪论 1 1 研究背景与目的 双目立体视觉在虚拟现实、三维测量、立体摄像机、目标识别和机器人导航 等领域得到广泛的应用。双目立体视觉的基本任务是从两幅或多幅图像中恢复三 维深度信息，包括摄像机的标定、图像的获取与预处理、图像矫正、立体匹配以 及三维重构等步骤；核心问题是如何获得对应像素的位置信息；难点是如何提高 匹配算法的精度及其鲁棒性以获得稠密的视差图【l 】。 目前关于立体视觉匹配算法的研究已经很多，依据匹配的方式可以分为区域 匹配、特征匹配和相位匹配，其中基于区域的匹配算法由于可直接获得致密的视 差图，因而更广泛地应用于快速或实时的立体视觉系统中【2 】。 区域匹配算法的实质是利用局部窗口之间灰度信息的相关程度，性能在很大 程度上依赖匹配窗口以及相似性衡量准则。目前常用的衡量准则有匹配窗内像素 的灰度差绝对值求和、灰度差平方求和以及归一化差值求和等；通常这些算法 复杂度都很高，需要处理大量的数据，采用基于通用计算机的串行处理方式很难 满足实时性要求，因而需要开发专用的硬件并行处理系统。 实际应用中可以采用专用集成电路a s i c ( a p p l i c a t i o ns p e c i f i ci n t e g r a t e d c i r c u i t ) 结合计算机或数字信号处理器( d s p ) 来实现双目立体视觉处理算法， 但目前双目立体视觉模型还不能充分的反应立体视觉不确定性的本质属性，缺乏 更优的匹配策略、算法结构以及相关标准，另外a s i c 相对固定且需要较长的开 发周期，因而无法随着最新的技术发展及时的对系统进行调整和更新。另外过多 分离器件必然增加电路板的尺寸和功率消耗，降低系统的吞吐率。而随着f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) 集成度和e d a 技术的不断提升，可编程片上系 统s o p c ( s y s t e mo np r o g r a m m a b l ec h i p ) 等新的设计流程引入，f p g a 高度可配 置性逻辑单元、d s p 、r a m 、高速收发器以及支持不同标准的i o 资源的增加， 功耗的降低，使得复杂的硬件加速或并行算法，以及差异化的系统设计能够在单 块f p g a 内部实现。本文将重点研究如何利用f p g a 实现双目立体视觉系统。 1 2 国内外研究现状 双目立体视觉系统的研究主要集中在提高匹配算法的精度、鲁棒性以及算法 的实时性。文献 3 1 提出了基于自适应加权窗的相似度汇聚算法：a w ( a d a p t i v e 2 基于f p g a 的双目立体视觉s o p c 设计 w e i g h t ) ，该算法基于像素颜色相似性以及几何位置邻近等特征调整加权系数来降 低图像模糊造成的匹配误差，性能上优于传统的基于局部约束的匹配算法但计算 复杂度较高。为了降低a w 算法运算量，s t e f a n om a t t o e e i a 等在文献 4 1 中提出 联合双边滤波以及增量计算方案来获得精确视差图的f b s ( f a s tb i l a t e r a ls t e r e o ) 算法，同自适应加权算法相比，该算法不仅可以提高视差精度而且计算效率更高。 随后s t e f a n om a t t o c e i a 等又在文章【5 】中分析了f b s 算法的并行化原则，并将 该算法映射到采用统一计算机架构技术的n v i d i ag p u ( g r a p h i cp r o c e s su n i t ) ， 借助图像处理器的多核、多线程并行化处理能力实现了f b s 算法的快速处理，基 本上能够满足系统实时性处理要求。文献 6 1 中s e u n g h u nj i l l 等利用单块f p g a 实现了基于c e n s u st r a n s f o t i n 匹配算法的双目立体视觉系统，该系统能够以2 3 0 帧秒的速率处理分辨率为6 4 0 x 4 8 0 、视差范围在6 4 像素之间的匹配运算，并能 够选择l l x l l 或1 5 x 1 5 两种匹配尺寸。另外随着多核c p u 处理能力的增强，也有 人提出通过简化调整视差值汇聚算法结合多线程编程方式来实现立体视觉实时 性处理川。 在国内，中国科学院自动化研究所研究的三维重建技术，通过匹配关键特征 点、双目重建、图像表面三角化处理和三维信息拼接等步骤，生成物体完整的三 维结构图。国内某公司推出基于双目立体视觉的人数统计系统，该系统通过分析 经过图像中的所有物体的高度、形状、方向，从而精确的判断这个物体是否是人 以及逝出方向，精确的累计进出的人数。 1 3 论文章节安排 本文主要分析了双目立体视觉的基本原理与系统组成，根据图像矫正与匹配 算法的特点及其在系统中的位置，提出采用软硬件结合的系统实现方案，并利用 a l t e r af p g as o p c 系统设计流程及其相关工具完成了双目立体视觉系统的逻辑 设计，经过验证该系统在1 2 0 m 时钟频率下能够以4 8 帧秒的速率处理分辨率为 6 4 0 x 4 8 0 、视差范围在1 2 8 像素之间的匹配任务，并能够根据系统需求在8 8 或 1 6 x 1 6 两种匹配窗口之间自由切换。 论文章节安排如下： 第一章介绍了本文研究背景、国内外研究现状。 第二章介绍了双立体视觉的基本原理及其系统组成，重点分析了图像校正与 匹配搜索相关理论，为系统软硬件划分及其设计提供理论依据。 第三章首先介绍了a l t e r af p g as o p c 系统开发流程及其相关工具，然后根据 第二章双目立体视觉系统的组成结合实时性处理需求，提出系统设计目标，并分 析了该目标下系统的实现难点以及相关解决方案，最后提出了基于f p g a 的s o p c 第一章绪论 3 双目立体视觉s o p c 系统的整体实现方案。 第四章专注于系统各模块的逻辑实现，主要阐述了基于c a m e r a - l i n k 的摄像 系统接口逻辑的设计，图像矫正软硬件划分依据及其硬件逻辑的设计，匹配系统 相似度衡量函数运算逻辑、核线搜索与视差值矫正逻辑的设计以及外设接口逻辑 的设计。 第五章在论文研究内容以及硬件验证平台限制下，提出了能够有效地避免以 上限制同时真实反应实际环境下系统工作状态的系统验证方案，最后基于此方案 完成了系统的功能以及实时性验证。 第六章对论文实际完成的工作进行总结并指出系统需要改进的地方。 第二章双目立体视觉系统5 第二章双目立体视觉系统 双目立体视觉基于视差原理由同步双摄像机从不同角度同时获得被测物的两 幅数字图像，根据空间对象在两幅图像中的投影视差获得物体的空间位置信息。 本章分析了双目立体视觉的原理、系统组成及其关键技术，重点介绍了图像矫正 算法与立体匹配算法。 2 1 双目立体视觉原理 双目立体视觉的基本理论可以归纳为两个方面【8 j ： 1 ) 在两幅图像间建立像素之间的对应关系。 2 ) 根据对应像素的视差结果结合摄像机模型获得空间对象的深度信息。 本节主要分析线性摄像机系统模型下，双目立体视觉系统的基本原理。 2 1 1 摄像机模型 摄像机可以解释为将三维空间对象在二维平面上显示的投影变换，通常用摄 像机系统模型来描述投影变换。摄像机系统模型分为线性模型和非线性模型，其 中线性模型是指对于空间上任意一点在投影平面内的成像位置可以用针孔模型近 似表示【9 】，该模型的特点是能够通过求解线性方程获得系统参数，因而成为计算 机视觉领域的研究重点。 图2 1 为简单的小孔成像模型下摄像机成像几何关系，0 透镜中心，r 投影平 面，光轴与投影平面垂直相交于0 ，投影平面坐标系以0 为坐标原点，x ，) ，轴与 摄像机坐标系的x , y 轴方向一致。m 为空间对象m 在平面r 上的投影，坐标为 【，以】r ；【，虼，乙】r 为m 在摄像机坐标系的坐标，v 肼分别表示投影点m 对 应的像素所在的行和列，k ，k 】r 为图像中心。 由图像坐标与平面坐标的关系以及图2 1 描述的几何关系可以得到： 睦二j ( 一心) 屯：一上毛 ( 2 1 ) ( 屹一心) 毛：一上儿 p 1 ， 乙 其中：乞，屯分别为投影平面上相邻像素之间的水平和垂直距离，厂为焦距。 6基于f p g a 的双目立体视觉s o p c 设计 图2 1 摄像机成像几何关系 由( 2 1 ) 可以得到，齐次坐标下图像坐标【以，1 r 与摄像机坐标【，虼，乙，l r 的关系： k 矧铲 一_ f0o 毛 。 o 一屹。 屯 。 0o 1 0 y 。 乙 1 ( 2 - 2 ) 实际环境中摄像机的位置和摆放角度是任意的，为了描述摄像机与环境的位 置关系，需要确定一个基准坐标系来描述摄像机的相对位置，通常采用世界坐标 系作为基准坐标系。通常摄像机坐标系在世界坐标系中的位置可以用3 x 3 旋转矩 阵r 与平移向量t 来描述【9 】，因而空间对象m 在两个坐标系下的位置关系可用方 程( 2 3 ) 描述。 矗 虼 乙 1 r r 门 2 l ol j x 。 匕 乙 1 其中【鼍，匕，z 厨，1 】r 为世界坐标下的位置。将方程( 2 - 3 ) 代入方程( 2 - 2 ) 得到： 若令； h iv - i 乙= l1j 一 o 屹。 屯 。 o 一匕。 屯 。 o010 x 艺 z _ l ( 2 - 3 ) ( 2 - 4 ) 第二章双目立体视觉系统 7 那么： = 一 o o 屯 。 o 一善匕。 恕 。 o010 n 什叫 y 。 z _ l = p x 。 艺 乙 1 且= 瞄 ( 2 - 5 ) 投影矩阵p = 艘，其中矩阵曰由摄像机的内部参数厂，乞，乞，u o ，屹确定，称为 摄像机的内部参数；而矩阵由摄像机空间位置决定，称为摄像机外部参数。 2 1 2 双目立体视觉基本原理 图2 2 为线性系统模型下双目立体视觉基本原理图，d ，d ，分别为左、右摄像 机的透镜中心，距离d ，硝，为光轴与投影平面的交点，透镜中心到投影平面的 距离，为简化分析，规定【x ，y ，z 】r 为摄像机所在空间坐标系，两部摄像机均采 用基线o p , 为x 坐标，投影平面坐标系x t , y 7 轴与摄像机坐标系的x , y 轴方向一致， 投影平面厶r 位于同一平面上，码，他是空间对象m 矗，虼，乙r 在左右投影平面上 的投影，对应坐标为【艺，吒】r ，【，吒】r 。 图2 2 线性系统模型下的双目立体视觉基本原理图 由三角几何关系有： k ：一上( 卅 且t 吒善 ) k 儿 厂一乙厂一乙 一 一 = = 矗 吃 8 基于f p g a 的双目立体视觉s o p c 设计 定义视差值为对应点在两个平面的位置差，即： 艺一一f 乙d ( 2 - 7 ) 由于投影平面位于同一平面，故吒= y - ，结合以上方程可以求得对象m 在 摄像机坐标系下的坐标： h i 虼i = 【乙j a 2 丽瓦 儿：_ 妥芘( 2 - 8 ) 儿2 丽虼 a， 乙一丽 垡0 ( 艺一矗) 。瓦丽d 0 0 o 。一瓦丽d 厂( 艺一) 。 ( 2 9 ) 因此，只要能够找到空间对象在左右两个摄像机投影平面上的对应点，根据 2 1 1 节图像坐标系、摄像机坐标系、投影平面坐标系以及世界坐标系之间的关系， 便能最终确定空间对象在世界坐标系下的三维坐标。 2 2 双目立体视觉系统的组成 双目立体视觉依据功能主要划分为摄像机的标定、图像的获取与矫正、立体 匹配和三维重构等步骤【l o 】。 2 2 1 摄像机的标定 空间对象在投影平面内的位置与摄像机模型及其参数( 如焦距、空间位置、 光轴方位等) 有关，如方程( 2 5 ) 描述。为了能够精确的重构三维对象，必需确 定摄像机模型的参数，摄像机的标定就是获取摄像机模型的参数信息。 摄像机的标定可以划分为传统的摄像机标定和摄像机自标定两大类l l o j 。 1 ) 传统的摄像机标定 传统的摄像机标定是在给定摄像机模型下，采用特定算法对参照物进行图像 处理来获得摄像机模型的参数信息，按照参照物类型可以将算法划分为基于三维 立体靶标的摄像机标定，基于二维平面靶标的摄像机标定以及基于径向约束的摄 第二章双目立体视觉系统 9 像机标定等；该方法在摄像机固定的情况下，能够简单有效的标定摄像机模型， 然而在场景未知和摄像机任意移动的情况下，其标定很难实现。 2 ) 摄像机自标定 摄像机自标定是指利用摄像机本身参数之间的约束关系来标定，常见的摄像 机自标定方法分为基于主动视觉的摄像机自标定、基于二次曲面的自标定以及分 层逐步标定等。同传统的摄像机标定方法相比较，该方法与场景和摄像机的运动 无关，所以更灵活。 2 2 2 匹配搜索范围与图像矫正 由2 1 2 节双目立体视觉的基本原理可知，为获得空间对象的三维信息，必须 获得左、右投影平面内对应像素的位置关系，最直接的方法就是在二维投影平面 上依据一定的约束准则进行匹配搜索，但该方法每次搜索都需要遍历整个二维空 间，处理庞大的数据量，因而很难满足实时性要求。实际上根据摄像机的基本模 型及其几何关系，可以将二维平面上的搜索限制在平面内某条确定的直线上，从 而减少搜索范围【l 。 1 ) 搜索范围 图2 3 解释了利用核面几何学确定线性摄像机模型下立体视觉系统对应点的 搜索范围。o j ，d ，分别为左、右摄像机的透镜中心，码，豫是空间对象m 在左、右 摄像机投影平面上的投影，e l ，巳为透镜中心o ：r ，d ，在对应投影平面上的投影，乞为 投影码在右投影面上的投影，毛为投影髀在左投影平面上的投影：通常将透镜中 心在投影平面上的投影q ，e 称作核点，而将投影平面内核点e t ，巳与投影向，砖组成 的直线托，向q 称作核线，空间对象m 在左、右投影平面上的两条核线称作一组 核线对。投影平面墨内任意投影码在投影平面足内对应的核线t ，可用方程 ( 2 1 0 ) 用来描述： v ，= 畔+ 6( 2 1 0 ) 其中“，v r 表示投影坐标，坐标系与图2 1 相同，a ，b 依赖于投影碍的位置以 及摄像系统的参数。 显然投影砚位于核线k , r e , 上，进而搜索范围由二维平面简化到一维核线上。 l o基于f p g a 的双目立体视觉s o p c 设计 图2 3 投影平面位于不同平面 另外当左、右摄像机的投影平面共面且摄像机的光轴与基线垂直时，如图2 4 所示，空间任意对象在投影平面内的核线都将与基线平行，若此时投影平面的横 坐标与基线平行，那么对应点的搜索范围将简化为投影平面内或上的搜索。 m 图2 4 投影平面位于同一平面 2 ) 图像矫正 一般情况下，双目立体视觉系统中左、右摄像机的投影平面不在同一平面内， 图像矫正的目的就是将两幅图像投影到一个公共的平面内，使得投影平面内的核 线对共线并且与横坐标平行【i l j ；其实质是利用数学模型模拟投影几何，通过数学 几何运算来完成图像的矫正。 依据采用的模型类型矫正算法可以分为基于线性变换的图像矫正和基于非线 性变换的图像矫正【1 2 1 ，其中基于线性变换的图像校正简单、快速同时保留了图像 的基本特征，因而在嵌入式实时信号处理中得到广泛的应用，本节主要介绍基于 线性变换的图像矫正。 a ) ：线性变换 线性变换实际上是通过对每幅图像分别绕摄像机的光心旋转使光轴平行，从 而让两幅图像位于同一平面内。为了准确的执行线性变换需要已知摄像机模型的 参数( 左右摄像机透镜距离、焦距、透镜中心所在位置、光轴方位等) ，另外为 了将搜索范围限定在图像坐标系中与“轴平行的核线上，需要对摄像机坐标系进 第二章双目立体视觉系统 1 1 行限制，即约定左、右摄像机坐标系均以光轴作为z 轴，x 轴与基线平行、y 轴垂 直于x 和z 轴构成的平面【b 1 。若左、右摄像机矫正矩阵分别为z ，z ，摄像机模型 参数为曰，；矫正后摄像机模型参数为e f ，矫正前后空间对象在图像坐标系 下的坐标分别为【，】r 、【吒，屹r 以及【，v 肼】r 、 u - ，吒】r ，摄像机坐标系下的 坐标分别为 ，虼，气】r 、【砭，或，艺】r 以及 靠，儿，r ，【，吒，】r ；而 【，z 。r 为空间对象m 在世界坐标系下的坐标。左图像矫正前后的坐标与空间 对象m 之间的关系可以用方程( 2 1 1 ) 到( 2 1 4 ) 描述。 融只障 融c 霹 l ： q k l 乙 i1 i ? = 纠】儿 l 乙 i1 吨卜 ， = 料彬 唯哟 耋 = q 卅 ； 一q ，。1 仍= q ，l 1 车 艺一q ，l 1 彰 q 3 ， ? 以q 。1 仍= 砑1 彳，代入方程( 2 1 3 ) 有： 车 = 乏q q 。1 辜 = 乏乃 辜 c 2 。， u ? , - j i = 乏q q 。1 i ；： = 乏互 辜 c 2 朋， 方程( 2 1 4 ) 以及( 2 1 5 ) 中石，乃满足： 享三孵。 ( 2 1 6 ) 忆= g q _ 卜 摄像机坐标系的投影变换矩阵曰，f 以及，f 。 1 2基于f p g a 的双目立体视觉s o p c 设计 n ，z 。满疋： = d ，一d r = ko = k o j ，。 其中圆表示两个向量的叉乘，乙船为矫正前摄像机坐标系的z 坐标向量；那 么矫正后摄像机系统的旋转矩阵屯为： k = ( 2 1 7 ) 变换矩阵f ，p 满足： 叫一q 陋 亿哟 f = 只i 苫一ql = 删 9 ， 其中矩阵冗，为摄像机模型的内部参数，最7 ，最7 为矫正后摄像机系统的外部 参数矩阵。 b ) ：线性变换的问题 矫正后的图像整数坐标处的像素可能位于原始图像中小数坐标位置上，因此 需要对矫正后的图像进行二维线性插值。 2 2 3 立体匹配 立体匹配是根据特定的算法以及约束准则在两幅图像的像素之间建立对应关 系的过程，它是双目立体视觉系统的关键。 立体匹配算法可以分为两类：基于局部约束的匹配算法和基于全局约束的匹 配算法，文献【1 4 【1 5 】【1 6 1 详细分析了两类匹配算法之间的差异及其性能。 由于基于局部约束的匹配算法利用兴趣点周围的局部信息进行计算，涉及信息量 较少，对应的计算复杂度较低，适用于嵌入式实时处理，本节主要介绍基于局部 约束的匹配算法。 基于局部约束的匹配算法有区域匹配算法、特征匹配算法和相位匹配算法1 2 】。 1 ) ：区域匹配算法 区域匹配算法常以邻域窗的灰度为匹配基元，以相关程度作为判别依据，以 一j 一i 一i 0 ，一k吒一，一 一i 一 一h 第二章双目立体视觉系统 1 3 得到较稠密的视差图。基于灰度相关性的区域匹配算法的研究主要集中在匹配代 价聚合的窗口构建上，主要包括：固定窗算法、多窗口关联算法和自适应窗加权 算法。区域相关匹配能够获得稠密的视差图，但当图像局部区域灰度分布均匀或 受到噪声干扰时匹配往往不可靠，通常需要对获得的视差图进行插值、滤波等处 理。 2 ) ：特征匹配算法【1 刀【1 8 】 特征匹配算法基于几何不变性原理，利用图像的局部或全局特征，如点、边 缘、线段、图像结构等作为匹配基元，以匹配基元的各项参数信息为依据的局部 特征相似程度来度量。基于特征的匹配一般包含特征提取和定位、特征描述、特 征匹配三个步骤。特征匹配不直接依赖于灰度，具有较强的抗干扰性，而且计算 量小，速度快。但是特征的提取和定位准确性直接影响特征匹配结果的精确度， 而且通常图像特征分布稀疏，使得特征匹配只能得到稀疏的视差场，需要进行插 值处理才能要获得稠密的视差图，而为了保证插值点的精确度，插值过程往往较 为复杂。 3 ) ：相位匹配算法【1 9 】【2 0 l 【2 1 】 相位匹配算法基于傅里叶平移定理( 信号在空域上的平移，产生频域上成比 例的相位平移) ，通过对带通滤波后的时空频域信号的相位信息进行处理，寻找 局部相位相等的对应点来获得对应像素的视差。目前常用的相位匹配方法有：利 用空间域上的平移与频率域上的相位平移之间的比例关系计算对应点处的视差值 的相位差频率法，以及根据带通信号之间的相关度确定相位重叠匹配位置的相位 相关法。相位匹配能有效抑制图像的高频噪声和畸变，获得较高精度的致密视差。 但算法的收敛范围与带通滤波器的特性有关，而且视差值的精度随视差范围的增 大而降低。 2 2 4 三维重构 矫正后的图像，可以理解为图2 2 描述的摄像机模型下的投影图像，摄像机 模型的参数为方程( 2 1 8 ) 和( 2 1 9 ) 所示的投影变换矩阵f ，p 。由2 1 节双目 立体视觉原理有，三维空间内任意对象m 在不同坐标系下的齐次坐标满足如下关 系： 旧 l j= p 怯 l i ：p p ，埘 匕 z _ l = p ： x 。 e 乙 1 ( 2 2 0 ) 1 4 基于f p g a 的双目立体视觉s o p c 设计 h 乙lkl llj p l 儿 刮l = 只圪 x 。 e 乙 l = x 。 e z - 1 ( 2 2 1 ) 其中 ，l r 和 ，1 】r 为图像坐标系下的齐次坐标；【，虼，1 r 和 【，乙，1 y 为摄像机坐标系下的齐次坐标；【鼍，艺，乙，1 】为世界坐标系下的齐 次坐标。且= - d ，= ，= 。 联合方程( 2 2 0 ) 和( 2 2 1 ) 可以计算出世界坐标系下m 的坐标 以，匕，z 册r 。 2 3 小结 本章首先简要的介绍了摄像机的成像模型，图像坐标系、摄像机坐标系和世 界坐标系的映射转换关系。接着分析了双目立体视觉的基本原理、系统组成及其 关键技术，重点分析了线性平面矫正算法与基于局部约束的匹配算法。最后简单 论述了如何利用摄像机模型的参数矩阵和左右图像视差信息重构三维对象。 第三章基于f p g a 的双目立体视觉s o p c 设计 1 5 第三章基于f p g a 的双目立体视觉s o p c 设计 双目立体视觉系统的关键技术之一是计算空间对象在左右摄像机投影平面内 投影的视差值，通常匹配算法需要处理大量的数据，采用通用计算机或数字信号 处理器无法满足实时性处理要求，因而需要开发专用的硬件并行处理系统，随着 f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) 集成度和e d a 技术的不断提升，使得复 杂的硬件加速或并行算法以及差异化可编程片上系统s o p c ( s y s t e mo n p r o g r a m m a b l ec h i p ) 能够在单块f p g a 内部实现。本章主要介绍基于a l t e r af p g a 的s o p c 系统开发的基本知识，并根据双目立体视觉系统的特点设计了系统框图 以及s o p c 方案。 3 1a l t e r af p g a 介绍 随着f p g a 集成度的提高，除了传统的l a b ( l o g i ca r r a yb l o c k ) ，f p g a 芯 片还集成了d s p 嵌入式乘法单元、嵌入式r a m 、嵌入式软硬核处理器、高速收 发器、以及支持不同标准的i o 资源以面向不同的嵌入式应用；依据功能，芯片 结构可划分为：可编程输入输出单元、可编程逻辑单元、可编程时钟管理单元、 布线资源、嵌入式r a m 、嵌入式软硬核【2 2 】【2 3 1 。 1 ) 可编程输入输出单元 可编程输入输出单元是芯片与外界电路的接口部分，完成不同电气特性下对 输入输出信号的驱动与匹配要求。由缓冲单元、可编程延时单元、存储单元以及 布线路径选择单元构成，其中缓冲单元负责信号完整性以及电压和电流的调整， 可编程延时单元保证输入输出信号满足系统建立保持时间的要求、存储单元降 低f p g a 内部逻辑与输入输出端口之间的布线延迟、布线路径选择单元负责输入 输出端口与f p g a 内部逻辑之间的路径，另外有些输入输出单元内还有支持 d d r ( d o u b l ed a t ar a t e ) 的寄存器及其辅助逻辑。 2 ) 可编程逻辑阵列 f p g a 内部基本编程逻辑由阵列逻辑块组成l a b ，l a b 由若干l e ( l o g i c e l e m e n t ) 、控制逻辑、局部互联资源等组成，l e 由基于s r a m 的4 或6 个输入 查找表( l o o ku pt a b l e ) 、二位全加器、多路复用器以及触发器等逻辑存储单元 以及快速进位链和寄存器链等布线资源组成。通过配置可以实现任意组合逻辑、 时序逻辑、移位寄存器或分布式r o m 依a m 。 3 ) 时钟管理模块 1 6 基于f p g a 的双目立体视觉s o p c 设计 f p g a 内部时钟管理单元由p l l ( p h a s el o c kl o o p ) d l l ( d e l a yl o c kl o o p ) 、 全局时钟缓冲单元等组成，提供数字时钟管理和相位环路锁定。p l l d l l 能够根 据系统需求提供精确的时钟综合、且能够有效降低时钟抖动，时钟缓冲单元能够 控制时钟的使能、实现多路时钟的复用，从而提高系统功耗管理的灵活性。 4 ) 嵌入式r a m f p g a 内嵌r a m ，通常称作b r a m ( b l o c kr a m ) ，b r a m 可被配置为单端 e lr a m 、双端口r a m 、内容地址存储器( c a m ：c o n t e n ta c c e s sm e m o r y ) 、移 位寄存器以及f i f o ( f i r s ti nf i s to u t ) 等常用存储结构，另外可以根据需要修改 数据位宽和存储深度( 最大数据位宽和存储深度由r a m 的组织结构决定) 。其中 r a m 实现分布式乘法器或结合嵌入式乘法器实现f f t ( f a s tf o u r i e rt r a n s l a t i o n ) 、 滤波等大多数数字信号处理任务；由于f i f o 输入输出采用不同的地址和读写控 制逻辑，在多时钟域系统设计中用于隔离两个不同操作速度的模块；而c a m 存 储器内部的每个存储单元都包含比较逻辑，通过比较端口数据与c a m 中存储的 数据，返回与端口数据相同的所有数据的地址，因而在交换机以及全相关高速缓 存设计中得到广泛的应用。 5 ) 布线资源 f p g a 内部各逻辑存储单元通过布线资源连通，连线的长度和工艺决定着信 号在连线上的驱动能力和传输速度。f p g a 芯片内部有着丰富的布线资源，根据 工艺、长度、宽度和分布位置的不同而划分为：用于芯片内部全局时钟和全局复 位置位控制的全局布线资源，用于芯片内部l a b 间高速互联的行列布线资源， 以及l a b 内部l e 互联的局部互联布线资源；布线资源直接影响系统的性能，在 实际中设计者不需要直接选择布线资源，e d a 工具根据逻辑拓扑结构和约束条件 自动的选择布线资源来连通各个模块单元，因而逻辑结构以及约束条件与最终结 果有着直接的关系。 6 ) 嵌入式软硬核 嵌入式硬核包括用于处理数字信号处理任务的嵌入式乘法器，支持多标准通 信协议的高速嵌入式串行收发器，趾洲嵌入式处理器等。嵌入式软核通常指嵌 入式软核处理器，即利用f p g a 内部可编程逻辑资源实现的通用目的处理器，性 能略低于嵌入式硬核处理器，但其可综合性使得可以通过在f p g a 内部实现多个 处理器来提高系统的性能，同时根据需要对周边外设进行自由裁剪。 总之随着f p g a 集成度的提高，芯片内部集成更多可编程逻辑单元、嵌入式 r a m 、嵌入式乘法器，以及嵌入式软硬核处理器的使用，使得单片f p g a 成为 了系统级的设计工具。 第三章基于f p g a 的双目立体视觉s o p c 设计 1 7 3 2a l t e r af p g as o p c 系统设计与开发流程 s o p c 利用可编程逻辑技术把整个系统放到一块芯片上，用于嵌入式系统的 设计。与传统s o c ( s y s t e mo nc h i p ) 系统相比，s o p c 具有可编程能力以及灵 活的设计方式，可根据系统的设计需求集成多个处理器以及任意的裁减或扩充外 围设备，并能够随着标准的演进或技术的进步快速的实现系统功能的升级，另外 系统的软硬件在系统可编程的功能，能够充分发挥软硬件协同开发的优势。 3 2 1a l t e mf p g as o p c 系统的组成 典型的s o p c 系统由嵌入式处理器以及特定功能的嵌入式外设组成，处理器 与外设通过系统总线互联。a l t e r af p g as o p c 系统划分为：n i o s 处理器、a v a l o n 总线、以及满足a v a l o n 总线标准的嵌入式外部设备或接口三个部分。 1 ) n i o s 嵌入式软核处理器【2 4 j n i o si i 是a l t e m 基于f p g a 构架的第二代3 2 位r i s c ( r e d u c e di n s t r u c t i o n s e t c o m p u t e r ) 软核处理器。n i o si i 处理器分为快速型、经济型和标准型三种类型， 以满足不同设计需求，提供： 3 2 位指令集、以及数据地址总线，支持高达2 g b y t e 寻址空间。 多级流水线结构，最高处理能力可达3 0 0 m i p s 。 独立的指令数据缓冲或指令数据紧密耦合存储器。 内置中断控制逻辑，支持3 2 个外部中断源。 支持2 5 6 条定制指令和任意数量的硬件加速器。 j t a g 调试模块，支持硬件断点、数据触发器以及实时跟踪等。 另外快速型n i o si i 处理器还提供单周期硬件乘法和桶形移位寄存器、内存管 理单元( m m u ：m e m o r ym a n a g eu n i t ) 或内存保护单元( m p u ：m e m o r y p r o t e c t u i l i t ) ，可选配硬件除法单元 2 ) a v a l o n 总线【2 5 j a v a l o n 是a l t e r a 开发的用于基于n i o si i 嵌入式处理器的s o p c 系统设计的参 数化接口总线协议。a v a l o n 总线由一组预定义的信号组成，描述了主从组件之间 端口的映射及其时序关系，由a v a l o nm e m o r ym a p p e di n t e r f a c e ：a v a l o n - m m ( 包 括片内具有独立的数据地址总线的接口规范和片外数据地址总线复用的三态接 i e i 规范) 以及a v a l o ns t r e a m i n gi n t e r f a c e ：a v a l o n - s t 两部分组成。其中a v a l o n - m m 支持基于地址的读写操作而a v a l o n - s t 支持多路复用数据流数据包等单向数据流 的操作。 a v a l o n 总线的特点有： 1 8基于f p g a 的双目立体视觉s o p c 设计 片内采用独立的地址、数据和控制信号，提高了数据传序效率；片外复用 地址数据总线，降低p c b 板布线需求。 同步传输，外设的接口与a v a l o n 总线时钟同步，避免了复杂的握手膻答 机制。 支持基于地址的读写操作或基于流程控制的数据流操作，满足不同的数据 传输要求。 支持总线仲裁和仲裁优先级。 支持数据突发传输、d m a 直接内存访问以及中断请求，提高数据传输以 及事件处理效率。 3 ) 嵌入式外设 2 6 1 基于n i o si i 处理器的系统，嵌入式外设包括标准外设和定制外设两类，标准 外设指的是a l t e r a 公司提供的标准外围设备库，比如t i m e r 定时器、u a r t 串 行通用异步收发器、d m a 直接存储访问、以太网m a c 多媒体访问控制、g p i o 通用目的输入输出、s d 凡心卯l a s h s 黜娥i 控制器等；定制外设指根据系统需 求设计的满足a v a l o n 总线规范的r t l 代码，系统构架时将其集成到基于n i o si i 处理器系统的嵌入式模块。 3 2 2a l t e r af p g as o p c 软硬件开发环境 a l t e r a 公司提供了完整的软硬件开发套件：q u a r t u si i 、s o p cb u i l d e r 、n i o si i i d e ，并将其无缝地集成在一起。 1 ) q u a r t u s i i q u a r t u si i 是a l t e r a 开发的用于其f p g a 设计的e d a 工具，支持i n c r e a s e f a s t p h y s i c a lc o m p l i e s 、l o g i cr e g i o nl o c k e d t l r n i n gc l o s u r e 、e c o ( e n g i n e e d n g c h a n g eo r d e r ) 、n e t l i s tv i e w 、p r o j e c tm a n a g e 、标准或自定义f p g a 设计流程以及 第三方e d a 综合仿真工具。提供简单易用的标准图形化开发环境或独立的命令 以适合不同的开发需求；利用q u a r t u si i 软件结合s i g n a l t a p 嵌入式逻辑分析仪能 够方便快捷的进行f p g a 开发和调试1 2 7 j 。 2 ) s o p cb u i l d e r s o p cb u i l d e r 基于s o c 和i p ( i n t e l l e c t u a lp r o p e r t y ) 的思想进行设计，集成 在q u a r t u s i i 软件内，同q u a r t u si i 软件构成s o p c 硬件系统开发的标准图形化开 发环境。开发过程中利用s o p cb u i l d e r 配置n i o si i 或其它嵌入式软核处理器、 外围设备及其接口、中断优先级以及a v a l o n 总线内部的主从关系，而外围设备之 间或外围设备与处理器之间通过a v a l o n 总线自动互联。s o p cb u i l d e r 能够自动分 配外设地址空间也可以根据系统需求指定特定外设的地址空间，同时根据系统配 第三章基于f p g a 的双目立体视觉s