（信息与通信工程专业论文）基于视觉导航的实时图像处理及fpga实现.pdf

浙江大学硕士论文 a b s t r a c t a u t o n o m o u sl a n dv b h i c l e ( a i ) i sa i l i n t e l l i g e mm o b i l er o b o t ，w k c hc a nn m a u t o n o m o u s l ya n dc o n t i n u o u s l yo nm a do rc r o s s c o u n t 阱i t si n v e s t i g a t i o n ，w t l i c hi n v o l v e s t 1 1 e o r i e sa n dt e c h n o l o 百e so f m a i l yd i s c i p l i n e s ，i so f g r e a tv a l u ei nr e s e a r c ha i l d 印p l i c a t i o n n l e v i s u a lp e r c e p t i o nm o d u l ei sa l w a y so n eo f t l l em o s ti m p o r t a l l tm o d u l e so f a l v l o a dd e t e c t i o n a l l ds t e r e ov i s i o na r et w ok e yt e c l u l i q u e so ft h ev i s u a lp e r c e p t i o nm o d u l e t h i st h e s i sa i m sa t m es t u d ya 1 1 dd e s i g n0 f t l l ev i s i o nn a v i g a t i o ns y s t e mf o r t h ea i a c c u r a t ea i l dr e a lt i m ec 印t u r eo fm a di m a g ei st h ef o u n d a t i o no f 订s u a ls e n s er e s e a r c h ， a n d 矗t s t l yt h i st h e s i sd o e s3 0 m er e s e a r c ht ot h i sp r o b l e m t h es e c o n dc h a p t e ro f 也e s i sh a s d e s i g n e d t 1 1 ed e d i c a t e dp l l i p o s e dv i d e oc 印t u r ec a r dd e s c r i b e dt 1 1 e c o m p l e t eh a r d w a r e i m p l e m e m a t i o n t h j ss c h e m eu s e sf p g a a st h ec o r ec h i pt oc o n n d lt l l ei m a g ec 0 1 l e c t i o na i l d d a t ab u s 仃a n s f e r s 1 1 1 ev i d e od e c o d i n gc h i ps a a 7 1 1 5o fp h n i p sc 唧o r a t i o na n dt h ep c i i i 】t e r f a c ec h i pp c i 9 0 5 4a r eu s e d i ti sp r o v e db ye x p 甜m e n t sm a tn l i sv i d e oc a p t u r ec a r dc a i l g e ”e a l - t 曲er o a di m a g ep r e c i s e l y i m a g ef i l 矧n ga n de d g ed e t e c t i o ni s 0 1 1 eo ft l l ek e yp r o c e d u r e si nc o m p l e xv i s i o n p r o c e s s i n gs u c ha sr o a de d g ea i l do b s t a c l ed e t e c t i o ni nv i s i o n _ b a s e dn a v i g a t i o ns y s t e m s n s p e d b n n a n c ea 1 1 dp r o c e s s i n gt i m ed i r e c t l ya f r e c t sm ep e r f o 埘昀n c eo fm es u b s e q u e mi m 刮薛 p m c e s s i n ga n dt h et o t a lr e s p o n s et j m ei nv i s i o n _ b a s e dn a v i g a t i o ns y s t e m s 1 h et h i r dc h 印t e r i n t r o d u c e ss e v e r a li m a g e 矗1 t e r i n ga n de d g ed e t c c t i o nm e t l l o d sm a tu s e dt om a dd e t e c t i o ni n v i s i o n 山a s e dn a v i g a t i o ns y s t e m s ，a n da n a l y s e s 也ei r r 甲l e m e n t a t i o ns t n l c m r eo fs o b e lo p e r a t o r ， l o gt e m p l a t ea n dc a n n yo p e 蝴t a l 【e s 血ec h a r a c 州s t i co ff p g ai n t oc o n s i d e m t i o n ， p r o p o s e sam e t l l o do fi m a g et e m p l a t ef i l t e r i n gr e a l i z a t i o nb a s e do nd i s 砸b u t e da r i t h m e t i c t h e c a r m yo p e r a t o re d g ed e t e c t i o nm e t h o di sa l s o 叩t i m i z e da i l di m p l e m e n t e di nam o r ce f f i c i e n t w a y t a tl a s ti n 廿o d u c e st h es t e r e om a t c ha l g o r i t h m ，a i l dt h ep r e p r o c e s s i n ga i l d g e o m e t r y e m e n d a t i o np r o c e s s i n gb e f o r es t e r e om a t c hs t a g e s e v e r a ld i f f e r e ms i m i l a rm e a s u r e m e n t so f a r e a b a s e ds t e r e om a t c h i n ga r ed i s c u s s e d ，a 1 1 dt h ee 丘e c t sa r ec o m p a r e d 1 1 h es i z eo fm a t c h i n g w i n d o wa i 】dt h ea c c e l e r a t i n gt e c m q u e sa r es t u d i e d ，a i l dt h ei m p l e m e m a t i o ns t m c t u r eo fa r e a b a s e ds t e r e om a t c h i n gi sc i e s c r i b e d k e yw o r d s ：a u t o n o m o u sl a j l dv e h i c l e ，v i s i o n - b a s e dn a v i g a t i o n ，c o m p u t e r s i o n ，r o a d d e t e c t i o n ，e d g ed e t e c t i o n ，s t e r e ov i s i o n 浙江人学硕士学位论文 第一章绪论 1 1 研究背景 本文研究的系统是以基于视觉导航的陆地自主车( a l v a u t o n o m o u sl a l l d v c h i c l e ) 的实时视觉处理系统为应用背景的。陆地自主车又称为室外智能移动机 器人( 0 u t d o o ri m e l l i g e n tm o b i l cr o b o t ) 或无人驾驶车辆与智能移动机器人 ( u 啪黜e dv e h i c l ea i l di n t e l l i g e n tr o b o t ) 。它在室外环境中，可以按照预先 给定的目标任务，结合已知的地理信息做出路径规划，在行驶的过程中能够不断 感知和判断周围的环境信息，自主地做出各种决策，随时调整车辆自身的行驶状 态并执行相应的动作和操作。 a l v 的关键技术是视觉导航技术，视觉导航的主要功能是对各种道路场景 进行快速识别和理解，从而确定移动机器人的可行驶道路区域。 根据a l v 从环境感知到行为控制过程的特点，可以把a l v 系统简单地分为感 知、数据处理、规划与控制三部分，这三部分又可分为多个相互协调的子模块【2 】嘲： 视觉感知模块 由摄像机、激光测距成像雷达、体视和声纳等组成，为a l v 提供视觉信息或 周围环境的空间信息。摄像机为系统最为重要的外界环境信息的获取手段之， 为系统提供车体前方的二维视觉信息。激光测距成像雷达是视觉感知系统中的一 个重要组成部分，由它探测到的距离图像可为a l v 提供周围环境的三维空间信 息，为障碍物检测、路标检测、地图匹配及地形图建立等提供数据。 数据处理模块 由多个专用的高速数据处理模块组成，实时地分析由视觉感知系统及其他系 统的各种输入数据，通过多传感器的数据融合，得到反映车体位姿、运动状态及 前方路况等方面的信息。主要任务足对摄像机的视频图像与激光雷达的距离图 像，以及其他各种传感器的数据进行实时处理，计算量大，是影响系统智能化程 度和实时性的关键之一。 运动传感模块 浙江大学硕士学位论文 主要由惯性导航传感器、里程计以及g p s 等组成，提供系统自身运动速度、 姿态角，方位等状态信息。 路径规划模块 为a l v 的跟踪运动规划出参考路径，路径规划可分为全局路径规划和局部路 径规划。全局路径规划是根据预先设定的具体目标和整体任务规划出a l v 的全局 路径，并根据地形数据库和任务的要求将全局任务分解为一系列的子任务。局部 路径规划是根据各个阶段子任务的要求和数据处理模块得到的系统自身状态信 息、车体前方路况，对道路条件和意外事件做出准确的判断和决策，实时规划出 自主车的可行路径。 运动控制模块 根据自主车当前运动状态、周围环境状况、前方参考路径形状等因素，实时 控制车体改变行驶的方向和速度，使a l v 沿规划的理想路径按要求的车速运动， 运动控制模块的运行结果直接影响了a l v 运动的稳定性、避障性以及整体任务的 完成。 上述各个子模块在上层黑板的统调度下协调工作，a l v 根据预定的任务， 完成制定规划、探测周围环境、随环境改变现行规划等一系列的过程。 a l v 是一个综合多学科、多领域的大型系统性科研项目，涉及多种理论、工 程及_ 亡程技术，其研究课题可分为传感器及多传感器信息处理与数据融合方面的 研究，车辆运动规划、导航与驾驶方面的研究、体系结构方面的研究。具体地说， 涉及a l v 的关键技术有： 视觉信息的实时处理技术 a l v 的环境的感知主要依赖视觉传感器，视觉信息能否准确、实时地处理关 系到车辆运行的速度和安全，对车体控制的实时性、鲁棒性具有决定性作用，故 这是一关键性技术。一般而言，a l v 的视觉导航可以分为二维和三维视觉，其中 由于三维视觉可以直接获得环境的三维距离信息，通过处理就可以得知a l v 周围 的道路和障碍物分布情况。因此引起研究者的广泛重视。 多传感器信息处理j 数据融合以及基于多传感器信息的车体定位技术 浙江大学硕士学位论文 由于野外环境的复杂性及单一传感器的局限性，单一传感器难以提供环境的 全面描述，因此a l v 必须配置多种传感器。信息融合主要在特征上进行，其中主 要包括：多传感器标定技术、特征匹配技术、传感器建模技术、数据融合技术、 障碍物检测技术等。多种传感器的信息，经过信息融合模块，使局部规划模块得 到环境的局部模型信息。另外，车体的当前位置和姿态信息是关系到a l v 能否正 确完成导航任务的关键因素之一。目前这些信息主要采用惯性导航系统和全球定 位系统( g p s ) 等方法来获取。 基于地形地图数据库的全局路径规划技术 全局路径规划技术根据地形数据库和车辆任务的需求，完成全局路径规划， 它包括全局地形数据库的建立、数据管理技术及全局任务，路径的分解和规划技 术。 基于传感器信息和全局路径规划信息的局部路径规划与导航控制技术 局部路径规划与导航控制技术根据子任务的要求，结合自主车的状态信息， 实时地规划出可行路径。它必须能对各种道路条件及意外事件做出迅速、准确的 判断和决策，如避障、超车岔道转弯等。 车辆控制技术 车辆控制技术针对不同车辆的驾驶操纵性能，控制车辆完成预定的驾驶动 作，使之成为可靠的实验平台和载体。它主要包括车辆方向、速度、制动及其它 动作的控制。 系统体系结构的研究 系统体系结构主要研究a l v 中各个子系统问的层次、组成、调用及通信方式 等，以及a l v 的总线结构、全局与局部数据的存储与调用、系统的集成度等。 1 2 计算机视觉简介 计算机视觉是在图像处理的基础一卜发展起来的新兴学科。计算机视觉从信息 处理的层次研究视觉信息的认知过程，研究视觉信息处理的计算理论。 自从八卜年代m a r r 提出视觉计算理论1 】以来，关于视觉的高、中、低三个层 次的观点已经逐渐为人们所接受。基于计算特征和模块间的通讯特征，计算机视 浙江大学硕上学位论文 觉任务可以划分为三个层次底层视觉任务、中层视觉任务和高层视觉任务。 ( 1 ) 底层视觉任务主要包括基于象素的操作，例如图像滤波，边缘检测等。底 层视觉任务的计算特征是大数据量，且大多是小邻域操作，运算形式相对简单( 以 乘、加运算为主) 。 ( 2 ) 中层视觉任务主要是象素的分组操作，比如图像分割、区域标记等。中层 视觉任务的计算特征仍旧是局部数据访问，但更趋复杂的象素操作。 ( 3 ) 高层视觉任务主要是识别分析，比如点匹配、树型匹配和图形匹配等。这 些操作的特征是更大范围的数据访问，非确定性问题求解以及更为复杂的操作。 由于视觉系统的体系结构是由其算法所采用的数据结构以及对数据所进行的操 作决定的，不同的视觉层次所采用的互不相同的数据结构和数据操作方式导致结 构完全不同的高层、中层和底层实现形式。 大致上说，一个典型的视觉应用系统可由下列5 个部分组成：图像获取、预 处理、特征的提取、分类和识别、响应等5 个部分组成，其中预处理，特征提取， 分类识别三个阶段分别对应了视觉任务的底层、中层和高层，如图1 - 1 所示。 图卜l 典型的计算机视觉应用系统组成 1 3 立体视觉简介 美国麻省理工学院的r o b e r t 把二维图像分析推广到三维景物分析，标志着 计算机立体视觉技术的诞生，并在随后的2 0 年中迅速发展成一门新的学科。特 别是2 0 世纪7 0 年代末，m a r r 等创立的视觉计算理论对立体视觉的发展产生了 巨大的影响，现已形成了从图像获取到最终的景物可视表面重建的比较完整的体 系。立体视觉研究的核心问题是图像匹配技术，主要有以下几方面研究理论： 1 。视差理论 6 浙江大学硕十学位论文 总线处理板构成，其中3 块为由专用芯片构成的卷积器等分立元件组成的专用硬 件电路板，1 块由t m s 3 2 0 c 4 0 组成的多处理器并行处理阵列和1 块实时操作 系统板。当图像分辨率为2 0 0 2 0 0 时，处理速度可达3 0 h z 。 此外，还有同样由d a r p a 资助，由j p l 、c m u 及多家单位合作开发的u 巾i e 战术侦察机器人p “，图1 3 ( c ) 。它主要设计用于执行城市地形条件下的战术侦察 任务，同样配备了双目立体视觉系统进行障碍物识别，计算单元由2 台基于 p c ，1 0 4 + 总线的高性能计算机组成，处理速度为4 h z 。由j p l 开发的r o c k v7 火 星探测机器人 3 8 】f 3 9 】更是装有三套立体视觉系统，图1 3 ( d ) ，其中车体前部、后 部、车上桅杆各一套，以应付火星表面复杂地貌的挑战。 ( a ) d e m o 川陆地自主机器人( b ) c m u 立体视觉无人驾驶车 ( c ) u r b i e 战术侦察机器人( d ) r o c k y7 火星车 图1 3 采用视觉导航的移动机器人 浙江大学硕上学位论文 1 6 本文主要研究内容 从a l v 的组成结构来看，视觉感知一直是a l v 最关键的技术之一，因为它是 a l v 获得周围环境信息的最直接手段。本文以实时视觉处理系统为中心，首先介 绍了双目立体视觉图像采集卡的完整硬件设计和实现方案，接着详细论述了基于 视觉导航的视觉系统中用于道路检测的图像模板滤波和边缘检测算法，详细分析 了s o b e | 算子、l o g 滤波器、c a n n y 算子边缘检测的特点和各自的硬件实现结构， 在图像模板滤波算法实现上，由于f p g a 内部r a m 资源较为丰富，采用了分布式 算法代替乘累加运算，降低了算法实现的结构复杂度。最后探讨了立体视觉中的 匹配前预处理和几何校正方法，详细论述了区域法立体匹配算法，并以s a d 立体 匹配算法为例研究了区域法立体匹配算法在f p g a 上的硬件实现结构，并给出了 仿真结果。 由于实时视觉处理系统算法时间复杂度高，而且处理的数据量巨大，因此目 前视觉处理系统最大的问题之一就是计算速度问题。由于通用计算机的并行处理 能力非常有限，因此需开发专用的并行处理系统，以达到实时处理所需的性能要 求。 本论文各章的具体内容安排如下： 第一章介绍了本文的研究背景一一基于视觉导航的陆地自主车 ( a l v a u t 彻伽o u sl a i l dv e h i c l e ) 的实时视觉处理系统，以及计算机视觉、立 体视觉和道路检测算法的基本原理，和视觉导航系统的发展概况，并指出本文的 研究内容基于视觉导航的视觉处理系统的实时实现。 第二章研究了双日视觉图像采集模块的设计，并给出了整体实现方案。该模 块采用f p g a 为核心芯片来控制图像的采集和数据总线的传输，采用了p h i l i p s 公司 的视频解码芯片s a a 7 1 1 5 以及p c i 总线控制器p c l 9 0 5 4 ，文中给出了p c i 9 0 5 4 接口 部分的状态机的实现代码以及时序仿真图。 第三章介绍了视觉导航系统中用于道路检测的几种图像模板滤波和边缘检 测方法，详细分析了s o b e l 算子、l o g 滤波器、c 锄y 算子边缘检测的特点和各自 的硬件实现结构，并结合f p g a 器件的特点，提出了基于分布式算法的模板滤波算 法的实现。针对c 咖y 算子，对传统的c a n n y 算子边缘检测进行了优化，提出了 一种较为简洁的实时实现方法。最后将s o b e l 算子、l o g 滤波器、c a n n y 算子边缘 浙江大学硕十学位论文 第二章双目视觉图像采集卡模块设计 双目视觉图像采集卡是视觉导航任务实现的前提，根据实时视觉处理系统实 际需求，其主要任务是实现两路视频信号的同步采集，经处理后送入上位机。图 像处理和传输的速度是视觉导航任务能否实时处理的关键，由于f p g a 具有极强 的可重构性，可承担部分原来由上位机软件完成的运算，增强了视觉处理的实时 性。通过充分利用f p g a 并行性计算体系结构及合理地设计流水线实现实时视觉 处理能力。 图21 双目立体视觉图像采集卡框架 图22 双目立体视觉图像采集卡 浙江大学硕士学位论文 2 1 模块基本要求及实现 图像采集卡的作用就是把图像信号经过采样，量化为图像的数字信号，然后 把数字式视频信号送到帧存储器或计算机存储器中以进行处理。图像采集卡是视 觉处理的一个重要环节。 整个硬件系统大致可分为四个功能模块：视频输入模块、视频解码模块、p c i 数据传输模块和视频处理模块。双目视觉图像采集系统基本工作流程为：输入的 两路同步视频信号经视频解码芯片，得到y c b c r 数字信号。根据实际需要， 仅取y 分量写入各自通道的帧存，f p g a 从帧存中读取图像亮度数据，做几何校 正后写入存放校正结果的缓存。为了保证数据流的连贯性，存储器均采用了乒乓 缓存的操作方式。上位机则根据需要通过p c i 总线获取数据。图2 1 中为双目视 觉图像采集卡的模块框图。图2 2 为双目视觉图像采集卡实物照片。 2 2 视频输入模块 视频信号输入设备采用s o n y 公司的x c 5 5 5 p 型c c d 器件。该器件是一款 彩色高分辨率型c c d ，可达7 3 9 ( h ) 5 7 5 ( v ) 像素，4 6 0 线。采用了s u p e r h a d ( h o l e a c c u m u l a t e dd i o d e 空穴累积二极管) c c d 技术，通过在每一个像素上精确安装的 微型镜头o c l ( 0 nc h i pl e n s ) 把光线会聚到感光区域，使得s u p e rh a d 传感器有高 灵敏度，使水平分辨率大为提高，有效像素值可达到3 8 万。a g c ( 自动增益控 制) 范围为o 1 8 d b ，从而能更灵活和更有效地增强感光度。可设置的电子快门 速度控制光敏器件的曝光时间，快门速度设置范围从1 ，5 0 到1 1 0 0 0 0 0 秒，高速 的电子快门有利于在高速运动的车体上清晰地拍摄到周围场景。有关x c 一5 5 5 p 型 c c d 的详细资料可参见s o n y 公司提供的器件手册。为保证两路c c d 器件同步 采集视频信号，可将其中一路的视频信号作为另一路的同步输入信号，以实现两 路c c d 器件的同步。 浙江大学硕士学位论文 2 3 视频解码模块 视频解码部分采用p l l i l i p s 公司的视频解码芯片s a a 7 1 1 5 1 4 j ，该芯片提供了9 位低噪声的模拟到数字电路，包含有输入源选择，抗混叠滤波器，a d 转换器， 自动箝位和增益控制，两个时钟发生单元，以及用以实现二维色度亮度分离的 高性能增强型梳状滤波器。与领先的8 位同类产品相比，s a a 7 1 1 5 在信噪比上有 重大改进，为1 0 d b 到1 5 d b ，是同类产品中视频解码性能最高的。s a a 7 1 1 5 芯 片同时还提供了高性能的缩放单元，实现行、场的任意截取和缩放，以及亮度、 对比度、饱和度( b c s ) 的控制电路。支持p a l 、s e c 舢“、n t s c 等多种视频 标准，采集格式符合i t u 6 0 1 标准。 s a a 7 11 5 芯片中视频部分按功能可大致划分为三个单元( 按实际需要，不 考虑音频解码部分及其输入输出端口) ，分别是视频输入输出端口、视频解码 单元和缩放单元。各单元中的各项功能均可由用户通过1 2 c 总线配置。s a a 7 1 1 5 主要有三个数字输入输出端口，分别是x p o n ( e x p 锄s i o n p o r t ) 、i p o r t ( i m a g e p o r t ) 和h - p o r t ( h o s tp o n ) 。s a a 7 11 5 将来自t v c r 的c v b s 或s v i d e o ( y c ) 模拟 视频信号经解码单元转成数字信号，直接送至x p o r t 端口输出；或是经缩放单元 处理后从i r p o n 端口输出。缩放单元也可对从x p o r t 端口输入的外部数字视频信 号进行处理后送至i p o n 端口输出。h - p o r t 端口则用于将x p o r t 端口或i - p o n 端 口从8 b i t s 扩展至1 6 b i t s 。s a a 7 1 1 5 视频解码单元包括了模拟输入通道、钳位和 增益控制电路、亮度色度处理、b c s 控制电路、同步电路和解码输出。解码单 元输出的视频数据( y c b c r4 ：2 ：2 ) 或r a w 数据符合i t u 一6 5 6 标准8 位1 0 位数 据格式，该输出数据可直接通过x p o n 端口输出，或是做为缩放单元的输入。 s a a 7 1 1 5 共有2 5 6 个控制寄存器( 子地址从0 0 h 到0 f f h ) ，除了一些只读属性 的寄存器，用户可通过1 2 c 总线对其余大部分寄存器进行配置，以实现各种功能 要求，包括输入的视频格式选择，输出图像的格式，大小，以及亮度，色度、饱 和度等控制。 1 2 c 总线是p h i l i p s 公司开发的。种简单、双向、二线制、同步串行总线。它 只需两根线( 串行时钟线和串行数据线) 即可在连接于总线上的器件之间传送数 据。该总线是高性能串行总线，具备多主机系统所需要的裁决和高低速设备同步 等功能，应用极为广泛。基本的1 2 c 协议可归结为： 浙江大学硕士学位论文 2 4 2p c i 总线控制器p c i 帅5 4 p c l 9 0 5 4 的内部结构如图2 5 所示。 图25p c l 9 0 5 4 的内部结构图 一、p c i 9 惦4 主要特性 p c i 9 0 5 4 的主要特性如下： + 符合p c i v 2 1 ，v 2 - 2 规范，包含p c i 电源管理特性。 4 支持v p d ( v i t a lp r o d u c td a t a ) 的p c i 扩展。 + 支持p c i 双地址周期，地址空间高达4 g b 。 + 具备1 2 0 准备报文单元，完全兼容1 2 0v 1 5 规范。 + 提供了两个独立的呵编程d m a 控制器，每个通道均支持块和s c a 如r g a t h e r 的d m a 方式，d m a 通道o 支持请求d m a 方式。 t 在p c i 启动模式，p c i9 0 5 4 可插入类型1 和类型2 的配置周期。 十在p c i 和l o c a lb u s 的数据传送速率高达1 3 2 m b ，s 。 + 支持本地总线( l o c a lb u s l 直接接【 m o t o r o l am p c 8 5 0 或m p c 8 6 0 系列，i n t e l i 9 6 0 系列，i b mp p c 4 0 1 系列及其它类似总线协议没备。 + 本地总线速率高达5 0 m h z ；支持复用非复用的3 2 位地址数据；本地总线可 浙江大学硕士学位论文 为三种模式：m 模式、c 模式和j 模式，可利用模式选择引脚加以选择。 + 具有可选的串行e e p r o m 接口。 t 本地总线时钟由外部提供，该时钟可和p c i 时钟异步。 + 具有8 个3 2 位m a i l b o x 寄存器和2 个3 2 位d o o r b e l l 寄存器。 二、p c d o s 4 的总线操作 p c l 9 0 5 4 的总线操作包括p c i 总线操作和本地总线操作。对于p c i 总线操作， 它完全遵守2 2 版本p c i 规范。下面主要讨论一下本地总线操作。p c l 9 0 5 4 本地 总线支持非多路复用3 2 位地址数据总线，多路复用3 2 位和8 位，1 6 位或3 2 位本地总线设备从属访问，运行速率高达5 0 m h z ，可以获得2 0 0 m b s 的本地总 线突发传输速率。 p c l 9 0 5 4 有3 种工作方式，分别为c 、m 和j 模式。m 模式主要是针对m o t o m l a 公司高性能m p c 8 5 0 8 6 0 的应用而设计的，主要应用在电信领域，j 模式的接口 设计相对比较麻烦，比较常用的是c 模式。 c 模式下p c l 9 0 5 4 分为p c ii n i t i a t o r 操作和p c i1 砸e t 操作。在p c i1 1 1 i t i a t o r 操作过程中，本地处理器或本地总线主控设备能够直接通过p c i 9 0 5 4 访问p c i 总线，发起l o c a l t o p c i 的数据传输。而在p c it 缸g e t 操作过程中，p c i 总线主 控设备可以以可编程的等待状态、总线宽度和突发传输功能访问p c l 9 0 5 4 的三个 本地空间( 空间o ，空间1 和扩充r o m 空间) 。 三、p c i 如5 4 的d m a 突发模式 p c i 9 0 5 4 集成了两个互相独立d m a 通道，每个通道都支持b l o c kd m a 和 s c a c 【e r g a t l l e rd m a ，通道o 还支持d e m a n dd m a 传输方式。 b l o c kd m a 要求p c i 主机或l o c a l 主机提供p c i 和l o c a l 的起始地址、传输 字节数、传输方向。主机设定d m a 开始位启动数据传输，一旦传输完成，p c l 9 0 5 4 设定d m a ”传输结束位”结束d m a ，如果中断允许位被使能，在传输结束时 p c l 9 0 5 4 将向t 机申请中断。在d m a 传输中，p c i 9 0 5 4 既是p c i 总线的主控器 又是l o c a l 总线的主控器。 s c a t t e r g a i h e rd m a 传输过程中，主机或局域总线处理器首先设置一系列描 1 9 浙江人学硕士学位论文 述块，每个描述块都包含有本次传输起始地址、字节长度、传输方向，以及下一 个描述块的地址。然后p c i9 0 5 4 加载第一个描述块并初始化数据传输。9 0 5 4 连 续加载描述块并传输数据直至传输链的终点，传输过程中地址自动增加。 s c a n e r g a i h e rd m a 传输时序如图2 6 所示。 厂【- 厂l 几一丌儿门 u ul ju uuuuu ul y l 一一0 u 、 uu l 一? 0 、“一 1 。 ， o 码da0疆d 图2 6s c a 廿e r ，1 3 a m e rd m a 传输时序 四p c l 目标设备直接数据传输模式 p c i 目标设备( p c it a r g e t ) 操作是指p c i 作为主设备发起数据传输，访问 局域总线上的存储器和i ，o 。p c i9 0 5 4 支持从p c i 总线到局域总线的存储器映射 和i o 映射传输访问。p c i 基址寄存器就是用以设置适配卡在p c i 的存储器和 i o 空间中的位置，而本地映射寄存器允许从p c i 地址空间到局域总线地址空间 的地址传输。当p c i9 0 5 4 处于p c i 目标模式时，支持三个p c it ol o c a l 地址空间： 地址空间o ( s p a c eo ) 、地址空间1 ( s p a c e1 ) 和扩展r o m 空间。扩展r o m 空 间用于映射主机启动r o m 设备。地址空间o 和地址空间l 都是用于将局域总线 地址空间映射到p c i 总线地址空间中，这样对p c i 总线地址的访问就等效于访 问适配卡上的相应地址单元。 p c i 目标设备直接数据传输模式可分为单周期p c i 目标设备读或写操作，p c i 9 0 5 4 向局域总线读取或写入一个长字( 3 2 位) 或部分长字，9 0 5 4 在完成对p c i 目 标访问的一次传输后断开。单周期局域总线传输丌始前，9 0 5 4 置l h o l d 信号有 效，请求占用局域总线。f p g a 在检测到l h o l d 有效后，置l h o l d a 信号有 效。l h o l d 和l h o l d a 信号同时有效表明传输开始。9 0 5 4 置a d s 信号有效表 明地址线上地址有效；当r e a d y 撑信号有效时则表明数据线上数据有效； b l a s t # 信号有效则表明当前传输的数据是最后一个数据。当数据全部传输完成 后，9 0 5 4 和f p g a 分别撤销l h o l d 和l h o l d a 信号，释放局域总线。单周期 d 姒 忙圆莲和 一一一一 一州一 浙江人学硕十学位论文 局域总线传输时序如图2 7 所示。 a d s b l a s t 毒 1 _ _ 、，厂_ _ 1 厂_ _ ，_ _ 飞厂专_ _ 、， 图2 7 单周期局域总线传输时序 五p c i 总线控制器接口部分功能设计 p c i 总线控制器接口部分的功能就是帮助p c l 9 0 5 4 从帧存储器中读取数据、 向1 2 c 总线发送数据或者接收其应答信号。上述几项功能可以用一个状态机来实 现每一个时序。该状态机包括s o ：i d l e ，s 1 ：r e a d y ，s 2 ：s i n 百e ，s 3 ：s i n 9 1 ee n d ，s 4 ：b u r s t r e a d y s 5 ：b u r s t 和s 6 ：b u r s te n d 七个状态分别对应于p c i 9 0 5 4 的空闲、开启、 单一传输模式等待、单一传输模式结束、突发传输模式等待、突发传输模式重复 和突发传输模式结束。其中a d s 是p c l 9 0 5 4 的地址锁存有效信号( 低电平有效) ， b l a s t 为低表示该字节是突发模式中最后一个字节。状态机示意图如图2 8 ： m 、塑鼍癌 嘲l b 甜 耍i，一，e n d 鼋+ 少悸 鼬a d v 7 l 夏 图2 8p c i 总线控制器接口部分状态机 p c i 接i _ _ l 部分状态机的v e m o gh d l 语言描述实现如下 二 m 捌件瞰m 心 h 阮 黼) s _ r 浙江人学硕士学位论文 a l w a y s ( a d 艮o rb l a s eo r a d d r _ 4 m s b s ) c a s e x ( c u n n t s t a t e ) s o ：i f ( ! a d s _ ( a d d r 4 m s b s 一4 飞0 0 1 0 ) ) n e x t s t a t e = s 1 ： e l s e n e x t s t a t e = s o ： s l ：i f ( ! b l a s l j n e x t s t a t e = s 2 ： e l s ei f ( b l a s t j n e x t s t a t e = s 4 ： e l s e n e ) 【t s t a t e = s 1 ： s 2 ：n e x t s t a t e = s 3 ： s 3 ：i f ( ! a d s j n e 硪s t a t e = s 1 ： e l s e n e x t s t a t e = s o ： s 4 ： n e x c s t a t e = s 5 ： s 5 ：i f ( b l a s u n e x t s t a t e = s 5 ： e l s e n e x c s t a t e = s 6 ： s 6 ：i f 【! a d s _ ) n e x t s t a t e = s 1 ： e l s e n e x t s t a t e = s o ： e n d c a s e a l w a y s ( c u 玎锄t s t a t e ) c a s e x ( c u r r e m s t a t e ) s o ：b e g i n r e a d y = 1 ： s r a m c s = 1 ： s r a m o e = 1 ： e n d s 1 ：b e 百n r e a d y = 1 ： s r a m c s = 0 ： s r a m o e = l ： e n d s 2 ： b e g i n r e a d y = o ： s r a m c s = 0 ： i f ( l w d r d = = o ) s r a m o e = 0 ： e l s e 浙江大学硕士学位论文 s r a m o e = 1 ： e n d s 3 ： b e g i n r e a d y = 1 ： s r a m c s = 1 ： s r a m o e = 1 ： e n d s 4 ：b e g i n r e a d y = o ： s r a m c s = o ： i f ( l w d r d o ) s r a m o e = 0 ： e l s e s r a m o e = 1 ： e n d s 5 ：b e 舀n r e a d y = o ： s r a m c s = 0 ： i f ( 啪r d 。o ) s r a m o e = 0 ： e l s e s r a m o e = 1 ： e r l d s 6 ： b e g i n r e a d y = 1 ： s r a m c s = 1 ： s r a m o e = l ： e n d e n n c a s e 在q u a n u s i i 中仿真得到时序图如图2 9 所示，由图2 9 可知，所设计的接口 程序符合时序要求。 浙江大学硕士学位论文 2 5 视频处理模块 图2 9p c i 接口部分时序仿真图 视频处理模块的核心芯片选用了a l t e f a 公司s t r a t i x 删系列e p l s 2 5 f 7 8 0 f p g a 吼s 廿a t i x 7 m 系列是a l t e r a 公司最新推出的新一代可编程逻辑器件，采用 了1 5 v 内核，0 1 3 微米全铜工艺。s 昀t i x l ”体系采用了d i r e c t d r i v e 技术的 m u l t i t r a c k 布线结构，包括性能优化的连续的不同长度的连线，用于设计模块内 部和模块间的连接。m u l i i t r a c k 布线结构采用了d i r e c 国r i v e 技术，这项专有的布 线技术确保了器件任何功能无论如何布局都使用同样的资源和一致的性能。 s t r a t i x 刑性能比以前的器件体系改善了4 0 。e p l s 2 5 f 7 8 0 器件具有2 5 6 6 0 个逻 辑单元，片内i u m 总容量达到l ，9 4 4 ，5 7 6b i t s ，具有1 0 个d s p 块，8 0 个9 9 的嵌 入式硬件乘法器，6 个锁相环单元，最大用户i 0 引脚7 0 2 个。 现场可编程门阵列f p g a 在过去1 0 多年的技术发展，给数字信号处理算法带来 了一条全新的设计之路。f p g a 保持了a s i c 的高速性，避免了开发的高成本以及在 成品后不能改变内部电路的缺点。而与通用d s p 芯片相比，f p g a 增加了设计的灵 活性和适应性，缩短了产品上市时间，而其规整的内部逻辑块阵列和丰富的连线 资源，也特别适合细粒度和高并行度结构特点的数字信号处理任务，f p g a 内部大 量的d 触发器，使之可以充分发掘利用特定问题本身的刚间并行性，采用多级流 水线结构，以达到更高的处理性能。而且f p g a 本身具有很小的内部延迟和输入输 出延迟，使之可以1 作存很高的时钟频率( 最高可以大于2 0 0 m h z ) 。 浙江大学硕士学位论文 现场可编程门阵列f p g a 由可编程逻辑单元、可编程输入输出单元和可编程 连线单元组成。其中可编程逻辑单元数目众多，可以独立完成简单的运算，也可 以与不同的逻辑单元组合成复杂的运算模块。灵活的可编程输入输出单元以及 丰富的i ，o 资源使其能够达到很高的数据通过率，非常适合用于实时视觉处理系 统。 2 6 本章小结 双目视觉图像采集卡是视觉处理任务实现的前提条件，它负责两路视频信号 的同步采集，并将采集到的两路图像预处理后送入上位机。图像的采集质量对视 觉算法的性能有直接影响，同时采集和传输的速度也是视觉导航任务能否实时处 理的关键。 本章详细描述了双目视觉图像采集卡完整的硬件设计和实现方案，本系统采 用f p g a 作为核心芯片来控制图像的采集和数据总线的传输，利用f p g a 具有现场 可编程的特性，可以非常方便地通过下载线对系统进行升级。视频解码部分采用 了p h i l i p s 公司的视频解码芯片s 从7 1 1 5 ，主机通过i2 c 总线对视频解码芯片进 行配置，可以通过主机程序随时改变采样图像的大小、亮度和对比度等。数据传 输部分采用了p c i 总线控制器p c l 9 0 5 4 。实践证明，这个图像采集系统很好地完 成了整个实时视觉处理系统的前端数据采集功能，为后续的道路检测算法以及实 时视觉处理提供了