（通信与信息系统专业论文）基于fpga的图像细化算法及其在轨距测量系统中的应用.pdf

摘 要 i 摘 要 轨距是最基本的轨道参数之一自有轨检车以来轨距一直是检测的一项内 容如果轨距不能精确的检测将会造成重大的铁路安全隐患为了适应快速 重载的需要确保列车安全平稳无间断的运行迫使轨检车的检测能力需要 提高工作性能需要优化如何精确而高效地测量出钢轨轨距一直是国内外铁道 部门的一个重要的研究课题 本文首先简要介绍了钢轨轨距检测的开发背景 研究现状及f p g a 的有关知识 然后针对轨距自动检测系统论述了系统的组成及检测原理主要对图像细化都 作了详细介绍最后并利用 v h d l 语言编程实现轨距检测中的钢轨图像细化并通 过了仿真验证 轨距测量系统是我们实验室的一个重要的研究课题为了增强系统的实时性 能满足轨距自动检测系统高速实时的检测要求最大可能的降低成本经过 详细的分析轨距测量算法的特点和 f p g a器件以及 f p g a系统的特点我们得出了 利用 f p g a 实现轨距测量系统在性能成本等方面有着巨大的优越性 关键词轨距 f p g a 细化 投票法 河北大学工学硕士学位论文 ii abstract gauge is one of the basic rail parameters and it has always been one of the necessary parameters to measure ever since the gauge measurement vehicle developed. if the gauge can not be measured precisely, it will lead to weighty rail hidden trouble. in order to adapt to the need of speediness and over loading, to guarantee the train run safely, smoothly and uninterruptedly, we must improve the measurable capacity and optimize the performance .so, it is very important for the rail gauge to be measured precisely and high efficiently and it is still an important research of the train department in every country to be in face. this paper first introduces the developing background and the research status quo of the automatic measurement system for railway gauge and also some knowledge about fpga. then it illustrates the structure and the measurement principle of the gauge automatic measurement system. and also it carefully introduces the image thinning .at last i use vhdl to realize the gray thinning algorithm of the gauge automatic measurement system and achieve simulation. measurement system for railway gauge is an important area of our laboratory. in order to control the cost of the measurement system, satisfy the requirements of high speed and real time in gauge automatic measurement system,improve its performance,based on analysis the characters of the algorithm of the measurement system for railway gauge and the characters of fpga chips and fpga systems, we draw a conclusion,that the measurement system based on fpga can resolve those shortages. key words: gaugefpgathinningvoting 第 1 章 绪论 1 第 1章 绪 论 铁路是国民经济的大动脉近年来随着铁路运输的大力发展客货运量和行 车密度大幅度增长因此轨距的检测技术已经变得越来越重要因为它直接关系 到轨道设备的安全使用和经济的维修保养 1 . 1 计算机视觉技术概论 计算机视觉是计算机科学和人工智能的一个重要分支其研究目的和内容有 两个方面一是如何用计算机实现部分人类视觉的功能二是由此帮助人类理解 人类视觉的机理1 计算机视觉的奠基人 marr 在本世纪 70 年代提出的视觉计算理论是该领域至 今为止唯一较为完整的理论框架为广大计算机视觉研究者所遵循他在遗著 vision中认为视觉处理中存在理论算法硬件三个层次其中最重要的是 理论在vision一书中他第一次把复杂的视觉过程像物理学和力学那样用严 格的数学方式表达出来变成能用计算机完成的信息处理过程因此可以说这本 书是视觉研究中的一个里程碑虽然在 marr 去世后的 10 多年里计算机视觉已 有了很大的进步但是大部分工作还是在他的理论框架中2 通过 marr 的视觉理论我们可以明白计算机视觉可以看作是从三维环境的 图像中抽取描述和解释信息的过程它可以分为六个主要部分3 感觉是指获得图像的过程即数字图像的采集常见的图像采集装置有摄 像机线阵 ccd 像感器面阵 ccd 像感器扫描仪及目前推出的数字摄像机等 预处理之所以提出图像预处理的要求主要是考虑到计算机的运算速度 和低成本需求基本的预处理有方法一种是基于空间域技术的方法另一种是 基于频率技术的方法它主要解决图像的增强平滑尖锐化滤波以及伪彩色 处理问题 河北大学工学硕士学位论文 2 分割是将图像划分成若干有一定含义物体的过程它是视觉技术中的重 要一步常用的分割技术有灰度域值法边缘检测匹配和拟合区域跟踪和增 长迭代松弛法以及运动分割等 描述描述是为了进行识别而从物体中抽取特征的过程描述符应该含有 足够多可用鉴别的信息以便在众多物体中唯一的识别某物体 识别识别是一种标记过程识别算法的功能在于识别景物中每个已分割 的物体并赋予该物体以某种标记 解释可以看作是机器人对其环境具有更高级的认知行为 1 . 2轨距测量系统研究意义及发展状况 1 . 2 . 1轨距测量的研究意义 随着火车的不断提速和各种新型机车的运行因此为保证线路经常保持稳定 和良好状态就必须加强对轨道的养护维修所以目前钢轨轨道管理的主要问题 已经不仅仅是保障行车安全更重要的是找到线路维修养护方法使得在各种情 况下基础建设和维修保养方面的总支出为最小以前由于铁路网规模小列车 运行速度比较低行车密度比较小轨道管理的主要目的是监督行车安全随着 铁路的不断发展如今管理的重点已经转变迅速确定线路维修所必需的客观资 料已经成为十分重要的任务在这种情况下为了保障铁路运输的安全与畅通 提高运营效率必须保持设备的完好率大力采用现代化轨道检查车提供的高精 度数据对钢轨等关键设备的状态进行实时监控指导维修作业已成为历史的 必然由于轨检车可以同时检测轨距轨向车体加速度等多个数据并可以将数 据进行存储打印为铁路提速确保安全提供了大量的科学数据资料已成为铁 路正常运行和维护所必须的一种设备但在实际工作中它在检测能力和工作性能 方面仍存在不足之处特别是在数据处理方面有待于深入改进 铁路两条钢轨的轨距和相对高差是线路状态的主要参数轨距的定义是从轨 面下 16mm 处测量两钢轨之间的距离4轨距作为最基本的轨道几何参数之一一 第 1 章 绪论 3 直是钢轨检测的一项主要内容目前国内外主要采用轨检车对这两个参数进行 动态检测在轨检车的运行过程中轨距测量系统采用摄像机连续的对钢轨进行 图像采集储存图像数据并利用现代图像处理技术对钢轨图像进行分析处理 最后通过计算得到两条钢轨的轨距进行存储显示 根据轨距系统的检测结果可以及时准确地对新型机车对当前钢轨的影响和轨 道安全作出判断所以该系统对于加强轨道全面质量管理保障运输安全有着重 要意义研究这项课题对于我国现阶段实现钢轨距离测量自动化有着重要的意义 应用前景很广阔系统主要部分采用 fpga 现场可编程芯片运算速度快精度 高通过它的动态可重构性能实现图像处理的多种算法为了达到用户要求采 用可重构的可编程逻辑器件可以降低开发成本而且由于其具有可重复编程和 动态重构的特点还可以提高系统设计的灵活性和通用性 1 . 2 . 2轨距测量的发展现状及其分析 以前由于铁路网不大列车速度比较低以及行车密度比较小以前的轨检 车只配置简单的机械测量系统对轨道的几何形状作图形记录作为铁道施工的 主要评估依据不仅精确度低而且耗费大量的人力物力资源长期以来对钢 轨轨距的检测都采用手工测量的方法国际上于 7 0 年代末开始对钢轨轨距自动测 量系统的研究尤其是在日本德国等发达国家但也没有很好的解决这类问题 一是受制于计算机硬件的发展水平二是受制于计算机图像处理技术的限制在 关键技术领域还未突破而我国对此项目的研究开始于 9 0 年代近年来计算机 普及与发展计算机图像处理技术的完善使得此项目研究得以迅速发展与应用 随着计算机技术和图像处理技术的不断发展北美和欧洲一些国家的铁路部 门于 8 0 年代前后开始研究利用计算机视觉测量技术进行钢轨测量到目前为止大 多数国家都已经开发研制出了实用的自动检测系统大部分都是由线光源图像 采集系统和数据处理系统几部分构成其测量精度和测量速度都可以达到用户要 求如 greenwood engineering 公司生产的 optical rail inspection &analysis(orian)系统可以达到视频处理速度现在各国相应的科研部门仍在不 河北大学工学硕士学位论文 4 断进行研究并采用计算机视觉测量和硬件的最新技术以增加钢轨测量系统的精 度并降低成本4 自 2 0世纪 5 0年代起我国铁路部门在引进消化吸收国外先进技术的基 础上先后研制开发了四代轨道检查车最新一代轨检车 g j - 4型自 1 9 9 6年投 入使用以来承担了各主要干线的检测工作为铁路提速提供了基础保证做出 了贡献目前国内最新型轨检车是 g j - 4 型轨检车与以前的 g j - 3 型和 x g j 1 型 轨检车在稳定性可靠性精度等方面都有了很大的提高操作使用简便而且 测量的结果与轨道的实际状态非常吻和目前已经在许多铁路局推广使用它的 检测速度最高可达 1 6 0 k m / h 检测精度比较高在0 . 8 m m 内其中轨距测量部分 采用原理和结构完全相同的左右两个子装置组成它们分别测量左右钢轨的轨距 变化分量然后由两分量之和得到轨距值左右轨距测量子装置一般都是由五部 分组成光电传感器调制解调器信号处理器功放和伺服机械主要是通过 光电传感器发出的光束投射到轨面下 1 6 m m 处然后由光电接收器接收到其漫反射 光并转换为电信号并传送给其他部分处理其他还有利用激光微波和红外线作 为入射光进行测量5 目前视频图像实时处理技术方案分为两类一是以软件为基础的方案二 是以硬件为基础的方案在软件方案中图像处理运算在通用的 c p u上用软件实 现该方案很灵活且成本低但是速度低不支持并行运算不适合用于视频图像 实时处理在硬件方案中图像处理运算可以用专用的逻辑器件来实现速度快 支持并行处理并且已开发出许多实现图像处理运算的专用器件可供选用如富 氏变换h o u g h 变换相关运算等该方案的主要缺点是设计开发成本高时间长 修改设计很不方便总之软件方案成本低灵活但速度慢硬件方案速度高但不 够灵活且成本高现场可编程门阵列f p g a 恰好能解决这一矛盾f p g a是一种 特殊的 v l s i 器件用户可以用它编程实现各种逻辑电路用户可以先设计出实现 某一图像处理运算的专用逻辑电路而后再用 f p g a 实现这一电路由于该运算是 用硬件电路实现的因而能满足高速实时要求由于该运算是用 f p g a 编程重构而 成的因而可以满足灵活和低成本要求未来的 f p g a 将越来越多的采用市场上可 第 1 章 绪论 5 以买到的 i p i n t e l l e c t u a l p r o p e r t y 核这些 i p核或者是电路图或者是用 硬件描述语言如 v h d l 或 v e r i l o g 写成的软件包这就可以减少开发时间因 为所用的单元电路均已在不同应用中得到验证f p g a在容量单个芯片的等效门 数和性能上都比专用器件具有更大的竞争力其主要特点是在技术要求改变或 发生设计错误时可以重复编程重复配置尤其是近年来随着 fpga 研究方面取得 了很大的进展fpga 的动态可重构技术已经成为实时信号处理的新技术是近几 年国际学术界和工业界研究的热点技术广泛应用于实时信号信息处理生物信 息处理超大规模集成电路仿真容错计算等领域国外一些大学和研究所已经 利用 xilinx 的 fpga 来实现多用途高速的协处理器来加速计算机系统的运行6 1 . 3 数字信号处理的发展过程 1 . 3 . 1数字信号理论的发展7 信号是信息的载体人们对信息的处理是通过对信号的处理来实现的所谓 信号处理指将信号从一种形式变成另一种形式比如将信号从时域转换到频域 从模拟信号转换到数字信号等众所周知几乎所有的工程技术领域都要涉及到 信号的问题这些信号包括电的磁的机械的热的声的光的和生物体的 等等各个方面如何在较强的背景噪声下提取出真正的信号或信号的特征并将其 应用于工程实际是信号处理技术要完成的任务因此信号处理几乎涉及到所有 的工程技术领域轨距测量就是一个很好的数字信号处理应用例子 数字信号处理的理论基础数字信号处理就是用数字的方法对信号进行变换 以获取有用信息简单来说数字信号处理就是利用计算机或专用处理设备以 数值计算的方法对信号进行采集变换综合估值和识别等加工处理借以达 到提取信息和便于应用的目的 在这 30 多年的发展中数字信号处理自身已基本形成了一套较为完整的理论 体系这些理论包括 1. 信号的采集a/d 技术抽样定理量化 河北大学工学硕士学位论文 6 2. 离散信号的分析时域及频域的分析各种变换技术信号特征的描述 3. 离散系统分析 系统的描述 系统的单位抽样响应 转换函数及频域特征 4. 信号处理中的快速算法快速傅立叶变换快速卷积与相关 5. 信号的估值各种估值理论相关函数与功率谱估计 6. 滤波技术各种数字滤波器的设计与实现 7. 信号的建模最常用的有 ar,ma,arma,prony等模型 8. 信号处理中的特殊算法如抽取插值奇异值分解反卷积信号重建 等 9. 信号处理技术的实现 10. 信号处理技术的应用 由此可见信号处理的理论和算法是密不可分的把一个好的信号处理理论 用于实际工程需要有相应的算法以达到高速高效简单易行的目的各种算 法的研究就是以此为目的的 近 30 年来数字信号处理是紧紧围绕着理论实现应用这三个方面迅速发 展起来的它以众多的学科为理论基础在数学领域微积分概率统计随机 过程高等代数数值分析复变函数等是它的基本工具网络理论信号与系 统等均是它的理论基础近来又成为人工智能模式识别神经网络等新兴学科 的理论基础之一其算法的实现无论是硬件还是软件又和计算机学科及微电 子技术密不可分 数字信号处理所涉及的信号包括确定性信号平稳随机信号时变信号一 维及多维信号单通道及多通道信号所涉及的系统也包括一维系统二维系统 多通道系统对每类特定的信号理论和算法又有不同的内容轨距测量就是灵 活地应用了上述成果才得以实现 1 . 3 . 2数字信号处理的实现方法 数字信号处理的实现基本上有以下几种方法 1通用的微计算机上用软件来实现软件可以自己编写也可以使用现成的软件 第 1 章 绪论 7 包这种方法的缺点是速度太慢不能用于实时系统只能用于教学与研究或 者非实时系统 2单片机实现随着单片机的不断发展它的处理速度也变得越来越快而且单 片机的接口性能比较良好容易实现人机接口一块单片机的硬件环境配以信 号处理软件可以用于简单的实际工程如数字控制等但是因为单片机采用的 是冯诺依曼总线结构所以单片机实现的系统尤其是乘法运算速度比较慢 在运算量大的轨距测量系统中很难有所作为 3利用专用的数字信号处理芯片dsp来实现dsp 芯片与单片机相比有着更 为突出的优点因此可以说dsp 芯片的问世及飞速发展为数字信号处理应 用于实际工程提供了可能近年来dsp 芯片在各领域的应用越来越广泛由 于轨距测量系统不但对于实时性有严格的要求而且包含复杂的图像处理技 术使得在某些情况下 dsp 不能满足要求 4用特殊用途的专用芯片来实现 现在国际上已经推出了可以专门用于 fft等专 用芯片其计算机算法已经在芯片内部用硬件电路实现使用者只要给出输入 数据就可在输出端直接得到结果这一般用于对速度要求较高的场合这种 方案的缺点是灵活性差而且开发工具还不成熟 5通过可编程逻辑器件 fpga 等来实现随着 fpga 产品的不断发展人们可以 利用 altera xiinx 等公司提供的产品使用这些公司提供的软件和 hdl 语言 通过硬件描述语言用硬件实现特定的数字信号处理这一方法由于具有通用性 的特点并可以实现算法的并行运算无论作为独立的数字信号处理器还是作为 dsp 的协处理器目前都是比较活跃的研究领域 近十年来已经证明fpga是最有生命力的方案fpga是一种可编程逻辑器件 并且是可重复编程和可重配置的实现数字信号处理要用硬件而不用软件是因为 软件处理采用的是串行的冯 诺伊曼结构而fpga具有更强的并行性此外所用 的开发工具如硬件描述语言vhdl等及系统仿真和系统综合也与系统和软件 工程师所用的工具如matlab或c/c+语言有明显的不同 asic性能很好尺寸小功耗低速度高但顾名思义它是专用器件仅对 河北大学工学硕士学位论文 8 某一具体应用是最优的技术要求的改变和修改设计都意味着要推倒重来而开 发asic要投入很大的人力物力花费很长的时间另外用asic实现复杂的运算也 比较困难asic适于大批量民用产品生产不适于产品的研制和开发 数字信号处理器dsp是单指令流的串行器件不支持并行运算其数据吞 吐率和资源利用率都比较低但开发比较容易编程和修改都比较灵活特别是 实现某些运算如乘加运算可以得到最优的性能 用pc机mpu可以迅速开发出图像处理软件并具有很好的调试和测试功 能大多数硬件工程师在开发硬件之前都先在pc环境中实现设计以便验证功能 的正确性 c/c+和matlab都是行之有效的pc编程环境 但是pc机是通用设备 是单指令流的串行设备不支持并行运算速度慢资源利用率低不适于用做高 速实时图像处理 fpga对数字信号处理应用是一个最佳的折中方案它资源丰富可以实现各种 复杂的运算它所固有的并行性使其具有极高的数据吞吐率它的可重构特性和 很高的重构速度使其具有很大的灵活性表1比较了四种方案的优缺点从表上可 以看出对数字信号处理应用而言fpga是一个最佳的折中方案 表1 方案比较 可编程特性 可重配置特性 可用资源 功率消耗 数据吞吐率 asic 低 低 低 低 高 dsp 中 中 高 高 低 mpu 中 高 高 高 低 fpga 中 高 高 中 高 1 . 4本文所做的主要内容以及已取得的成果 轨距测量是我们实验室的一个重要的研究课题为了增强系统的实时性能 最大可能的降低成本并且加强系统的性能我们提出用可编程逻辑器件 f p g a 来 实现轨距测量首先这样减轻了计算机的负荷加快了处理速度使其达到实时化 的要求同时因为可以采用一些运算量比较大的算法并且利用 f p g a 自有的存 第 1 章 绪论 9 储器又对提高整个系统的稳定性和处理速度有了较大的帮助再次由于算法 固化在 f p g a 里面可以有效的防止病毒的侵袭和盗版的发生有利于知识产权的 保护实验中使用 c c d 摄像头和 f p g a 进行图像采集图像采集子系统和计算机组 成一个典型微机图像处理系统的基本硬件环境图 1 - 1 给出硬件间信息传送框图 图 1 - 1 系统硬件信息传送框图 本论文要做的主要工作是对摄像机摄入的钢轨图像进行细化处理 主要包括钢 轨图像的细化摄像机标定通过摄像机摄取的钢轨图像因图像有一定的宽度 无法测量两个钢轨之间的距离必须通过细线化使图像宽度为一个象素即找出 其骨架而且由于摄像机与水平成一定角度通过坐标变换将倾斜的钢轨图像恢 复为物方坐标系的标准图像通过轨距测量模块就能够准确的测量出两钢轨之间 的距离 本论文将发生投票法应用到轨距测量系统中优化了系统的性能提高了系 统的处理速度 1 . 5本章小结 本章主要介绍了轨距测量的研究意义及其发展现状还简单介绍了数字信号 处理的发展过程和实现方法 通过对软件 dsp 专用芯片 可编程逻辑器件 fpga 的对比提出了用 fpga 实现轨距测量方案 fpga 主计算机 图像采集 细线化 坐标变换 计算轨距 河北大学工学硕士学位论文 10 第2 章 系统测量方法 2 . 1计算机视觉的主动测量方法 目前计算机视觉测量方法已经成为一种重要的非接触测量方法并得到广 泛的应用计算机视觉对三维表面的检测可分为主动测量法和被动测量法被动 测量法是在自然光照下完成而主动测量法需要利用特别的光源所提供的结构信 息被动测量法一般适用于工业应用和军事中受环境限制或需保密的情况如遥 感测量技术主动测量法适用于许多非军事领域它具有测量精度高抗干扰能 力强和实时性好的优点可应用的范围十分广泛 主动测量方法可以从景物表面获取离散化的三维坐标信息因此广泛地应用 于自动化装配线机器人导航医学诊断等目前已经有多种方法应用于主动的 视觉测量系统它们包括激光成像雷达法结构光法云纹法全息干涉法和 相位法等这些方法提供了获取精确深度信息的手段把许多在被动测量中难以 解决的问题变得十分简单易得到精确稳定的结果因此这类方法很有前途由 于激光成像雷达法和云纹法在成本使用范围等方面有一定的限制和约束其它 方法中的全息干涉技术和相位法与云纹法相似都是获取三维曲面形状信息的 有效方法且都具有较高的精度在曲面的全场测量中比结构光法有明显的优势 但是它们的使用领域受限于景物的表面特征测量速度较慢价格昂贵因而 不适用于曲面的某一截面轮廓信息的检测 而结构光法的基本思想是利用照明中的几何信息帮助提取三维曲面的几何信 息它又可分为结构光点法结构光条法栅格法圆形光条法交叉线法厚 光条法彩色编码条法密度比例法以及随机纹理法等对于获取钢轨横截面 轮廓曲线这样的几何信息可采用结构光条法这种方法具有测量精度高速度 快可动态测量等优点是其它方法难以替代的 过去普遍认为这类系统不够精确且速度较慢而今随着计算机视觉技术的发 展此类方法被证明是精确快速的是目前使用最广泛的主动测量成像方式 第 2 章 系统测量方法 11 激光成像雷达和结构光法中的结构光点法通过采用一些精密的机械结构 可逐点测量以获得三维表面的空间形状这种方法可称为逐点扫描法这种方法 速度慢显然不适合本课题的要求 就目前的各种主动测量成像方式来比较只有结构光条法也称光取断面法 才能快速精确地获取钢轨截面的几何信息 2 . 1 . 1光取断面法介绍 光取断面法是一种比较简单的结构光法它是由 p e t e r m . w i l l 和 k e i t h s . p e n n i n g t o n 首先提出并应用于计算机视觉领域中的 它的成像系统包括面光源和 面阵 ccd 摄像机面光源通常是在点光源激光器前加上一个半柱状的透镜使 点光源成为面光源面光源产生一个光平面投射到被测物体的表面从而在被测 物的表面形成一条光带此光带反映出被测物表面在光平面内的截面几何信息 面阵 ccd 摄像机的轴线与光平面成一角度以获取这条光带的图像经过后续处 理和计算可得出被测物这一截面的几何尺寸 光取断面法物体测量的思想是通过许多相隔一定间距而彼此平行的断面求 出物体的形状该方法的实施是用特定的装置建立光平面使光平面与待测物体 相截然后用摄影测量方法将截得的可见钢轨轮廓光迹记录下来对光迹进行处 理测量从而获得钢轨截面的形状和数据 2 . 1 . 2光取断面法在轨距测量系统中的应用 钢轨轨距测量的自动检测有接触式和非接触式两种方案接触式方案采用涡 流式传感器检测速度不高而且容易损坏设备非接触式方案又分为机器视觉 方案和激光测距方案两种激光测距方案成本高技术难度大我们采用机器视 觉方案该方案采用数字图像处理技术和带状结构光源照明系统又称为光取断 面法 北美和欧洲发达国家的铁路部门于八十年代前后开始研究利用计算机视觉测 量技术来自动地测量钢轨轨距他们采用的测量方法就是光取断面法例如澳 河北大学工学硕士学位论文 12 大利亚于 1983 年生产出第一台小型轨道状态监视系统liteslice8它开创了钢 轨自动快速检测的新时代随后各国竞相研制自动快速钢轨状态检测装置一 些实用产品有speno 公司的 orwisoptical rail wear inspection system测量 系统9kld associates 的 orian(optical rail wear inspection and analysis system) 测量系统range vision 公司的 rmd(rail-wear measuring device)测量系统10等 2 . 2摄像机标定的方法 摄像机标定技术早就应用于摄影测量学摄影测量学中所使用的方法是数学 解析分析的方法在标定过程中通常要利用数学方法对从数字图像中获得的数据 进行处理10 12 通俗的讲摄像机标定也称为摄像机校准是一个确定三维物体空间坐标系 与二维图像坐标系之间变换关系的过程用此过程来确定摄像机的几何特性及光 学特性固有参数和摄像机坐标系对外界某一特定坐标系的三维位置及姿态 一旦建立了这种关系可以通过二维图像点坐标来推论外界某一特定坐标系的三 维坐标或利用外界的三维坐标来推论二维图像点坐标下面通过下图来比较明了 的说明摄像机标定的任务 图 1-4-1 摄像机模型 图 1-4-1 中 wwww zyxo 是物方坐标系xyzo是摄像机坐标系 第 2 章 系统测量方法 13 uui yxo 是图像坐标系),(zyxp是物方坐标系中的一个物点),x uuu yp是不考 虑摄像机镜头畸变时 ),(zyxp在图像平面的图像),( ddd yxp是考虑镜头畸变 时),(zyxp在图像平面的图像 oz p 是oz 上一点且ozppoz uu yx ,轴分别 平行于yx,轴对于钢轨轨距测量系统而言钢轨相应的在物方坐标系 wwww zyxo 中而钢轨图像则相应的在图像坐标系 uui yxo 中而我们摄像机 标定的任务就是要找出图像点与物点之间的关系即钢轨图像和钢轨之间的关系 并标定出这种转换关系中的一系列参数 由于被测物体表面被照亮的部分不是厚度为零的亮线而是有一定厚度的亮 带其次由于现场安装条件所限不可能在断面垂直方向安装摄像机只能从 斜侧方向采集图像因而我们必须解决两大问题一是必须找到亮带的中心线 二是对图像进行几何矫正本文主要讨论如何对图像进行亮带细化即找到亮带 的中心线 在钢轨表面沿光带垂直方向作一系列平行直线 由于图像的几何畸变 这些平行直线的像并不是平行直线而是相交于一点的直线该点是这组直线的 灭点的合点在亮带灰度细化中通常需要确定图像的灭点所以本文讨论的系 统标定就是要得到图像灭点为了在工作中参数保持不变光源与摄像机应安装 在一个坚固构件上使其相对几何位置保持不变光源照射平面应与钢轨纵轴保 持垂直作到上述两点就能保证标定参数不变如何求出灭点坐标并进行细化 我们将在第 5 章进行详细介绍 2 . 3本章小结 在系统测量方法中 主要介绍了光取断面法和它在轨距测量系统中的应用 还 简单介绍了摄像机标定中确定灭点坐标的方法 由于我们采用的是灰度图像细化 所以在细化之前必须要确定灭点坐标然后再进行细化计算 河北大学工学硕士学位论文 14 第 3章 可编程逻辑器件的介绍 3 . 1 f p g a器件的简单介绍 现场可编程门阵列fpga(field programmable gate array)是在20世纪80年代 产生的是超大规模集成电路技术和计算机辅助设计技术发展的结果fpga 技 术是最近逐渐发展起来的一项新技术作为计算机应用通信技术和多媒体技术 领域受到广大工程师的关注是现代电子系统设计的发展趋势可以预测未来 计算机可自动地改变其硬件来适应正在运行的程序 在最终用户的产品中实现 设 计的可再编程性的时代已经到来13fpga 具有集成度高体积小具有通过 用户编程实现具体应用的功能允许设计者通过设计输入仿真测试和验证达 到预期的效果随着可编程器件的发展和应用的不断深入fpga 作为设计灵活 性的保证和系统可重构的核心发展十分迅速如今可编程门阵列 fpga 已经 广泛应用于通信自动控制信息处理等许多领域 可编程门阵列 fpga 是八十年代后期出现的一类新型大规模的可编程器件 其内部由许多独立的可编程逻辑模块组成逻辑块之间可以灵活地相互连接在 可编程门阵列 fpga 中按照编程工艺可分为反熔丝和静态随机存储器(sram) 两类14随着 fpga 的集成规模不断增加出现上百万门的器件在一片可编程 器件上可以实现越来越多的逻辑功能单元同时由于可以现场编程硬件的编程 可以实现指令化从而推动可编程器件的应用 可编程门阵列 fpga 主要由三个可编程基本单元阵列组成 可编程输入/输出 块i/o elements,简称 i/oe阵列逻辑阵列块logic array block,简称 lab 阵列和可编程内部连线programmable interconnect简称 picfpga 的逻辑功 能是由散布在芯片内部的编程元件所存储的配置数据来决定的采用不同的编程 元件fpga 会体现出不同的编程(或配置)特性有些是一次性编程的另一些则 可以重复配置目前在各厂商新近推出的 fpga 中绝大多数都采用了 sram 第 3 章 可编程逻辑器件的介绍 15 来存放配置数据称为 sram fpga这种 fpga 的突出优点是可以反复进行配 置通过给 fpga 加载不同的配置数据即可令其实现不同的逻辑功能这种可 重新进行配置的能力将给数字系统的设计带来极大的方便15 有的公司还推出了动态可重构的可编程器件 fpga 的动态可重构技术是近几 年国际学术界和工业界研究的热点技术动态可重构指的是基于 sram 编程和专 门结构的 fpga在一定的条件下既可以实现在系统重新配置电路功能还可以 在系统重构系统电路逻辑功能从严格意义上讲fpga 的可重构性可分为静态可 重构和动态可重构前者指的是目标系统的逻辑功能静态重载即在系统器件 上电以后在外部逻辑的控制下将存放在 fpga 外部的非易失性存储器如 eprom 中的目标系统数据一次性加载到 fpga 内部的配置存储器 sram 中从 而实现系统逻辑功能的改变而在系统运行期间sram 中的配置数据始终保持 不变当系统再次启动时则可以通过加载不同的配置数据来改变 fpga 的功能 而动态可重构则是在系统运行期间随时可以通过对 fpga 的重新配置来改变其 逻辑功能而且不影响系统的正常运行fpga 逻辑功能的改变在时间上保持动态 连续16 由此看来 fpga 的动态可重构不仅可以改变而且能够动态的改变数字逻辑系 统的功能与静态的可重构相比动态可重构有着更广阔的应用前景对于一个 常规 sram 编程的 fpga只能实现静态系统重构主要是因为芯片的配置时间 比较长大约在数毫秒甚至几十毫秒从而使得配置过程中出现系统重构时隙 系统功能无法动态连续动态系统结构的 fpga 具有所谓缓存逻辑 cache logic 在外部逻辑的控制下通过缓存逻辑对芯片逻辑进行全局或局部的快速修改配 置时间一般在纳秒级可以通过有控制的重新布局布线的资源配置来加速实 现系统的动态重构17 河北大学工学硕士学位论文 16 3 . 2 f p g a系统的设计及开发流程 图 3-1 fpga 设计流程 fpga 设计流程有一些非常明显的特点 降低风险系统级的集成增加了在目标器件当中实现的逻辑的复杂性通 过采用一种灵活的设计方法可重复编程逻辑消除了半定制和全定制 ic 设计的风 险和成本采用 fpgas 设计系统在样机阶段可以进行各个子系统单独在线测试 设计工程师可以在数分钟之内改变他们的设计 避免了通过 asic 设计室的每个周 期 2 个月的循环asic 设计采用的 ip 的质量取决于它是否经过使用特殊的 asic 工艺库进行验证然而实现 ip 或者是在不同的 fpga 器件当中重要部件的情况 静态定时 定时验证 设计说明 hdl 功能仿真 综合 仿真 布局布线 样机 在系统测试 第 3 章 可编程逻辑器件的介绍 17 就完全不同了 快速测试和制造fpga 设计是在可重复编程的器件上面进行的而这些 器件在用户得到之前已经 100%经过生产厂家的测试实际上fpga 可以用来产 生测试程序这些测试程序可以被下载到目标板上的那些不可重复编程的器件当 中设计者可以掌握设计周期 验证 asic 工艺在制造之前需要严格的验证 在大型复杂的系统级设计当 中可能发生非常多的没有预计的情况可编程逻辑系统设计者在系统验证阶段 有着非常大的灵活性设计者可以混合测试平台阶段和在线测试阶段因此不需 要加速仿真速度的情况下可以实现快速的验证16 硬件软件协同设计 3 . 3专门用于实时轨距测量的 f p g a系统的结构 目前图像处理学界已经注意到 fpga 在并行处理和很高的数据吞吐率方面 的巨大潜力例如用 fpga 实现实时目标跟踪三维和彩色目标检测嵌入式导 弹自动目标识别atr系统图像数据处理要求很高大图像高帧频30hz 到 300hz并且要求实时处理为满足这些要求主要数据处理任务必须用 fpga 硬件完成由于许多计算机视觉系统中采用了大量复杂的算法不利于用硬件设 计语言实现使许多计算机视觉研究者望而却步在我们实验室早期开发的基于 软件的轨距测量系统的基础上为了提高系统的实时性和处理速度通过对采用 专用芯片dspfpga 等方案进行比较详细对比在第一章中已进行了阐述我 们最终采用了以 fpga 为核心的硬件系统方案 目前f p g a 的种类很多我们采用了 a l t e r a 公司的a p e x 2 0 k 系列器件结构 图如图 3 - 3 所示, 它的主要特点如下 河北大学工学硕士学位论文 18 图 3-2 apex20k器件结构图18 apex20k 是第一个具有多核结构支持可编程单芯片系统的 pld 器件系 列多核结构集成了乘积项查找表和嵌入式存贮器使用查找表逻辑实现增强 型寄存器功能使用嵌入式系统块esb实现多种存贮功能包括 fifo双端 口 ram 及内容可寻址存贮器cam使用乘积项逻辑实现组合功能 高密度 apex20k典型门数为3万150万 高达51840个逻辑单元 442368 位 ram多达 3456 个乘积项宏单元 专为低电压应用设计1.8v 2.5 v3.3v 5.0v 等多种供电电源提供 可编程节能模式 灵活的带四个锁相环的时钟管理电路片内低失真时钟树型分布多达八 路全局时钟信号时钟锁定功能可减小延时和相差时钟自举功能可提供时钟分 频器和倍频器时钟转换编程支持时钟相位和时钟延时转换 强大的输入输出功能支持 66mhz/64 位 pci 总线标准支持多电压输入 输出及先进的输入输出标准每个引脚具有独特的三态输出使能控制及可编程压 摆率控制支持热插拔等 先进的互联结构具有四级连续式延时可预测的快速通道互连实现快速 加法器计数器和比较器的专用进位链实现高扇入逻辑功能的专用级联链交 织式局部互连结构允许一个逻辑单元通过快速局部互连驱动其它 29 个逻辑单元 第 3 章 可编程逻辑器件的介绍 19 多种封装形式有 1441020 引脚的各种封装同一封装中的各种器件 引脚相兼容18 apex 系列器件是第一个具有多核结构的 pld 器件系列这种结构组合了功 能强大的乘积项结构查找表结构以及高效存贮结构查找表结构能有效实现数 据通道增强型寄存器数学运算及数字信号处理器等设计乘积项结构适用于 实现复杂组合逻辑如状态机乘积项和查找表结构与存贮功能多核结构相结 合使得 apex20k 器件成为目前唯一支持可编程单芯片系统片上可编程的器 件 apex20ke 器件属于超级 apex20k 器件它支持先进的 i/o 标准和内容可寻 址存贮器cam,并具有更多的全局时钟数增强的时钟锁定时钟电路等附 加特性apex20ke 在 apex20k 器件基础上扩展到 150 万门 3 . 4 a p e x 2 0 k器件的开发工具 q u a r t u s 是 a l t e r a 公司继 m a x p l u s 之后新一代可编程逻辑器件的开发系统 比 m a x p l u s有更多的功能支持更大规模可编程逻辑器件的开发安装要求也比 较高通常推荐计算机配备有 2 5 6 m内存1 0 2 4 7 6 8分辨率显示器目前完全版 q u a r t u s 已经升级到 5 . 0 版本我们采用了 2 . 0 版它可以支持的芯片比以往的开 发工具都要多与 m a x p l u s 相比具有以下优点 支持更多的芯片 软件体积缩小运行速度加快减少编译时间 编译和仿真功能有了很大提高 altera 公司的 quartus 开发软件提供了最新的技术 设计者可以在模块级上 进行设计通过使用丰富的宏模块,可以缩短设计周期quartus 开发软件同时提供 嵌入式信号逻辑分析部件使得设计者在芯片全速运行的时候可以观测芯片内部 的数据和信号缩短了设计验证的时间quartus 开发软件可以和第三方的软件进 行无缝链接quartus 软件还提供最新信息和文件交换包括软件升级许可文件 分发支持网络服务18 河北大学工学硕士学位论文 20 3 . 5 用 f p g a实现轨距测量的优越性 仔细分析一下轨距测量的主要过程图像采集图像细化坐标变换可以发 现对于轨距测量可以利用 f p g a 的并行性在图象采集过程中利用投票法同时进行 图像细化然后在进行坐标变换和轨距测量由此可见用 f p g a 实现轨距测量系 统具有以下优越性 1 . 运算速度快能保证系统具有良好的实时性由以上分析可知轨距测量算法 多是并行化算法特别适合 f p g a 来实现可以利用 f p g a 本身带有的存贮器 可以满足系统对于实时性的要求 2 . 提高了系统的速度和稳定性f p g a良好的运算性能可以保证系统可以采用一 些运算量比较大的算法在通用计算机上实现轨距测量时处理速度比较慢 而在 f p g a 的环境下可以采用各种有利于硬件实现的算法从而可以提高系 统的速度和稳定性 3 . 保密性能好用 f p g a 实现时轨距测量的程序可以固化在芯片上凭着 f p g a 良好的保密性能可以大大的提高系统知识产权的保护能力 4 . 良好的经济效益随着 f p g a芯片价格的不断下降一套用 f p g a实现的轨距 测量系统的成本也已经大大的降低了 由此可见用 f p g a实现轨距测量有着纯粹的通用计算机软件实现轨距测量 不可比拟的优势这是由轨距测量本身的特点和 f p g a的特点所决定的美好的 前景吸引着我们为之付出努力 3 . 6 本章小结 本章详细介绍了 f p g a 器件的结构和特点开发流程并且详细介绍了本课题 中使用的 a p e x 2 0 k 系列器件的优点和结构对 f p g a 实现轨距测量系统的优越性进 行了分析 第 4 章 硬件系统开发技术 21 第4章 硬件系统开发技术 4 . 1 硬件描述语言的起源 以线路图为基础的传统硬件系统设计最后所形成的设计文件主要是由若干 张电原理图构成的文件在电原理图中详细标注了各逻辑单元器件名称和相互 间的信号连接关系对于小的系统这种电原理图只要几十张或几百张就行了 但是如果系统比较大硬件比较复杂那么这种电原理图可能需要几千张几 万张甚至是几十万张这样多的电原理图给设计归档阅读修改和使用带来 很大的不便19 随着计算机技术超大规模集成电路技术的发展上述传统的设计方法很难 满足硬件设计复杂度快速增长以及设计成果可继承性的需要 这一点在 i c 设计领 域表现得尤其明显从而导致了采用硬件描述语言的硬件电路设计方法的兴起 一般的硬件系统设计方法按照从整体到局部的先后顺序分可以分为自上而下和 自下而上的设计方法所谓自上而下的设计方法就是从整体上规划整个系统的 功能和性能然后对系统进行划分分解为规模较小功能比较简单的局部模块 并确立它们之间的相互关系最后完成系统硬件的整体设计而自下而上与其相 反整个系统的实现是从具体的元器件开始的它们的大致流程如图 3 - 1 所示 河北大学工学硕士学位论文 22 图 4 - 1 自上而下和自下而上的设计方法 2 0 所谓硬件描述语言h d l就是可以描述硬件电路的功能信号连接关系 及定时关系的语言它能比电原理图更有效地表达硬件电路的特征硬件描述 语言 h d l 有许多类型目前各芯片制造商都