（通信与信息系统专业论文）静态交通图像处理系统的研究与实现.pdf

摘要 摘要 近年来，随着我国经济的发展，机动车数量猛增，导致城市停车需求迅速 增加。停车难已成为城市交通中最为棘手的问题之一，它影响着整个城市交通 系统的正常运转。这一方面是停车供需矛盾突出造成的，另一方面更是缺乏科 学管理所致。目前我国的停车场管理比较落后，封闭式停车场基本上是在出入 口安装简单的门禁装置实现停车收费管理，不能提供实时的车位占用信息；开 放式停车场管理多采用人工方式进行，但是对人工收费的行为没有有效的监督 管理手段。这些传统的停车场管理观念和管理模式已经不能满足使用者和管理 者对停车场效率、安全、性能和管理上的需要，必须依靠先进手段解决停车场 管理的落后局面。近年来，在交通监控系统中越来越广泛的采用基于视频监控 和图象处理的技术。 本课题研究的静态交通图像处理系统是停车场管理信息系统的重要部分， 主要实现基于静态图像的车位检测功能。在停车场管理信息系统中，车位信息 是最基本的信息，也是停车诱导的基础。该系统为双核结构，采用a l t e r a 公司 的f p g a 芯片作为图像采集和图像预处理部分的核心；另用一颗a t m e l 公司 的a t 9 1 r m 9 2 0 0 的芯片作为车位检测，网络传输和控制的核心。该系统内嵌 l i n u x 操作系统，实现了具有，图像识别，网络化传输和远端控制功能的系统。 实验证明该系统运行稳定；车位检测正确率高( 9 8 7 ) ；容易安装和维护。 本文设计的系统还需进一步改进，使其在准确率和实时性方面更加突出， 本文最后给出了改进的方向和方法。 关键词：图像处理； 车位检测；嵌入式操作系统；a r m 9 ； f p g a 北京t 业大学t 学硕i ：学位论文 a b s t r a ct a l o n g 、航mt h ed e v e l o p m e n to fe c o n o m yi no u rc o u n t r y , t h eq u a n t i t yo fv e h i c l e si n c r e a s e s a tf u l ls p e e dr e c e n ty e a r s ；i tb r i n g sm o r er e q u i r e m e n to fp a r k i n g t h ed i f f i c u l t yo fp a r k i n gi n c i t i e sb e c o m e so n eo ft h eh a r d e s tq u e s t i o n st or e s o l v e ，i ti n f l u e n c e st h en o r m a lo r d e ro ft r a f f i c s y s t e mi nc i t i e s o n er e a s o no ft h i sp h e n o m e n a i st h eq u a n t i t yo f p a r k i n gl o t si sn o ts u f f i c i e n t ，t h e o t h e ra n dt h em o r ei m p o r t a n tr e a s o ni st h a tt h es c a r c i t yo fs c i e n t i f i cm a n a g e m e n t n o wt h e m a n a g e m e n to fp a r k i n gl o t si sb a c k w a r d ，t h ei n d o o rp a r k i n gl o t sa d o p tt h es i m p l ee q u i p m e n ta t t h ep a s s a g e w a yt oc h a r g ea n dm a n a g e ，i tc a l ln o to f f e rt h ep a r k i n gs t a l li n f o r m a t i o ni nr e a lt i m e ； a n dm o s to ft h eo u t d o o rp a r k i n gl o t st a k em a n u a lm a n a g e m e n tw i t h o u te f f e c t i v es u r v e i l l a n c e t h e s et r a d i t i o n a lc o n c e p t sa n dp a a e r n so fp a r k i n gl o t sm a n a g e m e n tc o u l dn o ts a t i s f yt h eu s e r s a n dt h em a n a g e r s n e e d so f e f f i c i e n c y , s a f e t y , c a p a b i l i t ya n dm a n a g e m e n t u s i n gh i 曲t e c h n o l o g y t os o l v et h ea b o v eq u e s t i o n so fp a r k i n gl o t sm a n a g e m e n th a sb e c o m ea nu r g e n tq u e s t i o n t h e t e c h n o l o g yt h a t o nt h eb a s i co fv i d e om o n i t o ra n di m a g ep r o c e s s i n gi sm o r ea n dm o r e w i d e s p r e a da p p l i e st ot r a f f i cm o n i t o rs y s t e m t h ep a r k i n gs t a t i ct r a f f i ci m a g ep r o c e s s i n gs y s t e mw h i c hr e s e a r c h e di nt h i sp a p e ri st h ek e y t e c h n o l o g i e si nt h es y s t e mo fp a r k i n gl o t si n f o r m a t i o nm a n a g e m e n t i nt h i ss y s t e m ，t h e i n f o r m a t i o no fp a r k i n gs t a l li st h eb a s i ci n f o r m a t i o nf o rt h ep a r k i n gg u i d a n c es y s t e m w i t ht h e d u a l c o r es t r u c t u r e ，t h es y s t e mu s eaa l t e r a sf p g ac h i pa si m a g ea c q u i s i t i o na n di m a g e p r e p r o c e s s i n g ，a n dp u tt h ea n o t h e rc o r eo fa t m e l sa t 9 1 r m 9 2 0 0c h i pf o ri m a g ep r o c e c i n g ， n e t w o r ka n dc e n t r ec o n t r 0 1 t h es y s t e mw h i c hi si n s t a l l e dl i n u xo p e r a t i n gs y s t e mh a st h e f u n c t i o no fi m a g ep r o c e s s i n ga n de t h e r n e tt r a n s m i s s i o na n dr e m o t ec o n t r 0 1 e x p e r i m e n t s s h o wt h a ti ti sas t a b l es y s t e m ，i th a sh i g hd e t e c t i o nr a t e ( 9 8 7 ) ，i ti se a s yt ob ei n s t a l la n d m a i n t a i n e d t h ep a r k i n gs t a t i ct r a f f i ci m a g ep r o c e s s i n gs y s t e mt h a tp r o p o s e di nt h i sp a p e rh a sm o r e w o r kt ob ed o n et oi m p r o v ei t sd e t e c t i o nr a t ea n de f f i c i e n c y , t h ed i r e c t i o na n dm e t h o d st o i m p r o v et h ea l g o r i t h ma r eg i v e ni nt h ee n d k e y w o r d s ：i m a g ep r o c e s s i n g ；p a r k i n gs t a l ld e t e c t i o n ；e m b e d d e do p e r a t i n gs y s t e m ； a r m 9 ； f p g a i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：莩乖日期：潮9 签名：咎印日期：潮9 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：京巾 导师躲藏六作 吼 沙轧产芗 第1 章绪论 1 1 课题目的及意义 第1 章绪论 随着我国社会经济的发展，机动车的社会保有量不断增加，导致城市停车 需求迅速增加，交通拥挤和堵塞现象成为制约经济持续发展的瓶颈。停车难、 难停车已成为城市交通中最为棘手的问题之一，因为它不仅仅是静态交通问题， 作为动态交通的起点和延续，也影响着整个城市交通系统的正常运转。 建设交通基础设施曾经被看作是解决上述问题的有效途径，但是增建或扩 建道路的成本非常昂贵，而且道路的增建或扩建，又会引发大量新的交通需求， 可以利用的建设空间也有一定的限度，所以建设交通基础设施并不是解决交通 问题的唯一的最好的办法。实际上停车难问题更重要的是缺乏科学管理所致。 随着科学技术的发展和信息时代的到来，运用科学管理方法来解决交通问题， 开始引起人们的重视，并得到迅速发展。在这样的背景下，智能交通系统i t s ( i n t e l l i g e n tt r a n s p o r ts y s t e m ) 成为目前解决经济发展带来的交通问题的理想方 案，已经被越来越多的国家重视，并且在一些发达国家和我国的些发达地区 取得了很好的发展和应用n ，。 i t s 是一个广泛包括各种技术的统称，是在较完善的道路设施基础上，将 先进的计算机技术、电子技术、信息技术、传感器技术和系统工程技术集成， 运用于地面交通的实际需求，建立起全方位、实时准确、高效的地面交通系统。 它能使交通基础设施建设发挥出最大的效能，提高服务质量，使社会能够高效 地使用交通设施和资源，从而获得巨大的社会经济效益。智能交通系统不但可 能解决交通的拥挤，而且对交通安全、交通事故的处理和救援、客货运输管理、 公路收费系统等方面都会产生巨大的影响幢。1 。i t s 在今天的社会扮演着越来越 重要的角色。在我国的大部分地区，形成对交通、停车场等的智能管理已经成 为很紧迫的任务。本课题中对静态交通图像的研究工作，将对我国现阶段智能 一交通的研究和发展起到积极的作用。 目前我国的停车场管理还处于比较原始的初级阶段，对于封闭式停车场( 如 地下停车场等) ，基本上是在出入口安装简单的门禁装置实现停车收费管理，极 少对停车场内的单独车位进行检测，也不能实时提供车位占用信息，造成热点 地段停车难，交通拥堵的现象。停车场管理现在也有许多需要解决的问题，由 于出入口只提供空车位的数量信息，而没有方位信息，有时车辆在停车场内需 要寻找很长时间才能找到空车位，很不方便。另外，停车场建设相对于城市的 北京t 业人学_ t 学硕1 ：学位论文 经济发展比较滞后，也造成了大量无序低价甚至无偿占用有限的道路资源的路 边停车，严重影响了动态交通的畅通。而对于开放式停车场则多采用人工方式 进行收费，但是对人工收费的行为没有有效的监督管理手段，票款流失现象严 重，同时，也存在找车位难的问题。例如北京市的路侧停车场，由于采用无监 督的人工管理模式，每年的票款流失达到约3 0 ，问题相当严重。这种传统的 停车场管理观念和管理模式已经不能满足使用者和管理者对停车场在效率、安 全、性能和管理上的需要h 3 。 要解决停车场管理的落后局面，有效地利用现有停车资源，加强对现有停 车资源的监督管理，提高车位的使用率，必须依靠高科技手段。停车场的车位 检测是停车场管理信息系统的关键技术之一，也是停车诱导的基础h 卅。在停 车管理信息系统中，车位信息是底层最重要的信息，车位监控对停车场车位的 合理利用和车辆引导有重要作用。通过车位检测可以监测停车场内的车位占用 情况，并将其发送到管理中心的数据库中，从而实现对车位占用信息的发布和 管理，为车辆诱导提供支持。因此，实现车位对于交通繁忙路段的路侧停车场 管理，或者大型购物中心附近的停车场管理均具有重要的指导意义和现实意义。 1 2 国内外发展现状 目前，用于停车场车位检测方法，可以大致分为两大类：基于物理特征的 检测方法和基于视频监控、计算机视觉及图像处理技术的检测方法。后者近年 来发展迅速，越来越多地应用于智能交通领域，是一种正在兴起并有着广泛前 景的先进技术。 基于物理特征的检测方法主要采用地埋感应线圈、超声波、地磁检测等方 式实现，是过去比较常用的方法。地埋感应线圈方法是利用埋设在车道路面下 的环形线圈实现的。用多股铜线制成感应线圈，然后将其埋在所要监测车道或 区域的路面下，线圈与线圈感应器相连，有车辆通过线圈时线圈就会产生感应 电流，线圈感应器通过检测线圈是否有感应电流来监测。这种方式具有成本低、 受气候影响小、监测数据准确等优点，但是施工麻烦，要开挖路面，对路面造 成破坏，而且路面受季节和车辆压力影响，线圈容易损坏，难于维护。口3 超声波探测器方法由架设在监测区域的上方或侧面的超声波探头与控制、 通讯电路组成。工作原理是超声波探头不断向监测区发射超声波束，同时它又 接收由监测区中经车辆表面反射回来的超声波，经过对发射和接收波的时间差 来判断是否有车辆，从而实现车辆监测。超声波检测器安装不需要破坏路面， 也不受路面变形、路面施工的影响，使用寿命长，但易受外界气候天气的影响， 而且非车辆物体经过检测区域时很可能产生干扰，对于应用超声波的检测设备， 第1 章绪论 当外界温度、气流改变时将影响其性能。口删 在路侧停车场的监测中，咪表也是一种方式，但是咪表系统涉及巨额投资， 每只咪表价值约五千元；如果一个中等城市约有2 0 0 0 车位需要五六百万资金； 安装复杂，要破土、挖坑、开沟，影响城市景观；管理复杂，要求专人定期抄 表；维护成本高，故障率、损坏率高；客户退卡、充值必须到银行，不方便， 异地使用困难；实时性差；咪表占用道路，成为新的路障；咪表还成为攻击和 贴非法广告的对象。所以这种监测和收费方式也是不理想的。 与上述方法相比，基于视频监控、计算机视觉及图像处理技术等的检测方 式具有许多的优势，可以利用一些摄像机对大范围的地区进行监测。近年来， 在交通监控系统越来越广泛的采用计算机视觉和图象处理技术，该技术是近年 来发展起来的一项具有良好的检测功能和发展前景的技术。视频检测器应用了 视频及图像识别处理等先进技术，可以说视频检测器就是车辆检测器的发展方 向。 在智能停车场、道路交通监控及检测技术中，计算机视觉技术和图像处理 技术具有更大的优势，其主要理由如下： 1 计算机视觉应用计算机技术从数字图像中提取高质量的信息，图像的信 息含量非常丰富，如车辆较背景灰度有差异，车辆具有丰富的边缘信息和彩色 信息，车辆的几何特征明显等；能高效、准确、安全、可靠的完成停车场入出 口及车位的监控工作和道路交通监控工作，提高自动化程度； 2 视频检测器安装方便，摄像机可以安装在路边灯杆的臂柱上，无需在车 道路面上施工，检测器的更换不影响交通，容易调整和移动检测器的位置；而 且安装视频摄像机比安装其他传感器更经济，破坏性低； 3 信息获取面积大，监测范围广，可以多车道监测： 4 检测精度高； 5 由计算机视觉得到的车位信息便于联网工作，利于道路交通网的监控和 车位的调度，提高系统的利用率。 6 维护费用低，可以实现可视信息的纪录和保存，具有离线处理的能力； 对于车位检测来说，比较常用的该类检测方法有背景减法、边缘检测法、 标记检测法、灰度比较法等。这些方法在后面章节还将做进一步的描述。 1 3 论文的主要工作 本课题的主要目的是，采用先进的理论和技术，基于停车场静态图像，设 计静态交通图像处理系统，以得到被监测车位的占用信息，即研究静态图像车 位的自动检测系统。 北京t 业人学工学硕l 学位论文 本文在对当前停车场管理现状的了解和认知下，针对车位检测问题，设计 出了基于a r m 9 + f p g a 双核机构的静态交通图像处理系统，内嵌l i n u x 操作 系统，运用图像处理和模式识别技术，实现了图像输入、对图像数据的处理、 i p 化数据传输和远程控制的功能。主要应用于停车场车位的自动检测，为停车 诱导和准确计算票款提供支持，为有效的进行停车诱导并解决票款流失现象提 供一种新的技术手段。 实验证明，本文设计的静态图像处理系统应用于路测停车场，准确率高， 最高值可达到( 9 8 7 ) 。 最后对测试结果进行分析，对系统的优势和不足进行了总结，并提出系统 进行优化和实现的方向和方法。 1 4 论文的结构 本论文共分为6 章，每章的主要内容为： 第1 章：绪论 介绍本课题的研究意义、研究目的、发展现状等内容，并对论文的主要工 作、主要研究成果、课题的来源和论文的结构给出了说明； 第2 章：系统硬件平台设计 本章提出了静态交通图像处理系统的硬件平台的设计。 第3 章：l i n u x 操作系统待的移植 本章研究了本设计中嵌入式l i n u x 操作系统移植问题。 第4 章：系统的软件设计 介绍车位检测算法原理和根据实际平台的优化方法；远程控制的网络协议 和网络传输原理；最后介绍了代码的整体机构。 第5 章：嵌入式软件调试 介绍通常调试嵌入式软件所用到的方法，以及本次系统设计用到调试方法； 第6 章：总结和展望 本文最后是结论与展望，对本课题内容做了总结，并给出了发展方向和改 进方法。 第2 章系统硬件甲台的设计 第2 章系统硬件平台的设计 2 1 硬件系统整体结构 基于f p g a 和a r m 9 的静态交通图像处理系统，主要用来采集现场的车位 图像信号，并对采集图像进行识别，将识别结果通过以太网实时传输到上位机， 同时可以接收上位机的指令数据。其总体框图如图2 1 所示。 整个系统硬件可以分为三个模块：图像采集控制与预处理模块( f p g a ) ，中央 处理器模块( a r m 9 和存储器) ，网络数据传输模块。系统结构框图如图2 1 所示。 图像采集控制与预处理模块负责图像采集，模数转换和图像的预处理工作， f p g a 用来控制s a a 7 11 3 和预处理工作；中央处理器模块负责车位检测，识别 远程指令，实现中心控制；s d r a m 用于存储图像数据，f l a s h 作为程序存储 器；网络数据传输模块基于t c p i p 协议，实现以太网数据传输。 f l a s h 厨赢回一 s a a 7 1 1 3巴。 异步f i f o_ _ a 以 o 叫 l r k - b 苁享 k l i 一 太以 y s r a m网 一卜 太 、r 、 1 2 c | 初始化i 模块”i 一一一一一一一一 、”4 3 网 模块 h 卜一 8 片 f p g a s d r a m 图2 - 1 硬件结构示意图 2 2a r m 主体和扩展部分 由于本次设计的嵌入式系统要完成图像采集、图像的处理、网络的传输和 远程控制等多项任务，处理任务量大，而且要求系统并行处理。为了满足这些 要求，本设计中选用了以a r m 9 为主处理器，扩展了存储器、网口、串口，在 其基础上运行嵌入式l i n u x 操作系统，整合各项任务。睁”3 2 2 1a r m 概述及a t 9 1 r m 9 2 0 0 处理器 a r m 是一种单片机内核，是a d v a n c e dr i s cm a c h i n e s 的缩写。其中r i s c 原文是r e d u c e di n s t r u c t i o ns e tc o m p u t e r ，意为精简指令集计算机。同时，a r m 也是设计a r m 处理器的公司的简称n 钔。 北京t q k 大学t 学硕十学位论文 a p j v l 9 系列微处理器在高性能和低功耗特性方面提供最佳的性能。具有以 下特点m 3 ： 5 级整数流水线，指令执行效率更高； 提供1 1 m i p s m h z 的哈佛结构； 支持3 2 位a r m 指令集和1 6 位t h u m b 指令集； 支持3 2 位的高速a m b a 总线接口； 全性能的m m u ，支持w i n d o w sc e 、l i n u x 、p a l mo s 等多种主流嵌 入式操作系统； m p u 支持实时操作系统； 支持数据c a c h e 和指令c a c h e ，具有更高的指令和数据处理能力。 a r m 9 系列包括a r m 9 2 0 t 、a r m 9 2 2 t 和a r m 9 4 0 t 这3 种类型。本文介 绍的a t 9 1 r m 9 2 0 0 处理器采用a r m 9 2 0 t 核n6 j 。 a t 9 1 r m 9 2 0 0 处理器，除了具有a r m 9 系列微处理器一般的特性外，还具 有如下特点n ：集成a r m 9 2 0 t 芯核；1 8 0 m h z 运行时有2 0 0 m i p s 处理能力； 1 6 k b 的数据c a c h e ，1 6 k b 的指令c a c h e ；全功能m m u 支持w i n c e 和l i n u x ； 1 6 k b 的内部s r a m 和1 2 8 k b 的内部r o m ；外部总线接口e b i ：支持s d r a m ， s r a m ，b u r s tf l a s h 和c o m p a c t f l a s h ，s m a r t m e d i a 以及n a n df l a s h 的无缝连 接；全电源管理功能；带有8 个优先级、可单个屏蔽中断源、s p u r i o u s 中断保 护的先进中断控制器；7 个外部中断源和一个快速中断源；4 个3 2 位的p i o 控 制器可以达到1 2 2 个可编程i o 引脚( 每个都有输入控制、可中断及开路的输 出能力) ；2 0 通道的外部数据控制器( d m a ) ；i o i o o m 的以太网接i s ! ；2 个全速 的u s b 2 0 主接1 2 1 和一个从口；3 通道1 6 位的定时计数器( t c ) ；两线接u i ( t w i ) ； i e e e11 4 9 1j t a g 标准扫描接口；工业级工作环境温度( 一4 0 t o + 8 5 ) 2 2 2 存储器扩展 为使系统正常运行，存储器的扩展必不可少，它包括f l a s h 的扩展和r a m 的扩展。u 刨 2 2 2 1f l a s h 存储器接口电路 f l a s h 存储器是一种可在系统( i n s y s t e m ) 进行电擦写，掉电后信息不丢失的 存储器。它具有低功耗、大容量、擦写速度快、可整片或分扇区在系统编程( 烧 写) 、擦除等特点，并且可由内部嵌入的算法完成对芯片的操作，因而在各种嵌 入式系统中得到了广泛的应用。常用的f l a s h 为8 位或1 6 位的数据宽度，编程 电压为3 3 v 。主要的生产厂商为a t m e l ，a m d ，h y u n d a i 等。本文设计的开发 平台选用3 2 m b 线性f l a s h ，采用i n t e l 公司的t e 2 8 f 2 5 6 j 3 c 1 2 5 芯片。 第2 章系统硬件甲台的设计 t e 2 8 f 2 5 6 j 3 c 1 2 5 的单片存储容量为3 2 m 字节( 2 5 6 m 位) ，工作电压为2 7 v 3 6 v ，采用5 6 脚t s o p 封装，1 6 位数据宽度，可以以8 位( 字节模式) 或1 6 位( 字 模式) 数据宽度的方式工作啪1 。f l a s h 存储器使用n c s 0 提供片选，首地址为 0 x 1 0 0 0 0 0 0 0 。 本系统设计的f l a s h 电路如图2 2 所示。 图2 - 2f l a s h 连接电路图 2 2 2 2 r a 8 的扩展 s d r a m 具有单位空间存储容量大和价格便宜的优点，已广泛应用在各种嵌 入式系统中。s d r a m 是多b a n k s 结构，当其中一个b a n k 在进行预充电期间， 另一个b a n k 可以被读取，无需等待，大大提高了存储器的访问速度。核心板 图2 - 3s d r a m 连接电路图 s d r a m 采用两片i s s i 公司的i s 4 2 s 1 6 1 6 0 b 芯片并联构建3 2 位的s d r a m 存 储器系统，单片的存储容量为4 ( b a n k s ) x 4 m x l 6 位( 3 2 m 字节) ，工作电压为单3 3 士0 3 v ，常见封装为5 4 脚t s o p 2 ，兼容l v t t l 接1 3 ，支持自动刷新( a u t o r e f r e s h ) 和自刷新( s e l f r e 仔e s h ) ，1 6 位数据宽度瞳1 | 。本s d r a m 存储器系统共3 2 m b 的 北京t 业大学t 学硕十学位论文 空间，可满足嵌入式操作系统及各种相对较复杂的算法的运行要求。与f l a s h 存储器相比，s d r a m 的控制信号较多，其连接电路也相对复杂。s d r a m 存储 器电路如图2 3 所示。 2 2 3 以太网接口的设计 a t 9 1 r m 9 2 0 0 内部带有网络控制器，支持媒体独立接口( m e d i ai n d e p e n d e n t i n t e r f a c e ，m i i ) 和带缓冲d m a 接口( b u f f e r e dd m ai n t e r f a c e ) b d i 。可在半双工或 全双工模式下提供1 0 m 1 0 0 m b p s 的以太网接入。在半双工模式下，控制器支持 c s m a c d 协议，在全双工模式下支持i e e e 8 0 2 3m a c 控制层协议。因此， a t 9 1 r m 9 2 0 0 芯片实际上已包含了以太网m a c 控制，但并未提供物理层接口， 因此，需外接一片物理层芯片以提供以太网的接入通道。本文设计的开发平台 选用d m 9 1 6 1 e 作为以太网的物理层接口，然后经过网络滤波器c l 3 2 5 4 n 4 网 络滤波，接r j 4 5 接口。本文设计的以太网接口电路原理如图2 4 所示。 图2 - 4以太网控制器电路原理图 2 3f p g a 和s a a 7 113 的图像采集部分的链接 2 3 1f p g a 模块 美国a l t e r a 公司是世界上最大的p l d 供应厂商之一。c y c l o n e 系列芯片是 第2 章系统硬件平台的设计 该公司推出的低价格、高容量的现场可编程门阵y l j ( f i e l dp r o g r a m m a b l eg a t e a r r a y ，f p g a ) 器件，该系列芯片以其较低的价格、优良的特性及丰富的片上 资源在消费类电子、计算机、工业和汽车领域得到广泛的应用。 c y c l o n e 系列f p g a 是a l t e r a 公司中等密度的f p g a 产品，基于s t r a t i x 架 构，采用1 5 v ，0 1 3 微米、全铜s r a m 工艺，覆盖门数从5 万门到3 0 万门， 主要有e p i c 3 ，e p i c 4 ，e p i c 6 ，e p i c l 2 和e p i c 2 0 几种型号1 。该芯片逻辑资 源丰富，逻辑单元数量最大可达2 0 0 6 0 个，内置m 4 k 嵌入式阵列块( e a b ) ，最 大r a m 数位2 8 8 k b i t s ，可以达到2 0 0 m h z 的工作频率。该系列还具有多时钟 系统所必需的锁相环( p l l s ) 路；用于d d rs d r a m 和f c r a m ( f a s tc y c l er a m ) 的双倍速率传输接口；支持包括3 1 1 m b p s 低电压l v d s 接口在内的多种i o 标 准；支持6 6 m h z ，3 2 位的p c i 标准；支持多种i p 核；支持采用低成本串行配 置器件( 如e p c s1 ，e p c s 2 等) 对f p g a 进行配置。 目前市场上提供的c y c l o n e 系列的f p g a 如表2 1 所示： 表2 - 1c y c l o n e 系列的f p g a 特性 e p l c 3e p l c 4 e p l c 6e p l c l 2e p l c 2 0 逻辑单元 2 9 l o4 0 0 05 9 8 01 2 0 6 02 0 0 6 0 m 4 k r a m1 31 72 05 26 4 锁相环 12222 最人i o 1 0 43 0 l 1 8 5 2 4 93 0 1 注：每块r a m 为4 k b i t ，可以另加一位奇偶校验位 最后本课题采用的芯片为c y c l o n e 系列中的e p l c 6 ( 2 4 0 p i np q f p 封装) ， 采用a l t e r a 公司该款芯片的原因为： ( 1 ) a l t e r a 公司q u a r t u s l i 开发环境非常友好、直观，并提供了多种针对 c y c l o n e 芯片的1 p 核，为整个系统的开发提供了极大的方便； ( 2 ) 该f p g a 片内逻辑资源、i 0 端口数和r a m 容量处于中等，等效门数在 十万门左右，速度快，可以满足要求，且有一定升级空间。 2 3 28 a a 7 113 的基本原理和外围硬件电路的设计 s a a 7 1 1 3 是飞利浦公司视频解码系列芯片的一种，非常具有代表性，在很 多视频产品如电视卡、m p e g 2 、m p e g 4 中都有应用。s a a 7 1 1 3 的主要作用是 把输入的模拟视频信号解码成标准的“v p o 数字信号，。相当于一种“a d ” 器件。7 1 1 3 兼容全球各种视频标准，在应用时可根据选用摄像头的视频标准来 配置内部的寄存器，即初始化，对7 1 1 3 初始化需要通过1 2 c 总线进行。 使用s a a 7 1 1 3 芯片进行系统设计时，对其内部结构仅需做一个大致了解， 重点在于如何通过1 2 c 总线对芯片内部的寄存器进行初始化控制，使其输出所 北京t 业大学丁学硕i j 学位论文 需的数字视频信号，此外还要掌握芯片输出相关信号的时序乜4 | 。 芯片输出的信号包括：v s ( 场同步) ，v r e f ( 场消隐) ，h s ( 行同步) ，h r e f ( 行 消隐) ，o d d ( 奇偶场指示) 及v p o ( 总线数字视频输出) 。系统中后端的f p g a 芯 片利用这些信号来获得a d 变换后的数字视频图像。v r e f ( 场消隐) 、v s ( 场同 步) 、h r e f ( 行消隐) 、h s ( 行同步) 和o d d ( 奇偶场指示) 等信号，是通过1 2 c 总线 控制s a a 7 1 1 3 内部子地址为1 2 h 寄存器的值，在芯片r t s 0 和r t s l 两个引脚 选择输出。本系统中采样整幅视频图像，给子地址1 2 h 赋值为e 7 h ，在r t s 0 和r t s l 上出现v r e f ( 场消隐) 和h r e f ( 行消隐) 信号。 l l c 为行锁定时钟，用作系统时钟频率，通过芯片内部的锁相环提升为 2 7 m h z ，它的上升沿与v p o 总线同步。h r e f 是行消隐信号，其上升沿表示新 的有效行采样的开始，在场消隐期间该信号同样存在，h r e f 为低电平时指示 行消隐期。v r e f 是场消隐信号，采用v r l n = 0 的工作方式。v r e f 的上升沿 指示新的一场的开始，对应第2 4 行( 奇场) 和3 3 7 行( 偶场) ，其低电平表示场消 隐期，场消隐期间对数据不做任何处理。o d d 是奇偶场指示信号，高电平表示 为奇场，低电平表示为偶场。如图2 5 和图2 6 所示： 图2 - 5 行时序图 l 1 f “idl t2lal s e 7 8 l 2 3 l - i h a m u u u 1 _ 厂1 _ 几_ l_ - 一u 一厂矿| 0 0 兰 | _l j - ， tl m m ” li i l 柚，班和虹 嘲潲 3 l 。f 3 伫 粥| ，i | 割53 协阳7 。| 3 ，9 搿l 掰l 描 掰 1 f - - t r t r ni _ a r 1 r 1 r r p _ 一卜_ 1 f l r 叶 r 一 一u _ 1 r j 1。 上 二 _ f “ 。 _ n t p i一，m ii 1 。 1 f 阱m 2 - 65 0 h z 时的场时序图 通过1 2 c 总线对s a a 7 1 1 3 内部寄存器进行初始化之后，启动a d 转换根 据场时序图对v p o 总线数据进行采样，便可以得到符合i t u 。rb t 6 5 6 标准的 y u v 4 ：2 ：2 数字视频信号。 第2 章系统硬件甲台的设计 从c c d 摄像头输出的模拟电视信号通过r c a j a c k 插座连接到s a a 7 1 1 3 的a h 端口，视频采集系统设计的原理图如图2 7 所示： 图2 7s a a 7 1 1 3 典型应用电路图 从原理图上的可以看出，s a a 7 1 1 3 通过v p o 总线、r t s 0 ，r t s l ，s a a 7 1 1 3 r s t ( s a a 7 11 3 片选复位) 、s c u 串行时钟线) 、s d a ( 争行数据线) 与f p g a 芯片 进行通信。1 2 c 总线通过数据线s d a 和时钟线s c l 对s a a 7 1 1 3 芯片进行操作。 2 3 3 视频解码芯片s a a 7 11 3 的初始化配置 s a a 7 1 1 3 具有1 2 c 总线控制端口，通过1 2 c 总线对其内部寄存器进行配置， 从而完全控制s a a 7 11 3 的运行，下面介绍具体的配置过程。 掌握了1 2 c 总线协议之后，便可以通过1 2 c 总线对s a a 7 11 3 进行寄存器配 置，从而完全控制a d 的过程砼制。 1 2 c 协议中器件的地址是7 位，加上读写位( 写为“0 ”，读为“1 ”构成一个完 整的字节。默认情况下，即s a a 7 1 1 3 的r t s 0 没有通过一个3 3 k 欧姆电阻下 拉到地时，其器件地址是0 1 0 0 1 0 1 ，末尾加上读“1 ”和写“0 ”位后，器件地址分别 为：写地址0 1 0 0 1 0 1 0 ( 4 a h ) 和读地址0 1 0 0 1 0 1i ( 4 b h ) 。如果r t s 0 有下拉电阻到 地时，器件写地址为4 8 h ，器件读地址为4 9 h 。从地址是器件内部分配的控制 字寄存器的地址。s a a 7 11 3 提0 0 h 1 f h 、4 0 h 6 2 h 共4 3 个控制字寄存器。 北京t 业大学工学硕l ：学位论文 对s a a 7 11 3 的写控制字过程如图2 2 所示。 表2 - 2 对s a a 7 11 3 控制字寄存器的写操作 l 从地址( 写) l 应答l 器件地址+ 写l 子地址i 应答l 数据( n ) 字节i 应答i 停止l 写控制字时，首先产生一个开始信号，送出4 a ( 器件地址+ 写) 的指令，收 到一个应答位之后，送出要进行写操作的从地址，同样收到应答位后，输出要 写的内容，再次收到应答，产生停止信号。 对s a a 7 11 3 的读控制字过程如表2 3 所示。 表2 3 对s a a 7 11 3 控制字寄存器的读操作 起始位器件地址+ 写应答子地址应答 重复起始位器件地址+ 读应答 数据( n ) 字节 应答停止 对s a a 7 11 3 控制字寄存器读操作比写操作复杂，读操作分为两步进行：首 先产生一个开始信号，完成对器件地址和从地址的写操作，主器件收到应答位 之后，接着需要重新发送一个开始信号和4 b h ( 器件地址+ 读) 字节，s a a 7 1 1 3 收到后发出应答信号，从地址的控制字单元数据就从s d a 线上输出，开始接收 数据；数据传输结束时发送终止信号。这里需要注意的是，虽然是读操作，但 仍然要先写入从地址的值。 在本课题中根据应用需要，对s a a 7 1 1 3 各个控制字寄存器的初始化数值见 下表2 4 ： 表2 _ 47 1 1 3 部分寄存器说明 o o h版本号0 7 h水平同步停止o e h 色度控制 0 1 h 水平增益延迟 0 8 h 同步控制 o f h 色度获取控制 0 2 h模拟输入控制10 9 h 明度控制 1 0 h 格式延迟补偿 0 3 h模拟输入控制2o a h 亮度控制 1 1 h 输出控制1 0 4 h模拟输入控制3o b h 对比度 1 2 h 输出控制2 0 5 h模拟输入控制40 c h 色度一饱和度 1 3 h 输出控制3 0 6 h 水平同步开始 0 d h 色相控制 整个s a a 7 11 3 的初始化配置流程如图2 8 所示： 图2 - 8s a a 7 11 3 初始化配置流程 第2 章系统硬件平台的设计 当开始采集视频时，需要对r t s l 引脚给一个低电平触发以激活v p o 进行 数字视频输出。激活之后v p o 便开始源源不断的输出按照i t u r b t 6 5 6 标准组 成的4 ：2 ：2 数字视频信号。输出数字视频信号数据格式如表2 5 所示。 表2 - 5s a a 7 1 1 3 输出数字视频信号数据格式 消隐期定时基准信号7 2 0 个像素j v 4 ：2 ：2 格式数据定时基准信号消隐期 8 01 0 f f 0 00 0s vc 舯y oc i t 0y lc b 2 y 2 c r 7 1 8 y 7 1 9f f0 00 0e v8 01 0 数据流格式说明如下： s a v ： 有效视频数据开始标志 c b n ： u ( b 色差分量， n 是象素标号n = 0 ，2 ，4 到7 1 8 y n ： y ( 亮度) 分量，n 是象素标号n = 0 ，1 ，2 到7 1 9 c r n ： v ( r 色差分量，n 是象素标号n = 0 ，2 ，4 到7 1 8 e a v ： 有效视频数据结束标志 在采集过程中，如上文标准介绍的那样，如果连续输出的视频数据流为 f f 0 0 0 0 ，则标志着数据流进入定时参考代码段，接下来一个字节数据即为s a v 或者e a v ，其第七位总是为“1 ”，第六位为场标志位，第一场时为“0 ”，第二场 时为“1 ”；第5 位为“0 ”时处于有效数据阶段，为“1 ”时处于场消隐阶段；第四位 在s a v 中为“o ”，在e a v 中为“1 ”。如果第4 位为0 ，则说明一行的视频采样数 据开始了，否则说明一行视频采样数据的结束。 通过分析v p o 总线上视频数据流中的“f f0 0 0 0s a v e a v ”定时参考代码 段，可以获得奇偶场信号，场消隐信号，行消隐信号，有效行数据开始和结束 信号，根据这些控制信号，可以将奇数场和偶数场的数据还原成一幅完整的图 像。 实际上s a a 7 1 1 3 也可以通过r s t 0 ，r s t l 送出相关的控制信号，通常的 设计方法是直接用上述两个端口送出的信号作为判断标准，但在实践中，发现 有时候难以保证每一行采集的有效数据都一样，从而导致图像错位。为了避免 这个问题，采用了这种可靠的采集方法，即利用数据流的格式标准，来识别奇 偶场信号、场消隐信号和有效行数据的开始和结束。目前这种方法在视频采集