（信号与信息处理专业论文）图像采集与预处理系统设计及fpga实现.pdf

太原理- i ：大学硕士研究生学位论文 图像采集与预处理系统设计及f p g a 实现 摘要 随着图像采集、处理技术以及电子技术的不断发展和日趋成熟， 图像采集系统被广泛应用于图像模式识别、远程监控、工业控制以及 相关的军事领域，已经成为了该领域的研究热点。随着a s i c 、d s p 以及f p g a 器件的发展及应用，图像采集系统获取了一些新的技术途 径，基于f p g a 的图像采集系统成为了当前图像处理领域的发展趋势。 本文首先对图像采集与处理系统的国内外研究现状进行了分析， 介绍了图像采集系统的设计构架，在此基础上提出了本文采用的基于 f p g a 的图像采集与预处理系统的总体设计思路和方案。其次，重点 对图像预处理技术中的中值滤波算法和均值滤波算法进行了研究和 对比分析。 本文对图像采集与预处理系统的硬件电路设计进行了详细阐述， 给出了系统硬件电路设计总体及各部分电路设计方法及具体电路，包 括了图像采集电路设计、图像存储电路设计、图像预处理电路设计、 图像显示电路设计以及系统电源电路设计。对f p g a 内部功能模块设 计进行了研究，在给出图像采集与预处理系统内部功能框图的基础 上，对各部分主要功能模块的实现方法进行了详细阐述，包括了图像 采集模块、图像缓存模块、v g a 显示模块、中值滤波模块、均值滤 波模块以及滤波控制模块等。对主要功能模块进行了仿真，验证了其 太原理：【：大学硕士研究生学位论文 功能的正确性。对图像预处理技术中的中值滤波算法和均值滤波算 法，通过s i g n a l t a p i l 在线调试、m a t l a b 仿真、m o d e l s i m 仿真相结合的 方法，对其滤波性能进行了仿真验证，并对比分析了两种滤波算法的 实际效果。最后讨论了该课题研究中尚存在的一些问题以及今后进一 步研究的方向。 关键词：图像采集，图像预处理，中值滤波，v g a 显示，f p g a 太原理l ：大学硕士研究生学位论文 d e s i g no fi m a g e a c q u i s i t i o na n d p r e p r o c e ss i n gs y s t e ma n df p g a l 【p l e 匝n 1 、a t l0 n a bs t r a c t w i t ht h ec o n t i n u o u sd e v e l o p m e n to ft h ei m a g ea c q u i s i t i o n ，i m a g e p r o c e s s i n ga n de l e c t r o n i ct e c h n o l o g y , t h ei m a g ea c q u i s i t i o ns y s t e mh a s b e e n w i d e l ya p p l i e d i nt h ef i e l d so fp a t t e m r e c o g n i t i o n ，r e m o t e m o n i t o r i n g ，i n d u s t r i a lc o n t r o la n dm i l i t a r y , a n di th a sb e c o m ear e s e a r c h h o t s p o ti nt h i sf i e l d w i t ht h ed e v e l o p m e n ta n da p p l i c a t i o no fa s i c ，d s p a n df p g a ，an e wt e c h n i c a lw a yf o ri m a g ea c q u i s i t i o ns y s t e mh a sb e e n p r o v i d e d t h ei m a g ea c q u i s i t i o ns y s t e mb a s e do nf p g ah a sb e c o m et h e d e v e l o p m e n tt r e n d si nt h ef i e l do fi m a g ep r o c e s s i n g f i r s t l y , t h er e s e a r c hs i t u a t i o no ft h ei m a g ea c q u i s i t i o na n dp r o c e s s i n g s y s t e ma th o m ea n da b r o a dw a sa n a l y z e da n dt h es t r u c t u r eo ft h ei m a g e a c q u i s i t i o ns y s t e mw a si n t r o d u c e di nt h ep a p e r t h ew h o l ed e s i g ni d e a s a n ds c h e m eo ft h ei m a g ea c q u i s i t i o na n d p r e p r o c e s s i n gs y s t e mb a s e do n f p g aw e r ep r o p o s e do nt h eb a s i so ft h es t r u c t u r eo ft h e i m a g e a c q u i s i t i o ns y s t e m s e c o n d l y ，t h ea l g o r i t h mo fm e d i a nf i l t e ra n dt h e a l g o r i t h mo fm e a nf il t e ri n c l u d e di ni m a g ep r e p r o c e s s i n gt e c h n o l o g y w e r es t u d i e da n da n a l y z e dc o m p a r a t i v e l y 。 i i i 太原理t 大学硕士研究生学位论文 t h ed e s i g no fh a r d w a r ec i r c u i t so ft h e i m a g ea c q u i s i t i o n a n d p r e p r o c e s s i n gs y s t e mw e r ed e s c r i b e di nd e t a i li nt h ep a p e ra n dt h e w h o l e d e s i g no fh a r d w a r ec i r c u i ta n dt h ed e s i g no ft h ev a r i o u sp a r t s o ft h e c i r c u i tw a sg i v e n ，i n c l u d i n gt h ed e s i g no fi m a g ea c q u i s i t i o nc i r c u i t ，i m a g e s t o r a g ec i r c u i t ，i m a g ep r e p r o c e s s i n gc i r c u i t ，i m a g ed i s p l a yc i r c u i ta n d s y s t e mp o w e rc i r c u i t t h ed e s i g no fi n t e r n a l f u n c t i o nm o d u l eb a s e do n f p g aw a ss t u d i e d t h ei n t e r n a l f u n c t i o nb l o c k d i a g r a m o fi m a g e a c q u i s i t i o na n dp r e p r o c e s s i n gs y s t e mb a s e do nf p g a w a sg i v e na n dt h e i m p l e m e n t a t i o nm e t h o d so f t h em a i nf u n c t i o nm o d u l e sw e r ed e s c r i b e di n d e t a i l ，i n c l u d i n gi m a g ea c q u i s i t i o nm o d u l e ，i m a g ec a c h em o d u l e ，v g a m o d u l e ，m e d i a nf i l t e rm o d u l e ，m e a nf i l t e rm o d u l ea n df i l t e r i n gc o n t r o l m o d u l ea n ds oo n 。风em a i nf u n c t i o nm o d u l e sw e r es i m u l a t e da n dt h e c o r r e c t n e s so f t h em a i nf u n c t i o nm o d u l e sw a sv e r i f i e d t h ef i l t e r i n gp e r f o r m a n c eo ft h em e d i a nf i l t e ra l g o r i t h ma n dm e a n f i l t e ra l g o r i t h mi nt h ei m a g ep r e - p r o c e s s i n gt e c h n o l o g yw e r es i m u l a t e d a n dv e r i f i e dt h r o u g ht h ec o m b i n a t i o no fs i g n a l t a p l io n l i n ed e b u g g i n g ， m a t l a bs i m u l a t i o na n dm o d e l s i ms i m u l a t i o n 。t h ea c t u a le f f e c t so ft w o f i l t e r i n ga l g o r i t h m sw e r ec o m p a r e d f i n a l l y , t h ee x i s t i n gp r o b l e m si nt h e s t u d yo f t h et o p i ca n dt h ed i r e c t i o n so ft h ef u t u r er e s e a r c hw e r ed i s c u s s e d 。 k e y w o r d s ：i m a g ea c q u i s i t i o n ，i m a g ep r e p r o c e s s i n g ，m e d i a nf i l t e r ， v i d e o g r a p h i c sa r r a yd i s p l a y ，f i e l dp r o g r a m m a b l eg a t ea r r a y i v 太原理互大学矮：磷究生学位论文 1 1 研究背景与研究意义 第一章绪论 图像是人类社会生活中最常见的一静信息载体。视觉图像信息在人类从外爨获取 的众多信息中，占据着非常大的比重。人们总是想通过弥补视觉功能的不足，来获取 图像中更多的信息。通常采用的传统的获取方法就是采用模拟电子电路或者光学方法 对图像进行处理，例如：照相机、望远镜以及电视摄像机等。随着计算机图像处理技 术以及电子技术的快速发展和逐渐成熟，图像采集与处理技术已经被越来越多地应用 到医学、工业、航天航海、交通、军事及社会安全等众多领域。利用图像采集装置可 以替代人工获得大量环境中的信息，如入、车辆、运动目标等等。目前，具有自动化 稷度较高、功鑫基多样的图像采集处理系统可被广泛应耀于远程监控、远程抄表、交通 管控、工业控制、可视电话、图像模式识别、医疗器械以及生产安全等各个领域，丽 时也可用于相关军事领域，已经成为了该领域的研究热点之一。作为视频监控系统 的三大核心技术，图像数据采集、图像数据处理和图像数据传输融受到了广泛关注， 成为了电子信息与通信学科的前沿。随着图像采集处理技术的发展，图像处理技术也 越来越多应用于各个领域，例如移动通信3 g 中的图像技术、监控系统的摄像头及其 后期图像显示、电视会议等等。舀前，图像采集处理系统已经逐渐应用到越来越多的 行业及设备中，所谓图像采集处理系统就是利臻采集设备来获取外雾图像信息，其中， 在所有的图像处理技术中最重要的工 乍即是前期的图像采集以及数据缓存1 2 1 。 数据采集技术是门综合应用技术，它综合了包含传感器、电子、测试以及计算 机技术等在内的多项基础技术，这些基础技术水平的进步极大地带动了数据采集技术 水平的快速发展，应用数据采集系统能够获得大量的动态信息，是对瞬态的物理过程 进行研究的一个有力工具。随着电子信息科学技术及电子元器件的不断发展，工业生 产控制、消费类电子产品、军事航天、智能监控等领域对图像处理技术的要求越来越 高。謦前，视频图像采集技术正以高传输速度、高可靠性、高分辨率以及高集成他的 要求迅速发展。数据采集系统就是将采集传感器获取并输出鳃模拟信号转换成计算机 设备以及数字信号处理器能进行识别的数字信号，然后将得到的数字信号送入计算机 太原理工大学硕士研究生学位论文 或数字信号处理器进行相应的计算、处理，最终获取所需要的数据图像信息，在传统 的数据采集系统中，主要的控制器通常采用单片机或d s p ，对a d 转换器、存储器以 及其他的外围电路进行控制，这使得数据采集系统的速度和效率受到了影响而降低1 3 1 。 例如：单片机的数据采集需要通过软件实现而且其时钟频率很低，而d s p 无法实现数 据的并行处理等等，这些都难以满足数据采集系统对采集速率的高要求。在实际应用 中，随着数据采集系统对采集速度的要求逐渐变高，传统的采集系统已经无法满足对 数据采集速度的高要求。特别是图像数据的采集与处理系统中，当系统对图像的分辨 率及传输速率要求较高的条件下，采用高速率的图像采集系统是十分有必要的，主要 体现在以下两个方面1 4 ，j ： ( 1 ) 图像分辨率的提高使得图像采集的准确度成为图像采集与处理技术发展的一 个关键问题。 ( 2 ) 图像以及视频传输速率的提高，不仅增加了图像处理的延时时间，同时图像采 集的实时性也进一步加剧了图像采集与存储的难度。 随着大规模的可编程逻辑器件的出现以及f p g a 技术的广泛应用，图像数据采集 与处理系统得到了一定的技术支持。f p g a 器件不断地推陈出新，其性能得到了极大 的提升，f p g a 的内部延时非常小，速度快、效率高，而且其全部的控制逻辑单元均 可硬件完成，因此可以满足图像数据采集与处理技术的高速率的需求，从而能够更加 灵活、方便地采集实时图像并设计出合理的图像处理系统。 图像数据采集是指根据一定的格式将高频率图像信息转化成有利于计算机或数字 信号处理器处理的数字格式，并传输! i i 卡i 应的图像处理模块或者存储模块中。数字图像 处理( d i g i t a li m a g ep r o c e s s i n g ) 则是通过计算机或其它数字信号处理器完成对图像的 去噪、增强、复原、分割以及提取特征等处理的技术方法。由此可见，图像数据采集 是后期图像存储、处理以及图像信息传输的前提和基础工作。在进行采集图像的过程 中，由于采用的获取图像的方法不同以及所使用的工具也不尽相同等，会使得最终采 集到的图像存在许多缺陷，比如图像变形、掺杂噪声等。这就需要对采集后的图像做 一些预处理，例如图像滤波、增强、锐化等，其目的是提高图像的视觉质量以便于后 续的图像识别以及跟踪技术的应用1 6 j 。对图像的处理一般可以分为低级的和高级的两 种图像处理方式，其中低级的图像处理方式的算法相对较简单，需要处理的数据量却 非常大，而且需要多次重复使用，如果通过软件来实现将是一个非常耗时的过程，但 2 太原理一l ：大学硕士磅变生学经论文 若用硬件实现，就可以并行处理大量的数据，从而大大地提高了数据处理的速度1 3 】。 高级图像处理方式的算法芘较复杂，僮是需要处理的数据量小，阂此可以用软件来完 成。爨此，在图像处理系统中，可以利用f p g a 、d s p 等一些高速的处理芯片对图像 进行预处理。 因此，本文通过对基本的图像数据采集技术及预处理技术的研究，设计一种可以 高速地实现图像数据采集及预处理的系统，并对其采集、存储及预处理方法进行研究， 通过f p g a 进行功能实现，对于图像采集与处理技术的深入研究具有重要的现实意义， 其拟取得的研究成果也将为图像数据采集与预处理系统的工程化应用奠定理论与技术 蕞磊童。 1 2 图像采集与处理系统研究现状 图像信息是人类社会生活中的一种非常重要的信息源。在数字计算机问世之前， 一般采用传统的模拟方式处理图像信息，随着数字计算机以及数字信号处理器的出现 及发展，图像的聚集与处理技术已经逐渐转变为数字纯方式l 莨。随着数字信号处理技 术和计算枫技术的快速发展，图像采集与处理技术已成为了当嚣的一个燕f j 研究点。 图像采集与处理系统的发展历程具体可分失三个阶段： 第一阶段，在2 0 世纪6 0 年代末到8 0 年代中期，称为第一代模拟图像处理系统， 该阶段的图像信息采集与处理系统主要是以模拟设备为主，其具有代表性的产品主要 是英国和美豳的一些公司生产的各种图像分析系统以及图像计算机，这些产品的系统 结构采用了机箱式，因此其特点是系统体积非常庞大，价格昂贵，但是系统功能相对 较强，与此同时国内对于图像采集与处理系统的研究起步刚刚开始，其系统的结构设 计同样也是机箱式，主流计算机采用小型机，如清华大学研制的图像采集与处理系统 及图像计算机i 懿。 第二阶段，在2 0 世纪8 0 年代中期到9 0 年代中期，该阶段内产品的系统结构采用 插卡式而取代了机箱式，因此产品特点是系统结构逐渐小型化，通过在计算机内插入 图像采集卡便与其构成图像采集系统。这一时期，国内的清华大学和中科院自动化研 究所都相继研制出了一系列的图像采集卡羽。该阶段的产品大都采用专用或大规模集 成电路，因此产品的体积小、价格也偏低而且使用方便。由于此时计算祝技术已经得 到了飞速的发展，图像采集与处理系统充分剩用了计算机的高速数据处理能力，采用 3 太原理j ：大学硕士研究生学位论文 了兼容+ 工控p c 机+ 视频采集卡+ 应用软件的组成结构，以及 s a 总线接口形式，芫成 对图像信息的压缩、存储、分析及显示。 第三阶段，从2 0 世纪9 0 年代中后期开始，图像采集与处理系统产品逐渐分为两 类：一类依然采用插卡式，采用技术成熟了的p c i 总线的产品，逐步取代了采用i s a 总 线接口的产品，该类产品的特点是：采用p c i 总线，在w i n d o w s 平台上编制图像处理 软件，国内许多公司也推出了不少该类型的产品1 8 】；另一类产品则是采用了专用的集 成芯片或大规模集成电路代替计算机的脱机图像处理系统。随着数字信号处理器 ( d s p ) 、以及现场可编程门阵y i j ( f p g a ) 的运算速度的大幅提高以及芯片的高度集成 化，上述芯片已成为了该阶段脱机图像系统中使用的最多的处理器【引。该阶段的i 雪j l - 产品中，在世界市场上处于主导及领先地位的当属美国t l 公司研制的d s p 及其图像处 理平台，而国内直到9 0 年代末才出现较为成熟的d s p 产品，例如中科院沈阳自动化研 究所开发的基于d s p 的视频跟踪设备以及西南物理研究所开发的基于d s p 的视频跟 踪警戒设备等1 9 1 。 经过数字化处理后，图像信息的数据量非常大，然而传统的图像采集与处理系统 对于此庞大的数据量已经无法达到其对数据处理速度的高速要求，新的图像采集方法， 即以f p g a 、d s p 、a r m 为核心处理器的采集方法的不断发展，为图像采集与处理 系统提供了新的解决方案，并成为了图像数据高速采集与处理系统领域的发展趋势1 9 1 。 目前，高速数据采集处理技术已经广泛的应用于通信、雷达、遥感遥测、航空航天、 智能仪器、地震勘探等诸多研究领域中。国外的a g i l e n t 、t e k t r o n i x 、a d i 、t i 、n s 等公 司在高速数据采集方面均研发出了许多国际公认的处于领先地位的产品；国内的北京 理工大学等高校以及润恒科技、凌华科技等公司也相继推出了许多相关类型的产品 【1o 】 o 在图像处理方面，随着大规模的集成电路或专用的芯片的发展，图像处理中的一 些预处理算法都可以在大规模的集成电路或专用的芯片中完成和实现。目前的图像处 理系统主要采用两种硬件设计方式：一种是采用全定制的专用集成电路( a s i c ) 设计， 另一种则是采用处理速度高的半定制的现场可编程门阵列( f p g a ) 或数字信号处理器 ( d s p ) 1 3 , 1 1 j 。其特点如下： ( 1 ) 专用集成电路( a s i c ) 主要专门针对某一固定的算法或特殊应用而设计的。该 技术设计途径可以满足各种算法实现的快速性，但a s i c 设计的周期比较长，成本较 4 太原瑾1 ：大学硕士研究生学位论文 高，而且功能单。另外，由于该类芯片是专门针对某一特定的目的而设计，成型后 馁不能再进行更改，如果要采用新算法或技术，必须重新设计芯片及其硬件电路，因 此该类芯片的逶用性； 常差网。 2 ) 数字信号处理器( d s p ) 是具有特殊结构的，采用专用硬件实现的，为快速实现 各种常用的数字信号处理算法而设计的一种微处理器，例如飘公司的d s p 采用了甚长 指令字( v l l w ，v e r yl o n gi n s t r u c t i o nw o r d ) 结构，其处理速度可达到1 0 0 0 m i p s 以上。 尽管d s p 优化了部分固定的运算，但其在实际应用中仍有一定的限制，因为d s p 的系 统仍然采用串行指令执行系统，无法满足众多算法尤其是要求提高处理速度的场合的 需求。 ( 3 ) 现场可编程门阵歹u ( f p g a ) 也被称作可编程a s i c ，它是目前一种广泛应用的 可编程逻辑器件。f p g a 具有可编程的特点，设计灵活性 畏强，可以根据系统所需进 行霹编程配置重构，因此通用性也比较强。f p g a 设计中采用了硬件描述语言和模块 化设计，开发周期短，而且便于系统功能的扩展和维护1 1 2 l 。在f p g a 开发设计方颐， 可以采用在d s p 上无法实现的硬件并行及流水线( p i p e l i n e ) 技术。 因此，在图像采集与处理系统中，对于实时性要求，f p g a 相对a s l c 和d s p 的 灵活性更强，能够满足系统图像信号处理的高实时性要求，而且能够极大地提高图像 信息处理速度，是图像采集与处理系统中的理想处理器的选择。现代的大容量且高速 度的f p g a 及相应的可编程片上系统s o p c 技术的出现，提供了一种新的图像采集与 处理系统方案，在实现数字信号处理方面，f p g a 最显著的特点就是其高速良好的性 能，能够采用并行处理方式工作，是其它采用蹶序执行的方式来完成控制和运算豹软 件算法无法比拟的f 9 1 。f p g a 芯片内部p l l 、l v d s 、霹配置的r a m 以及硬件乘法累 加器等模块为数字信号处理提供了丰富资源，不断地补充其知识产权( i p ) 核心库，为 设计者提供了极大的便利，使得以f p g a 为代表的数字图像处理技术得到了进一步的 发展，表现在以下几个方面1 1 3 。1 5 】： ( 1 ) 高速的图像处理速度，利用纯软件的方式对图像进行处理时，一些场合下很难 做到图像实时的处理，处理速度在很大程度上受到了限制，利用存储器技术、p c i 以 及u s b 总线技术，可以使图像处理速度得到明显提舟。 ( 2 ) 在复杂的图像处理技术中，很多图像处理难题需要进一步解决，如图像压缩与 解压缩，图像识别及特征提取等，这些图像处理技术中的难题将会随着硬件技术的不 5 太原理：1 ：大学硕士研究生学位论文 _ 一 断发展以及图像处理技术的进步而得到解决。 ( 3 ) 图像处理技术进入了网络化时代，图像处理系统也日益复杂，挑战型课题例如 以网络为中心的系统结构的不断出现，使得图像处理网络化成为了众多新技术中影响 巨大的技术之一。 随着近些年来图像采集与处理系统硬件技术的发展，许多数据采集系统被研发出 来，具有较高的科学价值，但仍然存在一些问题有待改进。半导体产业的迅猛发展使 得高速数据采集技术也将得到较快的发展，利用f p g a 技术实现高速图像采集与处理 将成为未来发展的趋势。 1 3 本文的研究内容与章节安排 针对目前图像采集与预处理系统设计与实现的需求，本文主要研究了图像采集与 预处理系统设计以及图像预处理中的相关技术，并分别进行了仿真及实现，本文共分5 章，具体章节安排如下： 第一章简单介绍了本课题的研究背景与研究意义，对图像采集与处理技术领域的 国内外发展现状进行了简述和分析，对图像处理技术实现的方法进行了研究，并给出 了本文的主要研究工作和内容安排。 第二章主要专用图像处理系统和通用图像处理系统的系统构架分别进行了分析， 然后对图像预处理技术中几种滤波算法进行了简要阐述，重点对图像预处理技术中的 中值滤波算法和均值滤波算法进行了分析对比。然后，介绍了f p g a 在图像处理领域 中的应用，在此基础上提出了本文设计中图像采集与预处理系统的总体设计思路和方 案。 第三章主要对图像采集与预处理系统的硬件电路进行了设计，给出了系统的硬件 设计结构，并详细阐述了其各个主要硬件电路部分的设计，包括图像采集电路设计、 图像存储电路设计、图像预处理电路设计、图像显示电路设计以及系统电源电路设计。 第四章对图像采集与预处理系统功能进行设计，首先对软件设计流程进行了简要 说明，给出了f p g a 内部功能模块设计及总体设计，并对各个主要功能模块的f p g a 实 现方法进行了详细研究，并对各自功能模块进行了波形仿真，验证了各自功能模块设 计的正确性。 第五章对整个系统进行了总体仿真与分析，利用s i g n a lt a p l i 在线调试与m a t l a b 仿 6 太缀理，：犬学硕士研究生学位论文 真、m o d e i s i m 仿真褶结合，对图像预处理技术中的中值滤波算法和均值滤波算法进行 了仿真，并分析对比了各囱算法的仿真效果。 第六煮针对本文的硪究内容和所做的实际工作进行了总结，指出了本文研究中尚 存在的有待进一步解决的问题，并对课题的下一步职究做出了展望。 7 太原理工大学硕研究生学位论文 二一 第二章图像预处理技术及f p g a 的应用 2 1 图像采集处理系统介绍 图像处理系统一般分为专用和通用两种。专用图像处理系统一般是针对某特定 领域的应用而构建的；通用图像处理系统一般指计算机加图像采集卡构成的处理系统 3 , 1 6 1 。一般情况下，根据不同的原理可将图像采集与处理系统分为三个主要部分：图 像的采集、图像的分析与处理以及图像的输出与显示。其中，图像的采集通过传感器 来实现，图像的分析与处理以及图像的输出均通过图像采集和处理卡完成。在图像采 集处理系统中，图像的采集、图像的分析与处理以及图像的输出与显示功能又可细分 成以下几个部分：图像传感器、图像的采集、图像数据储存、图像数据的预处理、图 像数据的高级处理以及图像的传输弧。其系统构架如图2 1 所示。 罄2 一】鹭像采集与楚埋系统构架 f i g u r e2 - 1f r a m e w o r ko fi m a g ea c q u i s i t i o na n dp r o c e s s i n gs y s t e m 1 、图像传感器 图像传感器的作用是可以将光信号转化为电信号。根据其输出颜色的不同可以分 为黑白和彩色两种摄像头；根据输出信号的不同可以分为数字视频和模拟视频两种摄 像头；根据扫描类型的不同可以分为线扫描和面扫描两种摄像头。 9 太原理 ：人学硕士研究生学位论文 2 、图像采集 图像采集模块的功能主要是处理图像传感器的输出信号，如果图像传感器输出的 是模拟信号，图像采集模块则利用a d 转换对模拟信号进行采样；如果传感器输出的 是数字信号，图像采集模块则要完成对c c d 摄像头的时序和曝光控制。 3 、图像存储 根据不同的系统，图像存储一般采用不同的大容量d d r a m 、s d r a m 或者 s g r a m ，来完成对整个图像帧的存储。在一些高速数据采集系统中，采集数据量非 常大、采集速度也比较高，这就要求系统根据需要，考虑所选用的缓存的容量大小以 及访问速度的快慢。在高速图像采集系统中，一般可以通过采用两个或者是多个缓存 模块相连的方式，用缓存容量换取时间，从而达到更快的数据存储速度| 1 8 】。 4 、图像预处理 如果系统需要处理大量的数据量时，无法仅仅利用后期的图像处理模块完成，因 此要先对图像进行预处理。一般，图像预处理可以在f p g a 内部完成，从而减少后期 图像处理模块的处理量，进一步缓解后期的高端处理模块的压力。其中图像的预处理 过程包括了常用的图像去噪、图像分割、图像增强以及图像特征识别和提取等1 9 1 。 5 、图像高级处理 图像高级处理的功能主要是对图像数据进行整体的全局的处理，它是在图像预处 理之后，对整个系统的后期图像进行处理，该模块一般在数据量比较大的处理场合中 应用较广。 6 、图像传输 图像传输是指图像数据与上位机或其他系统之间通过外部接口完成通信。一般常 用的有i s a 总线接口、p c i 总线接口以及u s b 接口。 2 2 图像预处理算法研究 在图像的采集、传输过程中，由于图像的获取方法不同以及使用的工具不同等， 采集到的图像会存在一些缺点如变形、噪声等，图像的质量也因此而降低。图像质量 的降低将对后续图像的识别以及特征提取将带来一定的影响。因此，一般需要对图像 进行图像滤波、图像增强等预处理，改善图像的质量，以满足后续处理需求。 根据变换原理的不同，图像增强方法一般可分为空间域和频率域两种。空间域处 1 0 太原理一l 一大学硕矮究生学位论文 理方法是以灰度映射变换为基础，直接针对图像中的像素处理，其中用到的映射变换 以增强为鹭的，例如改善图像的灰度爆次、增加其对泷度等处理l 揪。目前，在空闻域 处理中，主要采鼹邻域平均和中值滤波两种方法完成去噪处理，空间域处理方法的示 意图如图2 2 所示。 输f ( x ，y ) 输出g ( x ，y ) 空间域处理 图2 - 2 空间域图像处理 f i g u r e2 - 2i m a g ep r o c e s s i n gi ns p a t i a ld o m a i n 频率域处理方法是利用变换域，先对输入数据做变换，计算出图像的变换系数， 最后通过反变换得到处理后的即增强的图像，具体的处理过程如图2 3 所示。 输 f ( x y ) f ( x y )g ( x ，y ) 德里时变换 频率域处理傅里时反变换 图2 3 频率域蹦像处理 f i g u r e2 - 3i m a g ep r o c e s s i n gi nf r e q u e n c yd o m a i n 其中，s ( x ，y ) 表示输入的图像函数，f 0 ，v ) 是，g ，岁) 傅立时变换后的频率域函数， g 缸，v ) 是经过频率域处理后的函数，g ( x ，y ) 是g 缸y ) 经傅立叶反变换后的空间域函数。 赉于在频率域图像处理中噪声主要集中在高频段，因此可以采用低通滤波的方法去除 噪声【2 1 , 2 2 】。 图像滤波的方法有很多种，例如统计排序滤波、均值滤波、中值滤波、高斯滤波 等。 2 2 1 统计排序滤波算法 统计排序滤波是一种非线性的科技滤波器，既可以平滑图像又能够滤除噪声。它 的响应是基于图像滤波器包围的图像区域中像素的排序，最后由统计排序结果决定的 值代替中心像素值。统计排序滤波可以实现最大值滤波、中值滤波、最小值滤波等任 ，y ) 太原理工大学硕士研究生学位论文 意级数的滤波。 以3 3 的窗口为例，统计排序滤波的实现过程是：首先，对3 3 窗口内的9 个像 素值排序，然后根据输出排序的级数确定输出的像素值，代替3 x 3 窗口中心位置的像 素值的输出值。如果取最大像素值或者最小像素值作为输出值，则实现了最大值滤波 或虽小值滤波。特别地，如果取中间像素值作为输出值，则构成了下- - + 节介绍的中 值滤波。 2 2 2 中值滤波算法 中值滤波( m e d i a nf i l t e r i n g ) 是一种非线性的信号处理技术，它以排序统计理论为 基础，在抑制噪声处理方面十分有效。中值滤波技术的原理是按照灰度级对图像中的 每一个合法像素点领域中的像素进行排序，然后输出该组的中间值，作为该像素值【2 3 】。 中值滤波实现起来简单方便，去噪的同时也能有效地保留图像的边缘细节，能够有效 避免均值滤波方法引起的图像细节模糊等缺点。因此，中值滤波技术广泛应用于图像 平滑以及数据分析处理等多个领域。 中值滤波定义如式( 2 1 ) 所示， g ( x ，y ) - - m e d i a n f ( s ，) ) s ，r s( 2 1 ) 其中，s ( s ，) 为输入的像素灰度值，g ( x ，少) 为输出的像素灰度值，s 表示模板窗 口。s 可以为方形、线形、十字形等。 中值滤波器般选择奇数的的滤波窗口，比如3 3 、5 5 的窗口等。在传统的中 值滤波算法中，需要对模板窗e l 中的所有的像素进行排序，然后输出其中间值2 4 1 。在 排序过程中，通过比较和交换领域内的像素，然后求出该组数据的中值。 在传统的中值滤波算法中，排序过程一般采用冒泡法。例如，如果滤波窗口的像 素数为n ，则第( n + 1 ) 2 个数，即为这组数据的中值。中值滤波算法在实现时，主要 是对滤波窗口进行操作，使拥有不同灰度值的像素点更接近其临近值【2 5 1 ，利用移动模 板窗口的方法产生出新窗口，并对其所有像素点的值进行排序。从排序的过程中可以 看出，整个比较过程总共做了( 一0 2 次操作；对第( + 0 2 个数后面的数进行比 较运算没有意义。 中值滤波滤器可以保留图像的边缘信息，在平滑尖锐噪声方面( 如脉冲噪声、椒盐 1 2 太原理一j ：大学硕士研究生学位论文 噪声等) 的应用非常有效。但是，标准的中值滤波存在着一定的盲目性和保守性，因为 它是一种非参数估计，没有充分利用实际中的观测模型的统计知识；经过中值滤波后， 图像中的一些尖锐边角以及细线被滤去，同时图像的一些细节信息被丢失，因此图像 的几何结构遭到了破坏；另外，中值滤波虽然在尖锐噪声抑制方面具有较好的处理能 力，但对均匀分布和高斯分布的噪声的抑制能力则有明显的下降2 6 1 。 2 2 3 均值滤波算法 均值滤波算法也称为邻域平均法，该算法是采用几个邻域像素灰度的平均值代替 每个像素的灰度值2 7 , 2 8 。式( 2 2 ) 给出了标准的均值滤波的数学表达式。 岫) 2 万l ( 善似) ( 2 2 ) 其中m 为邻域n 内像素的点数。如果m = 9 ，则是个3 x3 模板，公式( 2 - 2 ) 便可以写成： 乃( t ，) 2 吉荟磊舷砂 ( 2 - 3 ) 下面对均值滤波算法的滤波特性进行分析，假定其噪声模型为式( 2 4 ) 所示。 g ( i j ) 2f l i j ) + n ( i j )( 2 - 4 、 其中( f ，) 为原始图像，”( f ，) 为噪声，则经过邻域平滑得到的图像可以用表达式 ( 2 - 5 ) 进行表示。 g ( “) 2 万1 ( ( ，咖g ( “) 2 万1 萎鳓厂瓴，) + 万1 e 川叫n ( “) ( 2 5 ) 式中，m 为邻域中总像素点数，s 为( f ，) 点的邻域，根据统计学分析，上式第二 项中噪声的方差可以表示为式( 2 6 ) ： 。b 毛，椰 _ 瓦1 ，萎s ，刖，= 争2 p 6 ， 其中，d 为求方差运算，吒。是未经邻域平滑前的原图像的噪声方差，噪声的方 差经邻域平滑后，减少为原来的1 m ，因此起到了降低噪声平滑图像的作用【2 9 1 。但是 均值滤波算法仍然存在一些缺点： l3 太原理：】：大学硕士研究生学位论文 ( 1 ) 均值滤波算法存在着一定的盲目性，它采用相同的权值对图像进行平滑，造成 边缘模糊，引起对脉冲噪声敏感。例如，在对含有噪声的图像进行均值滤波时，假设 所处理的区域中包含受脉冲噪声污染的像素点，如果此时再采用相同的权值进行处理 则会大大影响该像素点的滤波效果，而且此时的均值运算还会将它的影响进而扩散到 其周围的其它像素点【2 8 】。 ( 2 ) 均值滤波算法在平滑了图像噪声的同时，也模糊了图像的细节信息，它将图像 噪声减为原来的1 m 的同时，也将图像的细节减为原来的1 m 。这是该算法存在的一 个缺陷。 ( 3 ) 在均值滤波算法中，采用相同权值进行处理而没有考虑各像素点的位置信息及 其相关性，加权均值滤波算法是在此基础上的最常见的一种改进算法。 在图像预处理过程中，尽管各预处理方法的算法相对简单，但是所需处理的数据 量依然比较大，且要重复使用，因此是图像采集与处理整个系统中耗时最长的一个环 节，该过程对整个系统的处理速度有很大的影响1 3 0 1 。因此，采用硬件设计的方法处理 将是一种合适的方案。对于这些图像预处理算法，可以充分利用f p g a 器件处理的优 势，采用相同的操作同时处理大量的像素数据，即采用并行处理方法，提高处理速度， 进而有效缩短处理时间。 2 3f p g a 在图像处理中的应用 在图像处理中，并行技术已经成为一种能够有效提高图像处理速度的重要技术。并 行处理技术主要以算法为核心，并行语言为描述，软硬件为实现工具。 随着f p g a 的快速发展，f p g a 凭借其高速的并行处理能力和强大的数据吞吐能力， 以及越来越广泛应用于图像处理领域中。f p g a 可以同时并行处理多个任务，因此可以 提供图像处理的速度。f p g a 用于图像处理主要有两种方式，一种是用作图像协处理器， 另一种是单独作为图像视频的处理器。 f p g a 技术的发展以及相应高端器件的出现，为该系统设计提供了硬件支持【3 1 1 。 因此，可以将f p g a 作为整个系统的主要核心器件，去控制前端的图像采集模块，同 时也可以利用f p g a 作为图像预处理算法的实现平台。由于高速图像采集系统对需要 处理的数据量、图像预处理算法以及图像采集与处理的实时性等多个方面的要求都比 较高，因此对f p g a 器件的功能也相应地有比较高的要求。目前，a l t e r a 公司和 1 4 太原理j l 大学硕士研究生学位论文 x i l i n x 公司的高端f p g a 器件可以满足高速图像采集与处理系统的多种功能要求。 在采用f p g a 作为主要器件的设计思路下，f p g a 系统设计需要依照以下基本流 程实现设计【3 2 1 ： ( 1 ) 定义系统的总体功能，并合理地划分出逻辑功能模块，包括系统的端口定义以 及系统功能复用等； ( 2 ) 初步对整体系统资源情况进行估算； ( 3 ) 对系统中的主要功能模块( 时钟结构、频率及关键路径等) 进行时序初步估算； ( 4 ) 通过对整体系统的初步评估，选择型号合适的f p g a 芯片； ( 5 ) 对整体系统的功能模块进行子功能模块的划分，并定义各子功能模块的接e 1 ； ( 6 ) 在整体设计流程的前提下，完成各子功能模块的编程设计，并对各子功能模块 进行仿真验证； 仿真验证整体系统功能模块，包括对整个系统的时序仿真以及功能仿真，并利用实 际系统进行测试。 f p g a 芯片除了完成一些外围器件的配置，还需要完成图像预处理算法等功能的实 现【3 3 1 。图2 4 是采用f p g a 作为主控芯片的本系统的总体设计方案。 2 4 小结 图2 4 系统总体设计方案 f i g u r e2 - 4d e s i g ns c h e m eo fo v e r a l ls y s l e m 本章对专用图像处理系统和通用图像处理系统的系统构架分别进行了分析，然后 对图像预处理技术中几种滤波算法进行了简要阐述，重点对图像预处理技术中的中值 滤波算法和均值滤波算法进行了分析对比。然后，介绍了f p g a 在图像处理领域中的 应用，在此基础上提出了本文设计中图像采集与预处理系统的总体设计思路和方案， 本设计方案中采用了f p g a 作为图像采集与预处理系统的主控芯片，可完成c m o s 图 1 5 太原理：i ：大学硕士研究生学位论文 像传感器的驱动配置以及图像预处理算法。 1 6 太原理：l - 人学硕七研究生学位论文 第三章图像采集与预处理系统硬件设计 3 1 系统硬件结构 在系统总体方案设计的基础上，本章主要针对系统硬件电路结构以及具体电路设 计进行电路设计方面的详细阐述。本系统的硬件结构主要包括了图像采集传感器、 f p g a 及其外围电路、s d r a m 存储电路、v g a 显示接1 3 电路、电源电路等部分【3 4 】。 图像采集与预处理系统的硬件结构框图如图3 1 所示。 图3 - 1 图像采集与预处理系统硬件结构 f i g u r e3 1h a r d w a r es t r