（光学工程专业论文）基于fpga的图像处理算法及压缩编码的研究与实现.pdf

摘要 本文以“机车车辆轮对动态检测装置”为研究背景，以改进提升装置性 能为目标，研究在a l t e r a 公司的f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) 芯片 c y c l o n e 上实现图像采集控制、图像处理算法、j p e g ( j o i n tp h o t o g r a p h i c e x p e r t g r o u p ) 压缩编码标准的基本系统。本文使用硬件描述语言v e r i l o g ，以 r e d l o g i c 的r v d k 开发板作为硬件平台，在开发工具q u a r t u s 26 0 和 m o d e l s i ms e6 1 b 环境中完成软核的设计与仿真验证。 数据采集部分完成的功能是将由模拟摄像机拍摄到的图像信号进行数字 化，然后从数据流中提取有效数据，加以适当裁剪，最后将奇偶场图像数据 合并成帧，存储到存储器中。数字化及码流产生的功能由s a a 7 1 1 3 芯片完成， 由f p g a 对s a a 7 1 1 3 芯片初始化设置、控制，并对数字化后的数据进行操 作。 图像处理算法部分考虑到实时性与算法复杂度等因素，从装置的图像处 磐流程中有选择性地实现了直方图均衡化、中值滤波与边缘检测三种图像处 理算法。 压缩编码部分依据j p e g 标准基本系统顺序编码模式，在f p g a 上实现 了d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 变换、量化、z i g - - z a g 扫描、直流系数 d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) 编码、交流系数r l c ( r u nl e n g t h c o d e ) 编码、霍夫曼编码等主要步骤，最后用实际的图像数据块对系统进行了 验证。 关键词f p g a ；图像处理；直方图均衡化；中值滤波；边缘检测；d c t 变换；霍夫曼编码 a b s t r a c t w i t ht h eb a c k g m u n do f “t h ed r a m a t i ci n s p e c te q u i r m e r i to fv e h i c l ew h e e l s ” a n dt h ea i mo fi m p r o v i n gt h ep e r f o r m a n c eo ft h ee q u i p m e n t ，t h i sp a p e rs t u d i e s a b o u tt h er e a l i z a t i o no fi m a g ec o l l e c t i o na n dc o n t r o l ，i m a g ep r o c e s s i n ga l g o r i t h m , a n dj p e gb a s i cs y s t e mo nt h ec h i pc y c l o n ef r o mt h ea l t e r ac o m p a n y sf p g a w i t ht h eh a r d w a r ep l a t f o r mo ft h er e d l o g i c sr v d k ，i tc o m p l e t e st h ed e s i g na n d t h es i m u l a t i v ec o n f i r m a t i o no ft h es o f tc o r ew i t ht 1 1 eh a r d w a r ed e s c r i p t i v e 1 a n g u a g ev e r i l o gi nt h ee n v i r o n m e n to ft h ee x p l o i t e dt 0 0 1q u a r t u s 26 ，0a n d m o d e l s i m s e 6 1b t h ef u n c t i o no ft h ei m a g ec o l l e c t i o np a r ti st oc o n v e r tt h ea n a l o gd a t af r o m t h ea n a l o gc a m e r ai n t ot h ed i g i t a ld a t a ，a n dt h e nt op i c ku pt h eu s e f u ld a t af r o m t h ed a t af l o w , a n df m a l l yt oi n c o r p o r a t e 也eo d da n de v e nf i e l di n t oaf l a m ea n d s a v ei tt oam e m o r ya f t e rt h ea p p r o p r i a t ec u t 1 1 1 ef u n c t i o np r o d u c e db yt h ed i g i t a l d a t af l o wi sc o m p l e t e db vs a a 71 13c h i p ，h o w e v e r , f p g ac h i pi n i t i a l i z e sa n d c o n t r o l st h es a a 7l l3c h i p a n dm a n i p u l a t e st h ed i g i t a ld a t aa sw e l l 1 址i n ga c c o u n to fs o m ef a c t o r ss u c ha sr e a lt i m ec h a r a c t e rc o m p l e x i t yo f a l g o r i t h m ，t h ei m a g ep r o c e s s i n ga l g o r i t h mp a r tc h o s et h r e ea l g o r i t h m st or e a l i z e ， t h e yw e r eh i s t o g r a me q u a l i z a t i o n ，m e d i a nf l t e ra n de d g ei n s p e c t i o n ， a c c o r d i n gt o t h eo r d e rc o d i n gm o d eo ft h ej p e gb a s i cs y s t e m ，t h e c o m p r e s s e dc o d ep a r tr e a l i z e dd c tt r a n s f o r r n ，q u a n t i z e d ，z i g - - z a gs c a n ，d p c m e n c o d i n go fd i r e c t c u r r e n tt o e f f i c i e n t ，r l ce n c o d i n go fa l t e r n a t i n gc u r r e n t c o e f f i c i e n t ，h u f f m a ne n c o d i n g f i n a l l y ，a l la c t u a li m a g ed a t aw a su s e dt ov a l i d a t e t h ew h o l e s y s t e m k e yw o r d sf p g a ；i m a g ep r o c e s s i n g ；h i s t o g r a me q u a l i z a t i o n ；m e d i a nf i l t e r ； e d g ei n s p e c t i o n ；d c tt r a n s f o r m ；h u f f m a ne n c o d i n g 亘蜜窑道盔兰亟圭塑塞圭掌焦筐塞蔓! 夏 第1 章绪论 1 1 课题研究背景及意义 “机车车辆轮对动态检测装置”是一种非接触式轮对动态自动检测装置 ，采用光截图像测量技术和电磁超声探伤技术实现对车轮的外形尺寸和踏面 缺陷的自动检测。该装置于2 0 0 3 年9 月通过了铁道部的科技成果鉴定，目前 正处于推广应用阶段【1j 。 机车车辆轮对动态检测装置的车轮外形尺寸检测部分，使用了光截图像 测量技术来实现非接触式的在线检测。光截图像测量技术的原理是激光线光 源照射待测物体表面形成外形光截曲线；与光源成一定夹角的c c d 摄像机拍 摄光截曲线，采集后对获得的曲线图像进行处理。为了提高检测精度，装置 采取对同一车轮进行多点测量，图像数据的吞吐量非常大，而且机车通过速 度越快，在单位时间内要采集、处理、传输的数据量就越大。如何高效、实 时地处理、传输采集到的大量图像数据，是提升装置性能的关键。目前，该 装置采用的是先存储采集到的图像数据，再利用计算机以软件方式完成图像 处理分析的任务。由于目前计算机自身性能的限制，完成数字图像处理的速 度有限，不能达到实时处理的目标。此外，装置对采集到的大量图像数据直 接进行存储，占用了大量存储空间，既增加了硬件成本，同时也使数据的传 输速度缓慢。如果将执行图像处理任务的计算机改用专用的硬件系统来实现， 并对转储的数据进行压缩编码，将能有效提升设备的性能。 随着图像处理技术、压缩编码技术的不断发展和完善，以及v l s i ( v e r y l a r g es c a l ei n t e g r a t i o n ) 技术的迅猛发展，使得用硬件电路实现实时图像处理 成为可能。近年来不断涌现的各种高性能的专用芯片、数字信号处理器以及 超大规模可编程逻辑器件，使现代实时图像处理系统的设计变得更加方便灵 活。用硬件实现图像处理的方案有多种，可选的目标器件有4 类： d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 处理器 a s i c s ( a p p l i c a t i o n s p e c i f i ci n t e g r a t e dc i r c u i t s ) 专用集成电路 a s s p s ( a p p l i c a t i o n s p e c i f i cs t a n d a r dp r o u c 招) 专用标准电路模块 f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) 现场可编程门阵列 西南交通大学硕士研究生学位论文第2 页 d s p 处理器主要是指目前最常用的基于c p u ( c e n t r a lp r o c e s s i n gu n i o 架 构的器件，通过软件指令的方式完成d s p 算法，拥有多个硬件乘加器，使用 了环形叠代的方法进行乘法操作，且许多d s p 处理器还拥有使用多乘法器的 并行指令，用于加速算术运算，但由于其顺序的工作方式、较低的数据处理 速率，只有在处理数据量小而算法比较复杂的情况下具有较明显的优势。 a s s p 和a s i c 是专门针对完成某种d s p 算法的集成电路器件，因此在 性能指标、工作速度、可靠性和应用成本上优于d s p 处理器，但在功能重构， 以及应用性修正方面缺乏灵活性；a s i c 虽然有一定的可定制性，但开发周 期长，而且有一个最小定制量，因此应用风险和开发成本过高，正在逐渐失 去其实用性1 2 j 。 直接使用f p g a 完成d s p 功能，则能在许多实用领域综合d s p 处理器 与a s i c a s s p 器件的优点，再加上f p g a 本身的诸多优势，即能有效克服 传统d s p 系统的弱点。现代大容量f p g a 以其相关的开发技术在可重配置的 d s p 应用领域，以及d s p 数据大吞吐量和数据的纯硬件处理方面，有独特的 优势。 本文所构建的专用硬件图像处理系统以f p g a 芯片为核心，通过对轮对 图像获取环境及处理最终目的的分析，将适合于用f p g a 芯片实现的一些预 处理算法及压缩编码予以实现，对“机车车辆轮对动态检测装置”的改进具 有借鉴意义。 1 2 课题开发环境 本文以装有w i n d o w sx p 系统的计算机为软件开发平台，使用的软件 开发工具为q u a r t u s 26 0 和m o d e l s i ms e6 1 b 。硬件部分基于一套 r v d k c y l c 2 0 型的f p g a 开发板，其核心芯片为a l t e r a 公司的 c y c l o n e - - e p l c 2 0 芯片。板内其它资源包括三片2 5 6 k 1 6 b i t 的i s s i i s 6 1 l ，v 2 5 6 1 6 a l 1 0 t 的高速异步s r a m ，一片6 4 m b i t 的k 4 $ 6 4 3 2 3 2 f 1 6 0 的s d r a m ，以及视频采集、输出板和v g a 输出扩展板。 开发板及其扩展板的俯视图如图1 1 所示。 1 ，3 课题研究内容 图1 - 1 开发板及扩展板俯视图 本文以“机车车辆轮对动态检测装置”的车轮外形尺寸检测部分的图像 处理内容为研究对象，通过对轮对图像处理目的与处理过程的分析，并根据 f p g a 芯片自身在图像处理中所具有的优势，将图像处理过程中适合用f p g a 实现的算法在f p g a 上予以实现，同时还实现了对静止图像的j p e g 压缩编 码，以期为设备今后的性能改进起到借鉴的作用。 本论文共六章：第1 章是绪论，介绍了课题的研究背景、内容及意义， 课题的开发环境。第2 章是对数字图像处理技术的简述，包括图像处理分类， 数字图像处理的内容及数字图像处理系统。第3 章讲述图像数据的采集及前 期处理，包括摄像机工作原理及其信号输出格式，图像数字化，亮度信号提 取，奇偶场合并及图像尺寸裁剪。第4 章讲述图像预处理算法的f p g a 实现， 包括机车车辆轮对动态检测装置成像分析，图像处理算法流程，直方图均衡 化、中值滤波及边缘检测的原理及实现。第5 章讲述静止图像压缩编码的 f p g a 实现，包括j p e g 压缩编码标准简介，j p e g 基本系统压缩编码过程及 西南交通大学硕士研究生学位论文第4 页 实现，j p e g 基本系统压缩编码过程，源图像数据特性，离散余弦变换，d c t 系数的量化，z i g z a g 扫描及编码。第6 章对前两章中的图像处理算法及压 缩编码进行了实验与结果分析。最后对全文进行了总结。 亘直至夔盔差塑堡窒生堂丝迨塞蔓! 戛 第2 章数字图像处理技术简述 2 1 图像处理分类 图像，按照空间坐标和明暗程度的连续性可以分为模拟图像和数字图像。 模拟图像是空间坐标和明暗程度都是连续变化的，不能被计算机或其它数字 器件直接处理的图像。数字图像是指空间坐标和明暗程度均不连续的、用离 散的数字表示的图像。 图像处理，是对图像加工的各种技术方法的统称。图像处理的对象可以 是模拟图像，也可以是数字图像；图像处理的目的是使图像变成便于理解和 使用的形式，或是提取某些图像特征信息供进一步分析使用；图像处理方法 根据处理对象的不同可分为两种一一模拟图像处理与数字图像处理。 模拟图像处理包括光学图像处理和电子图像处理，主要是利用光学元件 或是模拟电子器件实现对模拟图像的处理。模拟图像处理的特点是处理速度 快，信息量大，但是精度差，灵活性差。 数字图像处理就是将图像转换成一个数据矩阵存放在图像存储器中，然 后再利用数字计算机或其它的大规模集成数字器件，对图像信息进行数字运 算或处理，以提高图像质量或达到人们所预期的其它效果。数字图像处理的 特点是精度高，处理方式灵活，但是由于目前计算机性能的限制，数字图像 处理的速度有限，对于一些有实时性要求的任务，必须利用d s p 加速或构建 专用的硬件系统【列。 本论文研究的对象是数字图像，进行的图像处理操作属于数字图像处理 范畴，图像处理过程通过f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y 现场可编程 门阵列) 芯片来实现。 2 2 数字图像处理的内容 数字图像处理的研究内容概括起来可包括以下五个方面。 ( 1 ) 图像的摄取与数字化；研究如何进行图像获取并转换成适合计算机或 数字图像设备处理的数字信号。 西南交通大学硕士研究生学位论文第6 页 ( 2 ) 图像增强：增强图像中的有用信息，削弱干扰和噪声，以便对图像进 一步的处理和分析。 ( 3 ) 图像恢复：将退化或模糊了的图像复原。 ( 4 ) 图像编码：为便于图像存储和传输，在满足一定的保真度要求下，简 化表示图像的数据。 ( 5 ) 图像特征描述：提取图像特征并予以描述，为图像识别、分析和理解 奠定基础。 本论文中的数字图像处理研究包含图像的摄取与数字化、图像增强、图 像编码三部分内容。其中，图像是用c c d 摄像机来获取；图像的数字化用 一片s a a 7 1 1 3 视频解码芯片完成：图像增强及压缩编码是用f p g a 实现。 2 3 数字图像处理系统 数字图像处理系统分为通用数字图像处理系统和专用图像处理系统。通 用数字图像处理系统一般指计算机加图像采集卡构成的系统；专用图像处理 系统一般指针对某一特定领域的应用所构建的图像处理系统。 目前通用数字图像处理系统广泛采用的结构形式如图2 1 所示，这是一 种面向计算机内存的图像处理系统。这个结构的接口为p c i ( p e f i p h e m l c o m p o n e n ti n t e r c o n n e c t ：外设部件互连标准) 总线，具有结构简单、图像传输 速度快、价格低的特点。采用这种结构的图像处理系统，微机再采用 m m x ( m u l t i m e d i ae x t e n s i o n s ：多媒体扩展) 技术，就可以形成一个高性能价格 比的图像处理系统【3 j 。 图2 - 1 通用图像处理系统结构 专用图像处理系统通常以数字信号处理芯片为核心，加上一些外围辅助 电路构成，其机构形式如图2 - 2 所示。 耍塑奎亟盔堂塑主堑塞生堂丝迨塞蔓z 夏 缓数字信号处缓 冲 _ 理芯片冲 图2 2 专用图像处理处理系统结构 本文所研究的是种基于f p g a 芯片，针对铁路检测领域中轮对尺寸检 测系统所获取的图像的专用图像处理系统，整体结构如图2 - 3 所示。 图2 - 3 轮对尺寸检测图像处理系统整体结构 出 亘塑窑夔盔堂亟主塑塞生雯垡迨塞堇璺夏 第3 章图像数据的采集及前期处理 3 1 摄像机工作原理及其信号输出格式 3 1 1 摄像机工作原理 摄像机是图像处理系统中获取图像的关键组件，其本质的功能就是将光 信号转变成为有序的电信号。 摄像机的核心部件称为图像传感器，目前摄像机常用的图像传感器有 c c d ( c h a r g e c o u p l e dd e v i c e ) 和c m o s ( c o m p l e m e n t a r y m e t a l - 0 x i d e s e m i c o n d u c t o r ) 两种。基于这两种感光芯片制成的摄像机分别称为c c d 摄像 机与c m o s 摄像机。 c c d 称为电荷耦合器件，c m o s 称为互补金属氧化物半导体，两种图像 传感器的结构单元如图3 - 1 所示。 c c d 结构单元c h o s 结构单元 荫型放大镜片 入射光 分色阵列 电荷存储区 半导体感光区 电荷存储医 ( 上视图) 半导体感光区 放大电路 读开关 处理电路 电胥通路 电荷通路 图3 - 1 图像传感器结构单元 c c d 型和c m o s 型图像传感器在光检测方面都是利用硅的光电效应原 理，在半导体感光区将入射光的光子转换为成比例数量的电子，电子的数量 被用来计算信号的电压，进入图像半导体的光子越多，电子产生的也越多， 从传感器输出的电压也越高。两者的不同点在于光生电荷的读出方式。在 西南交通大学硕士研究生学位论文第9 页 c c d 传感器中，每一个感光元件都不对此作进一步的处理，而是将它直接输 出到下一个感光元件的存储单元，结合该元件生成的模拟信号后再输出给第 三个感光元件，依次类推，直到结合最后一个感光元件的信号才能形成统一 的输出。由于感光元件生成的电信号实在太微弱了，无法直接进行模数转换 工作，因此这些输出数据必须做统一的放大处理这项任务是由c c d 传 感器中的放大器专门负责，经放大器处理之后，每个像点的电信号强度都获 得同样幅度的增大；但由于c c d 本身无法将模拟信号直接转换为数字信号， 因此还需要一个专门的模数转换芯片进行处理，最终以二进制数字图像矩阵 的形式输出给专门的d s p 处理芯片。c m o s 传感器中每一个感光元件都直接 整合了放大器和模数转换逻辑，当感光二极管接受光照、产生模拟的电信号 之后，电信号首先被该感光元件中的放大器放大，然后直接转换成对应的数 字信号。在c m o s 传感器中，每一个感光元件都可产生最终的数字输出，所 得数字信号合并之后被直接送交d s p 芯片处理。由于c m o s 感光元件中的 放大器属于模拟器件，无法保证每个像点的放大率都保持严格一致，使放大 后的图像数据无法代表拍摄物体的原貌，致使最终的输出图像中出现大量的 噪声，品质低于c c d 传感器。 本论文基于对两种摄像机成像质量的考虑，根据现有的实验条件，选择 了一台模拟的p a l 制式彩色c c d 摄像机完成对目标图像的摄取。 3 1 2 摄像机信号输出格式 摄像机按照输出格式的不同可以分为模拟摄像机与数字摄像机。 模拟摄像机所输出的信号形式为标准的模拟量视频信号，需要经过模 数转换才能为计算机或其它数字器件可以处理的数字信息。数字摄像机是在 内部集成了a d 转换电路，可以直接将模拟量的图像信号转化为数字信息。 本系统采用的是模拟摄像机，若想正确的提取出目标图像的灰度数据， 就要非常清楚模拟摄像机的信号输出格式。常用模拟摄像机输出信号格式有： p a l ( p h a s e a l t e r n a t i v el i n e ：逐行倒相) n t s c ( n a t i o n a lt e l e v i s i o ns y s t e m sc o m m i t t e e ) s e c a m ( s e q u e n t i e lc o u l e u r a m e m o i r e ( 法文) ：按顺序传送彩色与存储) s - v i d e o ( s e p a r a t ev i d e o ：二分量视频接口) 分量传输 西南交通大学硕士研究生学位论文第1 0 页 本文采用的模拟摄像机是p a l 制式。在p a l 制式中，一帧图像的总行 数为6 2 5 ，分两场进行扫描，先扫描奇数场，再扫描偶数场。行扫描频率是 1 5 6 2 5 赫兹，周期为6 4 微秒；场扫描频率是5 0 赫兹，周期为2 0 毫秒；帧频 是2 5 赫兹，是场频的一半，周期为4 0 毫秒。在摄像机发送信号时，每一行 中传送图像的时间是5 2 2 微秒，其余的l i 8 微秒不传送图像，是行扫描的逆 程时间，同时作行同步及消隐用。每场的扫描行数为6 2 5 2 - - - - - 3 1 2 5 行，其中 2 5 行作回扫，不传送图像，传送图像的行数每场只有2 8 7 5 行，因此每帧只 有5 7 5 行有效图像显示。 由于是彩色摄像机，输出的图像信号必然包含彩色信息。但是从c c d 中转移出来的三基色信号并没有直接传输，而是被转换成一个亮度信号与两 个色差信号。对于p a l 制式，输出图像信号为y u v 模式。其中y 为亮度信 号，u 、v ( 常表示为c b 、c r ) 为色差信号，y 、u 、v 和三基色r g b 的关系为： y = o 3 r + 0 5 9 g + 0 1 1 b ( 3 一1 ) u = 0 4 9 3 ( b - y )( 3 - 2 ) v = o 8 7 7 ( r y )( 3 - 3 ) 其输出信号的完整表示为： c v b s = y + u s i n c a s c t + v e o s 热r t ( 3 - 4 ) 其中吐k 为彩色副载波频率( c v b s ：c o m p o s i t ev i d e ob r o a d c a s ts i g n a l 复合电 视广播信号1 。 模拟摄像机的输出信号通过一根同轴电缆传输给模数转换芯片进行数字 化。 3 2 图像数字化 由于摄像机输出的是模拟信号，不能用f p g a 直接进行处理，所以在处 理之前要先将模拟信号转换成数字信号。本文采用s a a 7 1 1 3 视频解码芯片来 完成a d 转换。 s a a 7 1 1 3 是一种集成了解码、采样和量化于一体，并且支持隔行扫描、 多种数据输出格式的视频解码器，内置了a d 转换电路、预处理电路及 1 2 c ( i n t e r - i n t e g r a t e dc i r c u i 0 接口，通过i z c 接口对内部寄存器进行配置，即可 实现对芯片内部电路的控制。 s a a 7 11 3 的输入信号主要有：来自模拟摄像机的c v b s 模拟信号，来自 西南交通大学硕士研究生学位论文第1 1 页 f p g a 的1 2 c 总线配置信号；输出为8 位数字视频信号，像素时钟同步参考 信号及两个多功能复用管脚r t s 0 与r t s l 。 对s a a 7 1 1 3 的配置使用f p g a 完成，硬件原理图如图3 _ 2 所示。 s 位致字视频输出 f p g a 芯片 卜 i 控制信曼i s i ) a 一 y r ( 配置数据 l c 控制器接口 s c l 视频解码芯片 像素时钟同步信号 s a a 7 1 1 3 t | 墓 模拟输入 r t s l 片内 r t s 0 r o m 图3 2f p g a 与s 从7 1 1 3 接口原理图 在f p g a 芯片内部，预先将s a a 7 1 1 3 的配置数据存入一个片内 r o m ( r e a do n l ym e m o r y ) 中，然后通过i z c 控制器模块将配置数据从r o m 中 读出，连同控制信号一起传送给1 2 c 接口模块。1 2 c 接口模块在1 2 c 控制器的 控制信号作用下，产生符合i z c 总线控制协议的串行数据信号s d a 及串行时 钟信号s c l 传递给s a a 7 1 1 3 对应的1 2 c 接口，完成对s a a 7 1 1 3 芯片的初始 化配置。 s a a 7 1 1 3 芯片经过初始化配置之后，处于工作状态，将来自模拟摄像机 的p a l 制式的c v b s 全电视模拟信号经a d d 转换、模拟电路的预处理、亮 度色度信号的控制之后，按照初始化配置的输出格式输出8 位的数字视频信 号；同时还产生一个与数字视频信号中的像素时钟同步的频率为2 7 m 赫兹的 时钟信号。s a a 7 1 1 3 输出端的两个多功能复用管脚r t s l 与r t s 0 ，可通过 对子地址寄存器s a l 2 写入不同的控制字，将两输出管脚配置为行同步、帧 同步、奇偶场同步、行参考、场参考等不同的信号。本系统将s a a 7 1 1 3 配置 为y u v 4 ：2 ：2 格式输出，r t s l 与r t s 0 分别输出行参考信号h r e f 与场参考 信号v r e f 。y u v 4 ：2 ：2 格式其实是一种采样方式。这种采样格式是指在每条 扫描线上每4 个连续的采样点取4 个亮度y 样本、2 个红色差c ，样本和2 个 蓝色差c b 样本，平均每个像素用2 个样本表示。图3 3 说明了p a l 制式6 2 5 行扫描系统中采样格式为4 ：2 ：2 的y c b c r 的样本位置。 3 1 4 2 3 1 5 3 图3 - 3p a l 制式扫描系统4 ：2 ：2 采样格式样本位置 队l 制式每一条扫描行采样8 6 4 个样本，其中有效样本数为7 2 0 个。每 一扫描行的采样结构如图3 _ 4 所示。 p a l 制 图3 4i t u rb t 6 0 1 的亮度采样结构 采样得到的样本值再经过量化，就转换成了数字信号。采样结构决定了量化 之后的数字信号的格式，即每行中的色差信号与亮度信号间隔排列。除了量 化数据本身之外，在s a a 7 1 1 3 输出时，还为每行数据的头和尾嵌入了一段时 序参考代码，做为信号提取时的行定位的时序参考。每行数据头部嵌入的代 码段标记为s a v ( s t a r to f a c t i v ev i d e or a n g e ) ，每行数据尾部嵌入的代码段标 记为e a v ( e n do f a c t i v ev i d e or a n g e ) 。s a v 与e a v 的代码结构如表3 - l 所示。 表3 - is a v 与e a v 的代码结构 if f ( 占一字节)o o ( 占一字节)o o ( 占一字节) x y ( 占一字节) 时序参考代码标志信息含行定位信息 奇场与偶场、有效行与消隐行的时序参考代码中的x y 字节内容各不相 亘查窑堕盔堂亟主亟塞兰兰焦堡塞蔓! 曼夏 同，其规律如表3 - 2 所示。 表3 - 2 时序参考代码 行 1 2 l2 22 3 - 3 0 93 1 03 1 l3 1 23 1 3 3 3 4 3 3 53 3 6 - 6 2 26 2 36 2 46 2 5 号 s 皤 a ba b8 08 0a b a be ce cc 7c 7e ce c e a vb 6 9 d9 db 6b 6f 1f ld ad af 1f lb 6 如何将有效的图像数据从数字化后的视频流中提取出来，就要根据每行 首尾的时序参考代码，对该行进行定位，以决定取舍。 3 3 亮度信号提取 s a a 7 1 1 3 输出的信号是分奇偶场传输的，先传奇数场，再传偶数场，奇 数场与偶数场构成一帧完整的图像信号。每场中有2 8 8 行的有效图像信号， 其余行为场消隐信号。完整的一帧数据格式如图3 5 所示。 消隐 奇场有效数据 消隐 偶场有效数据 消隐 l j n e l 删e 2 3 u n 劓l l | n e 3 3 搴 u 釉e 砬4 l 删6 2 5 图3 - 5s a a 7 1 1 3 输出的完整帧数据格式 每行图像信号占1 7 2 8 个像素时钟周期，其中含1 4 4 0 个周期的图像信号， 其余周期为行消隐信号与行标志信号。在1 4 4 0 个周期中，包含了7 2 0 个像j 薯； 的亮度信号与色差信号，且亮度信号与色差信号交替排列。每行的数据格王式 亘蜜窑鋈盔堂塑塑塞生鲎焦迨塞蔓! ! 垂 与时序关系如图3 - 6 所示。 厂。 ! 控制信号 下一 本行敦据开始行有效敦鼍开持 甜代码 洧辜 洲代码 f 9 0x018 二3 f0 3 l 寻i 吲7；i7 陶7 矗i y l f 00y00 d b f0 1 埘 l 掰 e a 玑 s a v ： y ： c b ： c r ： 豇诅o f 拙i v e 张d e or s t a z to fa c t i r ev i d e o 霍耋j 奏萎 a n g e r 茁- l g e 仔 数字 视频流 图3 - 6 行数据格式与其对应的时序关系 在本系统中，对图像的处理主要是针对亮度信号y 进行的，因此要把亮 度信号y 从数据流中提取出来。 一帧图像数据中，包含三种信息：一是消隐期数据，二是时序参考代码， 三是有效图像数据。在有效图像数据中又分为亮度信号与色差信号。正确的 提取出一帧图像中的亮度信号，首先要去除消隐期数据，然后从有效行信号 中提取亮度信号。在对s a a 7 1 1 3 进行配置时，指定了r t s 0 与r t s l 分别输 出水平参考信号h r e f 与垂直参考信号v r e f ，它们与各行数据的时序关系 如图3 7 所示。 f 缸2l n1 6 2 41 6 2 5il 2 2i l 舶l 格3 1 01 3 1 t1 3 n1 3 1 3 3 格1 3 拍 站 1 - - 6 z z1 6 2 3l6 2 4 i h r e f l n n 厂 n 厂：一i 门厂 n 厂：一i 几几n 厂：一i 厂1 n 厂il 厂 厂 厂 ”2 7 童墨堕璺塑e 吾磊看聂丽 璺墅塑堕塑f 爵磊甭焉两广 m -li 盎，1 厂1 丁可- 1 r i 1 - 一厂1 厂可一二l 。，_ 一 图3 - 7 场时序图 其中，h r e f 可以确定每行数据中加在首尾时序参考代码之间的数据的 位置，而v r e f 可以确定每场数据的有效期。将两个信号相与之后所得到的 信号，就是每个有效行中的有效数据的位置。 为了每次都能够提取一帧完整的亮度图像数据，就要分别得到完整的奇 偶场数据。每一帧图像数据是先传奇场，再传偶场；奇场的有效数据是从第 2 3 行开始的，所以，为了确保数据的完整性，必须确定2 3 行的位置后才开 西南交通大学硕士研究生学位论文第15 页 始提取该帧图像数据。确定第2 3 行的位置，就要根据每行时序参考代码中的 x y 字节进行判断。 对于每一行的有效数据，亮度信号y 与色差信号c b ，c r 的时序关系如 图3 8 所示。 u r e t 厂 d a t a 互 nv：-nyn；八v一 ；i霉簿赛八uhv。似引h引引u引俐v胁h吲吲，：。似吲v陵吲ah旧9 1 t i k f s o 三一 再罐ji寡磊；薄暑翌ill 澎鬻抖辚嚣宙罄辱嚣器蓐革零斟，ii 罐盈叶鞯嚣21、种胄薛lii薅肆蓐睾蕾a vw。nv。nv。nv，i，nv。nvnv。w。 1，。， 亘童童适盍堂塑塑窒生芏丝堡塞蔓! 璺夏 3 4 奇偶场合并及图像尺寸裁剪 由于摄像机隔行扫描的工作方式，使数据流分奇偶场先后传输，为了得 到完整的一帧图像数据，就需要将两场数据合并。本文采用一片 s d rs 芯片做为帧缓存存储器。数据操作过程为：先将奇场数据以隔dram 行的方式存入s d r a m 中，即奇场第一行数据存入s d r a m 中第一行，奇场 第二行数据存入s d r a m 中第三行，奇场第三行数据存入s d r a m 中第五行， 直到奇场所有的2 8 8 行数据存完为止；然后接收偶场数据时，将偶场数据的 第一行存入s d r a m 中的第二行，将偶场数据的第二行存入s d r a m 中的第 四行，直到偶场所有的2 8 8 行数据存完为止。当偶场数据存储完，在s d r a m 中便形成了一帧完整的图像数据。奇偶场数据在s d r a m 中的存储顺序如图 3 1 0 所示。 奇偶场数据在s d r a m 中的存储顺序及位置 ( 灰色代表s d r a m 未被使用区域) b a n k 3 n k 2 l 图3 1 0 奇偶场数据在s d r a m 中的存储顺序及位置( 灰色代表s d r a m 未被使用区域) 对图像的尺寸进行裁剪的目的是方便后续图像处理。我们将原始大小为 西南交通大学硕士研究生学位论文第19 页 5 7 6 7 2 0 像素的图像裁剪为5 1 2 x 5 1 2 像素大小的图像。裁剪的过程有两步。 第一步就是对每行7 2 0 个点进行裁剪，这一步是在从双端口r a m 的读取时 进行的，每行只读取中间的5 1 2 个像素点。第二步是在读取s d r a m 中的整 帧数据时完成的。在第一步裁剪过后，s d r a m 中实际上存储的图像大小为 5 7 6 x 5 1 2 像素。当从s d r a m 中读取数据时，我们对垂直方向进行裁剪，取 5 7 6 行中间的5 1 2 行数据，即从第3 3 行开始读取，到第5 4 4 行结束。 经过上述处理，最终从s d r a m 中读出的图像数据大小为5 1 2 5 1 2 像 素，数据位宽为8 位，像素时钟为5 0 m 赫兹。 由s a a 7 1 1 3 产生的数字信号及同步信号，由f p g a 中的一个r e c e i v e r 模 块接收，并产生用于行缓冲目的的双端口r a m 的写控制信号及用于奇偶场 合并成帧的s d r a m 的读写标志信号。f p g a 内部相关模块间的连接关系如 图3 1 l 所示。 s a a 7 1 1 3 数字 化后的数据 _ _ _ 同步信号 s 存d i 赭认嚣mi 一 + 有效披据 型群l 刊s d r a m ! h圄口! h ； 竺悼 图像处理 模块 图3 - 1 1f p g a 内部相关模块问的关系 输出 酉直窑蕉盔堂塑塑塞笙堂丝迨塞蔓垫夏 第4 章图像预处理算法的f p g a 实现 4 1 装置成像分析 “机车车辆轮对动态检测装置”安装在车辆途经线路上，对通过的待测 车辆检测部位进行实时图像获取。装置的现场工作环境如图4 - 1 所示。 图4 1 装置现场工作环境 轮对图像的获取是在室外进行的，各种环境因素直接影响着摄像机的成 像质量。其中首要考虑的环境因素就是环境光对成像质量的影响。当外界环 境光过亮时，可能引起摄像机曝光过度；而环境光过暗可能会引起曝光不足。 曝光过度与不足，都会降低图像质量，给后续处理带来困难。由环境光引起 的图像质量变化如图4 - 2 所示： 理想图像曝光不足 曝先过度 图4 - 2 环境光对成像质量的影响 其次要考虑的因素是环境噪声。拍摄现场的雨、雪、雾、沙尘等都会使 摄像机的视野不清晰，在拍摄到的图像上就会引入噪声( 摄像机本身也会引入 噪声) ，噪声的存在同样影响着检测结果。图4 3 中显示了混入脉冲噪声后图 像效果。 理想图像舍噪图像 图4 - 3 噪声对图像质量的影响 尽管“装置”在现场采取了一些抗干扰措施，但是完全消除环境对成像 质量的影响是不太可能的。为了使“装置”在恶劣的环境下仍能正确检测， 就要对被降质的图像进行一些预处理以降低或消除这些不利的影响，为后续 的处理提供方便。 4 2 图像处理算法流程 由4 1 节的分析可知，在正式提取图像信息之前，有必要对图像进行一 些预处理以提高图像质量，方便后续处理。对光线引起的图像偏暗或偏亮， 可由直方图均衡化的方法进行处理，使得降质图像得以改善。经过直方图均 衡化处理的图像既能在视觉上得到明显改善，又能为后续处理减小难度，降 低边缘检测时误判的概率。一组经直方图均衡化前后的对比如图4 _ 4 所示。 理想图像理想图像直方图 曝光不足图像曝光不足图像直方图 曝光不足均衡化后图像曝光不足均衡化后图像直方图 曝光过度图像曝光过度图像直方图 曝光过度均衡化后图像 曝光过度均衡化后图像直方图 图4 4 直方图均衡化前后对比 亘妻窑鋈盔堂塑堑塞生堂丝筻塞蔓垫夏 对于含噪图像，我们希望使用的去噪算法既能有效取出噪声点，又能保 留图像细节。此处主要考虑脉冲噪声，选用中值滤波算法对图像进行处理。 对4 1 节中的含噪图像进行中值滤波处理之后的效果如图4 - 5 4 7 所示。 图4 - 5 理想图像 图4 6 含噪图像 图4 7 中值滤波后图像 经过直方图均衡化及中值滤波后，即可按照装置的轮对部分的检测要求 对图像进行后续处理和分析，直到得到最终的结果。整个图像处理算法流程 亘壶窑湮盔堂塑主要塞生兰垡篓塞蔓丝夏 如图4 - 8 所示。 调整灰度级分布il 钝化强傍消除噪声 数字化圈 翌 像数量l 直方图 叫蒜磊 检。璧果f 匹配 叫蓦薪 计算、比较 中值 滤波 边缘检测 边缘增强锐化图像。增强边缘 分割目标与背景 将边缘区域单像素化 得到连续完整边缘 图4 - 8 图像处理算法流程 通过对图像处理算法流程中各算法的原理及实现过程的分析，结合f p g a 自身结构特点，本文选取流程中的直方图均衡化、中值滤波及边缘检测三种 图像处理算法来作为研究重点，详细阐述其原理羼在f g p a 上的实现过程。 4 3 图像预处理算法的f p g a 实现 4 3 1 直方图均衡化原理及其实现 直方图就是反映一幅数字图像中的每一灰度级与其出现的频率( 该灰度 级的像素数目) 间的统计关系的图形。从数学上说，它统计一幅图像中各个灰 度出现的次数或概率；从图形上说，它是一个二维图，横坐标表示图像中各 个像素点的灰度级，纵坐标为各个灰度级上图像像素点出现的个数或出现概 率。直方图是图像的重要特征，是图像灰度密度函数的近似，它表示图像中 具有某种灰度级的像素的个数，反映了图像中每种灰度出现的频率。 清晰柔和的图像的直方图灰度分布比较均匀。为使图像变得清晰，通常 可以通过变换使图像的灰度动态范围变大，并且让灰度频率较小的灰度级经 过变换后，其频率变得大一些，使变换后的图像灰度直方图在较大的动态范 围内趋于均化。直方图均衡化处理是一种修改图像直方图的方法，通过对直 票蠢 憨 西南交通大学硕士研究生学位论文第2 5 页 方图进行均衡化修正，可使图像的灰度间距增大或灰度均匀分布、增大反差， 使图像的细