（电路与系统专业论文）基于fpga的嵌入式图像监控系统设计.pdf

大连理工大学硕士学位论文 摘要 传统的数字视频监控系统大多基于p c 平台，采用的是专用采集卡和存储设备，导 致整机价格昂贵，体积庞大，往往局限于特定领域的应用。而嵌入式图像监控系统以其 价格低、便携式等特点在普通家居安防、临时性作业等场所得到了越来越广泛的应用。 本文针对基于f p g a 的嵌入式图像监控系统进行研究，重点研究了动体检测和图像 存储的开发方法。通过将开运算方法应用于动体检测，并结合人体信号检测，有效降低 了检测的误判率。另外还针对f p g a 平台研究了将采集数据转换成图像文件并保存到s d 卡的方法。 硬件板载电路采用f p g a 作为主控制器，负责系统的调度控制。外接图像传感器、 热释电红外传感器、s d r a m 、s d 卡、环境光亮检测器、r s 2 3 2 等器件，实现了图像的自 动采集、检测、配置和存储。f p g a 内部逻辑电路采用v e r i l o g 语言和原理图混合设计的 方法，采用了结构化模块设计，包括图像采集和转换模块、帧缓存模块、动体检测模块、 n i o s 系统模块以及显示模块。最后通过嵌入式c 语言实现系统的n i o s 系统软件控制， 并完成s d 卡的驱动程序以及图像文件生成程序的设计。本文利用q u a r t u si i 和 m o d e l s i m 对逻辑电路进行仿真，调试过程中利用在线逻辑分析仪s i g n a l t a p 系统进行了 严格的测试，保证了系统的可靠性。 本系统采集速度达到6 0 帧秒，s d 存储速度为3 7 秒帧，检测响应的仿真时间为 1 2 0 m s ，检测的拒真率小于1 。由于采用f p g a 单芯片控制方案，系统具有高集成度、可 靠性及灵活性的特点。同时由于体积小、功耗低，可在很多应用场合替代传统基于p c 的图像监控方案。 关键词：动体检测；f p g a ；嵌入式；图像监控 基于f p g a 的嵌入式图像监控系统设计 d e s i g no f e m b e d e di m a g es u r v e i l l a n c es y s t e mb a s e do nf p g a a b s t r a c t m o s to fd i g i t a ls u r v e i l l a n c es y s t e m sa r eo nt h eb a s i so fo np cp l a t f o r m s ，a n dd u et o a d o p t i n gs p e c i f i ca c q u i r i s i t o nc a r da sw e l la ss t o r a g ed e v i c e ，t h ew h o l es y s t e mh a sh i g hp r i c e a n dl a r g es i z e s oi ti so n l ya p p l i e dt os m a l ld i s t r i c t ，b a n k ，a n ds u p e r m a r k e t c o m p a r e dw i t h p c - b a s e di m a g es u r v e i l l a n c es y s t e m ，t h ee m b e d e di m a g es u r v e i l l a n c es y s t e mh a sa l r e a d y o b t a i n e dt h em o r ea n dm o r ew i d e s p r e a da p p l i c a t i o ni nd o m a i n ss u c ha sc o m m o nh o m e s e c u r i t y ，t e m p o r a r yc i r c u m s t a n c eb e c a u s e o fi t sc h e a p n e s sa n dp o r t a b i l i t y t l l i st h e s i sp r e s e n t sas o l u t i o no fe m b e d e di m a g es u r v e i l l a n c es y s t e m ，e s p e c i a l l yf o c u s o nm e t h o do fm o t i o nd e t e c t i o na n di m a g es a v i n g t h ep o s s i b i l i t yo fm o t i o nd e t e c t i o n m i s j u d g e m e n tc a nb er e d u c e db ya d o p t i n gt h eb o d yd e t e c t i o na n do p e no p e r a t i o nt ot h e m e t h o d f o rt h ef p g ap l a t f o r m ，t h em e t h o do fc o n v e r s i o no fd a t at oi m a g ea n di m a g es a v i n g t os dc a r di sd e v e l o p e d f p g ai sa d o p t e da st h em a i nc o n t r o l l e ri nt h eh a n d w a r ec i r c u i ta n di sr e s p o n s i b l ef o r m a i n t a i n i n go ft h ew h o l es y s t e m t h eb o a r di sc o n n e c t e dt oc i s ，p i r ，s dc a r d ，r s 2 3 2 ，a n d l i g h td e t e c td e v i c e t h ef u n c t i o ni s r e a l i z e do fi m a g ec o l l e c t i n ga n dc o n v e r s i o n , m o t i o n d e t e c t i o na n di m a g es a v i n g 舢1c i r c u i t si sd e s i g n e db yi nb o t hv e r i l o gl a n g u a g ec o d ea n d s c h e m a t i cd i a g r a m t 【l i ss y t e n lc o n s i s t so fi m a g ea c q u i r i s i t o nm o d u l e ，f r a m eb u f f e r , m o t i o n d e t e c t i o n ，b o d ys i g n a ld e t e c t i o n , s dc a r d ，n i o ss y s t e ma n dd i s p l a y m o d u l e a tl a s tt h ec o n t r o lo f n i o sa n dt h ed r i v e ro fs dc a r da sw e l la si m a g ec r e a t i n gp r o g r a ma r er e a l i z e d i nc l a n g u a g e t h el o g i cc i r c u i t sc a nb es i m u l a t e di nq u a r t u s i ia n dm o d e l s i m ，t h et e s ti sr e s o r t e dt o s i g n a l t a pt oe n s u r e t h er o b u s t n e s so ft h es y s t e m t h er a t eo fa c q u i s i t i o nc a r lr e a c ht o6 0f r a m e sb yp e rs e c o n d ，t h er a t eo fs ds t o r a g ec a r l r e a c ht o3 7f r a m e sb yp e rs e c o n d ，t h es i m u l a t i o nr e s p o n s et i m eo fm o t i o nd e t e c i o nc a n r e a c ha t12 0 m s t h ep e r c e n to fd e t e c t i o nr e f u s a li ss m a l l e rt h a n1 d u et ot h em a i nc i r c u i t b e i n gi n t e g r a t e di n t oaf p g ac h i p ，t h es y s t e mi sc h a r a c t e r i s t i co fh i g hi n t e g r a t i o n , r o b u s t n e s s a n df l e x i b i l i t y b e c a u s eo fi t sl o wp o w e rd i s s i p a t i o na n ss m a l ls i z e ，i tc a nr e p l a c et h e c o n v e n t i o n a lp c - b a s e e ds u r v e i l l a n c es o l u t i o ni nm a n yf i e l d k e yw o r d s ：m o t i o nd e t e c t i o n ；f p g a ；e m b e d d e d ；i m a g es u r v e i l l a n c e i i 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 学位论文题目： 丝主秤崮囱纵毋睡鉴缒； 毯氆茸 作者签名：未姻 日期： 边年。羔月“一日 基于f p g a 的嵌入式图像监控系统设计 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论 文版权使用规定 ，同意大连理工大学保留并向国家有关部门或机构送交 学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理工 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可 采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名：盘硅 翩虢丑么! 垄：丝 大连理工大学硕士学位论文 1绪论 1 1课题研究的背景与意义 传统的图像监控系统大多只能在现场进行模拟电视监视，视频信息存储到录像带上， 如果是监控的地点比较多，要求录像的数据保存时间长，录像带的数量就会惊人，整个 查询、检索工作很复杂，管理运营成本增加，而且还会出现录像带时间长了或转录次数 多了图像质量变差的问题。随着编解码技术的发展，越来越多的用户采用了数字图像监 控系统，录像信息以数字形式存放在硬盘上。但是典型的数字图像监控系统通常由c c d 摄像头、采集卡和计算机组成，这种结构的系统由于要采用计算机以及视频采集卡来对 采集的视频信息进行处理，因此在某些应用场合中暴露出成本高、体积大等缺点，而嵌 入式的数字图像监控系统则可以很好的解决这问题n 3 。 基于嵌入式技术的图像监控系统不同于p c 机的工作模式，而是把监控摄像机与图像 处理器一体化，置于外界现场进行图像处理的本地终端实时检测和控制。其优点是：无 需人工干预，实时性能强，检测结果准确性高。由于这种系统的硬件结合紧密、功能专 一，是专门设计的独立设备，不像插卡系统那样受通用计算机系统中的其他软硬件的影 响，因此性能上更稳定，且便于安装和维护，易于实现系统的模块化设计，便于管理和 升级。同时嵌入式系统具有体积小、低功耗、低成本等特点，另外由于嵌入式图像监控 系统移动方便，可以应用临时性的作业场所和普通家庭安防。还可做为一个智能部件“嵌 入到各种应用系统中。如将其配上网络接口接上计算机系统，即可构成一个监控网络 系统，是一种相对独立的o e m 部件。目前，基于嵌入式技术的数字图像监控芯片在我 国仍没有成熟的产品，大部分基于嵌入式技术的数字图像监控芯片都是基于p c 的，系统 成本很高。为此，开发嵌入式图像监控尤其具有自动处理图像功能的芯片具有自己的市 场空间，有广阔的应用前景。 目前大部分基于嵌入式技术的数字图像监控都是基于a r m 和d s p 平台的。优点是 具有丰富的外部接口，便于采集控制；a r m 系统上带有操作系统，这样可以大大减少 用户的产品开发周期。缺点就在于设计不灵活、升级困难瞳3 。现在许多高端工作站为提 高系统性能而增加d s p 模块，采用d s p 作为协处理器。但是从根本上讲，d s p 只是对 某些固定的运算提供硬件优化，其体系仍是串行指令执行系统，并且这些固定优化运算 并不能够满足众多算法的需要，使它的使用受到限制。 采用f p g a 进行监控系统的设计主要有以下几点优势o ： 基于f p g a 的嵌入式图像监控系统设计 ( 1 ) 速度快，采用f p g a 方式可以达到6 0 帧秒的速度，基本上就是视频源的速度， 这是一般的c p u 不能达到的。 ( 2 ) 集成度高，许多可以用逻辑实现的电路可以在f p g a 内部实现，而a r m 等单片 机必须附加专用芯片来完成同样的功能所以系统的集成度高，产品的小型化在嵌入式系 统中是非常重要的。 ( 3 ) 开发周期短，通过h a r d c o p y 技术，可以将f p g a 器件上的s o p c 系统向a s i c 转化，实现f p g a 与a s i c 的无缝转化，而s o p c 的设计周期不超过2 0 周，比a s i c 的 开发周期要短很多。 ( 4 ) 可重载性，f p g a 是可编程的逻辑阵列，程序通过下载电路可以无限次的加载入 f p g a 所以如果发现设计有错误，只要将修改后的设计重新编译下载，f p g a 内的电路 就会自动更新。 随着大规模f p g a 芯片的问世，几乎大多数电子系统都可以在一块芯片上实现。使 用f p g a 的好处不仅表现在设计的初级阶段，即使在电子系统设计完成之后，甚至在投 入实际使用的过程中，还可以根据实际需要添加功能。一般采用大容量f p g a 做为载体， 在一片f p g a 中实现软核微处理器，也可以嵌入a r m 等硬核处理器，使f p g a 具有嵌 入式系统的可编程能力。通过这种技术，s o p c 平台即可以拥有微处理器系统丰富的软 件资源和出色人机交互能力，同时又具备f p g a 系统的快速硬件逻辑特性，实现了软件 系统和硬件系统的互补，不仅提高了设计的性能，又加快开发周期。 另外由于嵌入式系统的处理、传输和存储数据的资源有限，如果将所有的图像信息 不加过滤的进行保存，势必会大大耗费嵌入有限的硬件资源，从而降低实时采集速度。 在多数情况下，一般只需要采集保存有人体活动的外界场景图像。 1 2 国内外研究概况及发展状况 目前图像监控系统大多采用p c 和视频采集卡作为系统主要部分，但是到目前为止， 基于嵌入式技术的图像监控系统设备在我国刚刚起步，没有成熟的产品应用。这一现状 的根本原因就是我国在开发这类产品时，没有统一的开发标准和共用的开发平台，而且 没有可靠的功能和性能测试标准，各个企业的开发技术力量分散，极大的影响了该类产 品开发的效率和可靠性。而制造出来的产品同国外同类产品相比，功能相差太大，没有 竞争力，因此市场基本上被国外公司所占领。开发一个该类嵌入式系统势在必行。 大连理工大学硕士学位论文 目前嵌入式图像监控系统大多采用a r m 作为主控芯片，d s p 作为图像处理芯片h 1 。 在图像处理方面，美国t i ( 德州仪器) 公司的d s p 芯片在世界市场上处于主导地位蹄1 。 聊s 3 2 0 d m 6 4 0 系列以及即将推出的d a v i n c i 系列处理器，针对特别高端市场的是c r a d l e 技术多处理器d s p ，均被多家国内外大公司采用。在国内如闻亭的通用图像监控系统， 西南物理研究所的视频跟踪警戒装置和中科院沈阳自动化研究所的视频跟踪系统都采 用了t i 的d s p 芯片。d s p 的优点在于具有强大的数据处理能力和较高的运行速度。另 外在微型图监控领域，精工爱普生( e p s o n ) 像控制器i c 的$ 2 s 6 5 a 0 0 能够同时存储、 传输2 个摄像头所拍图像的以及配备4 个视频输入通道的i - p 转换芯片s 2 s 6 5 p 1 0 。如果 用这些i c 制成芯片组，最多可控制8 个摄像头组件( 摄像头模块及n t s c p a l 解码器) 。 控制器芯片$ 2 s 6 5 a 0 0 在现有的网络摄像头控制器芯片s l $ 6 5 0 1 0 的基础上，除分别增 加了2 个摄像头接口和j p e g 硬件编码器外，还内置了c o m p a c t f l a s h 、s d 卡、u s b2 0 接口，并内置了用于连接各种模拟传感器的8 通道a d 转换器。c p u 内核为a r m 7 2 0 t ， 能对每秒3 0 帧的v g a 视频进行j p e g 编码；配备对1 6 区域的动作进行检测的动体检 测功能；音频接口采用1 2 s 。除此之外，串行接口配备了i ：c 、u a r t 、s p i 。通过c f 接 口还可支持无线l a n ( i e e e8 0 2 1 1 b g ) 。这款芯片集成比较常见的功能接口，不过针对 的是模拟摄像头和u s b 摄像头，市场售价较高。在国内，台湾凌阳公司的图像识别芯 片( s p c a 5 6 3 ) ，能识别颜色、形状和障碍物，但是图像识别的像素只有3 0 万，远远不能 满足现行的主流标准。 基于f p g a 的嵌入式系统属于s o p c 领域，是一种正处于研究和发展中的新型技术， 由于成本和开发工具等方面存在缺陷，s o p c 技术还未达到成熟应用的阶段，更多是在 国内外高等学院中研究和试验。与此同时，在s o p c 领域处于领先地位的a l t e r a 公司在 中国、韩国、印度等国家和地区举办大学生n i o si i 处理器系统设计竞赛，以大赛形式 推广s o p c 技术。经过几年的推广及应用，s o p c 系统在数字通信、信号处理、自动控 制、模式识别等领域都有了较为完菩的解决方案，而且表现出色御。 1 3 系统设计要求与主要工作 本课题来源于大连市i t 优秀教师专项资金项目基于s o p c 的嵌入式图像监控和 处理系统的设计和实现。本课题研究的主要任务是设计一种嵌入式图像监控系统。实 现图像采集、动体检测和s d 卡存储完整解决方案。整体结构采用f p g a 单芯片控制的 方法，使系统具有高集成度、可靠性及灵活性的特点。系统设计要求为：图像采集时钟 频率为2 5 m h z ，n i o s i i 时钟频率为1 0 0m h z 、每帧图像分辨率为3 2 0 2 4 0 像素。系统 基于f p g a 的嵌入式图像监控系统设计 采集速度在6 0 帧秒左右。通过仿真动体检测的响应时间在1 2 0 m s 左右，拒真率小于1 ， s d 卡保存单帧图像时间为3 7 秒( 每帧图像数据量是1 5 3 6 0 0 字节) 。 本文完成的主要工作包括： ( 1 ) 分析了图像采集和处理方式的原理和特点，设计了图像采集和处理硬件电路 的原理图和p c b 板，并对硬件电路进行了调试验证。 ( 2 ) 在q u a r t u s i i 环境下用v e r i l o g 编写了图像传感器控制、图像采集、s d r a m 读 写控制等程序，实现了f p g a 对图像的采集存储和显示功能。 ( 3 ) 根据f p g a 内部硬件电路的特点，选定了适合本系统的动体检测算法，并对 算法进行了优化，仿真证明该算法能满足图像快速检测的需要。 ( 4 ) 利用s o p cb u i l d e r 完成n i o s 处理器软核及其外设的创建和配置，并在n i o s 处理器上实现了s d 的图像文件存储，完成了一个完整的图像检测和存储过程。 大连理工大学硕士学位论文 2 系统总体方案和基本工作原理 2 1 系统总体方案 为了实现自动图像报警和图像采集，本文设计了动体检测算法，这是因为绝大多数 情况下我们只对监控区域中运动的物体感兴趣，这样可以过滤掉只包含静态背景的图 像，从而降低了对有限的嵌入式硬件资源的消耗。由于活动物体大多是人，而且这也是 图像监控的目标，为此加入了人体信号探测器，用以辅助动体检测，以达到降低图像报 警误报率的目的。本系统主要集成了图像采集、控制和存储等器件或芯片，组成了以 f p g a 为控制核心的实时图像监控系统。系统的总体方案图如图2 1 所示。 人体信 号探测 器 液晶 屏 驯l 坠! ! ! = ! 坚 _| ls d r a m l控制器 f j _ 广一 r e a dr e a d f i f 0 2f i f 0 2 j 陌屈萄弼霭厂 矧l c m 器j p 1 0 id 黹卜o n i os i l a v a l o n 总线 i 篇 止! 纠也二到 图2 1 图像监控系统结构图 f i g 2 1d i a g r a mo fi m a g es u r v e i l l a n c es y s t e m 时钟 芯片 环境 光亮 检测 器 系统工作流程为：系统上电后，f p g a 从外部e e p r o m 自动加载程序，1 2 c 模块对 c i s 进行初始化工作参数配置。c i s 向f p g a 输入图像数据信号，f p g a 将采集的原始数 据( r a w ) 转换成r g b 格式，帧缓冲模块( f r a m eb u f f e r ) 每次将相邻两帧图像数据写 入s d r a m ，然后比较这两帧图像的差值，如果差值大于设定的阈值，并且人体探测器输出 高电平，就认为检测到了外界场景的运动，系统会自动将捕获的图像输出到s d 卡进行 存储。图2 2 给出了f p g a 芯片内部的工作流程。 基于f p g a 的嵌入式图像监控系统设计 图2 2f p g a 内部工作流程图 f i g 2 2 f l o wc h a r to fw o r kf l o wi nf p o ac h i p 2 2 基础理论分析 2 2 1 动体检测算法 在数字视频图像监控系统中，系统对视频图像序列自动进行动体检测，一旦发现运 动物体( 绝大多数是以人为目标) 的位置和方向满足一定条件，就发出报警信号来通知监 视人员及时有效处理，这可在很大程度上减轻监视人员的视觉负担。数字监控系统绝大 多数都有存储模块，可对监控场景图像数据进行连续存储。然而由于数字监控系统的工 作时间长，数据存储量相当庞大，给存储容量提出了较高的要求。存储监控图像的目的 几乎都是记录监控场景中的动作，如果长时间记录无运动图像，存储的信息量极少，就 失去了存储的意义。这也需要有一个动体检测算法判断监控图像的全部或部分有无运动 的发生，控制存储模块的动作，有效地节省存储数据，减少不必要的回放。由此可见， 大连理工大学硕士学位论文 图像序列的运动检测和报警算法在数字视频监控系统中有较强的实用价值。目前应用较 为广泛的动体检测算法有光流法、背景法和帧间差分法。 ( 1 ) 光流场法 光流场的计算最初是由美国学者h o r n 和s c h l m e k 提出的。1 9 8 1 年h o r n 等人在相 邻图像之间的间隔时间很小，且其图像中灰度变化也很小的前提下，推导出灰度图像光 流场计算的基本公式，奠定了光流场计算的基础。 光流( o p t i c a lf l o w ) 反映了在某一时间间隔d t 内由于运动而引起的图像的变化，光流场 是一个二维的速度场。光流法检测运动目标的基本原理是：给图像中的每个像素点赋予 一个速度矢量，这就形成了一个图像运动场，在运动的某一个时刻，图像上的点与三维 物体上的点一一对应，这种对应可由投影关系得到，根据各个像素点的速度矢量特征， 可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连 续变化的，当物体和图像背景存在相对运动时，运动物体所形成的速度矢量必然和邻域 背景速度矢量不同，从而检测出运动物体的位置。 总的来说，光流法的优点是能够检测独立运动的对象，不需要预先知道场景的任何 信息，并且可用于摄像机运动的情况，但是由于噪声、多光源、阴影、透明性和遮挡性 等原因，使得计算出的光流场分布不是十分可靠和精确。而且多数光流法计算复杂、耗 时多，除非有特殊的硬件支持，否则很难实现实时检测。 ( 2 ) 背景减除法 背景减除法是常用的动体检测方法之一，它利用当前图像与背景图像的差分来检测 运动区域的一种技术，它一般能够提供完全的目标数据。背景减除法的基本思想是：首 先用事先存储或者实时得到背景图像序列为每个像素进行统计建模，得到背景模型。其 次将当前每一帧图像和背景模型相减，计算出在一定阈值限制下图像中偏离背景模型值 较大的那些像素，判定此像素出现在运动目标上，图像相减操作后得到的结果直接给出 了目标的位置、大小、形状等，从而得到较完整的目标信息。此外模型还要进行周期性 的背景更新以适应动态场景变化。 背景减除法在实际应用中有两个最基本问题需要解决：背景模型的获取和背景模型 的更新。背景图像的获取的理想情况是在场景没有运动目标的情况下进行，但是实际应 用中一幅“纯净”的背景图像总是不容易得到的，外界光线的变化、背景中含有轻微扰 动的对象，如树枝、树叶的摇动等，这些都会增加获得背景的难度；另外长时间的视频 监视，而背景图像总不会是“一成不变”，所以需要在一段时间后重新更新背景图像， 以适应背景的变化。在实际硬件电路设计中这两个问题的解决有一定的难度。 ( 3 ) 帧间差分法 基于f p g a 的嵌入式图像监控系统设计 帧间差分法是在动体检测中使用得最多的一类算法，其基本原理是将连续的两帧或 几帧的图像对应的像素值相减，在环境亮度变化不大的情况下，如果对应像素值相差很 小，可以认为此处景物是静止的，如果图像区域某处的像素值变化很大，可认为这是由 于图像中运动物体引起的。帧间差分法就是利用视频序列中连续的两帧或几帧图像的差 异来进行目标检测，图2 3 显示了帧间差分法的基本过程。 图2 3 帧间差分法原理图 f i g 2 3d i a g r a mo ff r a m ed i f f e r e n c e 对于检测图像区域，运动报警的判定条件为： m a x l s c ( x ，f ) 一s e ( x ，t 一垃) i t f 2 】1 其中s c ( x ，t ) 为亮度图像序列在t 时刻，点x 处的灰度值。t 为某个灰度闭值，灰度闭 值的大小决定了运动报警检测的灵敏程度。这种方法简单快速，也容易实现心肌。 2 2 2 腐蚀与膨胀 通常形态学图象处理表现为一种邻域运算形式，一种特殊定义的邻域称之为“结构 元素”( s t r u c t u r ee l e m e n t ) ，在每个像素位置上，它与二值图象对应的区域进行特定的 逻辑运算，逻辑运算的结果为输出图象的相应像素。形态学运算的效果取决于结构元素 的大小、内容以及逻辑运算的性质。常见的形态学运算有腐蚀( e r o s i o n ) 和膨胀( d i l a t i o n ) 。 二值图像是指图像的灰度只由o 和1 构成。传统的图像处理一般称图像中对象的灰 度值取l ，背景灰度值取0 。记所有灰度值为1 的点组成的集合为x 。数学形态学图像 处理主要是对集合x ，选择适当的结构元素进行形态学处理。 在数学形态学中，设x 为( x ，y ) 平面上一目标区域，b 为指定大小和形状的结构元 素，定义位于坐标( x ，y ) 上的结构元素b 所表示的区域为b ( x ，y ) ，那么对于x 的腐蚀 结果可以表示为： 大连理工大学硕士学位论文 ( x ，y ) l ( x ，y ) x ，b ( x ，y ) cxj ( 2 2 ) 在图像处理中上式可理解为定义一个结构元素b ，从图像左上角开始，按顺序移动 结构元素的位置，当结构元素位于某坐标上时，且此时结构元素完全处于目标区域内部， 则保留此坐标上的像素点，否则删除此坐标上的像素点。腐蚀在数学形态学运算中的作 用是消除物体边界点，如果结果元素取3 * 3 的结构，那么腐蚀将使物体的边界沿周边 减少一个像素。腐蚀可以把小于结构元素的物体去除，这样选取不同大小的结构元素， 就可以去掉不同大小的物体。如果两个物体之间有细小的连通，那么当结构元素足够大 时，通过腐蚀运算可以将两个物体分开。 x 口 b 图2 4 腐蚀示意图 f i g 2 4d i a g r a mo fe r o s i o n 一 。 ，j，j ， - - - _ - - - - - - - - _ o - - - - - - 。 腐蚀处理可以将粘连在一起的不同目标物分离，并可以将小的颗粒噪声去除。如图 2 4 所示，腐蚀的方法是拿b 的中心点和x 上的点一个一个地对比，如果b 上的所有点 都在x 的范围内，则该点保留，否则将该点去掉；右边是腐蚀后的结果。可以看出，它 仍在原来x 的范围内，且比x 包含的点要少，就象x 被腐蚀掉了一层示。 在实际操作中，可以将结构元素用模板的形式定义。矩形模板中属于结构元素的部 分用1 表示，不属于结构元素的部分可以标记为o 。在腐蚀处理过程中，只要对图像的 每个位置都用模板进行检验，如果对于所有模板中为1 的位置，源图像上都存在指定像 素，那么就保留模板所在位置的像素点，否则就清除模板所在位置的像素点。 在数学形态学中，设x 为( x ，y ) 平面上一目标区域，b 为指定大小和形状的结构元 素，定义位于坐标( x ，y ) 上的结构元素b 所表示的区域为b ( x ，y ) ，那么对于x 的膨胀 结果可以表示为： x ，y ) i ( x ，y ) x ，b ( x ，y ) n x 矽j ( 2 3 ) 基于f p g a 的嵌入式图像监控系统设计 在图像处理中上式可理解为定义一个结构元素b ，从图像左上角开始，按顺序移动 结构元素的位置，当结构元素位于某坐标上时，且此时结构元素与目标图像存在交集， 则保留此坐标上的像素点，否则删除此坐标上的像素点。膨胀是将与目标区域的背景点 合并到该目标物中，使目标物边界向外部扩张的处理。膨胀处理可以将断裂开的目标物 进行合并，便于对其整体的提取。 x 口 b 图2 5 膨胀示意图 f i g 2 5d i a g r a mo fd i l a t i o n 如图2 5 所示，膨胀的方法是拿b 的中心点和x 上的点及x 周围的点一个一个地对， 如果b 上有一个点落在x 的范围内，则该点就为黑；右边是膨胀后的结果。可以看出， 它包括x 的所有范围，就象x 膨胀了一圈似的。 像图像腐蚀处理一样，用模板表示结构元素的形状，则图像的膨胀处理可以描述为： 移动模板使之遍历目标图像的每一个像素，当模板处于坐标( x ，y ) 处时，若模块中任意为 l 的位置对应的像素存在，则膨胀结果中坐标( x ，y ) 对应位置的像素存在，否则( x ，y ) 对应 位置的像素不存在。 膨胀与腐蚀运算对目标物的后处理有着非常好的作用，但是腐蚀和膨胀运算的一个 缺点是改变了原目标物的大小。为了解决这一问题，考虑到腐蚀与膨胀是一对逆运算， 将膨胀与腐蚀运算同时进行，由此便构成了开运算与闭运算。先腐蚀后膨胀称为开运算。 一般来说，开运算能够去除孤立的小点，毛刺和小桥即连通两块区域的小点，而总的位 置和形状不变。这就是开运算的作用。 大连理工大学硕士学位论文 3 系统硬件设计与实现 图像监控系统处理的数据量较大，同时还要满足实时性要求，因此板载电路需要选 用容量较大，速度较快的器件。本系统采集的一帧图像分辨率大小为6 4 0 * 4 8 0 ，色深是 2 4 位，检测时需要在s d r a m 缓存两帧，因此s d r a m 的容量必须大于1 8 m 字节 ( 6 4 0 * 4 8 0 * 3 * 2 = 1 8 4 3 2 0 0 字节) ，由于每个像素位宽为2 4 位，同时n i o s 是3 2 位的处理 器，所以s d r a m 的位宽最好是3 2 位。外部提供给f p g a 的晶振频率必须大于c i s 的 像素时钟2 5 m h z 。考虑到检测算法需要较多的逻辑资源，因此f p g a 的片内l e 要很丰 富，另外f p g a 的管脚必须要满足外部器件连接的要求，在本系统中要实现所有器件的 i o 口相连，f p g a 的i o 管脚必须大于1 5 0 个。 3 1 主控制芯片电路 本系统选用的c y c l o n e 系列f p g a 器件的具体型号是e p l c l 2 q 2 4 0 c 8 。逻辑资源达 1 2 0 6 0 个逻辑单元( l e ，l o g i ce l e m e n t s ) ，片内r a m 的容量为2 3 9 6 1 6 b i t s 。完全可以 满足图像采集的设计要求。其内核供电采用1 5 v ，0 1 3 u m 工艺，功耗较低。c y c l o n e 器件支持各种单端i o 接口标准，如3 3 v 、2 5 v 、l - 8 v 、l r r l 、l v c m o s 、s s t l 。 c y c l o n e 器件具有两个可编程锁相环( p l l ) 和八个全局时钟线，提供健全的时钟管理 和频率合成功能，实现最大的系统性能。c y c l o n e 器件具有高级外部存储器接口，允许 设计者将外部单数据率( s d r ) s d r a m ，双数据率( d d r ) 、s d ra m 和d d rf c 洲 器件集成到复杂系统设计中，而不会降低数据访问的性能。c y c l o n e 系列f p g a 器件基 于一种全新的低成本架构，从设计之初就充分考虑了成本的节省，因此可以为价格敏感 的应用提供全新的可编程的解决方案。 3 2 电源电路 一般而言，f p g a 器件出于芯片设计、多电平接口的需要，电源都分为两组：v c c i n t 和v c c i o ，即内核电源和i o 电源，随着芯片内部连线尺度的逐渐减小，核心电源电压 和接口电压也越来越低。本设计中e p l c l 2 器件的v c c i n t 为1 5 v ，v c c i o 为3 3 v 。 目前总的来说有三种电源解决方案，分别是线性稳压器电源( l d o ) ，开关稳压器电源，电 源模块【7 1 。 l d o 线性稳压器适用于降压变换，具体效果与输入输出电压比有关。从基本原 理来说，l d o 根据负载电阻的变化情况来调节自身的内电阻，从而保证稳压输出端 的电压不变。其变换效率可以简单地看作输出与输入电压之比。 基于f p g a 的嵌入式图像监控系统设计 由于采用线性调节原理，l d o 本质上没有输出纹波。与l d o 相比，d c d c 调整 器输出纹波电压较大、瞬时恢复时间较慢、容易产生电磁干扰( e m i ) 。系统电源输入 电压为5 v ，3 3 v 电压供电部分采用了a s l 0 8 4 ：此外，对于f p g a 的p l l 工作需要 的1 5 v 电源部分，采用a m s l1 1 7 1 5l d o 来实现。 时钟设计是f p g a 设计中的核心问题之一，时钟系统的不稳定和不合理，往往不能 发挥器件的全部功能和潜力，严重时还会导致系统失败。对于多时钟、多速率系统，如 何做到全局同步设计、保证时延特性、达到设计速率等，对系统成功都是极为关键的【8 】。 在本设计中，f p g a 的系统时钟为5 0 m h z ，在时钟电路设计中，需要外接一个晶振频率 为5 0 m h z 的外部有源晶振作为驱动时钟，然后把产生的系统时钟s y s c l k 信号连接到 f p g a 芯片的外部时钟输入管脚c l k 。e p l c l 2 器件内有两个p l l ( 锁相环) ，锁相环电 路具有时钟合成功能。 v “ u k 口 a 埘t t 怍夕鼍鲫三 1 一 姆k 。 j 一_ c o l n 加岫z 轴玎口1 崾 ， ：p o lc p 0 2+凹n+ c ，l 一 一 一 i 时眦 加咖o 1 旺 rl 功， =卜、n 西脚 17 瑚 守 a 图3 1 系统电源电路原理图 f i g 3 1 s c h e m a t i cc i r c u i td i a g r a mo f t h ep o w e rs e c t i o n 由于a l t e r a 的p l l 是模拟电路实现的，其对电源噪声比较敏感，所以在设计p c b 的时候，对给p u 的供电部分要做一些特殊的处理。即使在设计中没有用到p l l 也必 须给其供电。 大连理工大学硕士学位论文 锁相环的电源和地管脚分别是v c c ap l l 和g n dp l l 。在给v c c ap l l 供电 的时候，不要将其直接连接到数字电源上，由于数字电源的噪声比较大，需要将v c c a 和数字电源隔离开，防止数字电源上的噪声串入模拟电源v c c a 而影响p l l 稳定的工 作。 要隔离v c c a 有几种方法，最好的方法是给模拟电源一个单独的电源平面，把所有 v c c a 管脚接到该电源平面上。不过增加p c b 层数会增加其成本，考虑到此问题还可 以采用电源岛的方式给v c c a 供电。但由于单板的限制无法实现电源岛，我们采用的方 法是从供电电源层通过磁珠对v c c a 供电，同时还要对v c c a 进行滤波和去耦。 其中磁珠和2 2 u f 的电容用来滤出一些外部的噪声，防止其进入模拟电源中。而 0 1 u f ，0 0 1 u f ，0 0 0 1 u f 电容用来对p l l 本身产生高频噪声旁路，防止其进入模拟电源。 这三个小电容应尽量靠近v c c a 的管脚。 本系统中选用的e p l c l 2 f 4 0 0 c 8 芯片的输入输出接口电压为3 3v ，内核电压降低 到1 5 v ，这样可以降低功耗，有利于系统的稳定，但也给电源供电和其它芯片的选择带 来了麻烦，系统中其它芯片的接口电压必须为3 3 v ，至少也要兼容3 3 v ，电源设计中 需要考虑的主要问题是功率是否满足的问题。 3 3 复位电路 图3 2 电源监控复位电路图 f i g 3 2h 1 1 p e d a n c ea n dr e s e tc k e u i td i a g r a m 复位电路的基本功能是：系统上电时提供复位信号，直至系统电源稳定后，撤销 复位信号。为可靠起见，电源稳定后还要经一定的延时才撤销复位信号，以防电源开 关或电源插头分合过程中引起的抖动而影响复位。r c 复位电路可以实现上述基本功 能图，但解决不了电源毛刺和电源缓慢下降( 电池电压不足) 等问题，而且调整r c 常 基于f p g a 的嵌入式图像监控系统设计 数改变延时会令驱动能力变差【9 1 。 监控电路必须保障上电时能正确地启动系统，当电源失效或电压降到某一电压值 以下时复位系统。本系统中采用复位芯片s p 7 0 8 s 进行复位电路的设计，它可在上电 时产生复位信号，也可使用复位按钮手动复位。在信号的连接设计中，s p 7 0 8 s 芯片 的m r 管脚为手动复位管脚，如图3 2 所示。输入低电平有效，当此管脚上的电平被 下拉到低于l o w 时产生有效低电平复位信号。r e s e t 输出的有效复位信号一般持续 2 0 0 m s 左右。 3 4 时钟电路 p c f 8 5 6 3 是p h i l i p 公司推出的一款带1 2 c 总线且具有极低功耗的多功能时钟日历芯 片，具有四种报警功能和定时功能；包括内部时钟电路、内部振荡电路，内部低电压检 测部分并采用两线值1 2 c 总线通信方式，不但使外围电路简洁，而且增加了芯片的可靠 性。 ? 图3 ，3 时钟芯片电路图 f i g 3 3d i a g r a mo f c l o c kc h i pc i r c u i t 1 0 k - s c l j d 大连理工大学硕士学位论文 如图3 3 所示，p c f 8 5 6 3 的s c l 为时钟输入端，数据随时钟信号同步输入器件或从 器件输出。s d a 为双向引脚，用于串行数据的输入输出。i n t 是中断信号输出端，可 通过设置报警寄存器按指定时间在该脚产生报警信号。s d a 、s c l 、i n t 均为漏极开路， 必须连接上拉电阻。o s c l 、o s c 2 分别为反相放大器的输入、输出端，可在o s c l 、o s c 2 两端接入3 2 7 6 8 k h z 的石英晶振y 1 ，配置成片内振荡器。 3 5 配置电路 f p g a 器件与c p l d 器件的工艺不同，掉电后不能保留原来的设计，因此需要把设 计内容存储在器件外部的e e r o m 或者f l a s h 中，这就是配置系统的来源。配置系统 首先要解决的是配置方式的选择。 c y c o l n ee p l c