（计算机应用技术专业论文）运动目标实时检测系统的设计与实现.pdf

大连理工大学硕士学位论文 摘要 对视频序列进行运动目标检测在机器视觉应用中起到很重要的作用，包括人体识别 和跟踪、车辆检测、人机交互和军事应用等领域都有广泛的应用。运动目标检测是更进 一步复杂处理的基础，对其他计算机视觉领域有着重要的推动作用。如何实现对运动目 标进行实时、稳定、有效的检测已经成为一个备受关注的研究热点问题。 针对于目前大部分运动目标的检测算法都是基于p c 机上，并用软件编程的方法来 实现，处理速度较慢，适用范围小等问题，本文实现了基于f p g a 平台的运动目标检测 系统。f p g a 是当今主流的大规模可编程集成电路，能够满足高速图像处理的要求。本 系统利用高速摄像头c c d 采集实时图像，通过改进的运动目标检测算法对图像进行处 理，检测出多个运动目标。 本文研究了当前主要的运动目标检测算法，并在当前该领域研究成果的基础上，对 基于l b p 的运动目标检测算法进行了改进，使其更适合在硬件上实现。该算法不但具 备背景差分法的优点，而且克服了光线单调变化对检测的影响。该算法计算简单，利于 系统的实时检测。在合理利用硬件资源的基础上，通过设计f p g a 硬件电路实现了图像 的高速采集以及图像预处理，并且充分有效地利用了f p g a 硬件上的并行性，通过对一 个像素点处理过程的硬件结构的实现，在f p g a 上同时实现3 个像素点并行处理，并将 部分算法硬化，显著地提高了检测的速度。为了使算法有更好的适应性，将改进的基于 纹理的运动目标检测算法与相邻帧差法相结合，使检测效果得到改进。该运动目标检测 系统，可以用于视觉领域的其他应用中，具有广阔的应用f i 景。 关键词：运动目标检测；f p g a ；l b p ；并行处理 人连理工人学硕十学位论文 d e s i g na n di m p l e m e n t a t i o no fr e a l t i m em o v i n go b j e c t d e t e c t i o ns y s t e m a b s t r a c t n ed e t e c t i o no fm o v i n go b j e c t sf r o mv i d e of r a m e sp l a y sa l li m p o r t a n ta n do f t e nv e r y c r i t i c a lr o l ei nd i f f e r e n tk i n d so fm a c h i n ev i s i o na p p l i c a t i o n si n c l u d i n gh u m a nd e t e c t i o na n d t r a c k i n g , t r a f f i cm o n i t o r i n g , h u m a n - m a c h i n ei n t e r f a c e sa n dm i l i t a r ya p p l i c a t i o n s m o v i n g o b j e c td e t e c t i o ni st h eb a s i sf o rf u r t h e rc o m p l e xp r o c e s s i n g ，a n dp l a ya ni m p o r t a n tr o l e st oo t h e r t o p i c s p r o g r e s si nc o m p u t e rv i s i o n h o wt od e t e c tm o v i n go b j e c tr e a l t i m e l y ，s t e a d i l ya n d e f f e c t i v e l y ，b e c o m e sa l li m p o r t a n tp r o b l e mt h a tn e e d st ob ep a i da t t e n t i o na n dr e s e a r c h e d f o ri nt h ec u r r e n tm o s to ft h em o v i n go b j e c td e t e c t i o na l g o r i t h m sa r er e a l i z e db ys o f t w a r e b a s e do nt h ep c ，i ti ss l o wt od e a lw i t hp r o c e s s i n gs p e e da n dh a sl i m i t e do fa p p l i c a t i o n s c o p e n i sp a p e rp r e s e n t sa nf p g a - b a s e dp l a t f o r mf o rm o v i n go b j e c td e t e c t i o ns y s t e m a sam a i n l a r g es c a l ep r o g r a m m a b l es p e c i f i ci n t e g r a t e dc i r c u i t ，f p g am e e t st h er e q u i r e m e n t so fh i g h s p e e di m a g ep r o c e s s i n g t h es y s t e mu s e sh i g h - s p e e dc c dc a m e r at oc a p t u r er e a l t i m ei m a g e s b yi m p r o v i n g t h ed e t e c t i o na l g o r i t h mf o ri m a g e p r o c e s s i n gt od e t e c tm u l t i p l em o v i n go b j e c t s t h i sp a p e rf o c u sr e s e a r c ho nt h ec u r r e n tm a j o r a l g o r i t h mo fm o v i n go b j e c td e t e c t i o n a n d s t u d i e st h ek e yt e c h n o l o g i e so ft h ef i e l db a s e do nt h ec u r r e n tr e s e a r c ha c h i e v e m e n t sa n d l b p b a s e dm o v i n go b j e c td e t e c t i o na l g o r i t h mh a sb e e ni m p r o v e dt om a k ei tm o r es u i t a b l ef o r h a r d w a r ei m p l e m e n t a t i o n 1 n h ea l g o r i t h mi sn o to n l yt h ea d v a n t a g e so fb a c k g r o u n ds u b t r a c t i o n b u ta l s ot oo v e r c o m et h ei m p a c to fd e t e c t i o no ft h em o n o t o n yo f l i g h tc h a n g e t h ea l g o r i t h mi s s i m p l e ，a n dc o n d u c i v et or e a l t i m ed e t e c t i o ns y s t e m b a s e do nt h er a t i o n a lu t i l i z a t i o no f h a r d w a r er e s o u r c e s ，t h r o u g ht h ed e s i g no ff p g ah a r d w a r ec i r c u i t ，i m p l e m e n t e dh i g h s p e e d i m a g ec a p t u r ea n di m a g ep r e p r o c e s s i n g ，t h ef u l la n de f f e c t i v eu s eo ff p g ah a r d w a r e p a r a l l e l i s m ，t h r o u g hi m p l e m e n tah a r d w a r es t r u c t u r eo fap i x e lp r o c e s s i n g ，t h ef p g aa tt h e s a m et i m ea c h i e v e3p i x e l st op a r a l l e lp r o c e s s i n g ，a n dh a r d e n i n go fap a r t i a la l g o r i t h m s s i g n i f i c a n t l yi m p r o v et h ed e t e c t i o ns p e e d f o rt h ea l g o r i t h mh a v eab e t t e ra d a p t a b i l i t yt o e n v i r o n m e n t a li s s u e s w ea r ec o m b i n a t i o nt h ei m p r o v e dt h et e x t u r e b a s e do nm o t i o no b i e c t d e t e c t i o na l g o r i t h ma n dt h ea d j a c e n tf l a m ed i f f e r e n c e ，s ot h a tt h er e s u l to fd e t e c t i o ni s i m p r o v e d t h ed e t e c t i n go b j e c tm o v i n gs y s t e m c a nb eu s e df o ro t h e ra p p l i c a t i o n si nt h ev i s u a l f i e l d ，a n dw i l lh a v eaw i d ea p p l i c a t i o np r o s p e c ta sw e l l k e yw o r d s ：m o v i n go b j e c td e t e c t i o n ；f p g a ；l b p ；p a r a l l e lp r o c e s s i n g h i 人连理 人学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题 作者签名： 导师签名： 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 作者签名： 人连理t 大学硕十学位论文 1 绪论 1 1 研究背景及意义 运动目标检测是数字图像处理技术的一个主要课题，检测所使用的各种技术涵盖了 图像处理、图像分析的各个方面。运动目标检测也是计算机视觉、可视预警、目标检测 与跟踪、模式识别、运动图像编码、安全监控等研究领域的重点与难点。随着人工智能 和图像处理技术近几十年的飞速发展，计算机视觉的理论仍然不够成熟，但是已经得到 了广泛的应用，而且运动目标检测是近年来一个备受关注的前沿课题。在对视频图像进 行处理的时候，对感兴趣目标的检测提取技术是应用的关键技术。研究运动目标检测系 统具有重要的意义和价值。 通常，在视频中运动的目标是最受关注的一部分，同静态图像比较，视频图像的最 大优点就是，使人们可以容易的获得所需要的运动信息。所以，对视频图像进行运动目 标的分析是视频图像研究中的一个重要方向，同时，对视频中的运动目标进行检测也是 所要解决的基本问题之一，更是许多高级视频应用的基础。在技术上，运动目标检测涉 及到模式识别、图像处理、以及人工智能等多个方面，所以具有很高的研究意义和价值。 运动目标检测算法的好坏直接影响着运动目标检测系统的稳定性和精确度，虽然对 运动目标检测理论的研究已经进行了很多年，但是目前为止它仍然是计算机视觉领域的 研究热点之一。开发一个具有鲁棒性、精确、高性能的运动目标检测算法依旧是计算机 视觉领域所面临的一个巨大的问题。研究的困难很大程度上取决于光照的变化，使得精 确的检测变得十分困难，视频图像的波动也给解决这些问题增加了很多困难，当视频中 有一个运动目标通过时，图像中的运动目标可能会发生很明显的变化。 在视频序列中进行运动目标检测在计算机视觉中是一个非常关键的技术。与视频序 列检测相关的主要应用如下： 智能视频监控系统：在军事领域、商业上的智能视频监控都有着广泛的应用，同时 该系统也可以应用到机场、政府、银行重要机构等很多公共无人职守的场所，这样做的 好处是能够减轻对人工的依赖，系统自动地完成对目标的分析，而且对目标进行实时检 测是最重要的环节之一，也是视频序列的运动分析和行为检测等后续工作的基础。 基于视频的人机交互系统：现在鼠标和键盘是用户和计算机交互的主要接口方式， 能够设计出更简洁的、智能化和人性化的人机交互方式。计算机通过无接触式地采集用 户在计算机前面的视频序列，然后使用计算机视觉的理论对视频序列进行分析，从而分 运动目标实时检测系统的 设计与实现 辨用户的动作，明白用户的意图，理解用户所要表达的内容。目前主要工作都集中在姿 态分析，面部表情分析等。 车辆自动驾驶系统：车辆的自动驾驶在近几年吸引了很多研究员的兴趣，其大部分 工作集中在车辆在行驶过程中，能够自动行驶并发现道路上的其他车辆，同时能够自动 避开路面上的障碍物，并且进行自动导航。 通常在视频监控系统中，被监控的场景或者某些场景中对一定区域内的活动目标的 检测是必须的，而运动目标的检测是检测的基础。通过运动目标检测，可以得到视频序 列中的运动目标信息，然后从图像中提取出运动目标，再进一步对运动目标进行定位和 跟踪，可以应用于自动控制和安全防护等领域。虽然目前对运动目标检测算法的研究已 经比较成熟，但是至今能够真正在硬件上实现并能用于现场的运动目标检测算法并不 多。在实际的运动目标检测应用中，对处理时间的要求不断提高，对基于视频的图像进 行实时处理已经成为一种重要的趋势【卜3 1 。而图像数据所需的存储量非常大、图像处理 速度较慢已经成为制约计算机视觉达到实时性的重要瓶颈问题。同时随着f p g a ( f i e l d p r o g r a m m a b l eg a t ea r r a y ，现场可编程门阵列) 芯片的集成度、运算速度、数据并行处 理等性能的不断发展，基于f p g a 的运动目标检测系统已经得到了广泛的关注，有着广 泛的应用前景，同时也代表了图像处理的发展的方向。 1 2 国内外相关技术研究 1 2 1 运动目标检测算法现状 运动目标检测技术是机器视觉领域中的一个关键组成部分，该技术能够在指定的区 域内或者全景中检测到发生的运动，并且能够分离出运动目标。根据检测目标与摄像机 的关系，运动目标检测算法可以分为静态背景下的运动目标检测和动态背景下的运动目 标检测。静态背景下的运动目标检测指的是在整个检测过程中摄像机处在一个静止的状 态，检测的目标在摄像机的整个场景中运动，在这个运动过程中，只有运动目标与摄像 机的相对运动；而动态背景下的运动目标检测指的是在检测的过程中，摄像机的位置也 发生了运动，包括平易，旋转等一些运动，同时检测目标在场景中也发生了某些运动， 在这个过程中，检测目标与摄像机发生了相对运动。静态背景下比较常用的运动目标检 测方法可以分为以下三种。 基于光流法的运动目标检测采用了运动检测目标随时间变化的光流特性，在单帧图 像中实现对运动目标的检测与分割，并且能够得到运动向量的很多信息。m e y e r 4 l 等提 出了利用计算位移向量光流场来进行初始化的基于轮廓的跟踪算法，该算法能够有效地 人连理上人学硕士学位论文 提取和跟踪运动目标。基于光流法的优点是在摄像机运动的情况下，它也能够检测出独 立的运动目标，但是光流法的计算方法较复杂，计算量也非常大，而且噪声对检测效果 的影响也很大，除非通过特殊的硬件支持，才能达到视频图像的实时处理要求，但是不 适合较高实时性的要求。所以基于光流法的算法一般用在图像分析和数字水印等领域。 帧间差分法是最早被提出来的运动目标检测方法，同时也是最简单的检测方法，它 在连续的视频图像序列中相邻的两帧问进行，采用基于像素的时间差分和阈值化来提取 运动区域，找出运动的目标。例如l i p t i o n 等【5 】用帧差法从视频图像中检测出运动目标， 并进一步的对运动目标进行分类与跟踪。改进的帧间差分法可以用三帧来代替进行差 分，如v s a m 6 j 提出了一种自适应背景差分法和三帧差分法相结合的检测方法，该方法 能够快速地从场景中提取出目标。艾海舟等【_ 7 j 提出的另一种帧间差分方法是先利用帧差 法求出变化区域，然后将背景中的非变化区域用当前帧的像素所代替，再用修改过的图 像减去下一时刻的视频帧，这样就可以把运动目标检测出来。该方法引入了可变的背景。 帧间差分法方法对于动态的环境具有较强的自适应性，但是该方法不能完全提取出所有 相关的像素，因此得到的运动目标信息是不完整，在运动目标的内部出现空洞的现象。 背景差分法是当前对视频进行运动目标检测方法中最常用的一种检测方法，它利用 当前帧的图像与背景图像进行差分，并以此来对运动目标进行检测的一种方法。背景差 分法能够提供完整的数据特征，并且实现很简单，计算量较小，而且噪声对其影响也很 小，所以很容易地从视频图像中将运动目标分割出来，因此背景差分法有了广泛的应用。 但是此方法对动态背景的变化，例如光照的变化或者摄像头的抖动等，这些情况下就很 难检测出完整的运动目标了。背景差分法的性能主要取决于对背景图像进行背景建模所 用的技术。现在很多研究人员都致力专研开发不同的背景模型，借此来减小动态背景的 变化对检测所产生的影响。例如h a r i t a o g l u 等【8 j 提出了一种用最小、最大强度值和最大 时间差值为场景中每个像素的特征并进行统计建模的方法，同时进行周期性的背景模型 更新；m c k e n n a 等【9 l 提出了用像素色彩与梯度信息相结合的办法来建立自适应的背景模 型，以此来解决影子对运动目标检测所带来的影响；k a r m a n n 等【1 0 j 利用基于卡尔曼滤波 ( k a l m a nf i l t e r i n g ) 的方法建立一种自适应的背景模型，以此来适应场景中天气和光照 的变化；s t a u f f e r 和g r i m s o n l l lj 利用对视频图像中的每个像素进行自适应的混合高斯的 背景模型的建模，并且利用在线估计来进行背景模型的更新，能够有效地解决光照变化、 背景图像抖动等运动的干扰等所产生的影响。 背景差分法最基本的实现方法是预先提取不包含前景运动目标的背景图像并进行 建模，然后把当前帧的图像和背景模型进行差分，从而提取出运动目标。但是背景图像 并不一定是静止的，经常会发生变化，如环境中光照的变化，不同时间太阳光线和阴影 运动目标实时检测系统的设计与实现 的变化、四季变化、背景图像中物体的运动或者摄像机的抖动等情况。因此背景模型要 能够进行自适应的更新。常用的方法是用平均值法和基于像素的值统计信息的算法来构 建背景模型。但是由于物体运动和光线变化平均值法不能得到准确的背景模型且对于环 境变化也不能进行自适应调节；基于像素灰度归类算法的基本原理是以像素出现概率的 最大的灰度值作为背景模型的灰度值，这种算法计算量较大而且同样缺乏对环境变化的 自适应调节能力。近几年很多研究员对背景建模的建立和实现背景图像的自适应性做了 很多研究。w 4 方法1 1 2 j 通过记录当前临近时间段内的视频序列来记录该时间段内同位置 像素的最大亮的度值、最小亮的度值、相邻两帧间的亮度差异的最大值来建立背景模型。 该方法能较好的检测出室外复杂场景中的多个运动目标，但是该方法对光照的变化非常 敏感，对背景的抖动等情况也需要后期的处理。f r i e d m a n 1 3 j 提出用3 个高斯分布分别对 交通监控场景中的道路、阴影、车辆的像素进行建模。自此之后，很多研究学者都对混 合高斯方法进行了深入的研究，提出了很多新的背景建模方法。例如参数灵敏度分析、 复杂场景下的自适应建模以及全景图背景的构造等。混合高斯法在建模的过程中由于允 许运动目标的存在，因此非常适合室外有光线和天气变化小的情况下的运动目标检测。 但是其缺点是计算较复杂，不仅要对背景图像进行建模，还要对前景图像进行建模，其 计算复杂度与高斯模型的个数成正比，而且模型的参数也很难确定，并且对体积较大， 而运动速度很慢的运动目标检测的效果也不是很理想。同时，该方法对于全局亮度的突 然变化也非常的敏感。隐马尔科夫模型( h i d d e nm a r k o vm o d e l s ，h m m ) 1 4 】解决了电灯 开关或者清空与乌云交替等光照突变所带来的背景像素亮度值大范围变化的问题。本征 方法1 1 5 j 比高斯混合模型的效率更高，处理速度更快，但是需要利用最开始的几十帧来进 行背景的初始化，所以其自适应能力较差，对资源消耗也较大。基于均值替换的背景估 计法最初是由f u k u n a g a 和h o s t l e r 1 6 j 提出来的，该方法利用内核密度函数的梯度上升来 检测多模态分布的模式，并且通过它们的协方差矩阵来对运动图像进行分割与检测，但 是它需要很大的内存来存放视频，而且迭代计算的速度也很慢，所以在实际系统中很难 得到广泛的应用。码本方法需要长时间的观察视频序列，并且使用聚类和量化技术来构 建模型。由于其方法不使用浮点概率运算，而只计算聚类均值和样本与它的距离，所以 该方法的处理速度很快，同时该方法不直接使用像素r g b 值，所以其对光照的变化和 阴影的影响都有很好的鲁棒性。 1 2 2f p g a 在图像处理方面的现状 图像处理技术的飞速发展与图像处理系统的不断发展是紧密相关的。影响图像处理 系统的结构有很多因素，如总线的结构、使用的操作系统、系统的处理器和集成电路的 火连理t 大学硕十学位论文 发展水平等因素。在6 0 年代末到8 0 年代中期的期间，其主要产品都是由美国与英国推 出的一些图像计算机和分析系统。虽然其功能很强，但是系统体积很大，价格也很昂贵。 然而在国内图像处理系统的研究却比较晚。在8 0 年代木期到9 0 年代初期的期间，中科 院自动化研究所和清华大学研发出一系列的图像采集卡，由于该卡的体型较小、价格也 比较便宜而且便于使用，所以很受用户的欢迎。这个阶段大部分都采用大规模集成电路 或者专用的集成电路来实现。从9 0 年代初期图像卡就开始采用大规模集成电路或者专 用芯片来取代计算机的图像处理系统。随着特定用途的集成电路专用a s i c ( a p p l i c a t i o n s p e c i f i ci n t e g r a t e dc i r c u i t ) 芯片，数字信号处理器d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 以及 f p g a 芯片的集成度的越来越高、运算速度的越来越快，价格的越来越低，所以使这些 芯片成为图像处理所需的核心器件。f p g a 芯片是在a s i c 的基础上发展起来的，而且 它还克服了a s i c 不够灵活的缺点。f p g a 芯片不但具有和a s i c 芯片一样的优点，例 如小型化、低功耗等特点，而且还具有更高的可靠性、修改非常方便、设计开发周期很 短、研制成本更低、程序开发工具更加先进等一系列a s i c 芯片所没有的优点，更加重 要的是，它还可以根据后期现场的具体情况，对其本身进行现场编程，非常方便的进行 擦写，使现场调试和增加功能都变得更加的便利，所以对f p g a 的设计很灵活，而且随 着现在集成工艺的高速发展，f p g a 芯片的价格会越来越低廉。可编程逻辑器件f p g a 可以采用并行处理技术对图像进行算法处理，并且只需使用单个器件就能够达到预期的 结果。基于f p g a 的图像处理算法不但具有专用集成芯片的处理速度，而且能够达到实 时处理图像的要求，同时随着f p g a 编程技术的不断成熟，算法的实现会更加简单，具 有更好的移植性与重用性。在图像采集和处理方面，f p g a 芯片得到了广泛的应用。 1 3 本文的主要工作与章节安排 1 3 1 本文的主要工作 本文实现了基于f p g a 平台的运动目标实时检测系统。利用高速摄像头c c d 采集 图像，通过改进的运动目标检测算法对图像进行处理，检测出多个运动目标。本文从运 动目标检测算法的研究出发，对当前运动目标检测算法做了分析和研究，同时在此基础 上，改进了基于l b p 的运动目标检测算法，并将该方法与帧差法相结合。本文主要工 作内容及创新点介绍如下： ( 1 ) 研究了基于f p g a 的运动目标检测实时系统的设计与实现，通过设计f p g a 硬件电路实现了图像的高速采集以及图像预处理，并将适合硬件设计的算法进行算法硬 化，同时采用f p g a 并行处理的特点，对能并行操作的步骤进行并行处理，提高了数据 的处理速度，充分利用了f p g a 的设计优势，显著地提高了检测的速度。 运动目标实时检测系统的设计与实现 ( 2 ) 研究了当前流行的各种运动目标检测算法，介绍了背景差分法、帧问差分法、 光流法的基本原理，同时详细的介绍了相邻帧问差分法、三帧差分法、基于混合高斯分 布的背景差分法、基于纹理的背景差分法，并进行了相关的实验分析。 ( 3 ) 在基于纹理的背景差分法的基础上，通过分析了l b p 算子的特点，及其在 运动目标检测领域的应用，对基于l b p 的运动目标检测算法进行了改进，该算法更适 合在f p g a 上并行处理，有效的提高了检测速度。并将改进的算法与相邻帧差法相结合， 更好更精确的检测出运动目标。 1 3 2 论文章节安排 本论文分为五章，各章内容安排如下： 第一章为绪论，详细阐述了运动目标检测的研究意义和现在国内外研究状况，介绍 了f p g a 在图像处理方面的发展现状，最后给出了本文的主要工作和论文的结构。 第二章介绍了运动目标检测系统的总体设计，阐述了平台的选择和系统的设计流 程，对系统的总体结构做了详细的介绍，分别阐述了系统的硬件设计和系统的软件设计。 第三章对改进的基于l b p 的运动目标检测算法做了详细的介绍，并且分析了l b p 算子的特点，及其在运动目标检测领域的应用，并将该方法与帧差法相结合进行检测。 并对改进的算法进行了实验分析。 第四章介绍了基于f p g a 的运动目标检测系统的具体实现，介绍了系统各个模块的 具体实现。并详细介绍了中值滤波的硬件实现，和改进的l b p 算法的硬件实现。 第五章对基于f p g a 运动目标检测系统进行了测试和分析。 大连理工人学硕士学位论文 2 运动目标检测系统的总体设计 随着信息技术的飞速发展，运动目标检测系统在各个领域的应用越来越广泛。近几 年来随着集成电路向大规模芯片的发展趋势，图像处理在硬件上实现的技术也发生了巨 大变化。特别是可编程逻辑器件f p g a 技术的高速发展，f p g a 芯片的实时图像处理系 统也得到了越来越多的应用。本章主要介绍了基于f p g a 的运动目标实时检测系统的总 体设计，其中包括系统平台的选择，系统设计流程和系统的软硬件的整体设计。 2 1系统的设计方案 由于目前嵌入式处理器的速度和处理器硬件结构的限制，常用的嵌入式微处理器都 很难达到实时高速检测处理的要求。为了达到实时检测运动目标的要求，综合考虑f p g a 各方面的优点之后，本系统选择在f p g a 平台上来实现，本节主要介绍f p g a 平台的主 要特点以及其开发的流程。 2 1 1 系统的平台选择 随着微电子工业的高速发展，可编程逻辑器件f p g a 得到了广泛的关注。f p g a 不 但兼容了可编程逻辑器件( p l d ) 和通用门阵列的优点，还可实现较大规模的电路，编 程技术也非常灵活。同时该平台与其它集成电路相比较，它又具有设计开发周期更短、 设计的成本更低、开发工具更先进、质量更稳定以及可以实时在线检验等更多的优点。 因此f p g a 被广泛应用于很多产品的设计与生产中。目前f p g a 的容量已经超过了百 万门级，f p g a 已经成为系统设计的一种重要选择方案【1 1 7 1 。而且随着技术的不断发展以 及用户需求的不断提高，f p g a 技术也在不断地向前发展。随着工艺和数字电路技术的 不断提高，f p g a 芯片的集成度会越来越高，功能会越来越强，速度会越来越快。f p g a 芯片中嵌入处理器也成为了一个发展趋势，x i l i n x 公司推出的v i r t e x i ip r o 系列的产品， 内部嵌入了一个m i c r o b l a z e 的软核和两个p o w e r p c 的硬核，能够满足不同用户的需求， 让系统的移植成为可能，真正能够做到s o c ( s y s t e m o nc h i p ，片上系统) 的设计。v i r t e x i i p r o 系列产品具有体系结构与逻辑单元灵活、集成度高以及适用范围广的优点。 v i r t e x i ip r o 系列产品主要包括可配置逻辑模块( c l b ，c o n f i g u r a b l el o g i cb l o c k ) 、 用户可编程f o 模块( 1 0 b ，i n p u to u t p u tb l o c k ) 、b l o c k r a m 模块、d c m ( 数字时钟 管理) 模块和乘法器模块构成。其中可配置逻辑模块完成了f p g a 的大部分逻辑功能， 用户可编程i o 模块提供了封装引脚与内部逻辑之间的接口，f p g a 内部的随机存取由 b l o c k r a m 模块完成，该模块能配置r a m 、f i f o 等部件，d c m 模块提供了对时钟的 管理功能，乘法器模块完成f p g a 的数字处理功能。 运动目标实时检测系统的设计与实现 ( 1 ) 可配置逻辑模块( c l b ) v i r t e x i ip r o 系列产品的c l b 模块包括四个s l i c e ，快速连接线( f a s tc o n n e c t ) 不但 为同一个c l b 的四个s l i c e 之间提供了反馈信息，而且也为邻近c l b 提供了布线通路。 开关矩阵的作用是可以访问通用布线资源。c l b 模块的具体结构如图2 1 所示。 图2 1c l b 结构示意图 f i g 2 1 s t r u c t u r ed i a g r a mo fc l b ( 2 ) 用户可编程i o 模块( i o b ) v i r t e x i ip r o 系列产品的i o b 模块包含6 个存储单元，它们不但可以单独配置为d 触发器或者锁存器，而且还可以成对实现以双倍数据传输速率的( d o u b l ed a t ar a t e ， d d r ) 输入和输出。i o b 模块的具体结构如图2 2 所示。 ( 3 ) b 1 0 c kr a m 模块 v i r t e x i ip r o 系列产品的b l o c kr a m 模块的单位容量是1 8 k b i t ，每一个b l o c kr a m 模块都可以配置成为单端口的或者双端口的r a m 。可以利用c o r eg e n e r a t o r 将b l o c k r a m 资源配置成双端口的f i f o 部件。 ( 4 ) 数字时钟管理器模块( d c m ) 一8 一 大连理r 上= 人学硕士学位论文 为了实现大规模f p g a 设计中多时钟、高速度、低延时的要求，v i r t e x i ip r o 系列 的f p g a 提供了1 6 个全局时钟缓冲器，可以支持1 6 个全局时钟网络，而且每个象限最 多可以支持8 个全局时钟的网络。d c m 用时钟输入脚来进行驱动。 图2 2i o b 结构示意图 f i g 2 2 s t r u c t u r ed i a g r a mo fi o b ( 5 ) 乘法器模块 v i r t e x i ip r o 系列产品的乘法器模块支持1 8 1 8 b i t 的有符号乘法计算。乘法器模块 可以通过交换矩阵( s w i t c hm a t r i x ) 和1 8 k b i t 的b l o c kr a m 配合使用，也可以自己单 独使用。在v i r t e x i ip r o 系列的产品中，乘法器模块在物理位置上位于块状s e l e c t r a m 的旁边，其物理分布与b l o c kr a m 的物理分布一样，所以可以利用相同的结构，进行 数据读取、数据相乘、数据累加等操作会很快。乘法器模块的具体结构如图2 3 所示。 2 1 2 系统设计流程 f p g a 系统的设计流程分为设计系统的输入、系统综合、系统功能仿真( 前仿真) 、 实现、系统时序仿真( 后仿真) 、配置下载等六个步骤，设计流程图如图2 4 所示。 ( 1 ) 系统设计输入 设计输入可以使用硬件描述语言h d l 、状态图和原理图等三组输入方式。h d l 是 如今设计大规模数字集成电路的良好形式。h d l 语言的描述在状态机、控制逻辑、总 线功能等方面很强，由它描述的电路能在特定综合器的作用下以具体硬件单元来实现， 运动目标实时检测系统的设计与实现 然而原理图输入在顶层设计、数据通路逻辑设计、手工最优化电路等方面具有很强的图 形化、单元设计节俭、功能很明确等优点。本系统常用的方式是以h d l 语言为主，原 理图设计为辅助，进行混合设计的方式。 i 开关 l 矩阵 - i l 开关l i 矩阵l 18 k b i tb l o c k1 8 x 1 8 l s e l e c tr a m 乘法器 i 开关f f 矩阵l 开关 矩阵 图2 3 乘法器结构示意图 f i g 2 3 s t r u c t u r ed i a g r a mo fm u l t i p l i e r ( 2 ) 系统设计综合 图2 4f p g a 设计流程图 f i g 2 4d e s i g nf l o wo ff p g a 大连理t 大学硕十学位论文 系统设计综合就是对给定的电路实现其功能与此电路的约束条件，如速度、功耗、 成本和电路类型等方面，通过计算机所使用的优化处理，得到一个满足上述要求的电路 设计方案。综合使用的文件是h d l 文件，综合所采取的依据是逻辑设计的描述和各种 约束条件，综合得到的结果是一个硬件电路的实现方案，而该方案必须满足预期的功能 和约束条件。但是对于系统的综合来说，能够满足要求的方案有可能是多个，综合器则 要产生一个最优的或者最接近最优的结果。因此综合的过程也是设计目标优化的过程， 而最后获得的结构与综合器的工作性能也有很大联系。 ( 3 ) 系统仿真验证 设计验证包括功能与时序仿真和电路验证两个方面。而仿真是指使用设计软件包对 已经实现的设计进行完整的测试，并且模拟实际物理环境下的工作状况。前仿真是指对 逻辑功能进行模拟测试，以此来了解其实现的功能是否满足最初的设计要求，但是仿真 过程中并没有加入时序信息，不涉及到具体器件的延迟性等硬件特性，然而在布局布线 后，就会提取有关器件的延迟、连线的延迟等很多时序参数，而在此基础上所进行的仿 真叫做后仿真，所以它是最接近真实器件的仿真。 ( 4 ) 系统设计实现 实现采用实现工具把逻辑映射到目标器件结构的资源中，同时决定逻辑的最佳布 局，进而选择逻辑与输入输出功能连接的布线通道进行连线，并产生对应的文件，如与 配置文件相关的报告。实现通常分为五个步骤。 转换：是将多个设计文件进行转换，并且合并到一个设计库文件中。 映射：把网表中逻辑门映射成物理元素，也就是将逻辑设计分割到构成可编程 逻辑阵列内的可配置逻辑块与输入输出块以及其它资源中的过程。 布局和布线：布局指从映射中取出定义的逻辑和输入输出块，并将它们分配到 f p g a 内部的物理位置，采用基于某种先进的算法，如最小分割、模拟退火等算法完成。 布线是指利用自动布线软件使用布线资源选择路径试着完成所有的逻辑连接。系统采用 的设计实现工具都是时序驱动的，所以可以使用约束条件操作布线软件来完成设计规定 的性能要求。在布局与布线的过程中，可以同时提取时序信息进而形成报告。 时序的提取：产生一个反标文件然后供给后续的时序仿真所使用。 系统配置：产生f p g a 配置时所使用的位流文件。 ( 5 ) 系统时序分析 在设计系统的时序过程中，在映射后要对一个设计的实际功能的延迟和估计的布线 延迟进行时序分析，并且在布局与布线之后，也需要对实际延迟进行静态时序分析。因 此静态时序分析是本系统设计过程中最重要的步骤，需要详尽地分析所有关键路径并得 运动目标实时检测系统的设计与实现 出一个有次序的报告，而且在报告中会含有其它很多调试信息。静态时序分析器是用来 检查设计的逻辑与时序，方便来计算各通用性能，进而识别可靠的踪迹，检测建立并保 持时间的配合，然而时序分析器并不用手动产生输入激励或者测试矢量。其过程与综合 相似，静态时序分析是一个需要重复的过程，它与布局布线密不可分，同时这个操作需 要进行多次才能知道时序的约束是否达到了系统的要求。 ( 6 ) 设计下载验证 下载需要在功能仿真和时序仿真都j 下确的情况下进行的，将综合后形成的位流文件 下载到系统使用的f p g a 芯片中。f p g a 设计一般有两种配置形式：直接由计算机经过 专用的下载电缆进行系统配置，或者在外围配置芯片进行上电时自动配置。因为f p g a 具有掉电信息会丢失的特点，所以在验证初期采用使用电缆直接下载位流，如果有其它 需要时，再将位流文件烧录到配置芯片中。f p g a 下载可以使用j t a gp r o g r a m m e r 、 h a r d w a r ep r o g r a m m e r 、p r o mp r o g r a m m e r 三种方式进行。目前使用芯片上的j t a g 口 是常用的下载方式。当位流文件下载到f p g a 器件内部后进行实际器件的物理测试就是 电路的验证，当得到了正确的验证结果之后就可以验证了设计的正确性。电路的验证对 f p g a 投片生产同样具有重要的意义。 x i l i n x 公司的e m b e d d e dd e v e l o p m e n tk i t s ( e d k ) 是一种所有设计嵌入式编程系统 的集成开发解决方案。其设计流程如图2 5 所示。e d k 套件不但提供了软件和硬件两个 方面的集成，而且允许研究人员制定自己的硬核和软核，以优化其自身特性集、性能、 尺寸和成本等方面。e d k 套件使用灵活的可编程平台，这些智能平台工具使系统的架 构、硬件和软件工程师在可编程系统领域进行快速而具有创造力的开发工作更加方便。 在e d k 环境下生成的嵌入式系统需要x i l i n x 的开发工具i s e ( i n t e g r a t e ds o f t w a r e e n v i r o n m e n t ) 来联合使用，因为e d k 环境下的应用软件有些时候需要调用i s e 的功能 函数。所以e d k 和i s e 的配合使用才能完成s o p c ( s y s t e mo nap r o g r a m m a b l ec h i p ， 可编程片上系统) 系统的快速开发。 2 2 系统总体结构设计 一个基于视频序列的运动目标实时检测系统包括以下功能：系统能够与外部进行通 信，接收或输出图像数据；系统能够对图像数据进行缓存，同时满足检测算法的要求； 系统能够对图像进行算法硬化处理的过程。实时检测系统从原理上分成三个部分：视频 图像获取、对图像进行分析与处理、显示处理后的图像。本系统采用高速c c d 摄像头 采集实时图像，通过基于局部二元模式直方图的背景差分算法对图像进行检测，检测出 大连理丁大学硕十学位论文 多个运动目标。以x i l i n x 提供的v i r t e x i ip r o 作为系统的开发平台，设计了基于视频的 运动目标实时检测系统。其主要包括以下功能，对视频图像进行实时高速采集，对采集 进来的数据进行预处理，并对处理后的图像进行检测，最终将检测结果显示在v g a 上。 f p g a 芯片控制整个实时检测系统，可以将f p g a 系统划分为五个模块：视频采集模块、 视频帧缓存控制模块、图像预处理模块、图像处理模块、显示模块。如图2 6 所示。 i 一 图2 5 嵌入式设计流科图 f i