（通信与信息系统专业论文）基于sopc的运动目标视频检测系统设计.pdf

摘要 摘要 随着计算机、通信电子技术的发展，以图像为基础的视频以其直观、方便和 内容丰富等特点日益受到人们的青睐，视频中的运动目标通常是最受人们关注的， 然而视频图像数据量庞大、处理速度跟不上成为运动目标检测的瓶颈，如何快速、 有效、稳定地将视频中的动目标检测出来具有非常重要的理论意义和实用价值。 运动目标检测在军事和民用上都有着广泛的应用，对于运动目标视频检测系 统的速度、集成度、可靠性、灵活性等方面，大部分现场提出了更高的要求。针 对这些需求，本文设计了一种基于s o p c 技术的可重构运动目标视频检测i p 核。 用户可以方便地将该i p 核添加到运动目标视频检测系统中，用硬件实现运动目标 视频检测算法，达到硬件加速的目的，大大提高系统的整体性能。 论文首先阐述了课题的研究背景、发展现状及与运动目标视频检测相关的视 频处理方面的基础知识；然后详细介绍了基于s o p c 技术的运动目标视频检测系 统的硬件设计与实现，包括系统总体设计、视频采集、视频处理、行缓存及缓存 控制逻辑、v g a 显示等模块的具体实现，以及用户i p 核的创建；接着重点介绍 了运动目标视频检测的逻辑设计与实现，对帧间差分法进行了研究并设计，鉴于 该方法得出的实验结果的不足之处对该方法进行改进，给出了改进的运动目标视 频检测方法的实验结果和分析：最后，对基于s y s t e mg e n e r a t o r 工具的f p g a 设 计方法与传统的编写v h d l v e r i l o g 语言代码来进行f p g a 设计的方法进行对比， 生成了可在f p g a 上运行的v h d l v e r i l o g 代码。 实验证明，该运动目标视频检测i p 核集成度高，可以根据需要进行重构配置， 可靠性高，具有很强的灵活性，易于维护和扩展，开发周期短，达到实时检测视 频运动目标的目的。 关键词：s o p c ；f p g a ；运动目标视频检测；s y s t e mg e n e r a t o r 广东工业大学硕士学位论文 a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n t o fc o m p u t e r , c o m m u n i c a t i o na n de l e c t r o n i c t e c h n o l o g y , t h ev i d e ob a s e do ni m a g e s i si n c r e a s i n g l yw i n n i n gt h ef a v o ro ft h ep e o p l e w i t hi t sc h a r a c t e ro fv i s u a l ，a d v a n t a g e o u sa n dp r o f u s ei n f o r m a t i o n a n dt h em o v i n g o b j e c t i nv i d e os e q u e n c e sh a sd r a w nt h ep u b l i cm o r ea t t e n t i o nu s u a l l y b u tt h e e n o r m o u sv i d e oi m a g ed a t aa n dt h es l o wp r o c e s s i n gs p e e db e c o m et h eb o t t l e n e c k h o w q u i c k l ya n de f f e c t i v e l yt od e t e c tm o v i n gt a r g e t si nt h ev i d e oh a sv e r yi m p o r t a n t f r o mt h e o r e t i c a lm e a n i n g sa n dp r a c t i c a lv a l u e i ti sw i d e l yu s e db o t hi nm i l i t a r ya n di n d u s t r y a tt h es a m et i m e ，t h e yh a v ea l s o m a d e h i g h e rd e m a n d s f o rt h es y s t e m ss p e e d ，i n t e g r a t i o n ，r e l i a b i l i t y , f l e x i b i l i t ya n ds o o n f o rt h er e q u i r e m e n t s ，t h i sp a p e rd e v e l o p e sar e e o n f i g u r a b l em o v i n gt a r g e tv i d e o d e t e c t i n gi pc o r eb a s e do nt h es o p ct e c h n o l o g y i ti sc o n v e n i e n tf o r t h eu s e r st oa d d t h i si pc o r et ot h em o v i n gt a r g e tv i d e od e t e c t i o ns y s t e m ，w h o s ev i d e od e t e c t i o n a l g o r i t h m i s i m p l e m e n t e dt h r o u g hh a r d w a r e ，i no r d e rt o a c h i e v et h ep u r p o s eo f h a r d w a r ea c c e l e r a t i o na n dg r e a t l ye n h a n c et h ep e r f o r m a n c eo ft h es y s t e m p a p e rf i r s te x p o u n d e dt o p i cr e s e a r c hb a c k g r o u n d ，d e v e l o p m e n t s t a t u sa n dt h e v i d e op r o c e s s i n gb a s i ck n o w l e d g er e l a t e dt om o v i n gt a r g e tv i d e od e t e c t i o n a n dt h e n i n t r o d u c e dt h eh a r d w a r ed e s i g na n di m p l e m e n t a t i o na b o u tm o v i n gt a r g e td e t e c t i o n s y s t e mb a s e do nt h es o p ct e c h n o l o g yi nd e t a i l ，i n c l u d i n gt h eo v e r a l ld e s i g n ，v i d e o c a p t u r e , v i d e op r o c e s s i n g ，l i n e b u f f e ra n db u f f e rc o n t r o ll o g i c ，v g ad i s p l a ya n d t h ec r e a t i o no fu s e ri pc o r ee t e t h e ni n t r o d u c e se m p h a t i c a l l yt h el o g i cd e s i g na n d i m p l e m e n t a t i o na b o u tm o v i n gt a r g e td e t e c t i o n h e r e ，w er e s e a r c h e da n dd e s i g n e dt h e f r a m ed i f f e r e n c em e t h o d i nv i e wo ft h ed r a w b a c ko ft h ee x p e r i m e n t a lr e s u l t s ，w ep u t f o r w a r da ni m p r o v e dm e t h o d ，a n dg i v e nt h ee x p e r i m e n t a lr e s u l t sa n da n a l y s i sf o rt h e i m p r o v e dm o v i n gt a r g e td e t e c t i o nm e t h o d f i n a l l y , w ec o m p a r e dt h ef p g ad e s i g n m e t h o db a s e do ns y s t e mg e n e r a t o rt o o lt ot h et r a d i t i o n a lf p g ad e s i g nm e t h o dt h a t e d i tv h d l v e r i l o gc o d e ，a n dg e n e r a t o r e dt h ev h d l v e r i l o gc o d et h a tc a nb er u no n h a b s t r a c t f p g a e x p e r i m e n tr e s u l t ss h o wt h a tt h ev i d e om t di pc o r eh a sh i g hi n t e g r a t e d w ec a n r e c o n s t r u c ta n dc o n f i g u r a t ei ta c c o r d i n gt ot h en e e d ，w h i c hm a k ei th a sh i g h r e l i a b i l i t y a n ds t r o n gf l e x i b i l i t y , a n dc a nb ee a s yt om a i n t a i na n de x t e n d i th a ss h o r td e v e l o p m e n t c y c l e ，a n dc a na c h i e v ev i d e om t di nr e a l t i m e k e y w o r d s ：s o p c ；f p g a ；v i d e om t d ；s y s t e mg e n e r a t o r i i i c o n t e n t s c o n t e n t s a b s t r a c t ( c h i n e s e ) i a b s t r a c t i i c o n t e n t s ( c h i n e s e ) 一v c o n t e n t s 。v i i c h a p t e r1i n t r o d u c t i o n 1 1 1 b a c k g r o u n da n ds i g n i f i c a n c eo fi s s u e s 1 1 2d e v e l o p m e n ts t a t u s 2 1 2 1m o v i n gt a r g e td e t e c t i o na l g o r i t h ms t a t u s 2 1 2 2v i d e oi m a g ep r o c e s s i n gp l a t f o r ms t a t u s 4 1 3 o r i g i no f t h es u b j e c t 6 1 4m a i nc o n t e n ta n do r g a n i z a t i o n a ls t r u c t u r e 6 c h a p t e r2m o v i n gt a r g e tv i d e od e t e c t i o nb a s i s 8 2 1v i d e op r o c e s s i n g 8 2 1 1v i d e os i n g a ls t a n d a r d 8 2 1 2d i g i t a lv i d e os t a n d a r d l o 2 1 3v i d e of i l e sf o r m a t 1 3 2 1 4c o l o rs p a c e 1 3 2 2s o p ct e c h o n o l o g y 1 7 2 2 1s o p cb r i e fi n t r o d u c t i o n 1 7 2 2 2d e s i g nb a s e do ns o p c 1 8 2 3d e v e l o p m e n tt o o l sb r i e f i n t r o d u c t i o n 1 9 2 3 1x i l i n xs o p cd e v e l o p m e n tt o o l s 1 9 2 3 2s y s t e mg e n e r a t o r 2 0 c h a p t e r3h a r d w a r ed e s i g no fm o v i n gt a r g e tv i d e od e t e c t i o ns y s t e m 2 2 3 1 d e s i g no v e r v i e w 2 2 v t t 广东工业大学硕士学位论天 3 2v i d e oc a p t u r e 2 5 3 3v i d e op r o c e s s i n g 2 8 3 3 1i t u rb t 6 5 6d e c o d i n g 2 8 3 3 2l i n eb u f f e ra n db u f f e rc o n t r o ll o g i c 3 5 3 3 3y c b c rt or g bc o n v e r s i o n 4 0 3 4v i d e od i s p l a y 4 2 3 5c r e a t eu s e r si pc o r e 4 6 3 5 1p l bb u sa c c e s ss c h e m e 4 8 3 5 2c r e a t eu s e r si pc o r ei ne d k 5 0 c h a p t e r4m o v i n gt a r g e tv i d e od e t e c t i o ns y s t e ma l g o r i t h mp r o c e s s i n g 5 5 4 1v i d e od a t ar e a d 5 5 4 2f r a m ed i f f e r e n c ea l g o r i t h mm o d e l i n g 5 7 4 2 1 p r i n c i p l ef r a m ed i f f e r e n c ea l g o r i t h m 5 7 4 2 2a l g o r i t h mm o d e l i n g 5 9 4 2 3e x p e r i m e n t a lr e s u l t sa n dd i s c u s s i n g 6 2 4 3a l g o r i t h mi m p r o v e m e n ta n dm o d e l i n g 6 6 4 3 1a l g o r i t h mi m p r o v e m e n t 6 6 4 3 2m o d e l i n gf o ri m p r o v e da l g o r i t h m 7 0 4 3 3e x p e r i m e n t a lr e s u l t sa n dd i s c u s s i n g 7 2 4 4c a l l b a c kf u n c t i o n 8 0 4 5f p g ad e s i g nb a s e do ns y s t e mg e n e r a t o r 8 2 c o n c l u s i o n 8 5 r e f e r e n c e 8 6 p u b l i s h e dp a p e r sd u r i n gt h ep e r i o do fs t u d yf o rm a s t e rd e g r e e 9 0 a n n o u n c e 9 1 a c k n o w l e d g e m e n t 9 2 v i i i 第一章绪论 1 1 课题背景及意义 第一章绪论 随着计算机、通信电子技术的发展，以数字图像处理为基础的视频技术以其 直观、方便、内容丰富等特点，在各行各业的研究与应用日益受到人们的青睐， 视频中的运动目标通常是最受关注的。运动目标检测是数字图像处理技术的一个 主要课题，在第三代视频压缩标准中，视频对象平面的生成，根据图像内容的视 频信息检索等是其主要的应用，而对视频图像的处理，对感兴趣目标的检测提取 技术是这些应用的关键技术。 所谓运动目标检测( m t d ) ，就是当场景中有新物体进入或者场景中有物体 移动时，通过对所拍摄场景的视频进行自动分析，以实现对场景中的目标( 如人、 车辆等) 的定位、识别，并且分析描述他们的行为，从而做到在完成日常管理外 还能对发生的异常情况作出反应。对视频的自动检测可以减少对视频信号的存储 并能实现自动报警。它可以指导操作人员去解决一些潜在的问题。事件的自动检 测可以极大的减少视频传输所需要的带宽，并且只存储一些感兴趣的片段。 运动目标检测在军事和民用上都有着广泛的应用，对于运动目标视频检测系 统的实时性、集成度、可靠性和灵活性等方面，大部分现场提出了更高的要求。 然而运动目标视频检测的图像数据量庞大、处理速度跟不上成为运动目标检测的 瓶颈，如何快速、有效、稳定地将视频中的运动目标检测出来已经成为一个备受 关注的研究热点问题，研究运动目标视频检测系统具有非常重要的理论意义和实 用价值。 目前，提高视频图像处理速度的方法主要有两种：一是改变图像处理算法， 使其更简单、优化，提高算法的运算速度，但最为耗时的图像处理算法已相当成 熟，其运算的复杂性也相对固定，所以对算法进行改进优化的同时又能保证精度 是非常难的；二是改变实现算法的手段，图像处理算法一般可用软件或硬件来实 现，考虑到简便和成本因素，利用软件来实现大多数的操作，但对于运算速度要 求比较高的系统，则要用硬件来实现。 广东工业大学硕士学位论文 1 2 发展现状 1 2 1 运动目标检测算法现状 基于视频序列的运动目标检测技术是计算机视觉和数字图像处理中一个重要 的研究方向，其目的是从视频序列中分离出感兴趣的运动信息，从而把检测出来 的运动区域作为后续跟踪、识别以及行为描述的载体。 近年来，国内外学者对基于视频的运动目标检测技术做了大量的研究，比较 常用的检测算法大致可分为三类：基于光流场的方法、基于背景减法的方法和基 于帧间差分的方法。 光流的概念是由生物学家g i b s o n 【，】于1 9 5 0 年首先提出，但直到b k e h o m 和b g s c h t m c k 发表了光流法的算法1 2 - - 4 后，才引起对光流法的大范围讨论。光流 反映了序列图像中的速度场，是图像亮度的运动信息描述。在目标检测过程中， 基于光流场方法的运动目标检测利用运动目标随时间变化的光流矢量特性在图像 序列中检测运动区域。光流法中当图像序列中没有运动物体时，光流矢量在整个 图像区域连续变化，反之，运动物体所形成的速度矢量和邻域背景速度矢量不同， 近而检测出运动物体的位置。基于此理论，h o r n 等人提出了光流场平滑的约束条 件，分析了运动场的连续特性，并将其应用到运动目标检测与跟踪过程中f 5 j ；m e y e r 等通过计算位移向量光流场来初始化基于轮廓的跟踪算法，有效的实现了对运动 目标的提取和跟踪【e 】。光流法的优点是能够检测独立的运动对象，可以得到完整 的运动信息，不需要预先知道背景区域的任何先验知识，并可应用于摄像机运动 的情况，在处理背景运动和遮挡问题上有很大的优势。然而大多数的光流场计算 方法需要对序列图像中的所有像素进行迭代运算，处理数据庞大，计算方法复杂 耗时，如果没有专门的硬件设备支持，很难达到实时性检测的要求。另外由于没 有采用目标大小及亮度等控制参数，致使算法对图像中的噪声很敏感，抗噪性能 差。因此，光流法对于精度和实时性要求较高的场合受到限制。 基于背景减法1 7 - - 9 1 的其基本思想是构建一个背景模型，将当前图像与背景图像 相减得到差分图像，根据差分图像检测运动目标。背景减法具有操作简单，计算 量小、对噪声敏感度低，很容易从视频图像序列中分割出运动的目标，成为目前 运动目标检测中最常用的一种方法。实际中由于光照渐变、外界环境扰动、噪声 等的影响背景图像不稳定，目前大多数的研究致力于建立一个自适应的背景模型， 2 第一章绪论 从而减少由于背景变化对目标检测产生的影响。同时判定阈值的选取直接决定着 目标检测结果的好坏，成为目前此领域的研究重点。为解决这些难题，研究人员 取得了很多创新性的研究成果，例如h 撕t a o g l u 等f 1 0 】为图像序列中的每个像素进 行统计建模，并进行周期性的背景更新；s t a u f f e r 和g r i m s o n 等1 1 1 1 采用自适应的混 合高斯背景模型对每个像素利用混合高斯分布建模；e l g a m m a l 等 1 2 1 人提出了核密 度估计算法；k a l m a n 等 1 3 1 采用基于k a l m a n 滤波的自适应背景模型，适应天气、 光照等的变化；m c k e n n a 等【1 提出了用像素色彩与梯度信息相结合的办法来建立 自适应的背景模型，以此来解决影子对运动目标检测所带来的影响等等。每一种 方法在不同程度上解决了背景模型的自适应性，同时提高了目标检测的抗噪性能。 基于帧间差分的检测方法利用视频中连续图像的差异进行目标检测【1 5 】。我 们对相邻的两帧图像每个像素点的灰度进行比较，如果灰度在两帧图像中有显著 变化，则将该像素点视为前景目标的像素点；反之，则视为背景像素点。这里的 “显著变化，我们用一定的阈值来衡量，如果大于该阈值，则将该像素点视为显 著变化点，即前景目标点；反之为背景点。在目标提取的过程中，阈值决定着运 动检测的灵敏度，它的选取尤为重要，一个好的阈值可以大大提高目标检测的精 度，它的好坏直接关系到我们提取出来图像效果的好坏。过低的阈值不能有效的 抑制图像中的噪声，过高的阈值将抑制图像中有用的变化。阈值选择可以分为全 局阈值和局部阈值，通常在图像中不同光照区域引起的噪声也不相同，因此采用 局部阈值能更好的抑制噪声检测运动变化。阈值的选择通常取决于场景、光照和 摄像机等外界具体环境条件。如l i p t o n 等人最早应用相邻两帧差分的方法从实际 视频序列中检测出运动目标，并成功实现后续目标的跟踪 1 9 1 ；为进一步改进检测 效果，v s a m 提出了一种自适应背景差分与三帧差分相结合的检测方法，该方法 能够快速有效地从场景中提取出运动目标 2 0 吨t 】。艾海舟等 2 2 1 提出的另一种帧间差 分方法是先利用帧差法求出变化区域，然后将背景中的非变化区域用当前帧的像 素所代替，再用修改过的图像减去下一时刻的视频帧，这样就可以把运动目标检 测出来。该方法引入了可变的背景。帧差法算法简单，速度快，不存在背景更新 问题，容易实现。但是其检测结果对噪声比较敏感，如果选择的阈值是固定的， 这样就会制约该算法不能适应光线变化或场景有雨雪的情况。 广东工业大学硕士学位论文 1 2 2 视频图像处理平台现状 目前，实现图像处理算法的手段针对不同的应用需求主要有以下几种： 1 通用计算机 基于通用计算机的视频图像处理平台是目前国内视频检测系统经常采用的图 像处理手段。通用计算机是基于冯诺依曼结构的有着复杂指令集的计算机，整个 过程是单指令单数据的串行处理过程，其系统结构上的局限性使它对低级图像处 理不能够满足实时高速的要求，适用于各种图像处理算法的验证以及一些对实时 性要求不高的场合。 2 并行处理机 在许多场合下，单个c p u 不能够实现实时数据处理的时候，采用多个c p u 同时工作并行处理为解决此问题提供了可能。各国学者在这方面作了大量的工作， 并己经研究出种并行结构和编程语言，它克服了单个处理器串行工作的局限性， 提高了系统的性能。然对并行处理进行了大量的研究，但这个领域仍不成熟。处 理单元负载不均衡，并行算编程困难，理论上并行处理所应达到的性能和实际性 能相比有较大差距。 3 数字信号处理器( d s p ) 数字信号处理器d s p 作为信号处理的主流芯片，是在通用c p u 的基础上专 门为快速实现各种数字信号处理算法而设计的、具有特殊结构的处理器，一般使 用c 语言来进行编程，其处理速度可达到2 0 0 0 m p i s 【2 3 】，比最快的c p u 都还要快 上1 0 5 0 倍。数字信号处理器的内部采用专用硬件来实现一些数字信号处理常用 的运算，故而用d s p 来进行这些运算的速度会非常快，如乘力i ( m a c ) 运算只需要 一个时钟周期。但是d s p 的本质只是对某些固定的运算提供了硬件优化，它的体 系仍然是串行指令执行系统。且d s p 的这些固定优化运算并不能够满足所有算法 的需要，这就使得它的使用受到了一定的限制。 4 专用集成电路( a s i c ) 专用集成电路( a s i c ) 【：】是针对某一固定算法或应用而专门设计的硬件芯片。 许多采用通用处理器和d s p 来实现的图像处理算法难以满足速度需要，必须采用 a s i c 来实现，在各种算法的实现方案中利用a s i c 来实现的速度是最快的。但是 在实际应用中，a s i c 也有许多缺点：a s i c 从设计到应用需要较长的时间周期； a s i c 是为专用的目的而设计的，非大批量应用场合，当设计成型并且流片成功 4 第一章绪论 就不能改动，造价昂贵且功能单一，所以在设计中当算法因某种原因需要改变的 时候就需要设计者重新设计芯片和硬件电路；当a s i c 里存在硬件设计的错误且 在投入生产前未能发现的话，唯一的解决办法就是把产品回收，芯片商付出的经 济代价是沉重的。a s i c 的灵活度低往往使得它局限于非常有限的应用中，且很 容易产生性能瓶颈，因此由a s i c 构建的图像处理系统，缺乏灵活性。 5 f p g a 器件 f p g a 器件是当今运用极为广泛的可编程逻辑器件，也被称为可编程a s i c 。 f p g a 器件在结构上具有逻辑功能块排列，可编程的内部连线连接这些功能模块 来实现一定的逻辑功能。f p g a 器件的功能由逻辑结构的配置数据决定。工作时， 这些配置数据存放在片内的s i l a m 中。使用s r a m 的f p g a 器件，在工作前需 要从芯片外部加载配置数据，配置数据可以存储在片外的e p r o m 或其他存储体 上，设计者可以控制加载过程，在现场修改器件的逻辑功能，即所谓现场编程。 利用它用户不仅可以方便地设计出所需的硬件逻辑，而且可以进行静态重复编程 和动态在系统重配置，使系统的硬件功能可以像软件一样编程来修改，从而可以 实时地进行灵活而方便的更新和开发，大大提高了系统设计的灵活性和通用性。 与此同时，f p g a 自身也在迅速发展，其集成度、工作速度不断提高，包含的资 源越来越丰富，可实现的功能也越来越强。 f p g a 既继承了a i s c 的大规模、高集成度、高可靠性的优点，又克服了普 通a i s c 设计周期长、投资大、灵活性差的缺点【2 5 】，并且f p g a 可以在设计上实 现硬件并行和流水线( p i p e l i n e ) t 2 6 1 操作，而这些却不能在d s p 中实现。因此，对 于实时图像处理而言，与本质上仍然是依靠串行执行指令来完成相应图像处理算 法的d s p 系统相比，f p g a 有很强的灵活性，可以根据需要进行重构配置，有较 强的通用性，适于模块化设计：同时其开发周期短，系统易于维护和扩展，适合 实时的信号处理，能够大大提高图像数据的处理速度，满足系统的实时性要求。 特别是新一代f p g a 中集成了中央处理器( c p u ) 、数字处理器r ( d s p ) 等内核，应用 软硬件设计可以完成一些复杂的图像处理算法，尤其是对于结构简单，数据量大 而又存在并行处理特性的算法1 2 7 】，可以提高图像处理的速度，满足系统实时性的 要求【2 l 2 9 ，因此在图像处理系统中采用f p g a 是个比较理想的选择。而且，我们 还可以实现可编程片上系统( s o p c ：s y s t e mo np r o g r a m m a b l ec h i p ) ，利用i p ( i n t e l l i g e n c ep r o p e r t y ) 核帮助用户定制系统，缩短产品研发和更新换代的周期， 快速做出具有自己特色的、自主知识产权的产品。因此，越来越多的研发人员开 5 广东工业大学硕士学位论文 始致力于基于s o p c 技术的视频处理技术。 1 3 课题来源 本课题的来源主要有两个方面的原因： 1 ) 课题组成员从2 0 0 4 年开始，就已经开展了基于数字图像处理的i c 晶片缺 陷检测及金相显微分析系统方面的深入研究，并取得了较显著的研究成果【，3 】。 研发的“基于数字图像处理的i c 晶片显微自动检测系统，以高速f p g a 为核心 器件，主要由图像采集与分析处理器、工作台、p c 机等模块组成。f p g a 为系统图 像采集与分析处理的核心芯片，其中定制了p o w e rp c 硬核，以其硬件高速处理算 法来保证i c 晶片图像检测的海量高速处理要求。f p g a 实现了对摄像头模块进行 初始化、图像分析处理硬件算法和图像传输，以及为i c 晶片显微工作台的运动提 供控制信号等功能。 2 ) 丰富的实验室资源：与全球最大的的嵌入式f p g a 生产厂商x i l i n x 公司 合作建成的“广工大x i l i n x 嵌入式系统创新实验室”里有着完备的硬件资源以及高 效的开发工具。 1 4 本文的主要内容及组织架构 本文以一种基于s o p c 技术的可重构运动目标视频检测i p 核的研究和设计目 标。该系统建立在x u pv i r t e x i ip r o 开发系统平台上，以x i l i n x 公司的系统级建 模工具s y s t e mg e n e r a t o r 为开发工具，在m a t l a b s i m u l i n k 环境下搭建适合于 f p g a 平台的可重构运动目标视频检测( m t d ) 算法，将该算法固化为硬件结构 并以基于s o p c 技术的i p 核的形式来实现。用户可以方便地将该i p 核添加到运 动目标视频检测系统中，用硬件实现视频的预处理算法，达到硬件加速的目的， 大大提高系统的整体性能。在算法的整个开发过程无需了解和使用r t l 级硬件 描述语言就能实现系统的开发，可实现算法与硬件的分离，充分发挥基于f p g a 的d s p 的最大性能，提高了系统的可靠性和设计的灵活性，缩短整个设计的周期， 具有较高的实用性。 本课题的创新点有： 1 ) 相对于别的以硬件逻辑的形式实现视频采集及检测处理，本论文提出以 6 第一章绪论 i p 核的形式实现，达到i p 复用的目的，可提高设计能力、节省研发人员、缩短 产品开发时间，更好地利用现有的技术，降低成本。 2 ) 建立在s o p c 技术基础上，f p g a 的硬件并行和流水线技术可提高系统的 处理速度，满足系统的实时性要求，f p g a 的可重构性使得视频检测系统具有良 好的灵活性和适应性，利用s o c 技术可在单个芯片上实现系统的功能。 3 ) 以x i l i n x 公司的系统级建模工具s y s t e mg e n e r a t o r 为开发工具，在 m a t l a b s i m u l i n k 建模和仿真环境下搭建适合于f p g a 平台的可重构视频m t d 算法，可通过底层提取来对f p g a 的底层资源进行访问，不受接口等硬件底层的 限制，算法的整个搭建过程无需了解和使用r t l 级硬件描述语言，充分发挥基 于f p g a 的d s p 的最大性能，从而实现高效率f p g a 设计。 论文主要章节内容安排如下： 第一章，阐述了课题背景和意义、运动目标检测算法和视频图像处理平台的 研究现状以及本课题的来源，为后续内容做好铺垫。 第二章，先介绍了视频信号制式、数字视频标准、视频文件格式和颜色空间 等与运动目标视频检测相关的视频处理方面的基础知识及s o p c 技术，然后简要 介绍了本课题所使用的开发工具，为后面的运动目标视频检测系统的设计奠定研 究基础。 第三章，详细介绍了基于s o p c 技术的运动目标视频检测系统的硬件设计与 实现，包括系统总体设计、视频采集、视频处理( 包括i t u rb t 6 5 6 解码、行缓 存与缓存控制逻辑及y c b c r 转r g b ) 、视频显示等模块的具体实现，以及用户i p 核的创建。 第四章，重点介绍了运动目标视频检测系统的算法处理，对帧间差分法进行 了研究并设计，鉴于该方法得出的实验结果的不足之处对该方法进行改进，给出 了改进的运动目标视频检测方法的实验结果和分析。最后，对基于s y s t e m g e n e r a t o r 工具的f p g a 设计方法与传统的编写v h d l v e r i l o g 语言代码来进行 f p g a 设计的方法进行对比，生成了可在f p g a 上运行的v h d l v e r i l o g 代码。 最后，对全文进行了总结，指出其中的不足，展望了下一步要进行的研究。 7 广东工业大学硕士学位论文 第二章运动目标视频检测基础 为了完成对运动目标视频信号的采集与处理，必须掌握视频信号的相关基础 知识和动目标检测的一些常用方法。本章首先介绍了彩色电视制式、数字视频标 准、视频文件格式、颜色空间转换等视频处理方面的基础知识，然后介绍了本课 题的关键技术一s o p c 技术，最后简要介绍了本课题所需的开发工具。 2 1 视频处理 视频处理泛指将一系列的静态影像以电信号方式加以捕捉、纪录、处理、储 存、传送与重现的各种技术，它是图像序列按照一定的格式的组合。这里主要介 绍对视频信号的数字化处理时需要应用的一些基本概念。 2 1 1 视频信号制式 视频信号是一种模拟信号，由视频模拟数据和视频同步数据构成，用于接收 端正确地显示图像。信号的细节取决于应用的视频标准或者“制式 。目前，世界 上现行的视频信号制式有三种：n t s c 制、p a l 制和s e c a m 制，这里不包括高 清晰度彩色电视( h d t v ：h i g h d e f i n i t i o nt e l e v i s i o n ) 1 3 4 3 5 。 1 ) n t s c ( n a t i o n a lt e l e v i s i o ns y s t e m sc o m m i t t e e ) ：是1 9 5 2 年由美国国家电 视标准委员会定义的彩色电视广播标准，它采用正交平衡调幅的技术方式，故也 称为正交平衡调幅制。n t s c 电视全屏图像的每一帧有5 2 5 条水平线。这些线是 从左到右、从上到下排列的。每隔一条线是跳跃的。所以每一个完整的帧需要扫 描两次屏幕：第一次扫描是奇数线，另一次扫描是偶数线。每半帧屏幕扫描需要 大约1 6 0 秒；整帧扫描需要1 3 0 秒。这种隔行扫描系统也叫i n t e r l a c i n g ( 也是隔 行扫描的意思) 。美国、加拿大等大部分西半球国家，以及日本、韩国、菲律宾等 国和中国台湾地区均采用这种制式。 n t s c 彩色电视制的主要特点是： 5 2 5 行帧，2 9 9 7 帧秒( 3 3 3 7 m s 帧) ； 8 第二章运动目标视频检测基础 长宽比：电视为4 ：3 ，电影为3 ：2 ，高清晰度电视为1 6 ：9 ； 隔行扫描，2 场帧，偶场在前，奇场在后，2 6 2 5 行场： 在每场的开始部分保留2 0 扫描线作为控制信息，因此只有4 8 5 条线的可 视数据，l a s e rd i s c 约4 2 0 线，s v h s 约3 2 0 线； 行扫描频率为1 5 7 5 0 h z ，周期6 3 5 u s ，水平回扫时间1 0 u s ( 包含5 u s 的水 平同步脉冲) ，所以显示时间是5 3 5 u s ： 场扫描频率是6 0 h z ，周期为1 6 6 7 m s ： 颜色模型：y i q ； 标准分辨率：7 2 0 4 8 6 。 2 ) p a l 制式( p h a s e a l t e r n a t i v el i n e ) 由于n t s c 制式存在相位敏感造成彩色失真的缺点，因此德国( 当时的西德) 于1 9 6 2 年制定了p a l 制彩色电视广播标准，称为逐行倒相正交平衡调幅制。德 国、英国等一些西欧国家，以及中国、朝鲜、中国香港地区、中东地区等国家和 地区均采用这种制式。p a l 制式中根据不同的参数细节，又可以进一步分为g 、i 、 d 等制式，其中p a l d 制是我国大陆采用的制式。 p a l 电视制式的主要特点是： 6 2 5 行帧，2 5 帧秒( 4 0 m s 帧) ； 长宽比：4 ：3 ： 隔行扫描，2 场帧，奇场在前，偶场在后，3 1 2 5 行场； 颜色模型：y u v ； 标准分辨率：7 2 0 5 7 6 。 3 ) s e c a m 制式( 法文s e q u e n t i a lc o l e u r a v e cm e m o i r e ) ：意为顺序传送彩色 信号与存储恢复彩色信号制，是由法国在1 9 5 6 年提出，1 9 6 6 年制定的一种新的 彩色电视制式。这种制式与p a l 制类似，其差别是s e c a m 中色度信号是频率调 制( f m ) ，而且它的两个色差信号：红