（信号与信息处理专业论文）基于dm642的运动目标检测算法的研究与实现.pdf

硕上学位论文 摘要 运动目标检测是通过数字图像处理来理解和感知视频画面中的内容，同时它 又融合了模式识别、人工智能、多传感器信息融合等领域的先进技术，是当前的 一个交叉性综合学科的热门研究课题，广泛应用于智能交通、数字城市、智能监 控、商务智能、平安社区、公共场所管理等领域。 本课题主要涉及硬件、软件、算法、信息融合四个方面，其中算法和信息融 合是重点。在算法方面，首先基于混合高斯模型背景法，引入视觉注意机制对其 改进，提出基于运动优先的时空动态混合算法，以解决混合高斯模型背景法中运 动目标因停留时间过长而被更新为背景而导致目标丢失的问题；其次将时空动态 混合后的显著运动图像与视觉注意机制的显著区域做逻辑“与”运算，以消除由 混合高斯模型自身带来的部分孤立噪点。在硬件方面，基于d m 6 4 2 的硬件电路 板，包括d m 6 4 2 芯片模块、存储器模块、视频输入输出模块、i o 模块等模块 平台，通过i o 模块的光电耦合器与红外传感器的连接，实现红外传感器的开关 量信号采集；通过f l a s h 空间地址的划分和掉电保护，实现算法代码的烧写和 更新；由电路板上硬件加密芯片，实现算法的硬件加密保护和安全存储。在软件 方面，利用c c s 集成开发环境和c s l 库函数、d s p b i o s 嵌入式操作系统、e x p r e s s 算法标准和r f 5 参考框架、d d k n d k 等开发工具实现在d m 6 4 2 平台的算法移 植，同时实现p c 与d m 6 4 2 的通信功能模块包括p c 端向d m 6 4 2 的报警规则设 置，以及程序更新升级时传送程序文本文件和报警图片f t p 传输部分。在信息 融合方面，提出了时空动态混合运动目标检测算法与三帧差分法相结合的智能视 频分析算法，利用模糊推理m a m d a n i 法对视频分析结果与红外传感器进行信息 融合。 实验表明，系统能够实时有效的检测出运动目标，解决了复杂场景中运动目 标因停留时间过长被更新为背景而目标丢失的问题，以及树叶、小鸟等小目标和 阴影、灯光等光线影响的严重干扰问题，大大降低了误报率和漏报率，具有良好 的准确性和鲁棒性。 关键词：运动目标检测；混合高斯模型；视觉注意机制；t m s 3 2 0 d m 6 4 2 基丁d m 6 4 2 的运动订标柃测馆池的研究与寅现 a b s t r a c t m o v i n go b j e c t sd e t e c t i o n ，t h a tm o v i n go b j e c t si sp e r c e i v e df r o mv i d e ob yd i g i t a l i m a g ep r o c e s s i n ga n da l s oc o m b i n e dp a t t e r nr e c o g n i t i o n ，a r t i f i c i a l i n t e l l i g e n c e ， m u l t i s e n s o ri n f o r m a t i o nf u s i o na n do t h e rf i e l d so fa d v a n c e dt e c h n o l o g y ，i sc u r r e n t l y ah o tr e s e a r c ht o p i cf o rc r o s s c u t t i n ga n dc o m p o s i t ed i s c i p l i n e s m o v i n go b j e c t s d e t e c t i o ni sw i d e l yu s e di ni n t e l l i g e n tt r a n s p o r t a t i o n ，v i d e on a v i g a t i o n ，d i g i t a lc i t y , i n t e l l i g e n c em o n i t o r i n g ，b u s i n e s si n t e l l i g e n c e ，s a f ec o m m u n i t y , p u b l i cw o r k p l a c e m a n a g e m e n ta n do t h e rf i e l d s i n t e l l i g e n tv i d e oa n a l y s i sa l g o r i t h ma n di n f o r m a t i o nf u s i o na l g o r i t h ma r et h e k e yp a r t so ft h ep r o j e c tw h i c hm a i n l yr e l a t e dt of o u ra r e a s ：h a r d w a r e ，s o f t w a r e ， i n t e l l i g e n tv i d e oa n a l y s i sa l g o r i t h m ，i n f o r m a t i o nf u s i o na l g o r i t h m f i r s t ，s p a c e t i m e d y n a m i ch y b r i da l g o r i t h m ，w h i c hi sb a s e do nt h ei d e o l o g yo fm o v e m e n ti sp r e f e r r e d ， i sa d o p t e dt od e a lw i t ht h em o v i n go b je c t sd e t e c t e db yg a u s s i a nm i x t u r em o d e la n d t h e s a l i e n c ym a pi n t e r e s t e db yv i s u a la t t e n t i o nm e c h a n i s m t h e n ，l o g i c a l a n d o p e r a t i o ni sd o n eb e t w e e nt h es i g n i f i c a n tm o v i n go b j e c t so fs p a c e t i m ed y n a m i c h y b r i dm e c h a n i s ma n dt h es a l i e n c ym a pr e g i o no fv i s u a la t t e n t i o nm e c h a n i s mt o r e m o v et h ei s o l a t en o i s e sp r o d u c e db yg a u s s i a nm i x t u r em o d e l s e c o n d ，t h ee l e c t r i c c i r c u i tb o a r dh a r d w e r ei sd e s i g n e d ，i n c l u d i n gt h ed m 6 4 2c h i pm o d u l e s ，m e m o r y m o d u l e s ，v i d e oi n p u t o u t p u tm o d u l e s ，i om o d u l e s ，t h ea l g o r i t h mb u r n i n ga n d u p g r a d e ，t h ei n f r a r e ds e n s o rs i g n a la c q u i s i t i o n ，t h ee n c r y p t i o na n ds e c u r es t o r a g ef o r a l g o r i t h mb yh a r d w e r ec h i p ，e t c t h i r d ，a l g o r i t h mt r a n s p l a n t i o na n dt h ed m 6 4 2 c o m m u n i c a t i o nm o d u l et ot r a n s f e ra l a r mr u l e sa n da l a r mi m a g ev i af t p h a v eb e e n r e a l i z e db yt h ed e v e l o p m e n tt o o l so fc c s ，c s l ，d s p b i o s ，r f 5 ，d d k ，n d k l a s t ，v i d e oa n a l y s i sr e s u l tw h i c hi st h er e s u l to fc o m b i n i n gs p a c e - t i m ed y n a m i c h y b r i dv i d e oa l g o r i t h mw i t ht h r e ef r a m ed i f f e r e n c ea l g o r i t h m ，a n dt h ei n f r a r e d s e n s o ra r ef u z e db ym a m d a n i a l g o r i t h mo fm u l t i - s e n s o ri n f o r m a t i o nf u s i o nt h e o r y e x p e r i m e n t a ls i m u l a t i o n ss h o wt h a tt h ei m p r o v e da l g o r i t h mc a no v e r c o m et h e s h o r t c o m i n gi nc o m p l e xb a c k g r o u n de f f e c t i v e l yt h a tm o v i n go b j e c t sb eu p d a t e da s b a c k g r o u n dw h e nt h eo b j e c t ss t a yf o ral o n gt i m e ，s o l v et h es h a d o w ，l i g h t i n g ，w a t e r r i p p l e s ，l e a v e s ，b i r d sa n do t h e rf a t a li n t e r f e r e n c e ，g r e a t l yr e d u c et h ef a l s ea l a r mr a t e a n df a l s en e g a t i v er a t e ，a n dd e t e c tm o v i n go b j e c t si nr e a lt i m ew i t hg o o da c c u r a c y a n dr o b u s t n e s s i i 硕卜学位沦丈 k e yw o r d s ：m o v i n go b j e c t sd e t e c t i o n ；g a u s s i a nm i x t u r em o d e l ；v i s u a la t t e n t i o n m e c h a n i s m ；t m s 3 2 0 d m 6 4 2 i i i 蕈丁d m 6 4 2 的运动几标柃洲针法的研究与寅现 插图索引 1 1 运动目标检测示意图l 1 2 多传感器信息融合示意图2 1 3 基于d m 6 4 2 的运动目标检测框图6 2 1 图像对比度灵敏模型1 3 2 2 马赫带效应1 3 2 3i t t i 视觉注意机制模型1 4 2 4 运动优先的动态权值变化图1 9 2 5 改进后的算法流程图2 l 2 6 混合高斯模型背景法图像2 2 2 7 三帧帧差分图像2 3 2 8 视觉注意机制的感兴趣区域显著图2 4 2 9 基于运动优先时空混合算法检测过程与结果一2 5 2 1 0 运动视频序列中的视觉显著图2 5 2 1l 过滤掉的孤立噪点2 6 2 1 2 识别率对比实验图2 6 3 1d s p 芯片发展方向图2 8 3 2 硬件结构框图一2 9 3 3d m 6 4 2 开发板硬件图3 0 3 4s d r a m 存储器的接口框图3 0 3 5f l a s h 存储器的接口框图3 l 3 6s a a 7 11 3 芯片视频采集框图3l 3 7d m 6 4 2 与s a a 7 11 3 的工作逻辑时序图3 2 3 8s a a 7 1 2 1 芯片视频输出框图3 3 3 9d m 6 4 2 与f l a s h 逻辑接l j 图3 3 3 1 0f l a s h 内部空间分配图3 4 3 1 1f l a s h 程序更新流程图3 6 4 1d s p 开发环境连接框图3 7 4 2d s p 开发架构框图3 7 4 3c c s 软件编辑调试开发界面3 8 4 4c s l 库的a p i 应用函数模块3 9 4 5 硬件中断h w i 的配置图4 1 4 6 软件中断s w i 的配置图4 2 i v 图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图 硕士学位论艾 图4 7 任务线程t s k 配置图4 2 图4 8 后台线程i d l 配置图4 2 图4 9d s p b i o s 配置工具4 3 图4 1od s p b i o s 实时分析工具4 3 图4 1 1d s p b i o s 启动工作流程图4 5 图4 12r f 5 参考框架结构4 6 图4 13e x p r e s s d s p 算法标准4 6 图4 1 4 硬件设备驱动框图4 7 图4 15 类微驱动模型框图4 8 图4 1 6d m 6 4 2 的c a c h e 结构图5 1 图4 1 7 软件流水流程图5 2 图4 18 通信协议框图5 3 图4 1 9p c 端输出数据包结构图5 3 图4 2 0d s p 与f t p 服务器测试拓扑图5 4 图4 2 ld s p 与p c 机的t c p 传输协议测试拓扑图5 5 图5 1 数据级融合5 7 图5 2 特征级融合5 7 图5 3 决策级融合5 8 图5 4j d l 信息融合功能模型5 8 图5 5b p 神经网络结构图6 0 图5 6 视频与红外的信息融合框图6 1 图5 7 智能视频分析算法流程图6 l 图5 8 隶属度函数6 2 图5 9b p 神经网络模型6 3 图5 1 0 窗函数6 4 图5 “视频与红外传感器的信息融合过程图6 5 图5 12 检测到人的运动目标6 6 图5 13 过滤掉的干扰目标6 6 图5 1 4 误报次数变化曲线图6 7 图5 15 漏报次数变化曲线图6 7 v 荩丁d m 6 4 2 的运动几标伶洲竹浊的研究与实现 附表索引 4 1c s l 的命名规则3 9 4 2c s l 数据类型3 9 4 3 一般的c s l 宏4 0 4 4 一般基于h a n d l e 的宏4 0 4 5 命令类型5 3 4 6 命令列表( p c - - d s p l 5 4 4 7f t p 接口函数5 5 4 8f t p 客户端的测试结果5 6 4 9d m 6 4 2 上t c p 的传输性能5 6 5 1 模糊逻辑特征融合推理规则6 5 v l 表表表表表表表表表表 硕士学位论义 第1 章绪论 1 1 课题研究意义 运动目标检钡j j ( m o v i n go b j e c t sd e t e c t i o n ) 是通过数字图像视频序列间图像像 素点的差异来分割、提取、理解和感知视频画面中的物体和行为内容，女i i 图1 1 所示，同时它又融合了机器视觉、模式识别、人工智能、自动控制、多传感器信 息融合等众多领域的先进技术，是一门交叉特性的综合性学科，在智能交通、数 字城市、智能髓控、军事制导、视觉导航、医疗诊断、工业产品检测等方面有着 重要的实用价值和广阔的发展前景。 o b j e c lt r a c k i n g p o s i t i o nm a p p i n g o b j e c tr e c o g n i t i o n e v e n tr e c o g n i t i o n 图1 1运动目标检测示意图 人类视觉系统从环境外界获取图像就是在眼睛视网膜上获得周围世界的颜 色、形状、亮度等多方面的光学成像信息，然后由视杆状体和锥状体的视网膜接 收器将光图像信息转化成视网膜的神经活动电信息，再由视神经纤维把这些图像 信息传送到大脑神经中枢而获得图像感知，从而由大脑进行分析判断。智能视频 分析是从前端摄像机中的图像c c d c m o s 光电图像感应芯片获取感应信息，将 获取的信息转换成像素矩阵分布、颜色、亮度等数字图像信号，然后将数字图像 信号传输给计算机，由计算机强大的数据处理运算能力，对视频画面中的海量数 据进行高速分析，自动的分析和抽取视频源中的关键信息，进行信息各种运算和 分析来提取目标特征、目标分类、目标辨识、目标跟踪、目标行为分析等的智能 基于d m 6 4 2 的运动目标榆测算法的研究与实现 信息处理，从而能够更加有效地进行按照预设规则进行判断和决策，并能够以最 快和最佳的方式发出警报和提供有用信息。女果把摄像机看作人的眼睛，而智能 视频分析则可以看作人的大脑，也可以这样说，“智能视频分析相当于一个智能 传感器”。 墓嗨 | 必嗨t 兰 簦。：纛 童 b 学 f 晦麓g 图1 2 多传感器信息融合示意图 多传感器信息融合就像人脑综合处理信息一样，如图1 2 所示，充分利用多 个传感器资源，即利用多个传感器共同或联合操作的优势，发挥最佳协同作用的 结果，以获取对被测对象全面正确的解释或描述。人类观察和认识世界依靠人体 各种感官( 眼、耳、鼻、手等) 通过( 颜色、声音、气味、温度等) 媒介组合起来获 得视觉、触觉、听觉、嗅觉和味觉等感性信息，然后根据大脑的知识和经验并按 其习惯的逻辑思维对信息进行处理和判断。在这所有的感知信息里，其中视觉是 人类大脑从环境获取信息的最主要途径，在人类感知到的外界信息巾，8 0 以上 的信息是通过视觉得到的，因此人类视觉对信息的采集是最重要的，视觉感应的 真实性和可靠性直接决定着逻辑判断的准确性和鲁棒性。但是仅仅依靠人类的视 觉进行采集会有障碍的，人眼只能感知所有波段频率中的可见光，感知的图像的 像素分辨率和帧频及空间距离受限，和人的眼睛很容易产生机能疲劳和衰减，特 别是很容易受到周围光线环境的影响，特别是在某些环境下，人类视觉的目标识 别能力会急剧下降或感知不到甚至产生错觉，这时识别的有效性和可靠性大幅下 降或错误判断，因此单凭视觉感知是有局限性的，正如一个耳聋的残疾人对世界 的感知能力远不如一个健全的正常人一样，所以其他感觉器官的信息也同等重 要，只有将视觉、触觉、听觉、嗅觉和味觉等感官进行多个信息采集感应和融合， 大脑才能正确的进行综合分析、推理、判断。多感器信息融合是通过前端雷达、 图像传感器、声音传感器、压力传感器、振动传感器、温度传感器、化学传感器、 烟雾传感器、红外传感器、r f i d 射频传感器等多个多传感器进行信息采集，以 等 麓繁 帧十掌何论义 信号、波形、图像、数据、文字或声音等形式，采用像素级融合、特征级融合、 决策级融合等方式进行融合，利用模糊逻辑法、b p 神经网络法、小波分析法、 卡尔曼滤波法、贝叶斯估计法、d s 证据推理法、聚类分析法、参数模板法、物 理模型法、熵法、品质因数法、估计理论法和专家系统法等信息融合算法进行状 态评估、数据关联等正确的分析、判断和决策。多传感器信息融合和人脑神经认 知模型的基本原理相同，即充分利用多个传感器从不同维度和方向采集的信息资 源，使客观物体的特征信息得到更加充分准确的体现和表达，再对这些传感器的 观测信息值进行科学合理分融合，是通过多个传感器采集数据的组合而不是依靠 某一个单传感器采集的信息或采集信息的任何某个单元素，也不是多个传感器采 集信息简单的叠加，而是把多个传感器在空间或时间上的兀余信号或特征互补信 息按照某种科学的准则来进行组合建模优化，推导出更多的信息，达到最佳协同 作用的结果，即利用多个传感器共同或联合操作的优势，提高传感器系统的有效 性以获取对被测对象全面正确的解释和描述 3 1 。 在复杂的场景下，运动目标检测的智能视频分析技术极易受到像强光、阴影、 树叶等非相关的运动物体等的干扰，以及视频传感的技术本身的固有缺陷和瓶颈 等因素，就会产生许多误报和漏报等问题，使得智能视频分析的结果和决策不准 确和不可靠，更可能产生系统瘫痪的风险一1 。如果在复杂的背景下，利用智能视 频分析，再结合像红外传感器、压力传感器、射频识别等传感器，构成异类多传 感器信息融合的模型，获得丰富的多传感器采集信息的信息量，将多个传感器的 信息进行模糊理论、d s 证据理论、神经网络、卡尔曼滤波等多传感器的信息融 合方法进行分析，弥补任何一个单传感器采集信息的技术缺陷，发挥多个传感器 的协同效果，达到对运动目标进行准确可靠的检测和分类提取，并在此基础上可 以更好的进行目标跟踪、目标辨识、行为分析，为解决实际问题提供了一种更加 先进和可靠的解决方案，以多传感器信息融合的运动目标检测技术具有重要的研 究意义和价值。随着传感器、图像处理、模式识别、机器视觉、人工智能、信息 融合等学科技术交叉融合的迅速发展，以及智能交通、平安城市、数字银行、商 务智能等客观需求，运动目标检测技术将会有广阔的市场空间和良好的发展前 景，应用也将越来越广泛p 1 。 1 2 课题的研究背景和现状 运动目标检测的应用极其广泛，其中最主要的应用是在智能视频监控领域， 近年来有关运动目标检测的智能视频分析技术研究逐渐成为热点和亮点旧。 视频监控的历史发展背景经历了四个不同阶段： 第一代模拟闭路电视监控系统：九十年代以前，图像信息通过模拟摄像机、 同轴电缆、模拟监视器、模拟记录设备及模拟盒式录像带存储等构成。 荩下d m 6 4 2 的运动目标伶测贸法的研究与实现 第二代数字视频豁控系统：二十世纪9 0 年代巾期，产生了以数字硬盘录像 机d v r ( d i g i t a lv i d e or e c o r d e r ) 为主的监控主机，将模拟信号存储转变成了以数 字信号存储，对图像视频、语音的数字化操作，集合了多画面分割器、云台球机 控制、网络传输、远程监控、报警联动等功能。 第三代网络数字视频监控系统：2 l 世纪初，随着互联网的蓬勃发展，数字 硬盘录像机增加了i p 网络功能，内嵌w e b 服务器，像m p e g 4 、h 2 6 3 、h 2 6 4 为标准算法的视频图像压缩，可以方便流畅的进行网络传输。 第四代智能视频监控系统：近年来，随着机器视觉、模式识别、人工智能等 多学科的研究发展，像运动目标检测、移动物体跟踪等算法技术的逐渐成熟，结 合具体应用场景形成像人脸识别、车牌识别、指纹识别、徘徊逗留、遗留物检测、 人群密度检测、客流统计、视频诊断、绊线入侵检测、移动跟踪等算法功能，对 事件和行为进行实时有效的分析，广泛应用于智能交通、智能楼宇、学校、监狱、 社区、金融、油田、公共场所管理、个人视频终端等领域，为视频监控添上了智 慧的大脑，实现防患于未然，并使视频资源能够发挥更大的作用，把视频监控带 入了一个智慧的新时代。 目前，国内外机构和学者对智能视频分析的研究和应用极其广泛，高校机构 中像国外的美国的卡内基梅隆大学、麻省理工学院、英国的雷丁大学等和国内的 清华大学、西安交通大学、上海交通大学、浙江大学、电i 了科技大学等，企业国 外像美国的o b j e c t v i d e o 、i b m 、m i c r o s o f t 、以色列的n i c e v i s i o n 、i o i m a g e 等和 国内的北京文安科技、海康威视、上海银晨、深圳贝尔信等公司。随着物联网、 平安城市、智能交通、数字银行、智能电网、3 d g i s 实景建模和虚拟现实技术 等的深入研究，未来视频智能感知将会强劲蓬勃发展。 在视频运动目标检测算法方面，常用的检测算法有：背景差分法，时间帧差 法和光流法搏1 。其中光流法，由于算法运算量非常大，需要专用的硬件平台支撑； 背景差分法以混合高斯模型背景差分法为最为代表性，其优点是能够准确的检测 到弱小的运动目标，缺点是算法背景建模比较困难和更新速度慢；时间帧差分法 最成熟的是三帧帧差分，其中三帧帧差法的优点是运算速度比较快，算法量小等， 但其对大而慢的目标并不敏感甚至检测不到。另外，近来有关视频运动目标检测 算法一直是国内外诸多学者研究，进行了大量的数学建模和应用模拟研究，不断 的进行算法创新【9 1 1 】。 在多传感器信息融合实现方法方面，目前比较成熟的多传感器信息融合方法 主要有：模糊逻辑法，神经网络法，经典推理和统计法、支持向量机法、卡尔曼 滤波法、贝叶斯估计法、d s 证据推理法、聚类分析法、参数模板法、物理模型 法、熵法、品质因数法、估计理论法和专家系统法等。其实，从本质上可以是把 信息融合算法分成三个类型：第一类是贝叶斯估计法、d s 证据推理法、鲁棒估 计法、递归算子法等基于随机模型的融合方法；第二类是卡尔曼滤波法、最优理 4 珂! 一卜学位论艾 论法等基于最小二乘法的融合方法；第三种是遗传算法、模糊逻辑、人工智能法、 神经网络法、粗糙集理论法、支持向量机法、小波分析法等基于智能型的融合算 法。 在算法处理硬件平台方面，主要是d s p 数字信号处理器。因为视频图像的数 据量非常大，且要实时有效的进行复杂的算法处理，必须对硬件的处理性能和实 时性方面有较高的要求。在d s p 处理器应用之前，视频图像处理主要是在p c 机上 实现，但由于庞大通用的操作系统不稳定容易出现死机等问题，现在很少用。而 在嵌入式系统主要芯片的a r m 、d s p 、c p l d f p g a ，其巾a r m 系列主要是进行 丰富的接口进行控制用，c p l d f p g a 是常用做逻辑转换，而且开发周期长和难 度大，而d s p 特别是c 6 0 0 0 系列特别适合对数字图像等多媒体进行算法处理。数 字信号处理d s p 芯片具有硬件乘法器，或者乘加单元( m a c ) ，单周期内能完成乘法 和乘积运算；采用改进的哈佛结构，处理单元与存储器之间采用多条总线连接； 采用专门的数据寻址单元，提供灵活的数据寻址方式；具有软件流水线结构，“零 开销”的循环指令处理，因此d s p 是嵌入式实时数字信号处理比较理想的实现平 台。t i 公司d s p 芯片根据计算精度和内核架构主要分为定点、浮点、多处理器三 种类型的芯片，每个芯片类型又有针对不同的性能和应用领域。目前，t i 公司主 要有三大主流芯片系列，分别为t m s 3 2 0 c 2 0 0 0 ( 主要应用于控制领域) ， t m s 3 2 0 c 5 0 0 0 ( 主要用于手机等低功耗通信便携式设备) ，t m s 3 2 0 c 6 0 0 0 ( 多媒体 视频音频高性能d s p ) 三大系列主流芯片，其中本课题采用的是t m s 3 2 0 c 6 0 0 0 芯 片系列7 2 0 m h z 高性能的c 6 4 x 内核视频处理器t m s 3 2 0 d m 6 2 。近来，t i 公司推出 d a v i n c i 处理器是建立在t i 最新的c 6 4 xd s p 内核基础上的s o c 片上系统，包含d s p 内核、a r m 内核、多种算法硬件加速器和多种特定功能的外设，像d m 6 4 4 6 、 d m 6 4 6 7 、d m 3 5 5 、d m 3 5 7 、d m 3 6 5 、d m 3 6 8 、+ d m 8 1 6 8 等，从而保证各种数字 视频终端设备对价格、性能、以及将来可能发展的苛刻要求，正在被广泛的研究 和使用。 目前，智能视频分析存在的主要问题是误报率和漏报率高及稳定可靠性不高 等方面，研究主要沿纵向和横向两个方向发展，纵向是不断深入的算法研究和优 化，横向是利用智能视频的感知结合射频识别( r f i d ) 、红外感应器、全球定位 系统、激光扫描器等传感器进行信息融合，按约定的协议，把任何物体与互联网 相连接，进行信息交换和通信，以实现对物体的智能化识别、定位、跟踪、监控 和管理的一种网络。在视频运动目标检测分析技术上基础上与其他异类多传感器 信息融合进行运动目标检测方面，研究的还比较少，但这却是被人们普遍认为的 未来研究趋势。在高速度算法处理芯片d s p 上，将智能视频分析技术的智能视 频传感器与其他红外、微波雷达等异类传感器进行信息融合，利用多传感器的最 佳协同作用的结果和多个传感器共同或联合操作的优势，将提高传感器系统的有 5 荩i ：d m 6 4 2 的运动 j 枥i 柃测 法的研究与实现 效性进行运动目标检测，这正是本课题所要研究的方向。在实现了数字化和网络 化的平安城市时代，面对每个城市数以万计、十万计的监控点，智能化已经成为 视频豁控的必然趋势，虚拟的互联网和视觉感知也必然走向实用化和实体化趋 势，即在不同的应用层级建立不同形态的智能分析。 1 3 课题的研究思想和主要工作 图1 3 基于d m 6 4 2 的运动目标检测框图 本课题主要研究内容是首先基于混合高斯模型背景法，引入视觉注意机制对 其改进，提出基于运动优先的时空动态混合算法，以解决混合高斯模型背景法中 运动目标因停留时间过长而被更新为背景而导致目标丢失的问题；其次将时空动 态混合后的显著运动图像与视觉注意机制的显著区域做逻辑“与运算，以消除 由混合高斯模型自身带来的部分孤立噪点；再利用模糊逻辑推理的信息融合算法 对智能视频分析检测结果与红外传感器进行信息融合，并将算法移植到d m 6 4 2 嵌入式硬件平台上并做软件流水等优化，如图1 3 所示。通过上述方法的改进， 能够实时有效的检测出运动目标，且能够克服光线影响和小目标干扰物等运动目 标检测中的致命性干扰，使误报率和漏报率大大降低，从而识别率得到大大提升， 具有良好的运动目标检测效果和应用价值。 1 3 1 视频运动目标检测算法的研究 在视频运动目标检测算法方面，复杂的环境条件下，单一的混合高斯背景法 或三帧差分法存在一定程度存在缺陷的，混合高斯模型背景法优点是适应多模态 的环境条件且能够准确的检测到小的运动目标，缺点是背景建模比较困难和更新 速度慢；而三帧差分法的优点是运算速度快，算法量小等，但其对大而慢的目标 并不敏感甚至检测不到。所以，首先提出视觉注意机制与混合高斯模型融合的时 空动态混合视频算法，再利用时空动态混合视频分析算法与三帧差分法相结合的 智能视频分析算法，使得智能视频分析的目标检测算法更加高效，尽而能够使系 统视频处理算法具有更好的健壮性和鲁棒性，解决单一算法的缺陷问题。同时， 检测出的运动目标，会存在很难准确判断为人或者其他干扰物的问题。由窗函数 6 坝f j 学位论义 比例、形状因子、n m i 归一化转动量三个特征向量利用b p 神经网络模型进行分 类识别，使得过滤掉干扰目标，以解决正确识别运动目标为人的问题。 1 3 2 视频与红外传感器的信息融合 在复杂的环境条件下，视频运动目标检测常常受到如阴影、灯光、水面波纹、 树叶、小鸟等严重干扰，出现误报和漏报问题。利用模糊逻辑理论对视频运动目 标检测的结果与红外传感器结果进行信息融合，发挥视频与红外传感器融合的最 佳协同作用，即多个传感器共同或联合操作的优势，提高传感器系统的有效性， 以解决光线影响和小目标干扰等运动目标检测中的致命性问题。 1 3 3d s p 平台的算法移植 在p c 机上运行算法存在运算速度慢，容易出现死机，且应用场景局限等问 题。而采用功能强大的d s p 处理平台，即对视频运动目标检测算法和信息融合 进行算法移植和优化在基于d m 6 4 2 芯片的硬件平台上，使算法能够高效快速的 进行计算，且稳定性是p c 机所不能比拟的，所以基于d s p 平台的算法处理具有 更好的检测效果和应用价值。 1 4 本论文的内容结构安排 本论文整个系统主要涉及到硬件、软件、算法、信息融合等四个方面，共分 五章介绍，其中算法和信息融合是重点。 第一章：绪论。主要阐述了关于运动目标检测的课题研究意义及其研究方法， 课题研究的历史发展背景、国内外的研究现状和目前遇到的主要问题，以及课题 的研究思想和主要工作，最后介绍了文章的行文结构安排。 第二章：运动目标检测的算法的研究。主要介绍了混合高斯模型背景差分法、 光流法、三帧帧差法等算法，引入视觉注意机制对混合高斯模型进行改进，提出 将视觉注意机制与混合高斯模型融合后的时空动态混合算法，最后是算法的实验 结果和分析。 第三章：系统硬件平台与算法加密。本章首先对d s p 芯片进行概述；其次 重点阐述了硬件设计框架和结构，主要包括d m 6 4 2 芯片模块、视频输入输出模 块、存储器模块、i o 扩展输入输出模块等；最后又重点介绍了f l a s h 的空间 结构地址划分和烧写更新，及算法的硬件安全加密方法等。 第四章：系统软件环境与算法移植。首先详细介绍了软件开发环境，其中包 括c c s 集成开发环境、芯片支持库c s l 、d s p b i o s 嵌入式实时操作系统、e x p r e s s 算法标准和r f 5 算法参考框架；其次主要介绍了d m 6 4 2 的底层视频驱动开发； 再次介绍了算法的移植与优化；最后介绍了p c 主机与d m 6 4 2 开发板的通信机 7 幕十d m 6 4 2 的运动日枥；柃测算法的研究t j 实现 制。 第五章：视频与红外传感器的信息融合。本章阐述了多传感器的信息融合的 基本形式与功能模型，多传感器信息融合的模糊理论和b p 神经网络两种算法； 再重点介绍了视频与红外传感器的信息融合，包括视频与红外信息融合的框架、 智能视频分析算法、视频与红外传感器的信息融合算法；最后给出了实验结果和 分析。 8 硕 j 学位论文 第2 章运动目标检测算法研究 目前，运动目标检测常用的方法主要分为光流法，帧间差分法及背景差法。 光流法的算法量大，对硬件要求较高，实时性实用性较差。帧间差分法对运动目 标检测实时性强，算法量小，但对像素变化不明显的点很难检测出来，甚至检测 不到。背景差法是目前在运动目标检测中应用最广泛的方法，其中最具代表性的 是混合高斯背景差分法，是以多个混合高斯模板来表征描述图像中各个像素点的 特征来进行背景建模，用新一帧图像中的每个像素点与背景模型进行匹配判断来 实现前景和背景的分离而提取出运动目标，同时进行背景更新，但背景更新速度 难以适中特别是当运动目标停留时间过长会被更新为背景而造成目标丢失，同时 会产生许多孤立噪点，针对这些问题，本文引入视觉注意机制对其进行改进。 2 1 混合高斯模型背景法 背景差法( b a c k g r o u n ds u b t r a c t i o n ) 是先设定一张图像为背景图像模板b ，当 新来一张图像时，将新图像和当前图像的像素值进行对比差值计算【们。然后对差 值取定一个差值门限r ，如果该像素点的对比差值超过门限值，则为前景，或 称之为运动目标m 。否则，为背景召，依次进行计算，最终提出分类出前景和 背景，即提取出的前景就是运动目标m 。背景差分法的公式如下： m ( x , y ) ：掣只您邶驯h ( 2 1 ) l u ；o l t l e r w z s p 背景差分法极其简单，但也存在许多问题，如背景模板图像很难选取和门限 r 很难设定等。在背景差法最成熟最有代表性的是混合高斯模型背景差法。 混合高斯模型( g a u s s i a nm i x e dm o d e l ) 是由s t a u f f e r 等人提出，对于每一 个像素点的值，在不同时刻的像素亮度值不同，在不同空间的存在状态也并不单 一或可能几中存在状态，但不同时间或空间的状态值都是正常的模态，因此对每 个一个像素点的一种模态用大自然界的最普遍的随机过程正态分布来建模，同一 个像素点可能存在的模态用多个高斯模板进行逼近模拟，依次对图像上所有的点 进行建模，形成混合的高斯模板，构建混合高斯模型 1 0 - 1 2 。混合高斯模型将图像 中的每一个像素点用多个高斯模板进行描述，形成混合高斯模板模型，在t 时刻， 像素点k ，y o ) 的取值集合为k ，屯， = ( x o ，y o ，f ) it 。f t ，该像素点置的观 测概率为： r p ( 置) = ，x r ，( z ，址) ( 2 2 ) 9 其中，刁，( x ，“，“) 是f 时刻第f 个高斯分布，定义为： 刁，( x ，“，e “) ；七p 一：( _ 一所t f ) 7 ：( 一一一( 2 3 ) ( 2 万) 2i 卜 k ：混合模型中，高斯分布模板的个数； 置：t 时刻该点的像素值； 。：混合模型中，t 时刻第i 个高斯的权重； l “：混合模型中，t 时刻第f 个高斯的均值： “：混合模型中，t 时刻第i - f - 高斯的协方差矩阵，“= 盯；，。 将新帧图像上的每一个点的像素值置与该像素点的k 个高斯分布模板依次 匹配，其中匹配的取值区间设定为该像素值位于高斯模板模型的2 5 倍均方差之 内，即l x “一“一。l 2 5 0 小。若墨的像素值与任何一个高斯模板分布相匹配，则 该墨被判为背景像素点；若置与所有高斯模板分布都不能匹配，则该置被判为 前景像素点，即运动目标【1 3 1 4 1 。 1 ) 若置和其中一个高斯模板分布匹配为背景，则按e m 算法进行背景更新， 则 权值更新： w 1