（通信与信息系统专业论文）基于神经网络运动轨迹识别.pdf

。 一i ； ”1 喇嘲脚。十埔柏删m j 州盼f * 冉晰，i 栅辆鼽 啪俐”m i 竹t 触 ”一 删4 咐，懒榭# ”删潮哺鳓啦硝硝懈“枞h 舢瞒蛳_ 蝴黼轧”嘲删r 蛹- f 坤- 怫旃胤i 州艚鲥嘲黼蛹o 惝“鲫堋蝴m 黼妯雠蝴删嶂椰栅，v 如# 曲睁恤 d 訇， i， i 。訇。、_。_。i。、。叫，1国。逼-，啊，l-， a b s t r a c t a b s t r a c t t h ei n t e l l i g e n ti d e n t i f i c a t i o nt e c h n o l o g yh a sb e e nw i d e l yu s i n gi ns u r v e i l l a n c e s y s t e m s t h ee x i s t i n gs u r v e i l l a n c es y s t e m sh a v eb e e na b l et oa u t o m a t i c a l l yi d e n t i f ys o m e p e o p l e sa c t i v i t i e sa n da l a r mf o rr i s ka c t i v i t i e s ，b u taf e ws y s t e m sc a l ls p e c i f i c a l l yd e a l w i t hi d e n t i f i c a t i o na n dd e t e c t i o nf r o mo n l i n ev i d e o s p e r f o r m a n c eo ft h es y s t e m sh a sn o t y e tr e a c h e dt h ep r a c t i c a la p p l i c a t i o nr e q u i r e m e n t s s i n c ea r t i f i c i a ln e u r a ln e t w o r ki st h e m o s tp o p u l a rr e s e a r c hd i r e c t i o ni nt h ei n t e l l i g e n tr e c o g n i t i o nt e c h n o l o g y , t h ei n t e l l i g e n t s u r v e i l l a n c es y s t e m su s i n gn e u r a ln e t w o r kt e c h n o l o g yw i l lb eah o tr e s e a r c ht o p i ci n f u t u r e t h i sp a p e ra n a l y z e sd e v e l o p m e n ta n da p p l i c a t i o np r o s p e c ti ni n t e l l i g e n ts u r v e i l l a n c e s y s t e m s ，a n dp r o p o s e sai m p l e m e n t a t i o ns c h e m eo fam o v i n gt r a c ki d e n t i f i c a t i o ns y s t e m b a s e do nn e u r a ln e t w o r k s ，i nw h i c ha na l g o r i t h mi sp r o p o s e df o rm o v i n go b j e c td e t e c t i o n a n dt r a c k i n gu s i n gt h es p i k i n gn e u r a ln e t w o r kb a s e do nt h ep r i n c i p l eo fa x o n a ld e l a ya n d i m a g ep r o c e s s i n g a ni m a g ep r o c e s s i n gp l a t f o r mi sd e s i g n e dt oc a p t u r et h em o v i n g o b je c t c e n t r o i dt r a c k an e wa l g o r i t h mf o rf a s tf e a t u r ee x t r a c t i o no fc e n t r o i d a lt r a c k sa n d n e u r a ln e t w o r k sa r eu s e dt or e a l i z et h ed e s i g no ft h em o v i n gt r a c ki d e n t i f i c a t i o ns y s t e m t h r o u g hc a p t u r i n gt h et r a c ko fm o v i n go b j e c t st h es y s t e mc a r lj u d g ew h e t h e rt h e r ei s p o t e n t i a lt h r e a t t h ea d v a n t a g e sa r et h a tn e u r a ln e t w o r ka l g o r i t h m sa r ei n t e g r a t e dt ot h e t r a d i t i o n a li m a g er e c o g n i t i o na p p r o a c h e st oi m p r o v er e c o g n i t i o na c c u r a c ya n da c h i e v e r e a l - t i m ep r o c e s s i n gf o rr e q u i r e m e n t so fr e m o t en e t w o r kr e a l - t i m es u r v e i l l a n c e t h ee x p e r i m e n t ss h o w e dt h a tt h es y s t e mc o u l dq u i c k l yo b t a i nt h ec o r r e c tr e s u l tf o r t h e i d e n t i f i c a t i o no ft h em o v i n go b j e c t s t h es y s t e mc a nb ei m p l e m e n t e di nt h ea r m d e v e l o p m e n tp l a t f o r ma san e t w o r kt e r m i n a lp r o d u c t ，w h i c hh a si m p o r t a n tp r a c t i c a l s i g n i f i c a n c et om a n yi m p o r t a n tp l a c e ss u c h a sv i d e os u r v e i l l a n c ea n di n t e l l i g e n t t r a n s p o r t a t i o ns u r v e i l l a n c e k e y w o r d s ：n e u r a ln e t w o r k ，c e n t r o i d a lt r a c k ，t r a c kc h a r a c t e r i s t i c s ，i n t e l l i g e n t i d e n t i f i c a t i o n i b 嘣瞧曲妇崩“嘲噍獬村j 日村蝴蝴，_ 峨m r 梆f * 黼“t 嘲* 椭材自嘛j “t f 鲋i 怖目。p 幽* 栅婚、i 埘“* “- # q 稍d 枞， 柑_ t 确* 晰t 廿吨* f “q m p 4 圳i 地4 i 杆嘏脚蚌_ 嘲喇槲渊畦d 郴舢h t # 蜘蝴韩糊目靠* _ h 一：w 口，、，i 蝴$ * 秘一一# # 嘲胡目鼬皤静州幛，一* 卅t 中文文摘 中文文摘 随着智能化技术的迅猛发展，在监控系统中得到了越来越广泛的应用，在一些 安全管理区域如停车场、银行、商场、军营等，对智能监控系统的需求越来越多【t 诩。 近几年，国内外许多研究机构和厂商都投入到智能监控领域的研究和生产应用。智 能监控技术是综合智能技术和视频图像处理技术，利用计算机视觉技术对摄像机采 集的视频信号进行分析，并结合人工智能技术，提高系统的智能识别水平。有些监 控系统已经能够自动识别人的某些活动或对危险活动自动报警，但专门针对事件进 行视频识别和检测的还是比较少，很多成果还达不到实际应用的要求。因此基于视 频图像处理技术和智能识别技术仍需我们进一步的研究。在智能技术中最热门的研 究方向是人工神经网络，神经网络技术在智能监控系统的应用是越来越重要了，采 用神经网络技术的智能监控系统将是未来研究的热点，值得我们继续探究。 本文依托课题组承担的福建省教育厅a 类项目( 编号：j a 0 6 0 0 6 ) ：基于无线信道 传输质量的动态图像自适应传输技术和福建自然科学基金项目( 编号：2 0 0 9 j 0 5 1 4 1 ) ： 基于脉冲神经网络的运动目标识别算法研究。主要研究内容及技术有：对运动轨迹 识别的关键技术进行研究，提出采用综合视频图像处理技术、运动目标的形心计算 与轨迹拟合技术、基于脉冲神经网络技术进行运动目标检测技术、运动轨迹特征提 取技术和神经网络智能识别等综合技术，将轨迹特征提取与神经网络的特点有机结 合。利用简单的形心跟踪方法，可以实现对单一背景中的快速运动目标的跟踪，忽 略背景和其他大量信息，大大减小了存储空间，易于进一步处理。还提出一种改进 的矩特征算法，将轨迹力矩特征和时间特征相结合作为神经网络的输入特征，提高 识别的准确率和实时性。利用神经网络技术，改进神经网络算法，对运动物体的运 动轨迹进行识别和判断，能够实时获得高准确率的判别结果，实现真正意义上的智 能识别。科研成果已发表3 篇论文：基于神经网络运动轨迹识别系统；脉冲 神经网络在运动目标检查中的应用；( ( s e g m e n t a t i o no f l e u k o c y t e si nb l o o ds m e a r e i m a g e su s i n gc o l o rp r o c e s s i n gm e c h a n i s mi n s p i r e db yt h ev i s u a ls y s t e m ) ) 。 本文详细介绍图像处理平台设计、基于脉冲神经网络运动目标检测技术、轨迹 特征提取和神经网络智能识别的关键技术及软件算法设计，共分为5 章。 绪论主要阐述了智能监控技术的重要研究意义。通过对有关检测跟踪识别技术 的研究现状和国内外智能监控技术的发展现状进行分析，提出了将人工智能技术与 u i 。r ， f 、， 一确蚺獭渺，州嘲蝴蚺嘲蚺痢轴枷鞲舢，锄孵黼目- 蝴螭艄l 阮4 一 妇自懈粘 硝自蝴j 地籼捌砌圳扯摊n - * 口舢州蜥，l m 坼出# * 一舢蛳绀骱- 刊柏扣醵帆埘嘲鼬峨孵嘲妇 4 # 蝴砷n 肿觯糊蝴瓣蚺蝌街蜊缸h * * p ” * 焯i 舯“p 删一曲曲 ，一 、i 少 q 福建师范大学硕士学位论文 图像视频处理技术相结合，先进行图像预处理，然后利用计算机视觉技术实现目标 的检测与跟踪，最后通过神经网络分类识别。这些方法的综合将是智能化视频监控 系统中的热门研究课题，具有广阔的发展前景。 第一章介绍了智能监控系统网络框架，根据系统的需求对系统的总体结构进行 分析设计，介绍了系统结构中各模块功能，提出了系统设计需要的关键技术一一图 像处理技术和智能识别技术，并对整个系统的设计流程进行了描述。 第二章介绍了有关图像处理的基础理论知识，分析比较各种图像处理技术的优 缺点，选取适合网络远程实时监控要求的方法，设计了一个用来描绘运动目标形心 轨迹的图像处理平台。并具体介绍了各模块软件设计步骤及程序流程。提出了基于 形心特征跟踪法，利用形心轨迹实现运动轨迹的描绘，简化计算的复杂度。本文采 用的图像处理方法易于实现、运算速度快，在智能识别系统中有着进一步研究的价 值和意义。 第三章提出一种基于神经轴突延迟机制基础上利用脉冲神经元网络模型对运 动目标进行检测与跟踪的方法，该神经网络模型是利用轴突延迟脉冲神经网络模拟 人类的视觉特性，从而提取运动目标，并具体分析脉冲神经元网络算法实际意义。 实验结果表明在视频监控系统中，利用脉冲神经元网络模型可以解决视频运动检测 的实时性与精确性的矛盾。该方法实现了对运动目标的实时精确的跟踪，还有利于 图像的下一步处理( 正如第二章介绍的显示运动目标的形心轨迹) 。如果上述模型用 大规模可编程门阵列电路( f p g a ) 芯片实现后，还可将它安装到视频处理设备中应 用，这对视频监控和智能交通监控，甚至在微生物、医学、以及航空航天等许多重 要领域。 第四章介绍了异常轨迹特点，对轨迹特征提取的几种主要方法的优缺点进行比 较分析，按系统的需求，选择合适的特征提取方法并进行改进。基于轨迹曲线的矩 特征方法基础上，结合时间参数，将轨迹经历的时间t 做为轨迹的另一特征值，提 高识别的实时性。时间t 的值用轨迹的总点数表示。该方法容易实现，计算简单， 运行速度快，利于实时性。并将最终获得的轨迹特征做为第五章的神经网络的输入 向量，然后利用神经网络对复杂轨迹进行实时识别归类。 第五章介绍了神经网络原理及数学含义，b p 神经网络的数学公式计算过程， 介绍如何引入神经网络来识别异常行为，并用实地录像进行实验验证，对所获的结 果做出分析，本章提出一种基于b p 神经网络运动轨迹识别系统的实现方案，详细 蛾i 蚺、p 。$，_ h 。r 蚶甜r 甜4 m _ 一 一舟，- h * “# “l 6m 口悟 枷蚺构旃h 椰埘一 ，蚌i k 4 w 。 冉，蚺i 4 如础柏矾 瞎* 坤懒纠蝴酾妇辅州麟娴 f # m ”。b 蛔 嘲- w 蝴瓣喊聃酗惴口女酶，哪龇如籼物瓣蚺w 璃￥忡m p r j t 龋* 自* 矗。t - 捌壮 中文文摘 介绍了b p 神经网络设计的难点及提出解决方案，利用第四章提取的轨迹特征和事 先设计好的期望值训练网络，将训练好的神经网络进行智能实时识别。通过实验和 图表分析该方法，实验证明本系统能够快速对异常轨迹进行准确识别。 最后，总结了本论文所完成的主要研究工作、取得的研究成果以及尚存在的不 足，并提出今后可继续开展的工作和期望。 v 略 k 、 t 一 一y ，h t 瑚_ h 、，f 怵日睹懈；确t 蛳懈。日衅日脚i 悼埔4 诗端 “柚帆- “i q q ” ，- q “- ，| 删髓4 h l l ，龠e 。一t 一# m 铀* 晰”“螂 * “e 椰瞬* “# u 砷日f l - 摊j 挑“，嘲酶、m 蚺q 靴博# # 嘶蛐 蛳“k _ f x 一十 ， 、。镧尊 第三节图像处理过程分析。1 9 第四节图像处理平台详细设计2 0 第五节本章小结。2 6 第三章基于脉冲神经网络的运动目标检测2 7 第一节用于运动检测的脉冲神经元网络模型2 7 第二节脉冲神经元模型和感受野2 8 第三节网络模型在视频监控系统中的仿真结果3 0 第四节本章小结3 1 第四章运动轨迹特征提取新方法3 3 第一节异常轨迹特点。3 3 第二节异常轨迹判别步骤及算法改进。3 4 第三节轨迹特征提取软件设计3 7 第四节本章小结。3 8 第五章基于b p 神经网络的运动轨迹识别。3 9 第一节人工神经网络的概述3 9 第二节b p 神经网络典型模型4 l 第三节b p 神经网络设计难点4 3 第四节用于轨迹识别的神经网络设计方案的确定和优化4 3 第五节用于轨迹识别的神经网络具体设计4 5 第六节实验结果分析4 7 第七节本章小结。5 0 第六章结论与展望5 1 附录1 视频捕获程序设计5 5 附录2 图像灰度化程序设计5 6 附录3 形心提取程序设计5 7 附录4 形心轨迹显示程序设计5 8 附录5 轨迹特征提取程序设计6 0 参考文献6 3 ；r * v 伸蚺。龅h l 酗籼i 神_ 岫碡蝌 。黼，铀蝴栅m b “$ 札嘣稍辩s 柑“蛳。 ，曲 口螂蛳蛐哺嗍畦苷嘲埘蒯“f * 蛳# 、t t n 洲q 埘瓣张刖 埘* 舢脚 辩嚷州m * 女州；l 幽 枷* 椭j 猢酬蛾卿捌哪蝴舭i i 讪，删曲一一 碡m 曲m ，女v 。m h 帅4 p 蔫辨 绪论 绪论 1 课题背景和意义 随着智能化技术的迅猛发展，人工智能已应用于许多高科技领域，尤其是在监 控领域，针对一些安全管理区域如停车场、银行、商场、军营等，对智能监控系统 的需求越来越多【1 】【2 】。在智能技术研究中，当今比较热门的研究方向是模式识别【3 】， 模式识别是在2 0 世纪6 0 年代初出现的一门新学科，近几年得到了迅速发展和广泛 的应用【4 】。模式识别可以被用来研究运动目标的整体行为，也可以被用来识别目标 的运动轨迹【5 】。但目前研究成果在不同场景对异常行为识别的实时性和准确性尚不 足，仍需要我们提出更可靠更高效的模式识别方法【6 】。目前常用的运动轨迹特征提 取与识别的方法总体上分为二维图像法和三维建模跟踪法，两者各有各的优缺点， 三维建模跟踪法对光线变化、部分遮挡和天气变化等干扰具有较强的鲁棒性，目标 识别准确率高，系统稳定可靠，但计算复杂，建模困难，不利于异常事件的实时处 理，与实际应用仍存在距离【7 】【8 】。二维图像法存在立体空间定位不具体，对天气变化 敏感和目标旋转存在二义性等问题，但它计算简单，运行速度快，费用低，实时性 强，易于实现，特别是容易与其他技术( 如网络技术，智能识别技术等) 相结合以 实现实时监视f 9 】f l o 】【l l 】【1 2 】【1 3 】。因此，为了实现这样一个多技术的综合系统，还有许多 问题有待进一步研究。 目前，研究运动目标的整体行为方面主要是通过研究运动目标的形状、位置、 速度、步态、运动轨迹等【1 4 1 【1 5 1 【1 6 1 【1 7 1 ，尤其是对运动目标的形心运动轨迹方面的研究 成为科学界研究者们的热门研究对象。例如，西南大学计算机与信息科学学院的任 晓伟等人提出了一种基于形心的空中运动多目标跟踪方法。依据运动目标的面积和 形心这两个特征参数对目标进行粗识别和跟踪。实验结果表明该方法可以对任意形 状运动目标进行快速的识别和跟踪，并能够获得系统所需的其他准确的参数 i s 】。沈 阳建筑大学信息与控制工程学院的张铁力博士等人提出了一种静止背景的情况下人 体运动目标的检测与跟踪的新方法一基于运动目标的形心进行跟踪。实验结果证明 该方法可以快速有效的对人体目标进行跟踪，且具有较强的鲁棒性【1 9 】。武汉理工大 学能源与动力学院彭雅芳研究生提出一种基于车辆运动轨迹的车速估算方法，实验 结果表明该方法通过车辆的运动轨迹可以有效地估计车辆速度，且具有实现简单， 实施方便等优点幽】。 福建师范大学硕士学位论文 运动目标运动状态分析的传统方法是获取运动目标的整体运动状态进行直观的 分析，现在方法是提取目标的关键信息进行分析【2 i j ，例如通过分析目标运动轨迹就 可知道该目标的速度，位置等状态信息，该方法特点是通过运动目标的关键信息进 行分析，节省存储空间，运行速度快，实时性强。目前许多科学家都是基于目标运 动轨迹进行研究，对不同场景中的目标轨迹进行行为理解、识别及分类，然后应用 到智能监控系统中，实现异常检测c 2 2 】圆。其中正确的分类方法是实现异常事件准确 检测的关键技术之一。目前轨迹分类的方法主要有h m m ( h i d d e nm a r k o vm o d e l ) 、 s o m ( s e l fo r g a n i s i n gm a p p i n g ) 、n n ( n e u r a ln e t w o r k ) 及层次自组织神经网络方 法。这些方法分别由b a s h i r 、o w e n s 和胡卫明等该领域的领先人物率先提出的，但 这些方法都没有对轨迹进行预处理，鲁棒性不强【2 4 】。因此，将人工智能技术与图像 视频处理技术相结合，即先进行图像预处理，然后利用计算机视觉技术实现目标的 检测与跟踪，最后通过神经网络识别分类。这两种技术的综合将是智能化视频监控 系统中的热门研究课题，具有广阔的发展前景。 最近几年，智能化监控受到了人们的广泛关注，有些监控系统已经具备了自动 识别人的某些活动和对危险活动自动报警等功能。但从监控领域的研究现状及趋势 上来分析，现有监控系统在功能和智能化方面不够完善，仍然存在大量挑战性的难 题，需结合现有智能技术进行进一步的研究和探索。 2 国内外智能监控技术的发展现状 当今，随着世界各国对监控系统的需求越来越多，对监控技术的要求也越来越 高：监控系统的整个发展历程首先从人工监控开始，人工监控具有人注意力不够集 中，关注时间有限等特点，往往存在错误率高，可靠性差、漏报率高、人力物力资 源浪费等问题【l l 】；接着发展为模拟监控，模拟监控存在安装困难，抗干扰能力弱， 存储资源浪费，扩展性差，运作费用高等问题【6 】；为了克服这些问题后来推行了数 字监控，数字监控优点是安装方便，抗干扰性强，易于扩展，但大多数都只是用于 监控录像，没有起到真正的预防作用；在智能化技术运用之前，许多大商场所运用 的监控系统都只是用摄像机进行录像，平时没什么用处，只是等到异常事情发生后 用来取证的，但是要找到真正与异常事件相关的录像片段又成为一道难题，针对这 点引进了智能技术，智能监控实现了真正意义上的智能【l 】。智能视频监控技术主要 是指对监控摄像机采集的视频进行分析，获得视频中运动目标的多个信息参数，提 取并分析关键特征，及时做出响应的一种技术【2 5 】。当今在一些安全管理区域如停车 2 ，舳枞轴i ；日脚舯埘静喇脚糊蝴蛳黼鞲蝴螂嘲酾蚰州蚺壤铀鼬州涮嘲嘲捌尊嘲搠铆黼喊鹞嘲脚m 。 绪论 场、银行、商店、军营等都安装了这些智能视频监控系统。综上所述，智能视频监 控技术的研究已成为未来热门的研究方向。 国外对智能监控领域的研究工作较国内早，早在1 9 世纪7 0 年代末，美国j p t ( 加 州帕萨迪纳市的喷气推进实验室) 就提出了采用计算机视觉技术对交通车辆信息进 行检测的方法。经过了十几年，美i 垂i f h w a ( 美国联邦公路局) 研发的视频检测器已 经具备了相当高水平的准确性和可靠性。随着视频车辆检测技术的发展，仅仅能检 测出车辆已经不再满足人们的需求，因此f h 删此技术进行进一步扩展提取 交通相关参数，如车流量，车速及十字路口的车辆转向信息等【刀。到了2 0 世纪末， 美、英、日本等发达国家就开始研究异常事件自动检测系统，采用图像处理和模式 识别技术检测交通异常的状况，实现异常事件的自动快速检测。英国r e a d i n g 大学 开发研制了一种基于3 d 模型的道路车辆识别与跟踪系统，该系统具有较强的鲁棒 性，但由于3 d 建模的困难，实时性差，难以应用于实际中。德州仪器结合达芬奇技 术o b j e c t v i d e oo n b o 砌( 。m ) 实现数字化智能视频监控，是目前应用最广泛的，它的 关键技术是监控人员可以自组划分安全区域，只要有人越过红色警戒线就会发出警 戒信息。明尼苏达大学研制开发的视频检测系统( a u t o s c o p e ) ，该系统可直接观察 检测状况，技术成熟，检测性能稳定性高。但是上述的各种交通检测系统都存在一 个问题：当路面状况复杂或者天气急剧变化时，该系统的事件识别率大大小小都会 受到影响【2 6 】【2 刀。 国内在该领域的研究与应用落后于国外几十年。近几年，随着监控系统的应用 范围越来越广泛，许多研究机构和厂家都投入到基于图像处理自动检测技术的研究， 并有了一定的研究成果，比如中科院的模式识别实验室也设计出了类似于英国 r e a d i n g 大学的交通监测系统叫s t a r ，但都只是仿真成功，还未应用于实际中。 清华紫光开发了v s 3 0 0 1 嵌入式视频检测器，厦门恒深智能软件系统有限公司研制了 h s i v d i 和h s i v d i i 视频交通检测器，深圳神州交通系统有限公司开发了v i d e o t r a c e t m ，上海高德威智能交通系统有限公司研制了g d w - v d 2 0 0 2 型视频检测器 等 2 7 1 。上述国内的这些系统都结合计算机图像处理与模式识别技术，对交通视频图 像进行处理，从而获取道路交通相关参数，如车流数、车速、拥塞信息等。但是专 门针对异常事件进行视频识别和检测的还是比较少，并且已有的成果还达不到实际 应用的要求【2 8 】。因此视频图像处理技术和智能识别技术仍需我们进一步的研究。 “全球眼”是中国电信在2 0 0 7 年时开始实施的一项长久计划，分别在社会治安、 福建师范大学硕士学位论文 城管、卫生、消防、安全生产、交通、金融等1 9 个行业开始着手实施网络视频监控 【2 9 】。据最新报道，基于i p 网络视频监控的市场在近几年迅猛增长，全球智能视频监 控行业至u 2 0 1l t g 时，其总值将达g l j l 0 0 亿美元左右。p 监控所需的各种设备和软件， 如摄像机、视频服务器等外围设备和智能技术软件的市场总额也将超过7 0 亿美元， 在2 0 0 6 年时才6 0 亿美元左右，短短时间就增值1 0 亿美元左右，增值速度快，且全球 i p 监控摄像机市场份额很快将超越传统的闭路电视c c t v 市场【3 0 】。 综上所述，说明了智能监控领域具有很大的发展前景。尤其是智能技术，通过 对监控获取的画面提取有效的信息进行分析，例如人物在一些敏感区域游荡太久或 有什么异常行为，这时智能系统就会对实时捕获的画面提取潜在的威胁的关键信息 进行分析和判断；对还未发生的危险事件得到了及时报警来控制危险行为的发生， 实现了真正意义上的监控。因此视频图像处理技术和智能识别技术都将成为未来研 究的热点。 ( 1 ) 、图像处理技术的发展现状和应用前景 6 0 年代后，随着电子科学技术迅猛发展，图像处理技术也随之取得较大进步。 特别是近十年，一直得到世界各科技强国的广泛关注，不断加强对图像处理的研究， 图像处理技术己经广泛应用于各个重要的领域，例如工业、医学、航空航天以及国 防等许多重要领域【3 1 1 1 3 2 1 。 目前，数字图像处理领域中主要研究以下几个方面：保证精度时提高处理速度； 开发新的图像处理方法；图像处理技术标准化；加强相关学科的研究促进图像处理， 尤其是人的视觉特征的研究对图像处理技术起到极其重大的作用，忽略目标整体状 态，关注目标关键信息，降低主c p u 的负载，提高其实时性和容错性。随着图像处 理技术应用范围越来越广泛，越来越多的商家投入图像处理所需的相关的硬件设备 的研发，设备性能随之提高但价格却随之降低，更促进了图像处理技术的发展。总 之视频图像处理技术具有直观性，监视范围广、可获取信息参数多、准确性高、费 用较低等优点，但也存在缺点，即图像处理算法的复杂性难以达到智能要求。因此， 将人的视觉系统应用于图像视频处理技术中实现智能图像处理【3 3 1 ，然后应用到智能 监控系统中将是未来势不可挡的趋势。其中与神经网络的结合就是非常有意义的研 究方向【3 4 】，神经网络的非线性大规模并行分布式处理的特点使得它具有很强的高速 信息处理及不确定性信息处理能力【3 5 】，能够同时满足实时性和高精确性要求。 ( 2 ) 、人工神经网络的发展现状和应用前景 4 。g 堪目“呐船“。船稚螂 “酬嗤h 糊舭鼬嘲辩姆- 辩 ，料* e 獭f 。m f d * ，岫蝴# 自潮十铺4 蚺粕“喇_ 嘶 ( f 绪论 人工神经网络是模式识别中的常用方法，它是在对人脑组织结构和运行机制的 认识理解基础之上模拟其结构和智能行为的一种工程系统。心理学家m c c u l l o c h 、数 学家p i t t s 在4 0 年代初最早提出了人工神经网络的第一个数学模型，奠定了神经科学 研究的理论，为人工神经网络技术发展奠定了基础。到了5 0 年代初生物学家 j h o p p i e l d 教授提出1 h o 面e l d 神经网络模型，引入了能量函数概念，这一成果使神经 网络的研究取得了突破性进展。1 9 7 7 年k o h o n e n 提出的自组织映射模型，促进了 神经网络的发展。1 9 8 4 年科学家们用t h o p r i e l d 神经网络模型成功的解决了旅行商问 题。1 9 8 7 年成立了国际神经网络学会，促进了人工神经网络的研究发展【3 5 1 。 我国在人工神经网络方面的研究在最近几年里才有了很大的发展，取得了不少 成果。1 9 9 0 年组织了中国第一次神经网络会议，列入自然科学基金与国防科技研究 基金资助课题。1 9 9 2 年中国开展了国际性神经网络学术大会，受到国际学术组织的 大力支持。这标志着我国神经网络的研究工作者第一次大规模地走向世界，这必将 会进一步推动我国神经网络研究发展【3 5 1 。 近几年神经网络的研究无论在理论上还是实际应用中都取得了令人瞩目的进， 步，例如它的自组织映射能力，网络稳定性，计算能力都得到了很大提高，应用范_ 著 围也越来越广泛：模式识别领域的指纹识别、人脸识别、字符识别、目标检测与识 别；医学领域的人体病理分析，病态细胞识别；机器人运动控制；交通监控；导航 信息智能管理；基于b p 神经网络的图像识别与跟踪研究优化管理等。目前世界各国 的发展是以应用为重点，以发展综合智能技术为目标。因此人工神经网络技术被广 泛的运用于智能数字监控系统，其中基于神经网络技术的人脸识别系统已成功应用 于机场、旅馆、网吧、车站、渡口等安全区域，对目标进行检测，大幅度降低犯罪 人员的通过率【3 6 1 。采用b p 神经网络技术的车牌识别系统已成功应用于交通管理部 门的监控系统中，方法简单，运行速度快，准确率甜了7 1 。 综上所述，说明神经网络技术在智能监控系统中应用是越来越重要了，且应用 的范围也越来越广泛，具有很大的发展前景。因此采用神经网络技术的智能监控系 统将是未来研究的热点，值得我们继续探究。 3 课题来源和研究内容 本文依托课题组承担的福建省教育厅a 类项目( 编号：j a 0 6 0 0 6 ) ：基于无线信道 传输质量的动态图像自适应传输技术；福建自然科学基金项目( 编号：2 0 0 9 j 0 5 1 4 1 ) ： 基于脉冲神经网络的运动目标识别算法研究。主要研究内容及技术有： 5 一 一 畸 i lii ll-liliililililllllllllililllli 福建师范大学硕士学位论文 ( 1 )综合视频图像处理技术； 主要通过图像采集，灰度化，二值化，噪音消除等方法进行图像处理。 ( 2 )利用脉冲神经网络对运动目标进行检测； 提出基于脉冲神经元模型和轴突延突迟机制，通过带有漏电积分突触的脉冲神 经元对图像进行同步和去同步分割和融合，检测出图像序列中的运动物体。 ( 3 )运动目标的形心计算与轨迹拟合技术；。 保留各帧的运动目标的形心，将其描绘成目标形心轨迹，对遮挡轨迹进行拟合 预测。 ( 4 )运动轨迹特征提取技术； 对传统的运动轨迹特征提取方法进行了改进，基于轨迹曲线的矩特征方法基础 上，结合时间参数，将轨迹经历的时间t 做为轨迹的另一特征值，提高识别的实时 性。时间t 的值用轨迹的总点数表示。 ( 5 )利用神经网络技术对运动物体的运动轨迹进行识别和判断 提取训练集，根据样本集的特点对神经网络合适类型进行选择与优化，训练神 经网络，最后测试应用。 ( 6 )选择快速算法以适应网络远程实时监控的要求 从正常和异常行为的录像剪辑中，提取训练集。用这些训练集训练神经网络， 选择快速训练和学习算法，从而获得一个可实时识别运动行为的神经网络。可将训 练好的神经网络应用到网络监控系统中，实现对异常行为实时检测并自动报警功 能。 6 舳 汹m 时1 确蝴m 脚 w m 6 *，g t 叭捌辫 第一章视频图像处理基础及平台设计 第一章基于运动轨迹识别的监控系统总体方案设计 随着智能化技术的迅猛发展，监控系统与智能技术结合越来越紧密，使监控系 统实现真正意义上的智能监控。目前人们对智能化监控系统的应用需求不断的增加， 许多安全管理区域都安装了这些智能视频监控系统，随之越来越多的研究机构和厂 家投入到智能监控系统的研究和生产应用中，并取得了一定的成果，主要通过计算 机图像处理技术与模式识别技术f 3 引。但目前许多成果还达不到实际应用要求，仍需 对视频图像处理技术和智能识别技术进行进一步的开发研究。 因此本文综合视频处理技术和神经网络智能识别技术，从视频监控目标的运动 轨迹入手，对运动目标的异常行为进行智能识别研究。拟开发一个在实时捕获的画 面中对潜在威胁的关键信息进行智能提取、分析和判断系统。通过对实时获得的视 频进行处理，利用神经网络技术对运动物体的运动轨迹进行识别和判断。该系统可 以应用于许多重要场所监视运动目标的异常行为。例如应用于军营，重要的库房， 停车场等重要的安全区域，对异常状况进行智能检测以提高安全性。该系统的优点 是在传统的图像识别方法的基础上融合神经网络算法，提高识别的准确性和实时性， 实现智能检测与分析，自动运行，无人值守，成本低，可靠性高。 第一节运动轨迹识别的监控系统网络结构 本系统采用分级和分布式结构，系统可分为三级：一级是视频数据采集，二级 是视频数据处理，三级是监控中心。视频数据采集主要实现现场图像信息的收集， 摄像头分布于监控区域的各监控点位上：视频数据处理主要对图像中运动目标进行 检测、跟踪和特征提取，并通过神经网络进行识别和判断，做出报警决策；监控中 心可对现场活动进行监控并对可疑行为进行报警，同时还可以通过网络通知远程客 户端。其中，二级数据处理可以基于计算机实现，也可以基于a r m 终端实现，系 统结构框图如图1 - 1 所示。本文将主要阐述系统的智能识别模块。 7 福建师范大学硕士学位论文 图1 1 系统框架 f i g 1 - 1 t h es t r u c t u r ed i a g r a mo fs y s t e m 第二节实现系统的需求分析 1 系统结构分析 整个系统按结构划分可分为硬件和软件两部分，硬件系统由摄像头、p c 机( 带 有w i n d o w s 操作系统) 组成，如图1 - 2 所示。 8 一撕* 却一日- ”# 一叫翩押罅弹撕期糊删姊# 黟蹦 辅耐轴抽d 口卅蝌“岫酗蟑璃嘲净辩鲫蝴嘲w 爵蝴嘲瓣鞠嘲静胡糊女4 一私粕，旃渊馘b 拥蜥螂材懒精相嘲獭鞋瞬蛹酬* 淳p 孤# 第一章视频图像处理基础及平台设计 _ i _ _ _ - - l - - _ - _ l - _ - i _ _ - _ _ l - _ _ _ _ - _ - - _ - _ _ - _ 一一 图1 - 2 硬件系统组成结构图 f i g 1 - 2 t h es t r u c t u r ed i a g r a mo fh a r d w a 聆s y s t e m 软件系统主要由捕捉模块、显示模块、图像转换模块、运动检测模块、提取运 动目标形心轨迹模块和轨迹特征提取及识别模块六个部分组成如图1 - 3 所示 图1 - 3 软件系统组成结构图 f i g 1 - 3 t h es t r u c t u r ed i a g r a mo fs o f t w a r es y s t e m 软件系统中这六大模块实现的功能如下所述。 1 ) 捕获模块 该功能模块实现视频捕获，视频预览，位图保存功能。捕获并保存的图 像尺寸为3 2 0 * 2 4 0 像素。 2 ) 显示模块 该功能模块通过各种控制按钮，将采集到的图像得到相应处理后显示在 图像输出窗口上。 3 ) 图像转换模块 9 福建师范大学硕士学位论文 该功能模块实现真彩色图像转为灰度图像或二值图像。 4 ) 运动检测 该功能模块实现边缘检测，运动目标检测，并把检测到的运动目标显示 在图像输出窗口上。 5 ) 形心轨迹 该功能模块实现提取运动目标的形心，并把连续帧的形心轨迹显示在图 像输出窗口上。 6 ) 。特征提取和轨迹识别 该功能模块实现通过对正常或异常的形心轨迹进行特征提取、行为分析 及神经网络训练，建立神经网络的模型，通过该模型判断实时采集到的轨迹 正常与否。 2 系统技术分析 2 1 系统开发环境 i n t e lc o r e ( t m ) 2 0g i - i z ，1 gr a m 的计算机 w 砌o w sx p 操作系统 海天地q q v 8 型号摄像头 2 2 系统开发平台 m i c r o s o f tv i s u a lc + + 6 o m a t l a b7 1 第三节实现系统的总体流程 系统结构框图如图1 1 所示。按照功能划分，系统可以分为视频采集、视频处 理、特征提取和神经网络智能识别四个单元。系统通过普通的摄像头采集停车场或 某建筑四周的现场的视频信息，传输给视频处理器，视频处理器对视频信息进行处 理和分析，检测跟踪视频信息中的运动目标，然后再根据实际需求对检测和跟踪的 结果进行相关的特征提取，最后通过神经网络进行识别和判断，得到相应的判别结 果，如果结果是异常反馈提示信息给监控室的服务器，监控室的服务器就发出报警 提示信号，同时将异常结果通过有线或无线网络通知客户端，实现远程监控。整个 系统的流程如图1 - 4 所示。 l o + ， 绋瓤鳓辙蝴酗嘲轴辆罐赫删州# # # 枷鼬特* 肿州棚喇抛蛐嘲蝴鞘蚴晌嘲蝴萌婚彬撤蟛蝴嘲黼刚船删嘲，聃 r t 辫喇姊雠，幽种舭小l ，_ 一f n * 蝴 州# 一q l - 矿 第一章视频图像处理基础及平台设计 图像塾鼙莹霾 神经网络识别单元 构建或采集硼练样本集 通过计算 网络接到 提取运动轨迹特征并确认 远程监控 改轨迹是否属于正常 矗室j 。 ： 选定神经网络类型并进行： 。一，训练 ：； i ，公 利用神经网络对视频进行 监控 ：， 一巡! 梦 ，? 。 图1 - 4 整个系统沉程图 f i g 1 - 4t h e f l o wc h a r to f t h ee n t i r es y s t e m 第四节本章小结 在对智能监控系统发展现状及趋势分析的基础上，本章智能监控系统框架及需 求进行详细的分析，设计了系统的总体结构，并介绍了系统结构模块功能，提出了 系统设计需要的关键技术一一图像处理技术和智能识别技术，给出开发环境及设计 平台，并对整个系统的设计流程进行了描述。 福建师范大学硕士学位论文 蝴础耐蝌嘲秽：稍，r ，- w r 嘏i b 第二章视频图像处理基础及平台设计 第二章视频图像处理基础及平台设计 根据系统需求，进行图形用户界面设计。在智能监控系统中，视频图像的运动 目标检测与跟踪技术在整个系统中起着关键作用，直接关系到信息处理准确与否， 对后续的处理工作的进一步展开起到极其重要作用【3 9 】。视频图像处理技术具有直观 性，监视范围广，可获取信息参数多等优点，r - - 维图像处理技术与三维建模技术 相比具有计算简单，费用低，实时性强，易实现，易于与其他技术结合等优势1 9 1 。 综上所述，二维图像的处理仍是未来的热门的研究方向，仍值得我们进一步研究。 本章重点对图像处理的技术进行分析比较，选取合适的视频处理技术，适应实 际应用要求。 第一节数字图像表示方法 在计算机内，数字图像通常是由离散不连续的像素值组成的矩阵，设f ( x ，y ) 表示 在矩阵( x ，y ) 点处的像素值，整个数字图像的表示如下所示： 广o ，o )f ( o ，1 ) f ( o ，m 1 ) - i l f ( 1 ，o )凡1 ，l 苁1 ，m 1 ) l l ； i ； | 弩( n 一1 ，o ) 以n l ，1 ) “f ( n f ，m 一1 ) j 数字图像中按不同的存储方式就可得到不同格式的图像文件，