人体简单行为异常监控报警系统

毕业论文(设计)题目名称： 人体简单行为异常监控报警系统 题目类型： 毕业设计 学生姓名： 杨万德 院 (系)： 计算机科学学院 专业班级： 网络11102 指导教师： 向华 辅导教师： 向华 时 间：_2014年12月1日_至_2015年5月30日_长江大学毕业论文(设计)任务书I毕业设计开题报告II长江大学毕业论文(设计)指导教师评审意见III长江大学毕业论文(设计)评阅教师评语IV长江大学毕业论文(设计)答辩记录及成绩评定V中文摘要I外文摘要II1 引言11.1 研究背景11.2 国内外研究现状12 方案论证22.1 方案思想22.1.1 相关概念介绍22.1.2 行为识别32.1.3 本系统设计原则32.2硬件方案32.2.1 设备介绍32.3系统建模52.3.1 单个体异常行为建模52.3.2 两人交互异常行为建模83设计论述103.1 系统整体设计103.1.1 框架设计概述103.1.2 框架图113.2系统流程设计113.2.1 流程概述113.2.2 流程图123.3数据结构设计173.3.1 Base数据设计173.3.2 user数结构设计173.4各功能设计183.4.1 GUI设计183.4.2 user设计213.4.3 Base设计264 设计结果305 总结33参考文献34致 谢35附件36附件 136User接口36附件245Base接口45III长江大学毕业论文(设计)任务书学院（系）计算机科学学院 专业 网络工程 班级网络11102班学生姓名 杨万德 指导教师/职称 向华（讲师） 1. 毕业论文(设计)题目：人体简单行为异常监控报警系统2. 毕业论文(设计)起止时间： 2014.12.12015.05.303毕业论文(设计)所需资料及原始数据：无4毕业论文(设计)应完成的主要内容在ASUS xtion Pro live 平台上开发一个系统对异常行为进行监控报警。5毕业论文(设计)的目标及具体要求目标：对异常行为进行监控报警，出现标记异常行为时进行报警提示。具体要求：跌倒，打架等异常行为识别报警 6.完成毕业论文(设计)所需的条件及上机时数要求深度数据采取设备如Kinect ,xbox.已购买ASUS xtion pro live上机时长400学时。任务书批准日期 2014 年 1 月 3 日 教研室(系)主任(签字) 任务书下达日期 2014 年 1 月 2 日 指导教师(签字) 完成任务日期 2015 年 6 月 1 日 学生（签名） 毕业设计开题报告一，题目来源计算机智能视觉二，研究目的和意义人体行为识别技术具有广泛的应用前景和非常可观的经济价值，涉及的应用领域主要包括：视频监控、医疗诊断和监护、运动分析、智能人机交互、虚拟现实等。以下介绍一些典型的应用案例，如：1）传统的视频监控系统高度依赖于相关工作人员的介入，即监控人员通过在线或事后人工查看记录视频的方式对发生的可疑行为进行观察、分析，由此很可能会引发一些安全隐患，例如，当夜间工作人员疲惫或松懈时，监控系统无法及时对发生的危险行为采取措施，而采用行为识别技术构建的智能视频监控，则可以实现对敏感活动区域内人体行为的实时无人监控，并且避免雇佣大量监控人员而造成的财力物力损耗；2）随着社会老龄化的加剧，老年人的健康状况越来越引起社会的关注，采用行为识别技术建立高度智能化的医疗监护系统，可以对老年人的一些行为，特别是老年痴呆、突然跌倒等异常行为进行无人监控，准确及时地发送报警信号，对于老年人的健康安全监护具有十分重要的意义；在术后康复治疗领域，采用行为识别技术构建辅助诊断系统，对病人（如骨折病人）的步态进行分析，能在一定程度上避免依靠医护人员经验判断带来的主观局限性，为治疗效果评估及后续诊疗方案的确立提供重要参考信息，让病人更快地康复；3）将人体行为识别技术引入竞技体育运动中，有助于更好地解释人体运动机制，提高职业运动员的专业技术水平；4）日本任天堂公司于 2006 年底推出了配备三维加速度计的“Wii Sports”游戏手柄，可以识别出游戏玩家手臂、手腕的动作并将其在游戏中近乎真实地体现出来，这种基于虚拟现实技术的娱乐方式彻底颠覆了传统游戏的概念；之后，微软公司在 2010 年 11 月正式上市了面向 Xbox 360 游戏应用的体感外设 Kinect，该外设摒弃了游戏手柄，而采用红外投影结构光编码实现对人体各部位运动轨迹的跟踪及人体动作的识别，甚至还融合了人脸识别、语音识别技术，表现出很强的人机交互能力，截止至 2012 年 1 月，Kinect 的销售量已超过了 1800 万套。 II三、阅读的主要参考文献及资料名称1梁鹏华，基于HMM的人体行为识别，兰州交通大学，20132韩磊，李君峰，贾云得，基于时空单词的两人交互行为识别方法，计算机学报，20103林国余，柏云，张为公，基于耦合隐马尔可夫模型的异常交互行为识别，东南大学学报，20134陈益强，高文，王兆其，姜大龙，基于机器学习的语音驱动人脸动画方法，中国科学技术大学研究所，20035何良华，邹采荣，包永强，人脸面部表情识别的研究进展，学习科学研究中心，20056王亮，胡卫明，谭铁牛，基于步态的身份识别，中国科学院自动化研究所模式识别国家重点实验室，20037冷晶晶，基于Kinect骨架信息的人体动作识别，西安石油大学，20148任侃，曹越，吴杰，OpenNI体感开发实战，机械工业出版社，20149刘鹏，卢潭城，吕愿愿，邓永莉，陆起涌，基于MEMS三轴加速度传感器的摔倒检测，体感学报，201410Rober laganiere ,OpenCV计算机视觉编程手册，科学出版社，201311秦小波，设计模式之禅，机械工业出版社，2010II四、国内外现状和发展趋势与研究的主攻方向智能视觉监视技术在公共安防领域中的应用带动了监控系统的巨大变革。而今，科研人员把最先在军事制导中广泛应用的运动目标检测和跟踪技术成功引入到监控系统中，构建新一代的智能化监控系统。这类系统克服了传统监控系统只提供监控人员“眼睛”，仍需要监控人员时刻根据场景控制云台跟踪运动目标的缺陷，它自己就具有能实时地对监视场景的运动目标进行检测和跟踪的自主监控能力。最近更是把人体运动分析、识别引入到监控系统中，设计能完全替代监控人员的、可用于无人值守情况下的高智能化监控系统。基于人体运动的智能化监控系统一般遵从运动目标检测、目标跟踪、行为识别理解的处理流程。其中，运动检测、目标跟踪属于视觉中低级和中级处理部分，而行为理解和描述则属于高级处理.当然，它们之间也可能存在交叉(比如目标跟踪过程中可能使用到运动检测的方法)。下面将从处理方法上回顾这几个方面国内外的发展现状。（1）运动检测(Motion Detection)。运动检测是把视频中变化的区域与背景图像精确分离出来，即正确分割出运动目标区域或轮廓，这是任何系统设计首先要考虑的问题，它的效果好坏或成败与否直接影响后续的跟踪和行为理解等后期处理效果。现有图象序列的运动检测算法由于其应用范围的不同，通常采用不同的方法。一般来说传统的运动检测技术主要有四种方案：时间差分法(Temporal Difference)在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域；背景减除法(Background Subtraction)是利用当前图像与背景图像的差分来检测出运动区域的一种技术；光流法(Optical Flow)采用了运动目标随时间变化的光流特性；统计模型分类法(Background Statistical Model Classifying)为每个像素建立分类模型，该模型可以自动更新，并能自动地将每个像素分类为背景、影子或者运动前景，在目标运动速度缓慢的情况下亦能较好地完成运动区域的分割，并可以有效地消除运动目标影子的影响。时间差分法对动态变化场景非常有效，但一般情况下不能很好地提取出运动目标的所有特征像素；背景减除法能得到运动物体很完整的特征数据，但却对由光线或其他外部的动态场景变化所引发的背景变动非常敏感；光流法能在摄像头运动时有效的检测运动目标，然而这种方法计算复杂度很高，不适用于要求实时性很强的实时监控场合；背景统计模型分类能自适应的选择阈值，然而指定阈值过于简单，要完全采用自适应计算复杂度又太高。针对传统运动检测技术的种种缺陷，近年来的趋势有两种:一是对传统方法加以改进。例如有人提出了基于时域差分图象边缘与灰度图象边缘之间强相关性的算法，融合了二者的运动目标边缘的精确提取，针对背景减除法对运动场景变化敏感的缺陷，有人提出动态背景更新的方法，此外不少学者也在研究减小光流场计算量的方法使其能适用于实时场合，这些研究对传统运动检测技术的进一步完善非常有益；另一种趋势是研究新的运动检测方法。例如考虑到传统运动检测技术完全忽视了图象的颜色信息，有人提出了基于颜色的图象分割方法取得了很好的效果。此外，基于知识的目标分割方法也是近期研究热点。总结已有的成功检测经验，融合多种运动检测方法的综合判决方式能大大提高检测的准确性、鲁棒性和运动区域分割的精度。 (2)目标跟踪(Object Tracking)。目标跟踪就是通过对摄像头采集到的图象序列进行计算分析，计算出目标在每帧图象上的二维位置坐标，并根据不同的特征值，将图象序列中不同帧中同一运动目标关联起来，得到各个运动目标完整的运动轨迹，也就是在连续的视频序列建立运动目标的对应关系。常用的数学工具有卡尔曼滤波（Kalman Filtering）、Condensation 算法及动态贝叶斯网络（Dynamic Bayesian Network）等。其中 Kalman 滤波是基于高斯分布的状态预测方法，不能有效地处理多峰模式（Multi-mode）的分布情况；Condensation 算法是以因子抽样为基础的条件密度传播方法，结合可学习的动态模型，可完成鲁棒的运动跟踪。这项技术最先在军事制导中获得广泛应用，引入到监控系统后，跟踪对象一般特指人或其它运动速度相对较慢的目标，从而跟踪方法也较前者更为简单。目前跟踪方法大体上可以分为基于匹配的跟踪和基于运动特性的跟踪。基于匹配的跟踪算法主要有区域匹配跟踪、轮廓匹配跟踪及特征匹配跟踪，区域匹配跟踪的基本思想是把预先提取的运动区域作为匹配模板，设定一个匹配度量，并在待匹配图象中移动模板搜寻目标，把度量取极值时的位置判定为最佳匹配点，由于匹配在图象灰度级上进行，计算量很大。一种改进的区域匹配跟踪算法是把运动区域分成多个子块，对每个子块做匹配，虽然部分减小了计算量，但不能根本上解决其内在缺陷；轮廓匹配跟踪的基本思想是提取物体的边界轮廓并跟踪轮廓特性。与区域匹配跟踪算法，按轮廓匹配的好处是可以达到很好的匹配效果，并且其计算复杂度也不高，是当前研究的热点。近来发展很快的两种基于轮廓匹配的跟踪算法:主动轮廓线跟踪算法(Snake)和基于Hausdorff距离的轮廓跟踪算法。在军事领域、视频编码压缩、视觉监视等场合实现了在背景很复杂情况下的运动目标正确跟踪。轮廓匹配跟踪算法跟踪效果的好坏与初始轮廓准确与否有直接的关系，如何得到很精确的运动目标初始轮廓是制约这种算法普遍应用的关键。此外，运动物体轮廓的更新也很困难。同样这种方法在严重干扰的情况下效果也会下降；特征匹配跟踪的基本思想是不将整个运动区域作为一个整体来跟踪，而跟踪其中某些显著的特征、角点或边界线条。这种方法的优点是，即使场景中出现部分闭塞，只要部分特征点可见，仍可以保持对运动目标的跟踪。特征点的可能匹配数目大大少于互相关算法，由于特征点的精心选取，使得在照度改变和目标发生几何变化时，其匹配精度的影响可以减到最小。由于这种方法继承了相关匹配精度高的优点，又舍弃了它计算量大的缺点，因而可以快速、可靠、精确地跟踪目标，在基于匹配的跟踪算法中性价比最高，因而应用很广。在这种算法中，特征点的选取是十分重要的，它需具有对目标的大小、位置、方向和照度变化不敏感的特点，例如，灰度局部边缘点、角点、孤立点等。相比之下，基于运动特性的目标跟踪算法复杂度非常低，它一般可分为依据目标运动的连续性进行关联的算法和运动预测跟踪算法。前者往往被用在多种跟踪算法相融合的场合，只需较少的运算就可大大提高跟踪的准确性；后者在闭塞严重的场合应用效果显著，通常利用 Kalman 滤波来实现目标短暂消失情况下的精确预测或缩小匹配范围。此外，融合人体识别与跟踪的基于人体模型的跟踪方法越来越得到重视，这种方法可以实现对人的行为的简单理解，当然复杂度也更高。许多文献上其它跟踪方法如质心跟踪、摄像头静止情况下的跟踪、摄像头运动情况下的跟踪、双摄像头跟踪等的提法实际上是从不同角度对目标跟踪算法的融合。 (3)人的行为理解(Behavior Understanding)是近年来被广泛关注的研究热点，它是指对人的运动模式进行分析和识别，并用自然语言等加以描述。行为理解可以简单地被认为是时空变化的数据分类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配。由此可见，行为理解的关键问题是如何从学习样本中获取参考行为序列，并且学习和匹配的行为序列必须能够处理在相似的运动模式类别中空间和时间尺度上轻微的特征变化。匹配时变数据的技术通常有：动态时间规整 DTW（Dynamic Time Warping）、隐马尔可夫模型 HMMs（Hidden Markov Models）和神经网络 NN（Neural Network）。DTW 具有概念简单、算法鲁棒的优点，早期被广泛地应用于语音识别中，并且最近才被用于匹配人的运动模式；对 DTW 而言，既使测试序列模式与参考序列模式的时间尺度不能完全一致，只要时间次序约束存在，它仍能较好地完成测试序列和参考序列之间的模式匹配；HMMs 是更加成熟的匹配时变数据的技术，它是随机状态机。HMMs 的使用涉及到训练和分类两个阶段，训练阶段包括指定一个隐马尔克夫模型的隐藏状态数，并且优化相应的状态转换和输出概率以便于产生的输出符号与在特定的运动类别之间与所观察到的图像特征相匹配。对于每一个运动类别，对应一个 HMM 序列。匹配阶段涉及到一个特定的 HMM 可能产生相应于所观察图象特征的测试符号序列的概率计算。HMMs在学习能力和处理未分割的连续数据流方面比 DTW 有更好的优越性，当前被广泛地应用于人的运动模式匹配中；神经网络它同样也是目前比较感兴趣的匹配时变数据的方法，如 Guo 等用 NN 分析人的运动模式。 对于人的行为识别而言，目前主要有模板匹配方法(Template Matching)和状态空间方法(State Space Approaches)两种方法。模板匹配方法采用模板匹配技术的行为识别方法首先将图像序列转换为一组静态形状模式，然后在识别过程中和预先存储的行为标本相比较；基于状态空间模型的方法定义每个静态姿势为一个状态，这些状态之间通过某种概率联系起来。任何运动序列可以看作为这些静态姿势的不同状态之间的一次遍历过程，在这些遍历期间计算联合概率，其最大值被选择作为行为分类的标准。五、主要研究内容、需重点研究的关键问题及解决思路建立人体的物理三维实时模型，对异常行为建立数学判据，主要是对跌倒，打架等异常行为进行建模，对sensor前面的每人创建user对象，通过user本身的异常状态和与其它user 交互的异常状态进行判断，如果发生异常进行报警。VI图 1系统功能框架图II对于异常行为识别并进行警报。主要问题是为了提高准确率需要根据不同情况进行多次实验，如不同场景，不同人种的各种异常行为实验。需要大量实验和算法改进。六、完成毕业设计(论文)所必须具备的工作条件（如工具书、计算机辅助设计、某类市场调研、实验设备和实验环境条件等）及解决的办法实验设备：实时视频采集传感器及其通信主机装备或智能集成摄像头。需要购买。七、工作的主要阶段、进度与时间安排4月1日完成基础知识学习（如图片算法，视频编码），并对系统实现详细设计。4月15日完成系统概要设计5月1日主要核心功能算法实现（包括数据获取）。5月15日软件系统整体算法实现。5月31日完成调试与测试，写好毕业论文。八、指导教师审查意见II长江大学毕业论文(设计)指导教师评审意见学生姓名专业班级毕业论文(设计)题目指导教师职 称评审日期评审参考内容：毕业论文(设计)的研究内容、研究方法及研究结果，难度及工作量，质量和水平，存在的主要问题与不足。学生的学习态度和组织纪律，学生掌握基础和专业知识的情况，解决实际问题的能力，毕业论文(设计)是否完成规定任务，达到了学士学位论文的水平，是否同意参加答辩。评审意见： 指导教师签名： 评定成绩（百分制）：_分1长江大学毕业论文(设计)评阅教师评语学生姓名专业班级毕业论文(设计)题目指导教师职 称评审日期评审参考内容：毕业论文(设计)的研究内容、研究方法及研究结果，难度及工作量，质量和水平，存在的主要问题与不足。学生的学习态度和组织纪律，学生掌握基础和专业知识的情况，解决实际问题的能力，毕业论文(设计)是否完成规定任务，达到了学士学位论文的水平，是否同意参加答辩。评审意见： 指导教师签名： 评定成绩（百分制）：_分IVII长江大学毕业论文(设计)答辩记录及成绩评定学生姓名 专业班级 毕业论文(设计)题目人体简单行为异常监控报警系统答辩时间 年 月 日 时答辩地点一、答辩小组组成答辩小组组长：成 员：二、答辩记录摘要答辩小组提问（分条摘要列举）学生回答情况评判三、答辩小组对学生答辩成绩的评定（百分制）：_分 毕业论文(设计)最终成绩评定(依据指导教师评分、评阅教师评分、答辩小组评分和学校关于毕业论文(设计)评分的相关规定)等级(五级制)：_答辩小组组长(签名) ： 秘书(签名)： 年 月 日院(系)答辩委员会主任(签名)： 院(系)(盖章)VIII中文摘要I人体简单行为异常监控报警系统学生：杨万德，计算机科学学院指导老师：向华，计算机科学学院摘要在生活社区，安全要求敏感场合，视频监控有重要应用价值，对维护国家及公共安全有现实意义。人的异常行为检测和识别是提高视频监控智能化程度的一个主要途径，它融合了计算机视觉、模式识别、心理学、生理学等多项技术。目前大多数监控系统没有充分发挥主动监督作用，对异常状况的监视仍然由人工完成。由于庞大的数据量及人为因素的影响，监测效果令人堪忧。因此，在视频序列中进行异常行为的检测与分析十分重要。 本文基于ASUS xtion pro live设备，获取深度信息和人体信息，通过对这些信息的处理并建立实际有效的数学模型，对简单异常行为进行描述，规化判断因子，对人体简单行为异常时进行监控报警。本文的主要工作与内容：1)对目前智能监控现状进行介绍，技术分析，现状与难点进行分析。2)设计简单异行为数学模型，对人体简单行为异常监控报警系统进行方案论证。3)设计系统实现方案，对系统进行详细设计实现。关键词：智能监控 行为识别 异常行为 数学模型英文摘要Human simple abnormal behavior recognizing systemStudent :yang wande , college of computer scienceTeacher:xiang hua, college of computer science【Abstract】 In the life community, the safe request sensitive situation, the video surveillance has the important application value, has the practical significance to the maintenance country and the public safety. Human abnormal behavior detection and recognition is a main way to improve the intelligent video surveillance. It integrates computer vision, pattern recognition, psychology, physiology and so on. At present, most of the monitoring system does not give full play to the active supervision, the monitoring of abnormal situation is still done by manual. Due to the huge amount of data and the influence of human factor, the monitoring effect is worrying. So it is very important to detect and analyze abnormal behavior in video sequences.This paper based on the ASUS xtion Pro live equipment, to obtain the depth information and information of the human body, through the processing of the information and the establishment of mathematical model of practical and effective, the simple abnormal behavior is described, the normalized judgment factor and simple human behavior of abnormal monitoring alarm.This article main work is following:1) Introduce the present situation of intelligent monitoring, technical analysis, status and difficulty of the analysis,2) The simple behavior and the model of the abnormal behavior of the human simple behavior anomaly monitoring and alarming system is demonstrated.3) The design system implementation plan, carries on the detailed design realization to the system.【Keywords】 Intelligent monitoring Behavior recognition Abnormal behavior Mathematical modeIIT（xh 第（ I引言1 引言1.1 研究背景近年来我国恐怖暴力事件频发，如何对公共场合和国家重要安全部门进行全天候，自动，实时的监控， 已成为世界各国高度重视的一个全环性问题。在这样的背景下，对视频监控技术的研究成为一个目前的火热的研究领域。现有视频监控简单依靠人眼检测，由于时间长，专业人员会注意力降低至无法接受的水平。目前，我国正处于经济快速发展时期，人们的生活节奏明显加快，以至老人，小孩无暇时时监看，目前也有很多社会“冷现象”老人跌倒“扶不起”，由于这些情况的发生，对于老人，小孩发生危险难于及时给予救助。因此传统的基于人工操作的视频监控不能适应实际的需要，开发新一代监控技术智能监控技术已经迫在眉睫。1.2 国内外研究现状近些年来智能监控技术得到广泛关注，人们对智能监控技术的研究，赋予监控系统的观察公共场景内容的能力，使其更加智能化，能够在几乎不需要人为干预的情况下，对摄像机拍录的视频时进行自动分析，并及时做出反应。新一代的智能视觉监控技术涉及图像处理、图像分析、机器视觉、模式识别、人工智能等众多研究领域,是一个跨学科的综合问题,也是一个极具挑战性的前沿课题。图1给出了一个典型的视觉监控系统的基本工作流程。摄像机获取视频序列后,首先通过图像恢复或超分辨率复原技术提高图像质量,然后对场景中的目标进行检测、分类和跟踪,进而实现视频内容的分析理解,包括场景中的异常检测、人的身份识别以及视频内容的理解描述等。监控技术一般分为三个步骤：运动检测，目标跟踪，行为识别1。技术层次上分为：身体局部动作，简单动作，交互动作，人群活动。其中简单动作识别如肢体伸展，摆动。简单动作如，走，跑，跳等识别，交互行为2分为：人与物体的交互行为，双人交互行为，多人交互行为。第34页 (共53页) 人体简单行为异常监控报警系统如为了有效识别视频监控领域中的打斗和抢劫等异常行为，韩磊等人提出一种基于耦合隐马尔可夫模型3的异常交互行为识别方法，首先对人与人之间异常交互行为与正常交互行为的特征差别进行分析，然后提取了包括速度，面积变化率，目标外接矩形长宽比变化率，目标间距，目标运动方向角差以及方向梯度直方间6类人体目标的运动异常交互为模型，实验中引入一些典型的行为数据库，如CASIA和CAVIAR数扰集，通过各传统的基于隐巴尔可夫模型的识别方法进行对比，表明CHMM方法更适合于识别少数人的异常交互行为。上述不同分类的技术中，其主要的实现技术有模式匹配即基于行为模板，如DTW,CHMM；人工神经网络；机器学习4等，它们各有自己的优势，但是都不是很精确。尽管人的行为识别和理解研究已经取得了一定的成果，但在几个方面仍然存在一些难点问题有待进一步研究：1)特征选择，人体的非刚性和高自由度，如何选取特怔来充分表达人的行为是行为识别和理解的一个关键问题。2)遮挡问题，在实际情况中，特别是在公共环境中，人与物，人与人之间经常会出现相互遮挡，这对行为识别带来了极大难度。3)行为识别，如何准确一人行为起止时间节点；相同行为执行人的速度不同情况下的识别;行为多样，如何识别新行为等这些问题都是行为识别的致命难点。1.3 研究意义在实际监控应用中，尤其是机场，地铁，火车站等反恐要求， 老人，小孩独自居家意外事件的及时处理响应；通过智能监控自动识别异常行为，能避免恐怖事件的发生，以及发生后的及时出警，老人由于病因异常及时识别，能够及时进行治疗而不会出现生命危险等；这使得异常行为监控非常重要。2 方案论证2.1 方案思想2.1.1 相关概念介绍异常行为(abnormal behavior)常指违反社会文明准则或成群体行为习惯和标方案论证准的“反常”行为。当“异常”一词用作否定或贬义时，通常指一种自毁（self-destructing）行为。这种行为通常给自己或他人带来程度不同的悲伤或痛苦。在心理学中，“异常行为”被视为是一种心理病态的外观，轻者表现为“神经质”，重者患有“精神分裂症”。虽然造成“异常行为”的根源是复杂多样的，但是大多数的“异常行为”与“精神创伤”或“压抑感”或“挫折”相关。对于研究者来说，观察异常行为时，首先应该考虑的问题是造成异常行为的原因。对异常行为的一种概括性解释认为，人的情感矛盾是造成以上行为的主要原因，这种解释得到精神分析家的赞同。而另外一种被行为主义学派所接受的概括性解释认为，异常行为是由不幸的学习造成的。可以肯定地说，对于异常行为的解释不止一个，所以寻求一个合理，科学的解释时，我们还应该考虑基因遗传、生物化学、维生素的缺乏、食品添加剂和人际关系等多方面考虑。2.1.2 行为识别行为识别：姿态识别，手语识别，表情辨识5，语音识别，步态识别6，交互及群体行为分析等，是计算机视觉的高级处理阶段，涉及到图像处理，模式识别，机器学习等领的许多核心课题，有着非常高的理论和应用价值，特别是在视频监控方面有着广泛的应用需求。2.1.3 本系统设计原则由于时间和本科能力的限制，本系统对于异常行为的识别限定在对于单个体的异常行为识别，主要是跌倒，或者高速运动。多人交互行为，一般为两个人，三个人，在三人以上或者三对位设备相互遮挡的情况下，在现有的设备下不予考虑，多人交互行为中异常行为主要是打架过程，肢体的动作对他人可能会造成害的行为。人体简单行为异常监控报警系统2.2硬件方案2.2.1 设备介绍体感开发设备ASUS xtion pro live 主要有获得深度数据7，彩色数据，声音数据。深度信息通过红外线投影反射获取，与彩色数据相比多了相对传感器的距离信息。彩色数据与声音数据与一般传感器相同。通过深度信息可以结合NURB曲面或三角曲面实现三维人体建模，获得人体各部分，并分割追踪，获取骨架信息，即人体关节点三维坐标，关节点方向信息。由ASUS xtion pro live 设备得到人体骨架位置，对位置信息进行采集处理，人体各位置点如图。图1人体关节骨架方案论证共有人15个关结点:表1 关节序号表序号关节点名称关节点意义说明1JOINT_HEAD头2JOINT_NECK脖子，与躯干质心相连的向量可判断体位方向3JOINT_LEFT_SHOULDER左肩4JOINT_RIGHT_SHOULDER右肩5JOINT_LEFT_ELBOW左手肋 打架异常行为重要参考点6JOINT_RIGHT_ELBOW右手肋 打架异常行为重要参考点7JOINT_LEFT_HAND 左手 打架异常行为重要参考点8JOINT_RIGHT_HAND右手 打架异常行为重要参考点9JOINT_TORSO躯干质心，质心参考点10JOINT_LEFT_HIP11JOINT_RIGHT_HIP12JOINT_LEFT_KNEE 左膝盖13JOINT_RIGHT_KNEE右膝盖14JOINT_LEFT_FOOT左脚 打架异常行为重要参考点15JOINT_RIGHT_FOOT右脚 打架异常行为重要参考点ASUS xtion pro live开发包只是OpenNI8, OpenNI(开放自然交互)是一个多语言，跨平台的框架，它定义了编写应用程序，并利用其自然交互的API。OpenNI API由一组可用来编写通用自然交互应用的接口组成。OpenNI的主要目的是要形成一个标准的API，来搭建视觉和音频传感器与视觉和音频感知中间件通信的桥梁。2.3系统建模2.3.1 单个体异常行为建模单个体异常情况如摔倒，高空摔下等，这种异常易造成人体伤害，摔倒或摔下造成人体伤害都是因为人体短时间内受的大的力，形成大的冲量，对人体组织造成伤害。因此单个人体异常行为识别主要以加速与质心变化建模。每个节点位置记为人体简单行为异常监控报警系统其中为关节索引，为时间序列索引。计算速度 其中为关节索引，为时间序列索引，为时间间隔。 计算加速度 其中为关节索引，为时间序列索引，为时间间隔。 判断逻辑:1，当加速超过一定值时会对人体造成伤害，通过查看文献得知人体加速度阈值为1.8G92，当速度不大时，人的重心急速降低，也会出现对人体造成伤害，此情况异常对老年人，儿童较为频繁。因此对于系统的设计考虑因子有速度最大阈值，加速度最大阈值，异常概率阈值 重心高度阈值。 考虑报警判因概率计算，速度异常概率： 其中为关节点速度。 加速度异常概率：方案论证计算由三个关节点计算两个骨骼夹角角度，先求三点所夹的两向量： 再求两向量夹角： 由两个关节点计算关节与水平面的夹角，设水平面向量为： 骨骼方向向量为： 与水平面夹角为： 综合判据需满足： 其中速度最大阈值，加速度最大阈值，异常概率阈值 重心高度阈值。人体简单行为异常监控报警系统人体简单行为异常监控报警系统异常跌倒判因： 其中为头关节到腰关节的向量与水平面的夹角，上述判据即为当高度小于阈值，且人体主干与水平面的夹角小于45度时为异常跌倒。 其中为人体质心加速度。上述判据即为当高度小于阈值时，加速度不能太大，如果人在低高度重心加速度大时，表明异常，通常也判为跌倒。2.3.2 两人交互异常行为建模交互行为识别，两个或多个人相互交互，其行为有友好的，也有打架异常非友好的，这两者的区别在于，交互过程中的人的肢体动作的速度，加速度与距离，因此在设计过程中考虑以下因素：与单个人体异常相同，人体各关节有一个加速度阈值。每个节点位置记为其中为关节索引，为时间序列索引。计算速度 方案论证 其中为关节索引，为时间序列索引，为时间间隔。 其中为关节索引，为时间序列索引，为时间间隔。 计算由三个关节点计算两个骨骼夹角角度，先求三点所夹的两向量： 再求两向量夹角： 由两个关节点计算关节与水平面的夹角，设水平面向量为： 骨骼方向向量为： 与水平面夹角为： 由于单个体与交互行为的多个人体的情况，间距考虑与关节参考点的位置差异。人体简单行为异常监控报警系统人体简单行为异常监控报警系统当两个人打架时考虑的情况有，手打，脚踢，头顶，肘拐，用身体撞击等，因此计算任意两个个体两关节点的距离 当距离满足关节阈值判定进入下一步有效状态，其中 其中为左右肩关节点，即为两肩距的一半，主要考虑最可能异常，人用手或脚踢打他人的胸部或肚子，这样当距离满足条件时，此关节进入异常考虑兴趣点。对异常兴趣点，做进一步判断。主要以加速度和速度为主，因此设定加速度阈值 与速度阈值，综合判据如下： 其中为兴趣相关关节点中最大加速度，为兴趣相关关节点的最大速度。当满足上面任何一个条件时都认为异常发生。 3设计论述3.1 系统整体设计3.1.1 框架设计概述系统使用c+面向对象语言，用MFC界面交互视觉设计，主要分三个模块设计，界面MFC模块,user数据对象单元，base框架。MFC模块中主要实现人体深度信息实时显示，参数设定，人体信息，状态信息提示，运行控制。Base设计设计论述考虑框架冗余，功能添加，多人体适用。3.1.2 框架图如图使用OpenNI产生深度信息和人体信息，base获得深度信息让gui通过OpenCV10显示，获取人体信息生成user，base与user对于异常通过mp3发出报警声。图2系统框架图人体简单行为异常监控报警系统3.2系统流程设计3.2.1 流程概述系统流程分为三个部分，界面操作流程，设备信息读取流程，系统功能流程。3.2.2 流程图界面操作主要是开启线程，让base进入实时监控读取数据状态，其主要实现是通过线程状态标帜换，创建base，读取界面设定数据，初始化系统设备与环境。当开启线程，实时显示深度信息，实时更新表格数据，人体状态显示数据。其流程图如下。设计论述图3界面操作流程图 设备信息读取主要利用openNI(开放人机交互)开发平台。其过程一般有如下步骤：1.调用该对象的Init()方法来进行初始化。2. 定义一个XnMapOutputMode格式对象，设置好分图像分辨率和帧率。3. 用深度图的节点对象Create()方法来创建，参数为Context对象.4. 设置颜色和深度图的输出模式，调用的方法是SetMapOutputMode();参数为步骤2中定义和设置好了的XnMapOutputMode对象。人体简单行为异常监控报警系统5. 调用context对象的StartGeneratingAll()来开启设备读取数据开关。6. 调用context对象的更新数据方法，比如WaitAndupdateAll()方法。7. 如果需要将深度图转换成灰度图来显示，则需要自己将深度值转换成0255的单通道或者多通道数据，然后直接用来显示。设计论述图4 设备信息读取流程图系统主要功能实现对sensor前面的每人创建user对象，通过user本身的异常状态和与其它user 交互的异常状态进行判断，如果发生异常进行报警。流程图下人体简单行为异常监控报警系统如：图5系统功能流程图设计论述3.3数据结构设计3.3.1 Base数据设计Base设计主要考虑与界面交互，在MVC11中担任了MC功能。设计考虑因素有实时数据可视化，设备初始化，设备信息读取，设备信息保存，系统核心功能实现。主要数据成员为：setuser_set;XnStatus status;xn:Context context;xn:UserGenerator user_generator;xn:DepthGenerator depth_generator;xn:ImageGenerator image_generator;xn:ImageMetaData image_data;xn:DepthMetaData depth_data;xn:SkeletonCapability *mSC;CMAINAPPDlg *win;3.3.2 user数结构设计user的功能主是人体对象实体，实时获取保存设备数据，数据处理，个体异常情况判别。主要成员：mapJOINT;XnVector3D joint_record153;XnVector3D joint15;XnVector3D joint2D15;double speed152;double acc15;XnUserID user_id;int pos_count;人体简单行为异常监控报警系统double com_speed2;double com_acc;vector