（控制理论与控制工程专业论文）家庭环境下人的行为理解系统研究.pdf

捅要 随着机器人技术的发展，机器人进入民用领域条件日趋成熟。人的行为理 解是服务机器人进入家庭环境，为人提供自主服务的前提。由于家庭环境下人 体目标行为模式的多样性、所处环境的复杂性，使得家庭环境下行为理解成为 一个极富挑战性的课题。依靠机器人自身有限的感知和计算能力，更加难以实 时的完成行为理解任务。因而，本文借助家庭助理机器人综合平台，利用了智 能空间技术使得家庭服务机器人的感知能力和计算能力得到了极大的外延。 家庭环境下行为理解问题被定义为“利用机器视觉技术结合智能空间信息 系统的数据库、知识库对人的行为和意图进行分析 。主要的研究内容如下： 1 、从处理流程上阐述行为理解的一般框架，分析了其中涉及到的关键技术。 并借助家庭助理机器人实验平台，提出家庭监护系统的行为理解方案。 2 、运动人体检测是行为理解初级阶段需要解决的问题。本文对基于g m m 背景模型的运动检测算法做了如下改进：在背景初始化阶段，采用动态学习率 提高了背景模型的准确性；在背景更新阶段，提出运动人体检测的结果指导背 景更新的策略，使得复杂运动形式的人体运动不被背景吸收；在后期处理阶段。 将基于g m m 的运动检测算法与边缘差分相结合，消除运动检测中的断裂、孔 洞现象。 3 、提出复杂环境下基于特征融合的日常动作、突发异常( 摔倒) 检测方法。 利用人的姿态、姿态变化速率特征、人的位置变化特征表征人的运动状态，通 过合成简单的姿态事件并结合特征来表达具有复杂时空关系的运动事件。 4 、在智能空间技术平台的支撑下，提出了一种新的基于场景信息的行为理 解方法。利用机器视觉技术，并结合家庭智能空间平台提供的环境信息，实现 了正确理解人的意图、准确识别人的反常习惯行为和突发异常事件。首先利用 运动目标检测方法，提取运动人体在环境中的坐标，然后结合场景划分出不同 区域，建立人体在环境中的位置状态关联矩阵和时空关联矩阵；通过马尔科夫 模型统计出人体在空间中的位置状态转移概率矩阵及其状态持续时间矩阵，构 建日常行为模板。根据当前行为与日常行为模板的相似度检测反常习惯行为和 突发异常事件，并根据不同区域的行为模式分析人的意图。实验表明该方法在 实践中可行，在意图识别、异常行为理解方面有广泛的应用前景。 山东人学硕十学位论文 i i 5 、行为理解作为机器人获取环境信息的一种方式，有其它传感器无法比拟 的优势。本文的最后一节讲述了基于观察人行为的信息获取模式在机器人导航 中的应用，集中体现了智能空间系统的信息共享。 关键词：家庭服务机器人，智能空间，运动人体检测，动作识别，高层行 为理解，基于观察人的信息获取 n mi n c r e a s i n gd e v e l 。p m e n to f r o b o tt e c h n i q u e s m a k e np o s 曲m 嘶阳雠? d e v e l 。p r v i c c r o b o t s 蛋骶c i v i la p p l i c a t i 。i l s h u m a n b e h a v l o f r e c o g n i t i o n 1 s a p r e r e q 二s i t et 0r o b 。t s 撇m 。i i s s e r v i c e s h 。w e v e r ，h l h n a l lb e h a v i o r r e c o g n i t l o i 二，l s ：孟l e n g i i l g 州e c tb e c a u s c 。f m cv a r i e t y0 fh 眦a i l b e 州饵p a n c m 8 竺 c o m p l 咖。fm eb a c k g r 0 吼d 觚dm er o l i m i t e dc a p 撕够缸髂嘟竺 c 二咖p 。w e r 咖，w e b u i l d 锄a s s i s 伽tp l a t f o r m 汕l p 砒舢删1 e t c s e r v ：c c 协豳i n t e l l i g c ms p a c et e c h n o l o g yi su s e d ，w h i c h i se x p e c t e dt 0h e l p 鳓n n c e r o b o t st ow o r ki nc o m p l e xe n v i r o n m e n t m o r ee a s i l ya n de 仃e 嘶e l y m a c v i s i o nt c 加l o g yc o m b i n e dw i t hi n t e l l i g e n ts p a c e 幽s 侧 i n0 r d e rt 0r e c 。萨i z e h l r n a nb e h a v i 。r a n dr e a l i z eh u m a i li i l t e n t i 。n l nh o 。n e e n v i r o n m e n t t h em a i n c o n t r i b u t i o n sa r e a sf o l l o w s ：。 1 f i r s t l y ，w ei n 仰d u c et h eg e n e r af r a m e w o r k f o rh u m a i lb 幽w 1 凹豫唑 趾d 删y s i so f k e yt e 加l 。g i e s 撇，w e i n t r o d u c tt h ea s s i s 协tp l 砒f o m f o r b o t a n dd e s c r i b eh u m a n b e h a v i o rr e c o g n i t i o np l a n 2 h 啪a 1 1 枷。nd e t e m g i s t l l ep r i m a r ys t a g eo f h u m a i l 蝴洒础c 。：0 1 1 i m p r o v eg m m b 砌删o n d e t e c t i o na l g o r i t h m 必1 1 0 w s 岫m m 粤e ：舢n 三 r a t ew 硒a d o p tt 0i m p r o v et h ea c c u r a c y 。f b a c k g r o u n dm o d e l 1 1 1 ep 抓b k 舢d u p d a t e s t r a t e g y 棚i a b n t r s o 。d 舭u c d e di n t o t os l m c o v eb t a c k h e 伊p r 。o 吼d p l e m m t h 。d e a t l 。b m j e c t s g s m t o m p m m o o v t i i n 。g n t e m p o r a r i l ym a yb e a b s o f l ) e di i l t o l cb a c k 莎。眦l o l u 婀l “ 。：。 d e t e l c t i o na l 鲫也m 觚de d g e d i f f e r e n c ea l g 。r i 蜘w e r e c 。m b i n c d 幻代m 0 v e h r e a k i n qa n dh o l e si nt h ef o r e g r o u n d 3 。an o v e lm e m o di sp r 。p 。s e dt 0d e t e c th n a i ld a i l y a c t i v i t i e s 觚d 脚1o v e r b e h a v i 。r b a s e d 。nf e 黼s 锱0 n 删o n s 眦d e s c r i b e d b ya 鳅甜p ? 舢懿删 f e 狐l r e s 。fp o s t u r e sc h a n g ev e l o c i t y a n dp o s r i 。nc h a n g e s ，m 鼬s i m p l ep o s t u r e s e v e n t sa i l df e a t u r e sa r e c o m b i n e dt oe x p r e s sc o m p l e x h u m a n a c t m 骼州e n t s ，| 4 an o v e lm e t h o di sp r o p o s e di nt h i sp 印e r t o r e c o g n i z eh u m 舢e 叭甜b 冀阳 。ns c e n ek n 。w l e d g ei nt h ep l a t f o r m o fi n t e l l i g e n ts p a c e u 豇n gm a c m n ：v l s l 。： t e c h n o l 。g yc 。m b i n e d 谢t hi n t e l l i g e n t s p a c ei n f o r m a t i 。玛w ec a l ld ，t c c t ，b n 锄a l h a b i t sb e h a v i 。r 趾df e 批i m eu n e x p e c t e da c c i 触，r e c o g n 汰胁州删0 n f i r s t ， w ee x t r a c tt h el o c a t i 。n0 f t h eh 啪纽b o d y i nt h ee n v i r o n m e n tv i a m o t i o n 訾c t i o n ： t h e n , d u et od i f f e r e n ts c e n e r u l e sf o rd i f f e r e n tb e h a v i o r s ，w e d i 讥d e h e e n v l r 0 鲫兰： i n t od i 仃盯e n ts 眦s 觚di n t r o d u c e 咖e 船e d m a t r i xa n ds t a t e - t 妣m a t n xt 。m 。d e l i i i 山东人学硕十学位论文 t h o s eb e h a v i o r s a tt h es a m et i m e ，t h es t a t et r a n s i t i o np r o b a b i l i t ya n di t sd u r a t i o n t i m ed i s t r i b u t i o na r eg o t t e nb a s e do nm a r k o vm o d e la st h eh u m a nd a i l yb e h a v i o r t e m p l a t e s a b n o r m a lb e h a v i o r sc a nb ef o u n db yc a l c u l a t i n gt h el i k e h o o do fc u r r e n t a c t sw i t hd a i l yt e m p l a t e s t h i sm e t h o dr e q u i r e sl o wc o m p u t a t i o nc o m p l e x i t yt h u sc a n b ew i d e l yu s e df o ra b n o r m a lb e h a v i o rd e t e c t i o na n dh u m a ni n t e n t i o nr e c o g n i t i o n 5 h u m a nb e h a v i o rr e c o g n i t i o na saw a yf o rr o b o tt oa c c e s st oe n v i r o n m e n t a l i n f o r m a t i o nh a v ei n c o m p a r a b l ea d v a n t a g e so v e ro t h e rs e n s o r si nt h ef i n a lc h a p t e r , h u m a nb e h a v i o ri n f o r m a t i o ni su s e di nr o b o t s n a v i g a t i n g ，w h i c he m b o d i e s i n f o r m a t i o ns h a r i n gc o n c e p ti ni n t e l l i g e n ts p a c es y s t e m k e y w o r d s ：h o m es e r v i c er o b o t s ；i n t e l l i g e n ts p a c e ；h u m a nm o t i o nd e t e c t i o n ； a c t i o nr e c o g n i t i o n ；h i g h - l e v e lb e h a v i o rr e c o g n i t o n ；i n f o r m a t i o na c q u i s i t i o nf o r r o b o t sb yh u m a nb e h a v i o rr e c o g n i t o n i v 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的科研成果。 对本文的研究作出重要贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律责任由本人承担。 论文作者签名：查盈鱼叠 e l 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意 学校保留或向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅；本人授权山东大学可以将本学位论文的 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：珏导师签名：拓h 司；日期：丞写乙碰 第1 章绪论 1 1 课题背景 随着社会的进步和科技的发展，智能的服务机器人日益受到人们的重视【l 】。 中华人民共和国国家统计局2 0 0 5 年全国1 抽样调查报告显示我国6 5 以上的人 口占总人口的7 6 9 ，按照国际标准我国已经进入老年型社会。考虑我国人口 老龄化、空巢老人的社会问题和一大批行动不方便的残疾人的需要，开发家庭 服务机器人很有必要。同时，研究智能的服务机器人也是我国科技发展的战略 要求，机器人发展对我国的综合国力，可持续发展具有深远的影响。服务机器 人成为8 6 3 计划先进制造技术领域中的一个重点研究项目得到了相当的重视， 可见服务机器人有着广阔的发展前景【2 】。 人的行为理解是服务机器人实现自主服务、人机交互的基础，也是智能监 控领域研究的重要课题。主动的识别、理解人的行为，对人的需求做出预测和 判断，服务机器人就能主动的给人提供各种有用的信息和服务，对异常情况采 取实时的处理措施，可以避免危险情况的发生实现智能监护。人的行为理解近 年来成为被广泛关注的热点，现有的行为理解可以分为基于视觉传感器和基于 非视觉传感器的行为理解。其中，基于非视觉的方式主要有两种：一，在人身 上放置很多传感器，利用传感器传回的数据来理解人的行为【3 】。这种在人体上 放置传感器的方法，具有侵犯性，增加了人身体和心理的负担，其应用范围非 常有限；二，在人活动的空间中安装多个传感器感知人的行为 4 1 ，这种方法无 法感知人的具体动作，同时增加了研究的成本。数据表明，人类约有7 5 的信 息来自于视觉，这些信息构成了人类感知和理解环境的基础，随着机器视觉的 发展，人们越来越关注基于视觉信息的行为理解【5 。9 j 。 单独依靠服务机器人自身所带的视觉传感器，视角较小，所能观察到的范 围窄，所能获取的人体行为信息有限，同时机器人还要实时的完成自身的导航、 定位等功能，因而无法并行处理复杂的视觉行为理解以及基于行为理解的服务 任务。智能空间，作为一种新的技术，将机器人本体上需要携带的传感设备分 布到环境中，有效的解决了许多机器人自身无法完成的工作，使得服务机器人 能够借助智能空间的信息和工具更好的服务用户。我们构建的智能空间，采用 了知识分布和智能分布的思想，将多种传感器设备分布于环境中并基于无线网 1 山东大学硕十学何论文 络技术，使得机器人本身能够“轻装上阵”，利用环境中的信息，完成复杂环境 下人体行为识别以及各种服务任务。行为理解，作为一种信息获取模式，又将 是对智能空间信息库的一种补充，行为理解获取的信息，将进一步的用于服务 机器人对环境的认知，从而真j 下的构建了一个智能空间信息共享系统。本文研 究重点是家庭环境下人的行为理解。 1 2行为理解应用及研究现状 1 2 1 行为理解主要应用 基于视觉人体检测、运动分析以及行为理解在智能监控、感知接口、体育 运动分析、动画生成、人机交互、视频会议、医疗诊断等方面具有广阔的应用 前景 8 , 1 0 , i i 】，因此它吸引了越来越多的研究者的兴趣。 ( 1 ) 智能监控( i n t e l l i g e n ts u r v e i l l a n c e ) 视觉监控是计算机视觉领域的一个重要应用方向。智能监控主要来自于银 行、停车场、商店、军事基地等敏感场合的需求8 , 1 2 , 1 3 】。传统意义上的视觉监控 是指：在需要监控的场合安装上摄像机，保存摄像机输出的结果，当异常情况 发生的时，工作人员通过查看已经保存的结果观察已经发生的事实。智能监控 不仅用摄像机代替人眼，而且利用计算机分析摄像机获得的数据，对异常情况 实时的做出反应，代替或者辅助人完成监视和控制任务。智能监控具有实时的 分析能力，当盗窃等异常行为发生时能够向工作人员实时的发出报警信号，避 免了犯罪的发生，同时减少人力、物力、财力的投入。9 1 1 事件以后，人们反 恐意识不断增强，基于视觉的智能监控显得尤为重要，各国纷纷将其列入重要 研究计划。 ( 2 ) 高级感知接口( a d v a n c e dp e r c e p t u a li n t e r f a n c e s ) 我们希望与未来的机器人交流能够像与人交流一样容易、便捷，视觉信息 ( 手势、头部姿势、面部表情) 为我们提供了更高级的人机交互接口。在场景 中安装视觉传感器，通过运动人体检测、步态识别1 4 1 和面部识别，计算机可以 感知人的存在，并且识别人的身份；手势分析【1 5 1 可以方便地给计算机下命令， 对人的行为分析，可以感知用户的意图，处理一些突发的异常情况，为机器人 更好的为人服务提供一个智能的交互接口。 ( 3 ) 运动分析( m o t i o n a n a l y s i s ) 2 第1 章绪论 在体育运动、舞蹈训练、医疗站起协助等领域中，我们往往需要知道人体 某个部分的关节运动，这就需要分析人体运动、解释人体运动行为的机制，从 而对提高人体的运动性能起到积极的推动作用。在体育运动【1 6 】中，可以利用视 觉技术分析运动员的视频序列，恢复运动员运动过程中的人体姿态和运动参数， 进行科学分析，找出运动缺陷，为下次训练提供建议；医学步态分析【1 7 , 1 s j 在 提供诊断和治疗的支持，提供正常的步态模型，开发生物反馈系统分析病人步 态，分析腿部的畸变程度和受伤情况，从而做出积极的整形补偿和有效的治疗。 利用视觉分析人体腿部的关节力矩，开发更好的协助人站起的服务机器人平台 1 1 9 1 o 1 2 2 行为理解研究现状 鉴于人体行为理解具有广泛的应用前景和潜在的经济价值，从而激发了世 界上广大科研工作者及相关商家的浓厚兴趣。美国国防高级研究项目署设立了 以卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，主要研究用于战场及普通民用场景进行监 控的自动视频理解技术【2 0 l ；英国的雷丁大学机器视觉组开展的对车辆和行人的 跟踪研究，提出了基于时间识别系统，对目标的动态活动进行了文字描述【2 l 】； 实时识别跟踪人体运动，分析人是否携带物体、放置物体、交换物体等简单行 为的4 w 系统【2 2 1 ，这里的w 4 是指：干什么( w h a t ) 、在哪里( w h e r e ) 、什么时候( w h e n ) 以及谁( w h o ) 。美国麻省理工大学【2 3 】的p e r s o nf i n d e r 系统，它在摄像机固定的情 况下，能实时地发现和跟踪单人的任意运动。国内发展比较前沿的主要是中国 科学院自动化研究所，清华大学的视觉研究组和微软亚洲研究院视觉计算研究 组。中科院自动化研究所在运动检测、人脸跟踪、步态识别和人体跟踪等方面 展开了研究，建立了相关的演示系统，并且申请了相关技术的专利【2 4 1 。清华大 学设计了一个智能教室系统【2 5 1 ，并提出了混合人体模型( 包括头部，双手以及双 肘关节) ，通过p c h m m 来进行动作识别，该系统可以识别教师从课桌上拿物体、 放回物体、指向学生、指向黑板及喝水等七个动作行为。微软亚洲研究院视觉 计算研究组在人脸识别、指纹识别【2 6 】方面的研究处于国际领先水平，在人行为 识别与理解方面的进展相对较小，这其中有机器视觉本身存在的固有原因，也 有今年来研究工作的侧重点和方向问题。在学术方面，一些国际权威期刊如 i ij 尔大学硕十学位论文 p a m i ( p a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、i j c v ( i n t e r n a t i o n a lj o u m a lo f c o m p u t e rv i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) 、i v c ( i m a g e a n dv i s i o nc o m p u t i n g ) 和重要的学术会议如c v p r ( c o m p u t e rv i s i o na n dp a t t e m r e c o g n i t i o n ) 、i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n ) 等将智能化 视频监控技术研究，尤其是人运动视觉分析作为主题内容之一，这些期刊为该 领域的研究人员提供了更多的交流机会。 1 3行为理解相关技术 如何解决人体行为分析问题，往往随着应用领域而不同。实际的应用系统 中由于不同的目的，需要获取的运动信息随之不同，从而解决的方法也不同， 存在着多种分类方法。 根据研究对象的不同，可以是人脸、手势等小尺度的局部的行为识别，也 可以是大尺度的肢体、全身运动行为分析。前者，主要是识别特定的姿势，并 以此来传递信息；后者，主要是获得人体全局性的运动参数，并以此为基础理 解人的行为。根据应用场合的不同，可以分为监控系统的行为分析和体育运动 中的行为分析。监控系统中研究对象往往处于复杂的自然场景，所关注的一般 是人的整体行为与位置，不需要人体各个肢体部分的详尽信息，研究的重点是 确定人体的位置、基本姿态，运动方向。体育运动分析中研究重点在于如何从 运动恢复人体结构。根据采用摄像机的数目，可以分为基于单目的方法和基于 多目的方法。多目的方法可以获得深度信息，但是需要复杂的标定，往往需要 在实验室下进行。根据运动形式不同，可以分为一般的步行、跳跃、奔跑运动 以及特殊的体育运动。要提出一个一般的技术处理框架来容纳所有的人体行为 类型、达到普遍的适用性还不现实。不同的行为，往往有不同的运动模式，从 中可以总结获得不同的运动模型，这些运动模型可以在特殊的人体行为研究中 作为先验知识，起到关键的指导作用。 从处理流程上划分，人的行为分析可以分为底层视觉模块、中层视觉模块、 高层视觉模块。本文将按照这个整体的处理流程，介绍其中涉及到的相关技术。 不同应用场所的行为分析有不同的技术步骤，并不是所有的行为理解系统都包 括上面的三个层次，但是从整体来说，仍然可以在这个整体的技术框架下描述。 4 第1 章绪论 图l - 1 行为理解的一般性框架 1 3 1 运动检测 运动目标检测是目标识别、跟踪和行为理解等后续工作的重要基础。运动 目标检测的成功与否直接关系到整个系统的性能，但是开发出适应所有的场合 的检测算法也是非常困难的。当前运动目标检测方法有光流法( o p t i c a lf l o w ) 、时 间差分法( t e m p o r a ld i f f e r e n c e ) 和背景减除法( b a c k g r o u n ds u b t r a c t i o n ) 。 ( 1 ) 光流法【2 7 2 8 】 基于光流方法的运动检测，是利用运动物体随时间变化在图像中表现为速 度场的特性，根据一定的约束条件估算出运动所对应的光流。光流的概念是仿 照流体动力学产生的，它是与图像的光强度变化紧密联系在一起的二维速度场， 是三维空间运动物体的被观测表面的像素点运动的瞬时速度场。光流中既包括 目标的运动信息，同时也记录了目标的结构信息。 总的来说，光流法的优势在于在无需预先知道场景的任何信息的情况下， 能检测出独立的运动目标。无论是由运动目标还是摄像机引起的运动，都可以 检测出来。但是它易受噪声、遮挡、阴影、光源等因素的影响，使得计算出的 光流场分布的可靠性和精确性降低，而且光流计算方法需要多次的迭代运算， 复杂的运算导致时间消耗比较大，没有特殊的硬件支持下速度缓慢。当只是需 要从静止背景下提取运动目标时，性价比不高，所以很少采用光流场方法进行 运动检测。 ( 2 ) 时间差分法【2 9 】 时间差分法的基本思路：利用连续的图像序列前后几个相邻图像之间，基 于像素的时间差分并且阈值化来提取出图像中的运动区域。时间差分法本质上 是背景减除法，它的背景参考图像是当前帧或前某帧。当计算相邻两帧的差分 时，时间差分法又叫做帧间差分法( f r a m ed i f f e r e n c e ) 。在帧间差分法中，可以 选择计算连续两帧的差分，也可以计算三帧的差分。 时间差分法对于动态环境具有较强的适应性，无需获得背景图像，但在目 l i j 尔大学硕十学位论文 标运动比较缓慢时，差分后的运动目标区域容易产生“空洞”，从而不能提取所 有相关的特征象素点。一种改进的方法是利用三帧差分代替，或者使用自适应 背景获取法与三帧差分相结合的混合算法，或采用后处理的方法如形态滤波、 区域连通或参数模型的方法提取完整的运动目标信息。 ( 3 ) 背景减除法【3 0 】 背景减除法是利用当前图像与背景图像的差分来检测运动目标的技术。基 本原理是将当前帧中的像素与背景模型中对应位置的像素做差，将差值较大的 像素标为前景像素，所有的前景像素构成了运动目标。 背景减除法是当前检测运动目标最常用的方法。背景模型的建立和更新成 为了背景减除算法的核心问题。当前最简单易行的背景建模方法是时间平均法， 但它需要获取一段没有运动物体的视频来训练初始背景，有一定的局限性。目 前大部分研究人员致力于开发鲁棒的背景模型，希望能够适应多种场景下的扰 动，已有的背景模型包括单高斯背景模型【2 3 1 、混合高斯背景模型【3 1 1 以及自适应 背景模型圈等。 1 3 2 人体检测与跟踪 1 3 2 1人体检测 人体检测在监控系统智能化中起到“大脑”的作用，是监控系统是否智能 化的主要的标志之一。虽然人体检测相当重要，但是由于人体对象的颜色、纹 理的多样性，姿态的不确定性以及视觉的不确定性，研究还处于探索阶段，目 前还没有形成一种统一、成熟的理论和技术，具有实用性能的产品更是非常罕 见。国内大多数监控系统都回避了人体检测模块或只是把它当作一种辅助手段 提供给用户，相比之下，国外这方面的成果多一些，但大部分研究也不单独设 立人体检测模块，而是把它和目标跟踪一起组成专门的“人的跟踪 模块。人 体检测的方法主要有： 1 己知背景模型特征情况下进行的人体检测。在己知背景模型下对运动目 标检测，利用形状、运动信息分类出人体。例如，v s a m 3 3 】采用区域的分散度、 面积、宽高比等作为特征，利用三层神经网络方法将运动目标划分为人、人群、 车和背景干扰；c u t l e r 与d a v i s l 3 4 1 利用人体运动具有周期性特征，通过跟踪感兴 趣的运动目标，计算出目标随着时间变化的自相关性，而人的周期性运动使得 6 第1 章绪论 其自相关性也是周期性的，因此通过时频化的方法分析目标是否存在周期性的 运动特性，将人检测出来。对于已知背景模型的人体检测问题，国内外的研究 重点主要是怎么样应对光照变化以及人体重叠时的检测问题。 2 利用统计学习的方法对人体进行检测。p o g g i o 3 5 1 教授将人体分为头、左 臂、右臂、腿等不同的部分，然后通过大量的图片作为训练样本，利用s v m 的 方法对不同的样本进行学习，分别建立头、左臂、右臂、腿四个不同的分类器， 然后运用这些统计分类器构建一个联合的s v m 分类器。应用在人体姿态比较固 定( 都是正立姿态) 情况下，能够得到较好的检测结果。 3 利用人体模型进行匹配的检测方法是另外一种国际上较为流行的人体 检测方法。由于基于统计学习的方法对于姿态各异的人体不能进行很好的检测， 很多研究者基于这个缺点，提出了另外一种基于模型的人体检测方法。其本质 在于为人体建立一个模型将人体看作是各个不同模块组成的部分，然后再 利用算法将人体匹配到模型上，匹配得最好的结果，就是人体的最终检测结果 3 6 1 。这种方法由于匹配算法过于复杂，在复杂背景下难以达到很好的检测效果， 一般用于3 d 动画、体育运动视频分析中。 针对需要实时处理的任务要求，必须降低算法的复杂度。鉴于此，本文认 为，充分利用运动检测提取出来的二值图像中的目标区域的物理属性及其运动 属性，能够大大降低人体识别的运算代价。 1 3 2 2运动人体跟踪 跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等 有关特征的对应匹配问题，常用的数学工具有卡尔曼滤波 3 7 1 ( k a l m a nf i l t e r i n g ) ， 均值漂移算法【3 引( m e a ns h i f t ) ，粒子滤波算法也称为蒙特卡洛方法( s e q u e n t i a l m o n t ec a r l om e t h o d s ) 3 9 ，4 川等。本文依据不同的跟踪方法来加以分类介绍。 一、基于模型的跟踪 基于模型的人体运动跟踪方法【4 1 1 ，首先根据应用的需要建立人体形状模型， 然后在人体运动的跟踪过程中，将模型投影到图像空间中，通过某种评价方法 或函数，计算模型与实际图像数据间的相似度。在模型的参数空间中，寻找参 数使得模型与实际图像数据相吻合，当相似度满足某种标准后停止寻找过程， 就可以获得人体运动姿态的参数。该过程实际上是一个合成、比较的循环过程。 包括模型的选取和基于模型的跟踪两个步骤。 7 山东人学硕十学位论文 二、基于特征的跟踪 基于特征的跟踪包括特征的选取和特征的对应两个过程。首先定义特征， 然后在连续帧间匹配特征完成跟踪。常用特征点包括点、角点、边缘、线、块 以及更为复杂的结构特征。简单的特征易于提取和判别，但不利于跟踪，复杂 的特征提取较为困难，但易于定位与跟踪，随着应用领域的不同所选的特征往 往不同。p o l a n a 与n e l s o n 的文章就是一个很好的点特征跟踪的例子【4 2 1 ，文中将 每个行人用一个矩形框封闭起来，封闭框的质心被选择作为跟踪的特征，用以 代表人体的位置，前一帧的质心位置被用于估计下一帧中人体质心的位置。在 跟踪过程中若两人出现相互遮挡时，只要质心的速度能被区分开来，跟踪仍能 被成功地执行。该方法的优点是实现简单，并能利用人体运动来解决遮挡问题， 但是它仅仅考虑了平移运动，如果结合纹理、彩色及形状等特征可能会进一步 提高跟踪的鲁棒性。 三、基于区域的跟踪 基于区域的跟踪方法目前已有较多的应用，例如w r e n 等利用小区域特征 进行室内单人的跟踪。文中将人体看作由头、躯干、四肢等身体部分所对应的 小区域块所组成，利用高斯分布建立人体和场景的模型，属于人体的像素被规 划于不同的身体部分，通过跟踪各个小区域块来完成整个人的跟踪。基于区域 跟踪的难点是处理运动目标的影子和遮挡，这或许可利用彩色信息以及阴影区 域缺乏纹理的性质来加以解决。 四、基于活动轮廓的跟踪 基于活动轮廓的跟踪是利用封闭的曲线轮廓来表达运动目标1 4 3 1 ，且该轮廓 能够自动连续地更新。相对于基于区域的跟踪方法，轮廓表达有减少计算复杂 度的优点，如果开始能够合理地分开每个运动目标并实现轮廓初始化，即使在 有部分遮挡存在的情况下也能连续地进行跟踪，然而初始化通常是很困难的。 1 3 3行为理解 行为理解( 也称为行为识别) 属于机器视觉中的高层处理阶段，直接面向 应用层次，是近年来被广泛关注的研究热点。行为理解问题可以简单地看作是 时变特征数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序 列进行匹配，其关键问题是如何从学习样本中获取参考行为序列以及如何度量 8 第1 章绪论 参考序列与测试序列之间的相似性。人体行为理解主要使用模板匹配法和状态 空间法。 一、模板匹配方法 模板匹配方法先将图像序列转换为一组静态形状模式，然后从给定的序列 图像中提取相关特征，并和预先存储的行为模式进行比较。例如b o b i c k 与 d a v i s 4 4 】采用运动能量图像m e i ( m o t i o ne n e r g yi m a g e s ) 和运动历史图像m h i ( m o t i o nh i s t o r yi m a g e s ) 来解释图像序列中人的运动。序列中的运动图像首先经 差分运算并二值化，然后这些包含运动区域的二值化运动图像随着时间累加形 成m e i ，最后m e i 增强为m h i ，m h i 中每个像素的值与该位置的持续运动时 间成比例。每个行为由不同视角下图像序列的m e i 和m h i 所组成，从m h i 图 像中可以提取出基于矩的行为特征，采用马氏距离度量测试序列与模板之间的 相似性。其优点是计算代价低，但对运动持续时间的变化和噪声比较敏感。 二、基于状态空间的运动识别 状态空间法把每一种静态姿势定义为一种状态【4 5 1 ，这些状态通过概率联系 起来，由静态姿势所组成的任何运动序列可以看成是这些不同状态之间的一次 遍历过程，在遍历过程中计算联合概率并将最大值作为行为分类的标准。目前， 状态空间模型已经被广泛地应用于时间序列的预测、估计和检测，最有代表性 的是h m m s 4 6 1 。状态空间方法虽然能克服模板匹配的缺点，但通常涉及到复杂 的迭代运算。 近年来，采用状态空间法开展人体行为识别的研究较多，但是越来越多的 研究者把目光投向了使用自然语言对人体的静态姿势定义，通过事件语义方式 识别行为。该方法通过合成简单事件来自然地表达客观世界中具有复杂时空关 系的一般事件，根据运动物体的属性直接定义原子事件，具有连续性的一系列 原子事件形成了一个事件线程，定义为单线程组合事件。具有时间、空间以及 逻辑关系的一系列事件组合成为多线程事件。采用这种方法建立起一个透明的 层次事件结构，这种层次化的事件结构表达方式形成了事件的自然语言描述。 比如k o j i m a 等m 7 1 提出了一种新的方法，用于产生实时视频图像中人的行为的自 然语言描述：首先，从每帧图像中提取出代表整个人体的头部区域，并利用基 于模型的方法，估计其三维姿势和位置。然后，这些参数轨迹被分解为单一运 动的基元，评估每个基元的诸如姿势和位置的变化度、与环境中其它一些目标 9 山东人学硕十学位论文 的相对距离等概念特征，并且选择最合适的词语和其它语义元素。最后，利用 机器翻译技术，产生人行为描述的自然语言文本。 1 3 4 行为理解的难点 尽管近年来利用机器学习工具构建人行为的统计模型、理解人行为的研究 有了一定的进展，但由于动态场景中运动的快速分割、宽松的着装、遮挡、阴 影和光照变化、运动的非刚性和高自由度、行为发生的场景和人运动的模糊性， 例如不同的运动场景，不同的运动形式等因素的影响，使得行为理解成为一个 复杂且极具挑战性的任务。相对于检测、跟踪等技术的显著发展，行为理解的 研究进展比较缓慢。目前行为理解的研究仍处于初级阶段，仍然集中在人体标 准姿势 4 8 , 4 9 , 5 0 , 5 1 , 5 2 】、简单行为的识别与理解5 3 , 5 4 】。从另一个角度看，由于行为理 解广泛的应用前景，在不久的将来，行为理解技术将深入到我们生活的各个领 域，极大地提高我们的生活水平。 1 4智能空间技术 家庭服务机器人自身的感知和计算能力有限，难以实时的完成家庭环境下 行为理解任务，借助智能空间技术则能够使得家庭服务机器人的感知能力和计 算能力得到了极大的外延。1 9 9 6 年日本东京大学的h a s h i m o t o 实验室率先提出 了“智能空间”的概念，它将p c 机、c c d ( c h a r g ec o u p l e dd e v i c e ) 摄像机、麦 克风、显示器等设备通过网络连接到一块，构建出了智能空间【5 引。 智能空间的建立主要是通过在室内环境安放传感器、服务p c 机、可触摸显 示器、网络系统以及数据库等软硬件设施，使普通的室内环境具备观测能力并 能够为服务机器人下达命令，使机器人准确进行导航、定位工作，同时完成抓 取、运送等各种家政服务冈。在智能空间的支持下，服务机器人能在未知或半 未知的动态环境中，自主的连续长时间稳定的进行家政服务工作，同时能够完 成对需要服务的用户进行监护和交流及时为其提供所需的服务。 目前国际上对智能空间的研究开展的相当广泛，如麻省理工学院人工智能 实验室( m i ta il a b ) 的i n t e l l i g e n tr o o m 、斯坦福( s t a n f o r d ) 大学的i n t e r a c t i v e w o r k s p a c e 等。智能空间思想应用广泛，但根据目前的资料表明，服务机器人的 研究过程少有采用智能空间技术，因此本文提出将智能空间思想应用于服务机 器人系统【5 6 1 ，研究在智能空间平台的支持下，识别人的行为，引导服务机器人 l o 第1 苹绪论 完成服务任务，同时通过观察人的行为使得机器人获得更多的环境的信息。 1 5本文主要研究工作 本文针对家庭环境中的人的行为理解问题进行了研究，家庭环境下行为理 解问题被定义为“利用计算机视觉技术结合智能空间信息系统的数据库、知识 库对人的行为和意图进行分析。本文所做的工作及研究成果如下： 1 ) 阐述行为理解的一般性框架，分析行为理解过程中涉及的技术。介绍 了本文的实验平台，并提出了适用于本文的家庭监护系统的行为理解 方案。 2 _ ) 运动人体检测是行为理解初级阶段需要解决的问题，对基于g m m 运 动检测算法进行改进，在背景初始化阶段采用动态学习率，提高了背 景模型的准确性。在背景更新阶段提出基于区域的背景更新策略，利 用人体检测的结果指导背景重建，使得复杂形式的人体运动不被背景 吸收。针对复杂环境人体检测的断裂、孔洞的影响，提出将基于g m m 的运动检测算法与边缘差分相结合的运动检测算法。 3 ) 提出复杂环境下基于特征融合的日常动作、突发异常( 摔倒) 检测方 法。利用人的姿态，姿态变化速率特征、人的位置变化特征表征人的 运动状态，通过合成简单的姿态事件并结合特征来表达具有复杂时空 关系的运动事件。 4 ) 提出利用智能空间信息的行为理解的框架。主要内容包括运动人体在 室内定位；提出通过建立人体在场景中和物品区域位置关系的位置关 联矩阵以及时间上的时空关联矩阵分析人的意图、理解人的行为习惯 的方法。实验表明该方法在实践中具有可行性，在意图识别、异常行 为理解方面有广泛的应用前景。 5 ) 人的行为理解利用了智能空间的信息，同时行为理解的结果也是对智 能空间信息的补充，在本文的最后一节讲述了基于观察人行为的信息 获取模式在机器人导航中的应用。 1 6 本文结构 第1 章，简介论文。介绍了论文的研究背景、研究现状，行为理解的一般 性处理流程以及涉及的相关技术。 l j i 东人学硕+ 学位论文 第2 章，给出了本文的总体技术框架，主要包括家庭助理机器人综合实验 平台的介绍和家庭环境下行为理解系统的整体设计。 第3 章，提出改进的基于g m m 背景模型的运动人体检测算法，检测家庭 环境下的运动人体。 第4 章，提出了一种基于多特征融合的动作识别方法。采用分层的运动识 别模型，简化动作识别的过程，识别系统架构便于扩展。 第5 章，提出基于智能空间的高层行为识别方法，同时，在最后一节介绍 了行为理解信息在机器人获取环境信息中的应用。 1 2 第6 章，对整个论文进行了总结，给出下一步研究内容。 第2 章系统技术框架 本文要实现的目的是家庭助理机器人为人提供智能服务，研究的重点是人 的行为的理解。本章首先介绍了“以人为中心”家庭助理机器人综合平台的搭 建，然后阐述了在此平台下的行为理解框架，最后引入了行为理解与家庭助理 机器人综合平台的信息交互，即基于行为理解的家庭助理机器人综合平台信息 获取。 2 1 家庭助理机器人综合平台 本节将讨论家庭助理机器人综合平台的系统结构设计，包括设计原则、硬 件体系结构