（模式识别与智能系统专业论文）智能服务型机器人的视觉人机交互与导航.pdf

塑墨 一 摘要 智能服务型机器人，也称为第三代机器人，泛指具有感知能力和独立判断、行动能 力，为人们日常工作和生活服务的机器人装各。“感知”和“判断”是智能服务型机器人的两 个主要特征。“感知，体现在机器人能够看懂人的姿态和表情，能听懂人的话语并与人友好 交互。“判断，表现为机器人能够根据感知到的外界信息，自主地对自己的导航行为加以推 理和判断。本文的研究重点是基于视觉信息的感知和判断主要包括“基于姿态识别的人 机交互”和“非结构场景下的移动机器人自主导航”两方面的内容，其中涉及到的问题有人 脸定位、头部姿态识别与跟踪、手势跟踪、动态手势识别、自定位、路径规划和场景学习 等。在本文中，我们以智能轮椅为平台，对这些智能服务型机器人的共性和关键问题逐一 开展了研究。 智能服务型机器人所处的环境往往是动态和非结构的场景，环境的不确定性给机器人 的感知和判断增加了难度。因此我们使用概率模型来描述场景的不确定性，把目标的检 测、跟踪和位置识别等问题转化成基于观测或观测序列的状态估计问题来处理t 这个思路 贯穿本文的所有章节。 本文工作的贡献体现在以下四个方面： 遵循a s i m o v 的机器人法则，提出智能轮椅设计应遵循的四个原则，并设计出了一台 多模态交互式智能轮椅。这个机器人平台具有硬件体系上的信息多通道性、软件体 系上的多任务性和控制模式的多类型性等特点。 深入研究了动态场景下的人脸头部姿态的识别、定位和跟踪问题。通过定义头部姿 态的状态量，使用概率推理方式对头部姿态的识别、定位和跟踪问题给出了一个统 一的解释。其中，头部姿态识别是作为系统状态的观测模型而提出的。为了提高姿 态识别对于变化光照的鲁棒性，我们提出先用碗状带通滤波器提取出较稳定的头部 姿态的表现信息，再用概率主元分析对姿态簇建模的方法实现头部姿态识别。头部 姿态的检测和跟踪表现为对系统后验概率的估计，我们采用粒子滤波的方法估计后 验概率，将头部的肤色信息、形状信息和运动信息结合到粒子的采样过程中，通过 分区采样的策略实现了实时的检测和跟踪。 提出了一种改进的粒子滤波器，并将其应用于手势的跟踪。这种粒子滤波器将粒子 的均值漂移加入到粒子滤波过程当中，在一定程度上避免了粒子滤波中的采样恶化 问题和采样枯竭问题，提高了有效粒子的数目。在实时手势跟踪的基础之上，我们 提出基于时序模板的轨迹分析方法，并用两层分类器实现了对7 种动态手势的识别。 提出“三层导航体系结构”和“基于贝叶斯滤波的序列图像直方图匹配方法”解决非结 构场景下的移动机器人导航问题。三层导航结构由拓扑层、任务层和控制层组成， 将导航中的自定位、路径规划和随机避障等操作有机地结合起来。把抽象的导航任 务逐层分解成导航行为和导航控制码，有效地实现了智能轮椅的自主导航。采用贝 第i 页 摘要 叶斯滤波理论的序列图像直方图匹配方法将导航中的上下文信息引入到位置识别 中，使智能轮椅在动态场景下的位置识别正确率得到了显著的提高。 关键词：智能服务型机器人，视觉人机交互，头部姿态的检测与估计，动态手势的跟踪与 识别，移动机器人导航，自定位，位置识别 第i i 页 基茎塑墨 _ _ _ _ 一 v i s i o n b a s e dh u m a n r o b o ti n t e r a c t i o na n d n a v i g a t i o no fi n t e l l i g e n ts e r v i c er o b o t s a u t h o r ：y u c h e n gw e i s u p e r v i s o r ：t i e n i ut a n a b s t r a c t i n t e l l i g e n ts e r v i c er o b o t s 、n a m e l yt h et h i r dg e n e r a t i o no fr o b o t s ，a r er o b o t s w h i c hs e r v ef o rd a i l yl i r e so ft h ep e o p l ea n dh a v ea b i l i t i e so f i n t e r a c t i v ep e r c e p - t i o n ，i n d e p e n d e n tj u d g m e n ta n da u t o n o m o u sn a v i g a t i o n t w oc h a r a c t e r i s t i c so f s e r v i c er o b o t s8 1 ep e r c e p t i o na n dj u d g m e n t p e r c e p t i o nm e a n st h a tr o b o t sc a n r e c o g n i z eh u m a n sg e s t u r e so re x p r e s s i o n sa n du n d e r s t a n dh u m a n sv o i c ea n d i n - t e n t i o n s o b v i o u s l yt h ep e r c e p t u a li n t e r f a c ei sa ni m p o r t a n tw a y o fh u m a n r o b o t i n t e r a c t i o n j u d g m e n tm e a n sr o b o t sc a ni n f e ra n dd e c i d et h e i rn a v i g a t i o na c - t i o n si n d e p e n d e n t l ya n da u t o n o m o u s l yb a s e do nc u r r e n te n v i r o n m e n ti n f o r m a t i o n a c q u i r e db y t h ep e r c e p t u a li n t e f f a c e t h et h e s i st a k e sah u m a n - c e n t e r e dp e r s p e c t i v e f o c u s i n go ng e s t u r eb a s e dh u m a n r o b o ti n t e r a c t i o na n da u t o n o m o u sn a v i g a - t i o nw i t h i nau n s t r u c t u r e de n v i r o n m e n t s o m ec o m m o na n de s s e n t i a ls u b t o p i c s s u c ha sh e a d p o s ee s t i m a t i o na n dt r a c k i n g 、h a n dg e s t u r et r a c k i n ga n dr e c o g n i t i o n ， s e i f - l o c a l i z a t i o nd u r i n gn a v i g a t i o na n dp a t hp l a n n i n g ，8 r ed i s c u s s e di nt h et h e s i s b a s e do nar o b o tp r o t o t y p e n a m e l yn l p r w h e e l c h a i r s e r v i c er o b o t su s u a l l yw o r ki nah i g h l yd y n a m i ca n du n s t r u c t u r e de n v i r o n - m e n t w h o s e u n c e r t a i n t i e sc h a l l e n g e t h e p e r c e p t i o n a n d j u d g m e n to f r o b o t s t h e r e - f o r e ，p r o b a b i l i s t i cm o d e l sa r eb e t t e rt od e s c r i b ee n v i r o n m e n t su n c e r t a i n t i e st h a n d e t e r m i n i s t i cm o d e l s t h ec h a r a c t e r i s t i co ft h i st h e s i si st ot r e a tp r o b l e m so fo b i e c td e t e c t i o n ，t r a c k i n ga n dr e c o g n i t i o na sp r o b l e m so fs t ：a t ee s t i m a t i o nw i t h i n p r o b a b i l i s t i cf r a m e w o r k s i nt h i s w a y , t h ei n t e l l i g e n tw h e e i c h a i rc a np e r f o r m v i s i o n b a s e dh u m a n r o b o ti n t e r a c t i o na n dn a v i g a t i o ne v e ni nt h eu n s t r u c t u r e d e n v i r o n m e n tl i k el o b b y t h en o v e l t yo ft h i st h e s i sc o m e sf r o mf o u rp o i n t s ： f o l l o w i n ga s i m o v sr u l e s ，f o u rc r i t e r i o n so fi n t e l l i g e n tw h e e l c h a i rd e s i g na r e p r o p o s e d b a s e do nt h o s ec r i t e r i o n s ta ni n t e l l i g e n tw h e e l c h a i ri sd e v e l o p e d w i t hm u l t i - m o d a li n f o r m a t i o nc h a n n e l ，p a r a l l e lt a s k si m p l e m e n t a t i o ns o f t w a r ea r c h i t e c t u r ea n dm u l t i p l ec o n t r o lm o d e s p r o b l e m so fh e a dp o s ee s t i m a t i o n ，l o c a l i z a t i o na n dt r a c k i n ga r eu n i f i e da sa m a x i m u map o s t e r i o rf m a p ) p r o b l e mo fh e a dp o s es t a t ew h i c hj sc o m p o s e d w i t hp o s i t i o ns u b s t a t ea n dp o s es u b - s t a t e w i t h i nt h ep r o b a b i l i s t i cf r a n l e - w o r k h e a dp o s ee s t i m a t i o ni sp r o p o s e da st h es y s t e r no b s e r v a t i o nm o d e l ( 1 i k e l i h o o d ) ab o w l l i k eb a n dp a s sf i l t e ri sd e s i g n e dt og e td i s c r i m i n a t i n g a p p e a r a n c ef e a t u r e so fh e a dp o s e su n d e rv a r i a b l ei l l u m i n a t i o n s t h el i k e 1 i h o o do fh e a dp o s e si sd e f i n e db ys t a t i s t i c a lm o d e l l i n go fp o s ec l u s t e r sb y 第i i i 页 英文摘要 p r o b a b i l i s t i cp r i n c i p a lc o m p o n e n ta n a l y s i s ( p p c a ) p a r t i c l ef i l t e r i su s e d t oe s t i m a t et h em a p v a l u eo fp o s es t a t ea n dm u l t i p l ec u e sf u s i o ni sr e a l i z e d b yp a r t i t i o n e dp a r t i c l es a m p l i n g 国t h em e a ns h i f te m b e d d e dp a r t i c l ef i l t e r ( m s e p f ) i sp r o p o s e df o r h a n d t r a c k i n gi nac l u t t e r e de n v i r o m n e n t c o m p a r e dw i t ht h ec o n v e n t i o n a lp a r - t i c l ef i l t e r ，m s e p fa d d sm e s x ls h i f ts t e pb e f o r ep a r t i c l ew e i g h t i n gs t e p t h e r e f o r e ，d e g e n e r a t ep r o b l e ma n ds a m p l i n gi m p o v e r i s h m e n tp r o b l e m d u r i n gp a r t i c l ef i l t e r i n gc a nb ec i r c u m v e n t e db yi n c r e a s i n g t h en u m b e ro fe f f e c t i v ep a r t i c l e s b a s e do nh a n dt r a c k i n gr e s u l t s ，ai m p r o v e dt e m p o r a lt e m p l a t e ，n a m e l yt e m p o r a lt e m p l a t eb a s e dt r a j e c t o r y ，i sp r o p o s e d t om o d e l d y n a m i ch a n dg e s t u r e sa n dat w o l a y e r c l a s s i f i e ri s d e s i g n e dt or e c o g n i z e h a n d g e s t u r e s a t h r e e q e v e ls p a t i a ls e m a n t i ch i e r a r c h y ( s s h ) i sp r o p o s e df o rt o p o l o g i c a ln a v i g a t i o nw i t h i nau n s t r u c t u r e de n v i r o n m e n t t h es s ho fi n t e l l i g e n t w h e e l c h a i ri sc o m p o s e dw i t ht o p o l o g i c a ll e v e l c a u s a ll e v e la n dc o n t r o ll e v e l s o m ei m p o r t a n to p e r a t i o n so fn a v i g a t i o n ，s u c ha sg l o b a ll o c a l i z a t i o n ，r e - l o c a l i z a t i o n ，p a t hp l a n n i n g ，o b s t a c l ea v o i d a n c ea n dm a pb u i l d i n g ，a r ec o n n e t t e ds e a _ i n l e s s l yi nt h es s ha n da b s t r a c tn a v i g a t i o ni n s t r u c t i o n sc a nb e i n t e r p r e t e di n t op r a c t i c a ln a v i g a t i o na c t i o n sl e v e l - b y - l e v e lw i t h i nt h es s h s e l f - l o c a l i z a t i o no fi n t e l l i g e n tw h e e l c h a i ri sr e a l i z e db vs e q u e n t i a lh i s t o g r a m m a t c h i n go fg l o b a la p p e a r a n c ef e a t u r e s t h ec o n t e x ti n f o r m a t i o no b t a i n e d b yb a y e s i a nf i l t e r i n gc a ni m p r o v et h ep e r f o r m a n c e o fs e l f - l o c a l i z a t i o nd u r i n g m o b i l er o b o t 8n a v i g a t i o n k e yw o r d s ：i n t e l l i g e n ts e r v i c er o b o t s ，v i s i o n - b a s e dh u m a n r o b o ti n t e r a c t i o n s ， h e a dp o s ee s t i m a t i o na n dt r a c k i n g ，d y n a m i ch a n dg e s t u r et r a c k i n ga n dr e c o g n i t i o n ，a u t o n o m o u sn a v i g a t i o no fm o b i l er o b o t s ，s e l f - l o c a l i z a t i o n ，p l a c er e c o g n i t i o n 第j v 页 独创性声明 本人声明所递交的论文是我个人在导师指导下进行的研 究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确地说明并表示了谢意。 签名：煎叠虫日期：丝竺2 ：! 关于论文使用授权的说明 本人完全了解中国科学院自动化研究所有关保留、使用 学位论文的规定，即：中国科学院自动化研究所有权保留送 交论文的复印件，允许论文被查阅和借阅；可以公布论文的 全部或部分内容， 论文。 签名：烟垒膨 ， 复制手段保存 j 塑! 丛查型垫墨垒塑塑堂垒垫壅兰兰! 垫 _ _ _ _ - _ _ - - h - _ _ _ _ - _ _ - _ _ 第一章绪论 5 1 1 研究背景、目的和意义 给机器赋予人的智能，使之更好地为人类服务，是人类自古以来的美好梦 想。早在公元前2 7 0 年，古希腊的工程i $ c t e s i b u s 发明出一种带有可动人偶的水 力驱动的钟表，这被公认为世界上第一台机器人1 1 。现代机器人的发展历史并 不长，1 9 5 6 年伟大的发明家g e o r g ed e v o l 和j o s e p he n g e l b e r g e r 在一次鸡尾酒会 上一起讨论a s i m o v 的科幻小说的时候，突发灵感，决定作一个真正的可编程控 制的工业机器人。1 9 6 1 年他们发明出世界上第一台工业机器人u n i m a t e 【2 ，正 式装备在g e n e r a lm o t o r s 公司汽车生产线上，这是现代机器人发展的里程碑。 现代机器人的诞生标志着人类对于智能机器的梦想开始变成现实，这对人 类社会来说是一场革命。现在，各种类型的机器人正逐渐进入人们的生产和生 活，对人类社会产生着日益重大的影响。近5 0 年来，机器人的发展突飞猛进， 大致经历了三个发展阶段：第一代是属于示教再现型的简单个体机器人；第二 代为具备初步感觉和协调能力的群体劳动机器人；第三代为具有感知能力和独 立判断、行动能力的智能机器人。前两类机器人的活动范围往往局限在工厂生 产线和特殊工作场合，如矿山、核反应堆、海底等。而智能机器人则更广泛地 服务于人们生产和生活的各个方面，比如办公室的助手机器人3 1 ，博物馆的导 游机器人【4 】，医院的护理机器人【5 ，用于监视和安全防卫的机器人f 6 1 ，水下 勘测机器人1 7 】，排雷除弹机器人【8 】等等。有第三代机器人之称的智能服务型 机器人( i n t e l l i g e n ts e r v i c er o b o t s ) 是当今机器人学科发展的重要方向。 智能服务型机器人泛指应用于人们日常生产和生活的各个领域，能对外界 环境进行感知，能与人类进行交互，能判断、理解人们下达的命令，并协助人 们完成任务的机器人装备。从传统的工业结构化环境到人类日常生活中的各种 复杂非结构环境，从严格地按照指令执行特定任务到通过与人交互来为人服 务，从只对特定生产设备或元器件进行检测到通过视觉、听觉等多模态感知接 口来了解未知世界，所有这些条件的改变都给智能服务型机器人的研究和开发 带来了挑战。 第1 页 第一章绪论 对智能服务型机器人的研究不能简单照搬传统机器人的设计方法和理论， 必须真正做到以“人，为中心，重点研究“智能人机交互”和“移动机器人导航”这 两个共性和关键问题。与工业机器人不同，智能服务型机器人不是执行特定生 产任务的电动机械。它的所有服务行为必须通过与人的交互来实现，“人机感知 接口”使机器人能看、能听，能融合多种通道的信息实现对外界环境的认知；也 使人能以更方便自然的方式如面部姿态、表情、手势和语音等与机器人智能交 互，将自身的知识和感受传达给机器人。工业机器人的工作环境是高度结构化 的生产场景，而智能服务型机器人的活动范围则是动态、非结构化的人们生活 环境。所以，对智能服务型机器人导航问题的研究，如避障，自定位，路径规 划等，应该重点考虑其对非结构场景的适应和学习。勿庸置疑，这两个问题如 果解决不好，将会成为制约智能服务型机器人发展的瓶颈。 本文的研究目的是为解决上述瓶颈问题作一些尝试，研究重点在于如何利 用视觉信息实现“基于姿态识别的人机交互”和“非结构场景下的移动机器人导 航”，所提出的方法要适应服务型机器人工作的动态非结构场景，具有适应性和 通用性，并且能在一个特定的机器人平台上实现具体应用。 1 2 本文的研究思路 “人机交互”和“移动机器人的导航”是机器人研究中的两个重要课题，涉及 面宽，包含问题较多，想在一篇论文中做到面面俱到是不现实的。因此，应该 选择一些有代表性问题重点展开研究。而且，对于机器人的研究必须结合一个 具体的应用平台，如果只是基于一些离线的仿真结果就做出结论，其真实性和 实用性很难有说服力。 因此，本文的研究思路是，基于个具体的机器人硬件平台一一智能轮 椅，选择几个有代表性的问题( 如人的头部姿势分析、手势分析和机器人的自 定位等) 开展研究，并最终将各个研究算法作为轮椅控制系统中的子模块加以 封装，在智能轮椅平台上得到实际应用。 本文中，我们选择机器人轮椅( r o b o t i cw h e e l c h a i r ) 作为研究平台的原因有两 点： 轮椅的使用者是老年人或残障人士。这类人群数量不少，他们退化或丧失 了一些基本的生理功能，生活空间比较狭小，很需要得到科技的关怀。据 第2 页 智能服务型机器人的视觉人机交互与导航 中国残疾人联合会统计，迄今我国肢体残障的人士有8 7 7 7 j 【9 】：而1 9 9 9 年 的调查数据显示美国共有1 5 0 - 2 0 0 万轮椅用户，美国的三大轮椅制造商平 均每周向市场投放2 1 0 0 台轮椅f 1 0 1 。目前的轮椅类型主要有电动和手动两 种，电动轮椅在操作上以操作杆( j o y s t i c k ) 主，虽然这比手动轮椅使用起 来方便，但利用操作杆控制轮椅进行导航仍然需要耗费使用者的大量精 力，这对于大多数轮椅使用者来说是种负担；而且一些残障人士有使用 操作杆的身体机能障碍，l a c h m a n n 在英国的抽样调查显示大约有7 4 使 用者只能用下额、上臂甚至是舌头等方式来使用操作杆1 1 1 ，这给使用 者造成了很大的困难。因此，有必要研究智能化的轮椅设备，这类智能 轮椅要同时具备自主导航功能( 如避障，自定位) 和人机交互功能( 如 人机对话，看懂人的姿态和表情，理解人的意图) ，能够成为使用者 生活中的好助手。机器人轮椅可以为老年人和残障人士提供更高质量的 生活，正如b o r g o l t e 在一份报告中指出的：“保守估计，在欧洲至少会有超 过2 0 0 万人将从个性化配置的智能轮椅( i n d i v i d u a l l yc o n f i g u r a b l ei n t e l l i g e n t w h e e l c h a i r ) 中受益” 1 2 。所以，我们选择智能轮椅作为实验平台开展研 究，有很强的现实意义和较好的社会效益。 智能轮椅是一种比较好的实验平台。作为一种服务于老年人和残障人士的 特种机器人，智能轮椅对于人机接口的要求很高，人机交互的表现形式不 仅仅局限在通过语音听懂使用者的命令并报告当前的位置，而且还需要通 过视觉来观察使用者的当前状态和所处的外界环境状况。视觉信号包含着 丰富的信息量，在智能轮椅的人机交互和导航这两方面都起着重要的作 用。另一方面，由于轮椅机器人的底层控制结构相对简单( 只需控制两台 直流电机) ，可以使研究者更多地把精力集中在基于视觉的人机交互和导 航算法上。所以，机器人领域的很多研究者都将其作为较理想的实验平 台，开展一些共性与关键技术的研究。 本文中，我们选择的研究问题的核心是如何利用视觉信息实现人机交互与 导航。 在人机交互方面，我们讨论了对智能轮椅进行头部姿态控制和手势控 制两个问题。其中包含的子问题有多姿态人脸定位f m u l t i _ v i e wf a e el o c a l i z a - t i o n ) 、人脸姿态评估( p o s ee s t i m a t i o n ) 、手势跟踪( h a n dt r a c k i n g ) ，动态手势 第3 页 第一章绪论 $ 只别( h a n dg e s t u r er e c o g n i t i o n ) 窜j ；。这些问题，有些固然已是人机交互( h c i ， h u m a n - c o m p u t e ri n t e r a c t i o n ) 领域的成熟问题，但是常规的算法往往限定了使用 环境，如固定室内光照，固定人机位置和固定背景等。在智能轮椅的运动过程 中，光照和背景都在随时变化，外界的随机干扰比较严重，这给基于视觉的人 机交互带来了挑战。而且，智能轮椅在运动中不仅要处理人机交互问题，还要 完成自定位和避障等其他操作，所以人机交互算法同时还要满足实时性和低耗 性。在本文中，我们将对适应这种非确定性场景的快速人机交互算法展开研 究。 在移动机器人导航方面，目前最成功的应用是基于超声波和红外传感器 的自定位和避障，视觉信息的应用往往局限于在结构化场景下，对于直线和 拐点的提取或者对特定路标( 1 a n d m a r k ) 的识别等。然而，这些导航方法对于 非结构的动态场景，如人来人往的大厅，博物馆等，往往无能为力。在本文 中，我们将重点讨论如何通过分析图像信息解决非结构环境下的机器人自定 位( s e l f - l o c a l i z a t i o n l 问题，并结合其他通道信息，如超声波、红外和语音，完成 交互式的移动机器人导航。 5 1 3 本文的主要内容与结构 第章是绪论。从机器人发展历程的角度简要地介绍了智能服务型机器人 的研究背景和意义，阐述了本文的研究思路，说明了选择智能轮椅平台的原 因，并讨论了在“人机交互”和“移动机器人导航”这两个方面中的一些重点研究 问题。同时，本章给出了论文的主要研究内容和整体结构。 第二章是对研究现状的概述。首先介绍了国际上在机器人轮椅方面的发展 现状，接着从技术角度对基于视觉的人机交互和导航这两方面的研究现状作了 比较全面的概述，并讨论了当前研究的热点和难点问题。 第三章介绍了机器人轮椅的体系结构设计，包括硬件平台、软件系统和控 制模式三方面内容。轮椅的总体设计符合a s i m o v 的机器人三法则f 1 3 1 ，体现了 以“人”为中心的设计原则；软件系统的设计采用了多线程、模块化和层次化的 理念，可以保证同时接收多通道的信息和并行执行底层和高层的任务；智能轮 椅的控制模式有三种，分别是交互导航模式、外部控制模式和自主导航模式。 第4 页 智能服务型机器人的视觉人机交互与导航 第四章讨论了交互导航模式中涉及到的头部姿态识别、定位和跟踪问题。 为了处理动态场景下的观测不确定性，本章提出了一种同时解决识别、定位和 跟踪问题的概率化方法，将这三个问题转化成统一概率框架下的状态估计问题 来处理。其中，头部姿态识别是作为系统观测模型的组成部分而提出的。为了 提高姿态识别算法对于变化光照的鲁棒性，本章设计了碗状带通滤波器对头部 姿态图像进行滤波以获取较为稳定的特征，并用概率主元分析的方法实现了对 于给定状态的头部姿态评估。头部姿态的检测和跟踪被看成是己知当前的观测 图像或图像序列，对系统状态的最大后验概率进行估计的问题。本章中的状态 估计采用了粒子滤波的方法实现，并将头部的肤色信息、形状信息、表现信息 和运动信息融合到粒子的采样和评估过程中，通过分区采样的镱略用较少的粒 子实现了实时的头部姿态检测和跟踪。实验证明，本章提出的头部检测和跟踪 算法对于光线变化，嘈杂场景和遮挡等情况都能保持有效，在实际的人机交互 中得到了较好的应用。 第五章讨论了外部控制模式中涉及到的动态手势跟踪和识别问题，这是视 觉人机交互中的另一个重要内容。手势跟踪是实现用手势控制智能轮椅的前 提，本章提出的结合均值漂移的粒子滤波方法可以用较少的状态粒子实现对人 手运动的跟踪，兼具实时性和鲁棒性。对于动态手势识别，本章没有采用直接 分析时空轨迹分析的方法而是利用时序模板的概念，将从运动序列中跟踪到 的手势轨迹压缩成单帧的时序模板轨迹，并设计了两层分类器实现了对7 种动态 手势的识别。这种方法具有速度快、可分性好等特点，在实际应用中的效率较 高。 第六章比较系统地介绍了智能轮椅的自主导航模式的实现。智能轮椅的导 航结构分为拓扑层、行为层和控制层，这种三层结构将导航中的自定位、避障 和路径规划等子问题有机地结合起来，把抽象的导航任务逐层分解成具体的导 航行为，最终生成导航控制码实现智能轮椅的导航。导航系统中的核心内容 是“自定位”操作，本章重点讨论了如何在非结构的动态场景下实现基于图像表 现的位置识别问题。为了解决位置识别中经常出现的“感知混淆，问题，本章提 出了一种利用序列图像直方图匹配实现位置识别的方案，并采用贝叶斯滤波理 论对这种序列图像匹配方法的给出了概率化的解释。由于导航中的上下文信息 的引入，智能轮椅在不确定场景下的位置识别正确率得到了显著的提高。 第5 页 第一章绪论 第七章是结束语，总结了本文的工作并对今后的发展方向进行了展望。 第6 页 智堂壁查型垫墨竺塑堂塑窒皇量呈堕 一 第二章研究现状概述 墨2 1 引言 自1 9 9 0 年j o s e p he n g e l b e r g e r l 正式推出”护士助手”以来，各种智能服务型机 器人相继出现，活跃在医疗、康复、教育、娱乐、办公、安防、营救、勘探、 收割、清洁等各个方面 1 4 卜其中，智能轮椅作为一种典型的智能服务型机器 人，在医疗康复方面扮演着重要的角色。本章将首先介绍智能服务型机器入的 典型平台一一智能轮椅的发展现状，然后依次对“基于视觉的人机交互”和“移动 机器人导航”这两方面的研究现状做出概述，对其中涉及到的各种方法加以分 类并简析它们的特点。 2 ，2 智能服务型机器人的典型平台一一智能轮椅的研 究现状 出于对社会老龄化的考虑，以及对残障人士生活的关怀，从上个世纪9 0 年 代以来，西方各国相继资助了大量项目研制智能轮椅 1 5 1 6 lf 17 。早期的研 究工作出现在i b mt j w a t s o nr e s e a r c hc e n t e r ，c o n n e l l 和v i o l a 藁f 座椅放在一 个移动机器人平台上，利用操作杆、超声和红外传感器实现了机器人的行走和 避障等导航功能，这种按照骑马式理念( h o r s e b a c kr i d i n ga n a l o g y ) 设计出的机器 人可以说是智能轮椅的雏形 1 8 1 0 有关轮椅人机接口的早期研究是j a f f e 等负责 的s m a r tw h e e l c h a i r 项目【1 9 】 他们利用两个超声波传感器来测定人的头部运动 位置，并以此实现了利用头部姿势控制轮椅的运动。 经过十几年的发展，有关智能轮椅的研究逐渐体系化、成熟化和标准化。 有些项目专门研究智能轮椅的体系结构及配套设施。比如，欧盟联合研究项 目t i d e ( t e c h n o l o g yi n i t i a t i v ef o rd i s a b l e da n de l d e r l yp e o p l e ) 中有一项荷兰 1 有“现代机器人之父”美誉1 9 8 5 年放弃对工业机器人的研究转而研究智能服务型机器 人。 第7 页 第二章研究现状概述 承担的m 3 s ( m u l t i p l em a s t e ra n dm u l t i p l es l a v e ) 计划 2 0 】，重点研究智能轮 椅等康复机器人的总体硬件系统、总线标准与接口协议等。另一项由德国、 英国和意大利承担的o m n t ( o f f i c ew h e e l c h a i rw i t hh i g hm a n o e u v r a b i l i t ya n d n a v i g a t i o n a li n t e l l i g e n c ef o rp e o p l ew i t hs e v e r eh a n d i c a p ) 【2 1 ，主要研究基于 万向轮( o m n i d i r e c t i o n a lw h e e l ) 平台的轮椅，这种轮椅可以做到咀中心点为轴旋 转，适合在狭小空间活动。类似的研究还有w a d as e i a s a d a 设计的四球轮结构的 万向轮椅底盘f 2 2 卜荷兰的e x a c td y n a m i c s 公司专门研究智能轮椅的配套设施 一一6 + 2 自由度电动手臂，通过这个手臂，智能轮椅可以完成从地上拾物、向 杯中倒水及开冰箱取物等一系列操作【2 3 】。如今，m a n u s 手臂已被成功的应用 于各种轮椅平台中，如德国b r e m e n 大学的f r i e n d 系统1 2 4 。 有些项目重点研究轮椅的控制与导航。这些项目将智能轮椅作为一种移动 机器人平台来研究导航问题。比如，由a r i z o n as t a t eu n i v e r s i t y 的m a d a r a s z 设计 的机器人轮椅2 5 1 ，这种轮椅按照全自动导航方式设计，能够根据预制的场景 地图将使用者运送到目的地，采用超声波传感器阵列实现避障，并利用视觉传 感器检测走廊中的竖线和拐点，实现自定位功能。美国k i s si n s t i t u t e 设计的机 器人轮椅t i n m a ni i 贝1 采用半自动导航方式f 2 6 1 ，轮椅可以利用超声波、红外等 装置完成底层的避障操作，协助使用者完成导航任务。m i t 的y a n c o 在t i n m a n i i 的基础上，进一步设计了图形化的人机界面和室内、室外的导航算 法，构造了一种n q w h e e l e s l e y 的轮椅 2 7 1 。n a v c h a i r 【2 8 】是u n i v e r s i t yo fm i c h i o g a n 的l e v i n e 等设计的一种基于超声波传感器的全自动导航轮椅，可以完 成避障、过门和顺墙行走等功能，并且可以根据所处的位置自动选择 导航模式 2 9 】。t a o i ，i if 1 7 是a a i 公司研制系列智能轮椅，其特点是结 合红外和视觉的导航，这种轮椅可以实现室内非结构场景的随机漫游和 基于路标( 1 a n d m a r k ) 的导航。此外，在导航方面还有很多较成功的例子， 女h u n i v e r s i t yo fe d i n b u r g h 的c a l lc e n t e r ( c o m m u n i c a t i o na i d sf o rl a n g u a g e a n dl e a r n i n gc e n t r e ) 3 0 ，希腊、德国、法国的联合项目s e n a r i o ( s e n s o r a i d e d i n t e l l i g e n tw h e e l c h a i rn a v i g a t i o n ) 2 0 】，德国b r e m e n 大学的r o l l a n d 3 1 】， 美国c m u 的b o o k s t o r ef 3 2 等等。 还有些项目侧重于人机接口方面的研究。因为智能轮椅虽然属于移动机 器人范畴，但是它同时也是服务性机器人，需要具备友好的人机交互接口 供使用者操作。因此，人机感知接口是智能轮椅研究的另一个重要方向。 第8 页 塑些墨堑型垫墨垒竺望壁垫奎兰皇! 堕 一 语音识别技术被广泛地应用在轮椅的人机交互中，比如，语音控制的机器人 椅v o c o m o t i o n 3 3 ，n a v c h a i r 【2 8 】，n l p r w h e e l c b a i r 3 4 】等。基于视觉的交 互主要体现在轮椅对人的头部姿势、手势和身体行为的识别和响应上，比如 西班牙的s i a m o ( s p a n i s ha c r o n y mf o ri n t e g r a ls y s t e mf o ra s s i s t e dm o b i l i t y ) 计 划3 5 1 研制的智能轮椅，可以利用摄像头按照肤色分析的方法跟踪使用者的头 部位置，并利用跟踪的结果控制轮椅3 6 1 。日本的o s a k a 大学的智能轮椅同样 采用对人脸图像进行肤色分析的方法，实现了按照人的头部运动方向的轮椅导 航控制【3 7 】。日本的n a r a 科技大学设计的智能轮椅采用双摄像机视觉系统，利 用特征点匹配和立体视觉算法分析人的头部姿势和眼动方向，并以此来控制轮 椅 3 剐。德国的b o c h u m 大学研制的智能轮椅，可以在图像中检测并分析人的手 势，执行相应的操作f 3 9 1 。这类带有感知接1 2 1 的智能轮椅除了能够完成传统的 导航功能之外，还能看懂人的姿态，实现与人的友好交互，可以说是真正意义 上的智能轮椅。 从以上列举的有关智能轮椅的项目可以看出。智能轮椅是移动机器人和康 复服务型机器人相结合的一类特种机器人。由于智能轮椅的服务对象主要是老 年人和残障人士，我们认为，对于智能轮椅的研究，必须做到以“人”为本，将 基于视觉的人机感知接口( v i s i o n - b a s e dh u m a n - r o b o tp e r c e p t u a li n t e r f a c e ) 作为研 究的重点，其中包括对人脸姿势和对动态手势的分析两部分内容。在智能轮椅 导航