（生物医学工程专业论文）基于表面肌电信号的人体动作识别与交互.pdf

摘要 手词和1 6 种情景对话例句展开了分类识别研究，并实现了采用1 8 类手势动作对 虚拟魔方进行控制的实时手势交互系统。 3 基于s e m g 的肩颈部动作识别研究。头肩颈部动作在自然和谐的人机交 互中可作为辅助的交互手段。利用从背部、肩部和颈部等相关肌群检测到的多通 道s e m g ，对7 类肩颈部动作进行了分类识别研究，探索其用于交互的可行性与 有效性。同时，在手势实时识别与交互系统基础上进行了相应改进，实现了基于 s e m g 的肩颈部动作实时识别系统。 4 融入肌电信息的个人导航研究。步行者正常行走时，左右两腿交替迈步， 相应腓肠肌轮流收缩施力完成身体前向运动。从腓肠肌表面采集的s e m g 信号 强度随步行时腿部用力大小表现出显著的节律性。针对这一运动生理学特点，本 文提出了一种基于s e m g 的步行者运动分析技术，并与数字罗盘相结合，实现 了一种新型的步行者航位推算( p d r ) 方法。该方法采用叠加窗分帧技术、样本 熵特征提取对双腿腓肠肌s e m g 信号进行处理，用h m分类器对步行者正常 步行还是站立动作进行分类，由正常步行的s e m g 信号检测迈步周期和估计步 长，结合航向信息即得到步行者的位置和航迹。在此基础上进一步结合g p s 接 收机，验证了该方法实现个人室内外无缝导航的有效性。 本论文的研究得到国家8 6 3 高科技研究发展计划“基于肌电传感器和加速计 的手势交互设备研究”( 2 0 0 9 a a 0 1 2 3 2 2 ) 、国家自然科学基金项目“基于表面肌 电的中国手语手势识别研究 ( 6 0 7 0 3 0 6 9 ) 、n o k i a 赫尔辛基( 1 - i e l s i n k i ) 研究中心 及北京研究院合作项目和中国科学技术大学研究生创新基金的资助。 关键词：表面肌电信号模式识别手势识别人机交互手语识别 步行者航位推算 n a b s t r a c t ab s t r a c t a sc o m p u t i n gd e v i c e sh a v eb e c o m ei n v o l v e di n t oa l l a s p e c t so fh u m a nl i v i n g e n v i r o n m e n t ，t h er e a lw o r l d , d i g i t a lw o r l da n dt h ep e o p l ew h oc o n s t i t u t et h em a i n b o d yo ft h ew o r l da r eo r g a n i z e da s 觚i n t e g r a t e dw h o l e t h ed e m a n do fs e a m l e s s c o m m u n i c a t i o na n dl i b e r a t e di n t e r a c t i o nb e t w e e np e o p l ea n dt h ee n v i r o n m e n t p r o m o t e st h eh u m a nb e d yg e s t u r er e c o g n i t i o nt ob e c o m et h eh o ts p o to ft h er e s e a r c h o nf u t u r em u l t i - c h a n n e la n dm u l t i m o d a lh u m a n - c o m p u t e ri n t e r a c t i o n ( h c i ) h u m a n b o d yg e s t u r er e c o g n i t i o ni sk n o w na 8t h ep r o c e s st h a tt h ec o m p u t e ra u t o m a t i c a l l y c a p t u r e ，a n a l y z ea n du n d e r s t a n dt h ev a r i o u st y p e so fg e s t u r e sa n dh u m a nb e h a v i o r s ， s u c h8 8 f i n g e r s ，w r i s t s ，a l m s ，h e a d ，f a c ea n db e d yp o s t u r eo rg e s t u r ep a t t e r n s ，t o d e t e r m i n ep e o p l e si n t e n t i o n sa n dp r o v i d et h ec o r r e s p o n d i n gs e r v i c e s a r b i t r a r yb e d ym o v e m e n t sa r ec o m p l e t e db yg r o u p so fm u s c l e sw h i c ha r e c o o r d i n a t e da n dw o r kc l o s e l yt o g e t h e ru n d e rt h ec o n t r o lo ft h en e r v o u ss y s t e m t h e e l e c t r o m y o g r a p h i c ( e m g ) s i g n a lc a u s e db ym u s c u l a ra c t i v i t i e si sr e g a r d e da 8o n e k i n do fi m p o r t a n tb i o e l e c t r i os i g n a l s a t t a c h e do nt h es u r f a c eo fs k i na b o v er e l e v a n t m u s c l e s ，s u r f a c ee m g ( s e m g ) s e n s o rc a nc a p t u r et h ei n f o r m a t i o no fh u m a n m u s c u l a ra c t i v i t i e s ，w h i c hn o to n l yr e f l e c tt h es t a t ea n ds t r e n g t ho ff l e x i o na n d e x t e n s i o no ft h ej o i n t s ，b u ta l s or e f l e c tt h ei n f o r m a t i o no fl i m bp o s t u r e sa n dp o s i t i o n s t h ee m g p r o c e s s i n gt e c h n o l o g i e sp r o v i d eu sw i t hi m p o r t a n to p p o r t u n i t i e st oc a p t u r e h u m a nb e d yg e s t u r e s a i m i n ga tt h er e c o g n i t i o no fh a n dg e s t u r e s ，n e c ka n ds h o u l d e rg e s t u r e sa n dl e g m o t i o n s ，t h ed i s s e r t a t i o ni n v e s t i g a t e st h ed e t e c t i o na n dr e c o g n i t i o no fv a f i o u sk i n d so f h u m a nb o d y g e s t u r e s b a s e do ns e m gs i g n a l s ，d e s i g n sr e a l t i m e g e s t u r e b a s e d i n t e r a c t i v es y s t e m s ，c o n d u c t 8ac e r t a i na m o u n to fu s e rt e s t i n ge x p e r i m e n t s ，a n d p r o v i d e ss o m ep r a c t i c a ls o l u t i o n sf o rt h en a t u r a la n dh a r m o n i o u sh c i t h er e s e a r c h w i l lp r o m o t ef u r t h e rt h ed e v e l o p m e n t , a p p l i c a t i o na n de x t e n s i o no fm u l t i m o d a l i n t e l l i g e n th c it e c h n i q u e s m o r e o v e r , t h er e s e a r c ha c h i e v e m e n t sa r eo fs u f f i c i e n t i m p o r t a n c ei nt h ef i e l d so fh u m a nb e h a v i o ru n d e r s t a n d i n g ，r e h a b i l i t a t i o nm e d i c i n e ， c o n t e x ta w a r e n e s s ，p e r v a s i v ec o m p u t i n g ，a n dn a v i g a t i o n t h em a i nw o r ka n d a c h i e v e m e n t so ft h ed i s s e r t a t i o nf o c u s e so nt h ef o l l o w i n ga s p e c t s ： 1 h a n dg e s t u r er e c o g n i t i o nb a s e do nt h em u l t i - c h a n n e ls e m gt h ep u r p o s eo f t h i ss t u d yi st or e a l i z ee f f e c t i v ea l g o r i t h m sf o rh a n dg e s t u r e b a s e dh c i o y s t e m s ，a n d i i i a b s t r a c t t op r o v i d et h e o r e t i c a lf o u n d a t i o n sf o rt h es e l e c t i o no fi n p u th a n dg e s t u r ec o m m a n d s a n ds e m gs e n s o rp l a c e m e n t s i no n ea s p e c t ，t h es e m gp r o c e s s i n ga n dr e c o g n i t i o n m e t h o d si n c l u d i n gs i g n a lm e a s u r e m e n t ，a c t i v es e g m e n t a t i o n ，f e a t u r ee x t r a c t i o na n d c l a s s i f i c a t i o na res t u d i e dt o c l a s s i f y8k i n d so fc o m m o n l yu s e dh a n dg e s t u r e s s u b s e q u e n t l y , a no p t i m i z e da l g o r i t h mi sp r o p o s e df o rr e a l - t i m ei n t e r a c t i o n a n do n t h i sb a s i s ，as e m g - b a s e dr e a l - t i m eh a n dg e s t u r er e c o g n i t i o ns y s t e mi se s t a b l i s h e d i n t h eo t h e ra s p e c t ，a c c o r d i n gt ot h ea n a t o m i c a lk n o w l e d g e ，o p t i m i z a t i o ns t u d yo nt h e d e f i n i t i o no fh a n dg e s t u r ec o m m a n d sa n ds e m gs e n s o rp l a c e m e n ti sc o n d u c t e do n t h ec l a s s i f i c a t i o no f 2 0k i n d so fh a n dg e s t u r e s i n c l u d i n gs o m es u b t l ef i n g e r m o v e m e n t s t h e r e b y , ap r a c t i c a li n t e r a c t i v es c h e m ef o rh c ia p p l i c a t i o n si sp r o p o s e d t h eu s e rt e s t i n ge x p e r i m e n t sa r ec o n d u c t e do nt h er e a l t i m eh a n d g e s t u r er e c o g n i t i o n s y s t e m i n u s e r - s p e c i f i c ，m u l t i - u s e r ，a n du s e r - i n d e p e n d e n tc l a s s i f i c a t i o n t h e e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h er o b u s tp e r f o r m a n c eo fp r o p o s e di n t e r a c t i v e s c h e m e t h ea c h i e v e m e n t so ft h i s s t u d yc a np r o v i d ei m p o r t a n tr e f e r e n c e so nt h e s e l e c t i o no fi n p u th a n dg e s t u r e sa n dt h ep l a c e m e n to fs e m gs e n s o r si na p p l i c a t i o n s o fs e m g b a s e dh c i 2 s i g nl a n g u a g er e c o g n i t i o nb a s e do nt h ei n f o r m a t i o nf u s i o no fa c c e l e r a t i o n ( a c c ) a n ds e m gt h ea i mo ft h i ss t u d yi st oi n v e s t i g a t et h eh a n dg e s t u r er e c o g n i t i o n t e c h n i q u eb a s e do nt h ei n f o r m a t i o nf u s i o no fm u l t i p l es e n s o r s a c c b a s e dm e t h o d s a r ec a p a b l eo fd i s t i n g u i s h i n gl a r g e rs c a l eg e s t u r e sw i t hd i f f e r e n th a n dt r a j e c t o r i e so f f o r e a r mm o v e m e n t ，w h e r e a ss e m g - b a s e dr e c o g n i t i o n s y s t e m s a r e c a p a b l eo f d i s t i n g u i s h i n gs u b t l eg e s t u r e sw i t hd i f f e r e n tm u s c u l a ra c t i v i t i e s ，s u c ha ss u b t l ef i n g e r o rw r i s tm o v e m e n t s c o n s i d e r i n gt h ec o m p l e m e n t a r yc h a r a c t e r i s t i c so fa c c a n d s e m g - b a s e dm e a s u r e m e n t s ，af r a m e w o r kf o rh a n dg e s t u r er e c o g n i t i o nb a s e do nt h e i n f o r m a t i o nf u s i o no fa3 - a x i sa c ca n dm u l t i c h a n n e ls e m gi s p r e s e n t e d t h e f r a m e w o r ku t i l i z e sm u l t i - s t r e a mh m ma n dd e c i s i o nt r e ef o ri n f o r m a t i o nf u s i o no fm e t w oh e t e r o g e n e o u ss e n s o r s b a s e do nt h ef r a m e w o r k , t h ec l a s s i f i c a t i o no f3 0k i n d so f c h i n e s es i g nl a n g u a g e ( c s l ) w o r d sa n d16c s l d i a l o gs e n t e n c e si si m p l e m e n t e d f u r t h e r m o r e ，ap r o m i s i n gr e a l t i m ei n t e r a c t i v es y s t e mi sb u i l tf o rt h ec o n t r o lo fv i r t u a l r u b i k sc u b eg a m eu s i n g18k i n d so f h a n d g e s t u r e s 3 n e c ka n ds h o u l d e rg e s t u r er e c o g n i t i o nb a s e do ns e m gs e n s o l l s n e c ka n d s h o u l d e r g e s t u r e sc a nb er e g a r d e da sas u p p l e m e n t a r ym e a no fn a t u r a la n d h a r m o n i o u sh c i t h ef e a s i b i l i t ya n dp r a c t i c a b i l i t yo fb u i l d i n g m u s c l e c o m p u t e r i n t e r f a c e s s t a r t i n gf r o ms e m g - b a s e dn e c ka n ds h o u l d e rg e s t u r er e c o g n i t i o ni s i v i n v e s t i g a t e d t h em u l t i - c h a n n e l a b s t r a c t a rem e a s u r e df r o mt h er e l e v a n tb a c k , s h o u l d e ra n dn e c km u s c l e st oc l a s s i f y7k i n d so fn o o ka n ds h o u l d e rg e s t u r e s t h e n ，a r e a l t i m es e m g - b a s e dn e c ka n ds h o u l d e rg e s t u r er e c o g n i t i o na n di n t e r a c t i o ns y s t e m i se s t a b l i s h e db yt h ei m p r o v e m e n to fr e a l - t i m eh a n dg e s t u r er e c o g n i t i o ns y s t e m 4 p e r s o n a ln a v i g a t i o nf u s e dw i t l is e m gi n f o r m a t i o n ，c o n s i d e r i n gt h e c h a r a c t e r i s t i c so ft h el e f ta n dr i g h tl e ga l t e r n a t e l ym a k i n ge a c hp a c ea n dc o n t r a c t i o n s o fm u s c l e sa r ec y c l i cw h e nap e d e s t r i a ni sw a l k i n g ，t h ee m g s i g n a lf r o mt h es u r f a c e s k i no ft a f t ( g a s t r o c n e m i u s ) s h o w e das i g n i f i c a n tr h y t h ma c c o r d i n gw i t hs t r e n g t ho f e v e r yp a c ee x e r t e db yl e gm u s c l e s t a k i n ga d v a n t a g eo fh u m a np h y s i o l o g i c a l c h a r a c t e r i s t i c sd u r i n gw a l k i n g ，an o v e lp e d e s t r i a nd e a dr e c k o n i n g ( p d r ) m e t h o di s p r o p o s e d 、i t ht h ef u s i o n o fs e m g - b a s e dt e c h n i q u ef o ra n a l y z i n gp e d e s t r i a n s a c t i v i t i e sa n dd i g i t a lc o m p a s sb a s e dt e c h n i q u ef o rm e a s u r i n ga z i m u t h i nt h ep d r m e t h o d ，o v e d a p p e dw i n d o w i n gs c h e m e sa n ds a m p l ee n t r o p yf e a t u r ee x t r a c t i o na r e f n s f l yu t i l i z e dt op r o c e s sg a s t r o c n e m i u ss e m gs i g n a l s ，a n dh m m c l a s s i f i e r sa g eu s e d t o c l a s s i f yp e d e s t r i a n a c t i v i t i e ss u c h1 t 8 w a l k i n g o r s t a n d i n g s t i l l t h e nt h e s e m g - b a s e ds t e pd e t e c t i o na n ds t e pl e n g t he s t i m a t i o na r ei m p l e m e n t e dd u r i n g w a l k i n g ，a n da r ec o m b i n e dw i t ht h eh e a d i n go f e a c hs t e pm e a s u r e db yd i g i t a lc o m p a s s t od e t e r m i n et h et r a c ea n dp o s i t i o no ft h ep e d e s t r i a n t h ef i e l dt e s t sd e m o n s t r a t et h a ta g p sr e c e i v e ri n t e g r a t e dw i t ho u rp r o p o s e dp d rm e t h o dh a sg r e a tp o t e n t i a lt op r o v i d e f e a s i b l ea n de f f e c t i v es o l u t i o n st os e a m l e s so u t d o o r i n d o o rp e d e s t r i a nn a v i g a t i o n t h er e s e a r c hi s s u p p o r t e db yt h en a t i o n a lh i g ht e c h n o l o g yr e s e a r c ha n d d e v e l o p m e n tp r o g r a mo fc h i n a ( t h e8 6 3p r o g r a m ) r e s e a r c ho nt h eg e s t u r ei n p u t d e v i c e sb a s e do nt h ea c c e l e r o m e t e r sa n ds u r f a c ee m gs e n s o r s ”( 2 0 0 9 a a 0 1 2 3 2 2 ) ， n a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a c h i n e s es i g nl a n g u a g er e c o g n i t i o n b a s e do ns u r f a c ee l e c t r o m y o g r a m ”( 6 0 7 0 3 0 6 9 ) ，c o o p e r a t i o np r o j e c t sw i t hn o k i a r e s e a r c hc e n t e r ( h e l s i n k i & b e i j i n g ) a n dg r a d u a t ei n n o v a t i o nf o u n d a t i o no fu s t c k e yw o r d s ：s u r f a c ee l e c t r o m y o g r a p h y , p a r e mr e c o g n i t i o n ，h a n dg e s t u r er e c o g n i t i o n h u m a n - c o m p u t e ri n t e r a c t i o n ，s i g nl a n g u a g er e c o g n i t i o n ， p e d e s t r i a nd e a dr e c k o n i n g v 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 了明确的说明。 作者签名：i 垒堂签字日期： 0 3 o o s s 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入中 国学位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内 容相一致。 保密的学位论文在解密后也遵守此规定。 回公开口保密( 年) 作者签名：主垒蛐 签字日期：玉fq ：笠： 导师签名： 签字日期： 第1 章绪论 1 1人体动作识别技术 第1 章绪论 1 1 1人体动作识别研究的内容与意义 随着智能计算技术的飞速发展，有效的人与计算机交 f f ( h u m a n c o m p u t e r i n t e r a o t i o n ，h c i ) 在日常生活中扮演了越来越重要的角色。h c i 是指人和计算机之 间进行的通信、会话过程，是一个可观察的双向信息交换过程( h a r t s o n & h i x ， 1 9 8 9 ) ，即人和计算机既向对方输出信息，又从对方接收信息。因此，人与计算 机之间存在一个相互作用的界面，称为人机界面( h u m a n c o m p u t e ri n t e r f a c e s ) 。 其中，智能的人机界面又对人向计算机传递信息的过程提出更高的要求，计算机 应当对人类的自然能力( 包括触觉、语言、笔形、姿势和情感等) 进行感知。传统 的基于键盘和鼠标的人机交互面临巨大的局限性。新颖的人机交互技术探索研究 层出不穷，其中人体动作识别技术是h c i 领域中一个具有挑战性的课题，成为 近年来被广泛关注的热点( m i t r a & a o h a r y a ，2 0 0 7 ；任海兵，2 0 0 3 ；w a n ge ta l ，2 0 0 3 ； m o e s l u n d & g r a n u m ，2 0 01 ) 。 人体动作包括一系列具有丰富含义的肢体运动，如手指、手、手臂、头、面 部或身体等姿态或运动模式，是一种表达人的行为意图或者完成人与环境的信息 传递方式。人体动作识别是指计算机自动检测、分析和理解人体各类运动和行为， 判断人的意图并提供相应服务的过程。该研究涉及到模式识别、人工智能、计算 机视觉、传感器技术等多学科领域，具有广泛的应用前景( m i t r a & a o h a r y a ，2 0 0 7 ) ， 包括：( 1 ) 多模态人机交互，使得用户以自然便利的方式操作计算机；( 2 ) 手语 识别，辅助听障者与正常入交流；( 3 ) 医疗监护，分析病人的情绪状态和运动行 为；( 4 ) 幼儿教育，使得幼儿与计算机进行交互学习；( 5 ) 远程教学与视频研讨 会；( 6 ) 体感游戏，直接获取人体动作数据用于游戏控制；( 7 ) 体育运动等方面。 1 1 2 人体动作感知方式 人体的动作不但种类繁多，还会根据不同的文化背景和生活习惯有所区分。 但大体来讲，常用的人体动作包括： 1 手语和手势动作。手是人肢体最灵活的部位，人类大量复杂的操作都是 由手来完成。聋人通过手语来传达信息进行交流，其信息表达能力与自然语言相 第1 章绪论 同，因此手语手势识别是人机交互研究中的热点也是难点。 2 头部和面部动作。点头和摇头动作是人们表达自己观点最直接最简单的 方式。眨眼和眼球运动也因为执行的隐蔽性吸引了h c i 领域研究人员的兴趣。 面部表情如吃惊、开心、沮丧、恐惧、气愤和满足等都是检测用户情绪的重要信 息来源。 3 身体动作，涉及到全身综合的运动状态，同样包括静态和动态两类：静 态如肢体摆放的姿势，如站、坐和卧等；动态多指人的运动状态，如走、跑、跳 舞，以及识别步态运动用于医疗康复和运动员训练等方面。 人体动作既包含静态信息，如人的身体姿态，肢体摆放位置和形状，又包含 动态信息，如肢体的运动变化等。其包含的信息可归纳为四种( m i t r a & a o h a r y a ， 2 0 0 7 ) ：( 1 ) 肢体所处的位置和朝向，如手摆放的位置；( 2 ) 动作变化的时序，如 肢体的运动轨迹；( 3 ) 动作所表示的形状，如手语中的手型；( 4 ) 情感表达，如 面部动作表现的情绪。为了有效捕获这些信息并用于模式识别，需要准确判定每 一个动作的开始和结束，有时候一个动作的具体含义还会受到接续动作的影响， 即上下文相关的信息表达( m i t r a & a o h a r y a ，2 0 0 7 ) 。 为了有效识别人体动作，所采用的动作感知方式应当能够检测以上所描述的 大部分信息。计算机视觉和运动测量是感知人体动作的两种主流方式( m i t r a & a o h a r y a , 2 0 0 7 ；m 触t y j l i r v ic ta l ，2 0 0 4 ) ，这两种动作感知方式对动作信息捕获的侧 重点，用户体验和适用性等方面都有各自的特点。 基于计算机视觉的技术采用视觉设备和图像处理技术持续捕获人体动作，具 有跟踪全身或局部肢体运动，并获取表情或手势等动作在摄像机视图二维平面投 影的形状信息的功能。从理论上说，基于计算机视觉的动作感知方式可以获取与 人眼相当的信息总量，在人体动作如面部表。i 青( f a s e l & l u c r i n ，j 2 0 0 3 ) 、手势动 作( m i t r a & a o h a r y a ，2 0 0 7 ) 币1 身体运动( w a n gc ta l ，2 0 0 3 ；m o e s l u n d & g r a n u m ， 2 0 0 1 ；l e e m a s e ，2 0 0 1 ) 的识别与交互中取得了成功的应用。如s t a r n e r e ta l ( 1 9 9 7 ) 和s h a n a b l e he ta l ( 2 0 0 7 ) 分别实现了基于视觉的美国手语和阿拉伯手语识别。该 技术的缺点是所获取的信息容易受到摄像机视角和复杂的背景及光照等环境因 素影响，受限于图像精度和处理技术的准确性，很难察觉精细的人体动作( 任海 兵，2 0 0 3 ) 。不仅如此，动作分割也是该技术的一大难点( m i t r a & a o h a r y a ，2 0 0 7 ) ， 第三方视角的信息捕获方式在某种程度上限制了该技术的易用性。 基于运动测量的技术通过在用户身体上安放各类传感器设备如加速计、磁力 计、陀螺仪或数据手套，测量用户执行动作时产生的物理量，如位移、角度、加 速度和角加速度等。该技术是一种“自包含的”( s e l f - c o n t a i n e d ) 动作检测技术， 测量传感器与用户合为一体，无需借助外界设备。数据手套是该技术中用于检测 2 第1 章绪论 手势动作的典型设备，它利用位置、方向和弯曲传感器等检测手指和手的运动模 式，因可有效反映手的姿态信息而具有较高的识别精度。采用数据手套成功识别 一定规模手语词汇的研究工作时有报道，具有代表性的有美国手语饵e l s & h i n t o n ， 1 9 9 3 ) 、韩国手语i m ，1 9 9 6 ) 、澳大利亚手语( k a d o u s ，1 9 9 6 ) 矛i 台湾手语( l i a n g & o u h y o u n g ，1 9 9 5 ) 。国内有中科院计算所的研究人员采用数据手套和位置跟踪器采 集手语数据实现了大词汇量的中国手语在线识别系统，可实时识别连续语句 ( f a n ge ta l ，2 0 0 4 ；王春立，2 0 0 3 ) 。尽管如此，基于数据手套的识别技术需要使用 成本高昂且笨重的数据手套作为媒介，有违手势识别作为人机交互应具有自由、 高效、便利的初衷。加速计、陀螺仪和磁力计相比数据手套是更加便携的运动测 量传感器，在手势识别与交互张e l ae ta l ，2 0 0 6 ；p y l v i n f i i n e n ，2 0 0 5 ；m l i n t y j i i r v ie ta l ， 2 0 0 4 ) 、。步态行为分析( l e e & m a s e ，2 0 0 1 ) 和摔倒检测( b o u r k ee ta l ，2 0 0 7 ；c u l h a n e ， 2 0 0 5 ) 等方面具有广泛应用。不过因单一传感器获取的信息有限，目前可识别的 人体动作种类还不是很丰富。 综上所述，不同的传感器从不同的角度感知人体动作行为信息，既具有相应 的优势与特色，也存在一定问题和局限性。由于人体是复杂的多关节变形体，其 动作具有多模式、高自由度的特点。在人体动作识别研究中不断引入新型的传感 器，并探索融合多传感器信息的识别技术是该研究发展的突破性方向之一。本文 致力于基于表面肌电信号的人体动作识别探索，以实现以人为中心、自然、和谐 和高效的人机交互方式。 1 2 基于表面肌电信号的人体动作识别技术 肌电信号( e l e o t r o m y o g r a p h y , e m g ) 是伴随肌肉活动产生的一种重要的生物 电信号，被广泛应用于临床肌肉疾病诊断、运动医学、康复工程等领域。近年来， 肌电控$ 1 j ( m y o e l e o t r i oc o n t r 0 1 ) 作为一个新颖的研究方向引起了广泛关注。肌电控 制系统通过对在相应肌群上采集到的e m g 信号对不同人体动作进行识别，用识 别结果控制外围设备( k i n n a i r d & f e r r i s ，2 0 0 9 ；o s k o e i & h u ，2 0 0 7 ) 。肢体的特定关 节运动由其对应的肌肉群控制，由相应肌群运动检测的e m g 信号不但能反映关 节的伸屈状态和伸屈强度，还能反映动作完成过程中肢体的形状、位置和运动等 信息，这就是采用e m g 信号可以识别人体动作的生理学依据。过去三十年来， e m g 在智能假肢控制中取得了成功应用( l i n d n e re ta l ，2 0 0 9 ；m i l l e re ta l ，2 0 0 8 ； h u d g i n se ta l ，1 9 9 3 ；k e l l ye ta l ，1 9 9 1 ) 。 第1 章绪论 1 2 1 肌电信号的生理学基础 人类各种肢体的动作、体内各脏器的活动都由都伴随着相应肌肉组织的收缩 与伸展。肌肉组织由特殊分化的肌细胞构成，许多肌细胞聚集在一起，被结缔组 织包围而成肌束，其间有丰富的毛细血管和纤维分布，其中肌纤维是能产生肌肉 收缩的重要功能单元。根据结构和功能特性的不同，肌肉组织可以分为三类，即 骨骼肌、心肌和平滑肌，其中，骨骼肌是人体中最多的肌肉组织，大约占人体体 重的4 0 以上，一般通过腱附于骨骼上，因此而得名。骨骼肌收缩受意志支配， 牵动骨骼围绕关节产生各种位移，完成几乎所有与人类意识相关的动作，是本文 研究中涉及的主要肌肉类型( 李强，2 0 0 8 ；汤晓芙，2 0 0 2 ) 。 1 2 1 1 神经肌肉控制系统 神经信号将大脑产生的抽象运动意识变成具体的肌肉收缩来完成人体的运 动。神经肌肉控制系统主要由大脑皮层运动区、脑干以及脊髓三个水平的神经结 构来互相传递命令。这些神经结构中都接受躯体感觉传入，通过反馈、前馈和适 应机制来实现感觉运动的整合。因而，它们之间的关系既是一种高级结构与低级 结构的等级性关系，又是一种既相对又各有分工的平行性关系。图1 1 直观的描 述了这样一种关系( m e r l e t t i & p a r k e r , 2 0 0 4 ；b a s m a j i a n & d el u e a ，1 9 8 5 ) 。 肌肉的收缩和运动 一一。 图1 1运动系统各结构之间相互关系 入 脊髓是神经肌肉控制系统中的低层结构，脊髓前角灰质中存在着大量的运动 神经元( m o t o rn e u r o n ) ，其中又以i x 运动神经元占主导作用，支配骨骼肌的梭外 肌纤维( e x t r a f u s a lm u s o l ef i b r e ) 。a 运动神经元既接受来自皮肤，肌肉和关节等外 4 第1 章绪论 周传入的信息，也接受从脑干到大脑皮层各高级神经结构下传的信息，这种信息 的变化最终以兴奋的形式经n 运动神经元的轴突传递到所支配的肌肉使其发生 收缩活动。这个过程也是由骨骼肌产生人体动