（检测技术与自动化装置专业论文）基于加速度信息的上肢动作识别及评价方法研究.pdf

摘要 摘要 随着传感技术、模式识别技术的发展，人机交互技术正由传统的“人适应计 算机”向“计算机适应人”的方向发展。虽然这种新的交互方式还没有实现真正 意义上的“以人为中心”的目标，但是在虚拟现实中早已崭露头角。新型交互方 式所应用的可以是表面肌电信息、音频信息、图像或者加速度信息的一种或者几 种，其中基于加速度信息的游戏产品获得了巨大的商业成功。 但是基于加速度信息的游戏产品的一些缺陷严重影响了玩家的兴趣，例如在 日本的“w i is p o r t s ”游戏中，玩家只简单地做抖动动作而游戏内容却显示大力 挥拍的动作；国内的乐乐健、京仕敦v i i 等游戏由于技术上的原因都无法真实地 对玩家的动作进行识别。为了解决这些问题，本文从人体运动模型出发提出新的 加速度信息获取方案，并利用获取的加速度信息对乒乓球的正抽、反抽和扣杀三 种动作进行识别，在此基础上，进一步探索上肢动作完成质量的评价方法。本文 主要创新性工作如下： l 、分析人体运动模型，提出了新的上肢信息获取方案。该方案采用两个三 维加速度传感器，分别固定位置放置在上肢的前臂和后臂上，利用加速度信息获 取系统能有效的获得上肢在运动过程中的加速度信息。 2 、针对乒乓球常见的三种动作建立具有泛化能力的支持向量机模型。主要 步骤是：将加速度信号进行预处理，提取动作的有效信号；通过归一化处理得到 6 路长度一致的加速度信号；用小波变换对信号进行特征提取；再利用蚁群算法 进行特征选择得到分类能力最强的特征向量；最后根据特征向量建立支持向量机 模型。 3 、利用主成份分析法对上肢动作质量评价进行研究，提取了两个影响动作 质量的主成份。针对6 路加速度信号提取3 9 个物理指标，对这些指标进行标准 化处理，利用公共因子的特征值和方差确定2 个主成份，通过对主成份的分析得 到最值和均值两个主成份是本系统中评价上肢动作质量的主要指标。 关键词：人机交互三维加速度传感器小波变换蚁群算法支持向量机主成份 分析上肢动作质量评价 a b s t r a c t a b s t r a c t a st h ed e v e l o p m e n to fs e n s o rt e c h n o l o g ya n dp a t t e r nr e c o g n i t i o nt e c h n o l o g y , h u m a n c o m p u t e ri n t e r a c t i o ni sn o wb e i n gd e v e l o p e df r o mt h et r a d i t i o n a lw a y w h i c h h u m a na d a p t st oc o m p u t e rt ot h ew a yw h i c hc o m p u t e ra d a p t st oh u m a n a l t h o u g ht h i s n e wi n t e r a c t i v ew a yh a s n ta c h i e v e dt h e ”p e o p l e - c e n t e r e d ”i n t e r a c t i o no fr e a ls e n s e ，i n v i r t u a lr e a l i t yi th a sa l r e a d yc u tas t r i k i n gf i g u r e t h es e n s o ra p p l i e di nt h e i n t e r a c t i o nb a s e do nt h en e wi n t e r a c t i v ew a yc o u l dc a p t u r eo n eo rs e v e r a lo f e m g ，a u d i os i g n a l ，v i d e os i g n a la n da c c e l e r a t i o ns i g n a l ，a n dt h eg a m eb a s e do nt h e a c c e l e r a t i o ns i g n a li st h em o s ts u c c e s s f u li nt h eg a m em a r k e to fn od o u b t o v e r a l l ，t h eg a m eb a s e do na c c e l e r a t i o ni n f o r m a t i o np r o d u c t sa r es t i l li nt h e i n i t i a lr e s e a r c hs t a g e ，t h e r ei sab i gr o o mf o ri m p r o v e m e n t s u c ha s i nt h e ”w i i s p o t s ”g a m ed e v e l o p e db yac o m p a n yi nj a p a np l a y e r ss i m p l ym o v e t h eg a m eh a n d l e b u ta tt h es a m et i m es h o w na s 打o n gs w i n gi nt h eg a m ec o n t e n t ；a sw e l ll e l ej i a n g a m ea n dj i n gd o n g f a n gg a m e ，e ta l ，c a nn o tt r u l yi d e n t i f yt h ep l a y e r 。篷m o v e m e n t s b e c a u s eo fs o m et e c h n i c a ll i m i t a t i o n t os o l v et h e s ep r o b l e m s ，t h i sp a p e rp u tf o r w a r d an e wp r o g r a mo fa c c e l e r a t i o ns i g n a la c q u i s i t i o nb a s e do nt h eh u m a nm o t i o nm o d e l ， a n du s et h i ss i g n a lt oa c h i e v et h ei d e n t i f i c a t i o no ft h r e ec o n v e n t i o n a lk i n d so f m o v e m e n t sf r o mt h eg a m eo ft a b l et e n n i sb ys o m em o d e l ，t h em o v e m e n t sc o n s i s to f f o r e h a n dd r i v e ，b a c k h a n dd r i v ea n dk i l ls h o t t h i sp a p e ra l s oa t t e m p t st os t u d yt h e m e a n s w h i c hi su s e df o ra p p r a i s i n gt h eq u a l i t yo fu p p e rl i m bm o v e m e n t s t h em a i n w o r ko fi n n o v a t i o no ft h i sp a p e ri sa sf o l l o w s ： 1 、a n a l y s e dt h em o d e lo fh u m a nm o t i o n ，p u tf o r w a r dan e wp r o g r a mt oo b t a i n t h ei n f o r m a t i o no fu p p e rl i m bi np l a y t h ep r o g r a mu s e dt w ot h r e e d i m e n s i o n a l a c c e l e r a t i o ns e n s o r s ，r e s p e c t i v e l yp l a c e di naf i x e dp o s i t i o no ft h ef o r e a r ma n dr e a r a r n l ，t h e ni nv i r t u eo fa c c e l e r a t i o ni n f o r m a t i o na c q u i s i t i o ns y s t e mi tc o u l de f f e c t i v e l y o b t a i nt h ei n f o r m a t i o no ft h eu p p e rl i m ba c c e l e r a t i o ni np l a y 2 、a i m e da tt h r e ek i n d so ft a b l et e n n i sm o v e m e n t st h i sp a p e re s t a b i l i s h e da s u p p o r tv e c t o rm a c h i n em o d e lo ft h ea b i l i t yo fc o m m o ng e n e r a l i z a t i o n m a j o rs t e pi s d e s c r i b e da sf o l l o w ：p r e p r o c e s s e dt h ea c c e l e r a t i o ns i g n a lt oe x t r a c tt h ee f f e c t i v e a c t i o ns i g n a l ，b yd i n to fn o r m a l i z a t i o nr e c e i v e6 - c h a n n e la c c e l e r a t i o ns i g n a lo ft h e s a m el e n g t h ，u s e dw a v e l e tt r a n s f o r mt oa c h i e v ef e a t u r ee x t r a c t i o n ，a n dt h e nu s e dt h e a n tc o l o n ya l g o r i t h mf o rf e a t u r es e l e c t i o n ，a tl a s te s t a b l i s h e ds u p p o r tv e c t o rm a c h i n e i i i ab s t r a c t m o d e lb a s e do nf e a t u r ev e c t o r ss e l e c t e db ya n tc o l o n ya l g o r i t h m 3 、u s e d p r i n c i p a lc o m p o n e n ta n a l y s i so nt h es t u d yo ft h eq u a l i t ye v a l u a t i o no f u p p e rl i m bm o v e m e n t ，t h i sp a p e re x t r a c t e dt h et w om a i ne l e m e n t sa f f e c t i n gt h e q u a l i t yo fm o v e m e n t si nt h i ss y s t e m e x t r a c t e d3 9p h y s i c a li n d i c a t o r sf r o m6 - c h a n n e l a c c e l e r a t i o ns i g n a l s ，b yu s eo fs t a n d a r d i z a t i o no ft h e s ei n d i c a t o r s ，d e p e n d i n go nt h e v a l u ea n dv a r i a n c eo ft h e s ef a c t o r se x t r a c tt w op r i n c i p a lc o m p o n e n t s ，b ya n a l y s i n gt h e p r i n c i p a lc o m p o n e n tr e c e i v e dt w oi n d i c a t o r sw h i c hw e ne x t r e m u mf e a t u r ea n d m e a nf e a t u r e ，t h e s et w oi n d i c a t o r sw e r et h et w om a i nc o m p o n e n t sw h i c hc a n e v a l u a t e dt h eq u a u t yo fu p p e rl i m bm o v e m e n t si nt h i ss y s t e m ， k e yw o r d s ：h u m a n c o m p u t e ri n t e r a c t i o n ，t h r e e d i m e n s i o na c c e l e r a t i o ns e n s o r , w a v e l e tt r a n s f o r m ，a n tc o l o n ya l g o r i t h m ，s u p p o r tv e c t o rm a c h i n e ，p r i n c i p a l c o m p o n e n ta n a l y s i s ，q u a l i t ye v a l u a t i o no fu p p e r l i m b sm o v e m e n t i v 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除己特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名：垄堡垒 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 口公开口保密( 年) 作者签名：蒸生盔 导师签名： 签字日期： 划垒：和衫 知l 。6 s 第一章绪论 1 1 引言 第一章绪论 人机交互( h u m a n c o m p u t e ri n t e r a c t i o n ，h c l ) 是一门主要研究人、计算机 以及他们之间相互影响、相互交流的技术，主要工作是完成人与计算机系统之间 的通信，即人与计算机系统之间各种动作和符号的双向信息交换，人向计算机系 统输入信息，计算机系统也同时向人反馈处理后的信息。入机交互技术伴随着 计算机的发展而发展，同时人机交互技术也促进了计算机的发展，例如鼠标器、 超文本、浏览器、窗口系统等人机交互方式是随着计算机的发展而诞生的，同它 们对计算机的发展就产生了巨大的影响，至今仍然是流行的交互方式。人机交互 技术是当前信息产业技术研究的热门领域之一，也是信息产业竞争的一个焦点， 世界各国都将人机交互技术列为重点研究的一项关键技术“。 当今世界，人机交互技术取得了长足的发展，正由传统的“人适应计算机” 的人机交互方式向“计算机适应入的方向发展，而“计算机适应入”的入机交 互方式是指计算机通过一些传感器捕捉人的动作信号并借助于某种识别技术，理 解人的行为及意图，是人工智能的一个重要研究领域。在这之中，模式识别是其 关键技术之一，无需借助任何计算机系统的传统输入设备，例如鼠标、键盘等， 就能识别用户的意图，这种崭新的人机交互方式不仅是计算机发展的趋势，而且 在实现智能化和改善人的生活方式上必定会产生深远的影响。 目前这种新的交互方式在虚拟现实领域中，特别是在人机交互游戏的应用上 取得了巨大的成功，由于深受人们的喜爱而获得了相当可观的市场份额。在这些 应用中，传感器捕捉的信号可以是表面肌电信号、音频信号、图像、加速度信号 等等。例如日本的k o n a m i 公司开发的基于p s 2 平台的”l i f el i n e ”通过识别玩 家的语言对游戏的角色进行控制，日本的s o n y 公司开发的”e y e t o y ”通过视觉 传感器感应玩家的影像与动作使玩家进入虚拟游戏画面来控制游戏的进行， 日 本的任天堂开发的“w i is p o r t s ”游戏手柄由于搭载了三维加速度传感器而使玩 家手臂、手腕以及手的动作在游戏中真实的反应出来。在这些游戏中，任天堂开 发的“w i is p o r t s ”游戏无疑是最成功的，据统计w i i 游戏手柄和主机0 8 年销 售总额达到惊人的2 7 5 0 万套，“w iis p o r t s ”利用w ii 手柄的加速度传感器功能 控制屏幕中角色的动作，使玩家能以类似于生活中各项目真实的运动方式移动手 柄，例如，可以像拿高尔夫球杆、球棒、球拍或保龄球一样握住和挥动手柄，从 中可以发现这种游戏的最大亮点就是把室内运动与网络游戏相结合起来，用玩家 第一章绪论 的动作来控制游戏内容。从运动与健康学的角度上可以认为“w i is p o r t s ”彻底 颠覆了游戏的概念，目前，国家正在倡导这种有益健康的游戏运动，国内的厂商 也在积极地跟进，例如四川i 的乐乐健，广州的京仕敦v i i ，台湾的速位互动c y w e e ， 泰山在线i - d o n g 。 但是这些基于加速度信息的人机交互游戏都有一定的缺陷，例如在日本的 “w i is p o r t s ”游戏中，玩家只需做简单地抖动动作而同时在游戏内容上显示大 力挥拍的动作；还有国内的乐乐健、京仕敦v i i 等等，这些游戏由于技术上的原 因都无法真实地对玩家的动作进行识别，例如在进行乒乓球运动时，甚至对几种 常见的正抽、反抽、扣杀等三种动作都无法识别。这些缺点总的概括来说就是上 肢加速度信息获取方法且数据处理方法的选择不当，这些缺点直接导致在游戏中 不能真实再现玩家的动作，使得游戏的体验感大打折扣。所以，需要全面获取上 肢信息的同时并对上肢动作进行有效的分类识别，只有这样才能吸引住玩家的兴 趣，才能使这种人机交互方式成为一种比较精确的人机交互方式。除此以外，在 游戏中控制球的旋转或者路线可以加大游戏的体验感，但是球的控制信息无从得 知，只能间接地控制球在游戏中的轨迹、力度等信息，在基于加速度信息的人机 交互游戏中可以通过对上肢动作进行质量评估来选择球的路线的优劣或者球的 旋转强度，例如在乒乓球运动中，选择一定的方法对玩家的动作质量进行评估， 利用评估的结果去驱动球的旋转或者路线。 1 2 动作识别的研究领域 如图1 1 所示，人体动作识别从研究的内容上进行分类，可以分为姿态识别 ( 对静态对象的识别) 和动态过程识别 引。 人 体 动 作 识 别 姿泰识别 动j 筮过 狂识别 手彤汉髓 l 奉式识棚 人体运动泌剐 表情泌别 肩滨 步客识别 手势跌与唾 图1 1 人体动作识别的研究分类 2 第一章绪论 姿忐识别颇名恩义就是识别人的整体或者某部位的形状或者姿贽，识别的 计象属于静态对象。姿态识别研究领域中研究较多的是手形讧 剐存手形识别，p ， 手的1 ；同嘭状的识别是整个问题的核心，手的形状与手做的动作以殷手的姿抖等 动态过 2 无关例如jm a r t i n ，jc r o w e y 在 4 中，如图l2 所示 im a lt l n 利用状态空间的距离将各种手形进行分类识别。 圈1 2 【4 中盼手形识剐集台 体式识别属于姿态识别，就是区分整个身体韵姿势也是对静态对象的识别- 例如y u p i n gs h e n ，h a s s a nf o r o o s h ez s 中利用模扳匹配方法对人在运动过程 - j 的姿态进行分类识别。 鄹黑 o e j 塑生垫堕l 争 圈1 3 胡中的体式! 别雄音 习刊叫寻一二 翌 第一章绪论 动态过程识别就是对人体的运动过程的识别，包含人体运动识别、表情识别、 唇语识别、步态识别和手势识别等五种动态过程识别类型。人体动作识别就是对 人的某个动作进行跟踪并加以识别过程，在 6 ，7 都对人体动作识别有了很好的 阐述， 8 中d a v i s ，jw ，b o b i c k af 利用模板匹配的方法对1 0 余种体育舞蹈动 作进行识别。表情识别就是识别人的喜、怒、哀、乐等面部表情， 9 中王冲， 李一民，杨霞利用删m 模型很好的对人的表情进行判别，如图1 4 所示。 蓬屡震 图1 4 9 中的表情识别集台 唇语识别就是根据发音时口型轮廓的变化特征对话语进行识别， i 0 中姚铭 辉，姚鸿勋利用隐马尔可夫模型实现对一些特征较为明显的唇语的识别。步态识 别就是根据人在运动过程中的步态进行识别和验证， 1 1 中高大力，吴清江，孙 凌利用隐马尔可夫模型实现对人的身份进行识别值得一提的是，中国科学院合 肥智能机械研究所运动与健康信息研究中心开发的基于多参数运动生物力学综 合测试通道身份识别系统，如图15 所示这套系统利用多参数运动生物力学综 合测试通道实现人体行走过程中生物力学信息的同步获取相对于 1 1 中的视 频跟踪技术更隐蔽且不受视角的限制。 图1 5 基于多参数运动生物力学综台测试通道身份识别系统 第一章绪论 手势识别是当前模式识领域中比较活跃的方向，应用前景也比较广阔做 的研究有基于视频的，也有基于e 惦和加速度的例如 1 2 中的x i a n gc h c n 就 是结合e m g 和二维加速度传感器做的研究，能对2 0 几种手势进行识别，如图16 所示。 m l i t “o m a 啦 姒 洲 洲a s l c 乩t 图1 6 1 2 中的的手势识别集台 1 3 动作识别的主要方法 131 隐马尔可夫模型 隐马尔可夫模型( h i d d e nm a r k o vm o d e ，简称 删) 是人体动作识别中应用得 最为广泛的识别方法。 删是一个双重随机过程，由一个马尔可夫过程和另一个普 通的随机过程组成。马尔可夫过程是具有无后效性的随机过程，即f 。时刻所处状 态的概率只和f 川时刻的状态有关。而与f 叫时刻之前的状态无关。 洲中马尔可 夫过程描述的是状态的转移，马氏序列是不可观察的，而另外一般的随机过程描 述的是状态与观察序列问的关系，这个随机序列是可观察的。 h 州最早应用在语音识别系统能够中，也是语音识别系统中最通用的识别算 法。目前，哪m 研究工作主要集中一阶隐马尔可夫模型( 咖i ) 上应用中h 删i 作 了两个重要假设： 1 ) 状态转移的m a r k o v 假设：在t 时刻( 前一时刻) 处于状态j ，向t + 1 时刻进 强一曩一 垦曩一国m曩一直豳m圈m。国w盈一叠 圜l曩ll圜m墨囵l葶墨品盈m曩豳三霜l；曩盎固日 第一章绪论 入状态j 的状态转移概率只取决于前一时刻的状态，而与前一时刻之前的历史 状态无关； 2 ) 输出值的m a r k o v 假设：输出观察值的概率同样具有m a r k o v 性，即结果只 与当前状态相关，而与以前的历史状态是毫无关联的“。 h m m 主要有三个工具，即：b a u m - w e l c h 算法( 也称为e m 算法) ，前后向算法 ( f o r w a r d - b a c k w a r dp r o c e d u r e ) 和v i t e r b i 算法( v i t e r b ia l g o r i t h m ) ，分别用 来实现模型参数的极值估计、观察序列的最大概率值的计算和观察序列取最大概 率值时对应状态序列的求取“。 1 3 2 动态贝叶斯网络 动态贝叶斯网络( d b n ) u 刈是以概率网络为基础的新型随机模型，结合静态 贝叶斯网络和时间特征，从而可以处理具有时序特征数据。动态贝叶斯网络反映 了一系列变量间的概率依存关系，可以看作是应用贝叶斯统计的思想结合动态结 构的模型，既考虑系统外部影响因素，又考虑系统的内部间相互的关联，既能够 变量之间的概率依存关系，又能描述这一系列变量随时间变化的情况，是贝叶斯 网络在时间变化过程上的扩展“”。动态贝叶斯网络是一种非常灵活并且扩展性 很强的数学模型，在信息融合、动态系统识别应用中取得很好的效果。在动态系 统识别中，不仅可以灵活地设计贝叶斯网络结构且可以对各种信息进行融合推 理，这样就可以达到将多个弱信息变成强信息的作用。动态贝叶斯网络还可以设 置信息的来源置信度、重要性，有针对性的改变权重使信息配置更加优化合理。 1 3 3 基于模板的方法 基于模板的方法主要有模板匹配( t e m p l a t em a t c h i n g ) 、动态规划算法 ( d y n a m i cp r o g r a m m i n g ) 和动态时间规整( d y n a m i ct i m ew a r p i n g ) 。 利用模板匹配算法对人体动作进行建模时，为每一动作都建有多个模板，识 别时将提取的动作特征与所有模板相匹配，然后根据计算两者之间的相似度确 定识别率。模板匹配无法回避时间的带给它的影响，这是限制其在动态识别领域 中的应用的瓶颈。 动态规划算法是一种在多阶段寻求最优的解决策略。在动态过程识别中，特 征模板和待识别样本模板都不用进行时间规整。待识别样本模板中每个时刻的特 征与特征模板所有时刻特征进行匹配以选择匹配距离最小的特征，这就需要按 照一定的顺序进行，动态规划算法就是搜索使两个模板达到最优匹配的路径。受 噪声因素影响较大和计算量大是动态规划算法的主要缺点。 6 第一章绪论 动态时间规整算法是一种基于时间轴的动态操作技术，适用于那些动态过 程阀题，将其应用到动作的动态识别时，将两个不同时间长度的运动特征模板按 照一定的时间规整曲线对时间进行归一化，然后再利用模板方法进行匹配1 引。 1 4 国内外研究现状 目前国内外动作识别主要是基于视频( 图像处理) 方面的研究，从2 0 世纪 9 0 年代起加速度传感器才被研究人员所重视，但主要是针对动作状态和手势识 别方面的研究。 在基于加速度传感器的人体动作状态方面的研究有：s a - k w a n gs o n g ，j a e w o n j a n g ，a n ds o o j u np a r k 利用在移动终端( 手机) 中嵌入三维加速度传感器对日 常生活中的常见动作状态进行识别以达到对日常生活的监测，例如：跑步、坐下 ( s t a n d t o - s i t ) 、起立、走路、跌倒、爬起( l y i n g t o s i t ) 、躺倒 ( s t a n d t o l y i n g ) 等几种动作状态，所用的方法是多层感知器，识别率达到 9 7 9 - 9 9 3 “：z h e n - y uh e ，l i a n - w e nj i n 利用别在胯部的加速度传感器对跑 步、静止、走路和跳跃几种动作进行识别，利用s v m 分类机结果能达到9 2 2 5 ”“； y u j i nh o n g ，i g - j a ek i m ，s a n gc h u la h n ，h y o u n g g o nk i m 利用结合加速度 传感器与r f i d ( 射频识别) 对老年人的生活进行监护，它主要在家里日常生活用 品上贴上电子标签，例如电话、电吹风、清洁用具等，当老人接触这些东西时， 戴在手上的设备( 集成了加速度传感器和r f i d 设备) 便可以感知这些物品从而 对老年人的动作做出判断，比如接电话、打扫卫生等，另一方面利用戴在腿上的 加速度传感器对一些动作状态进行识别，这样就实现了对老年人的日常生活的基 本监护的功能“；陈雷，杨杰，沈红斌，王双全利用戴在跨上的加速度传感器 采集的加速度传感器的几何特征对上楼、下楼、跑步、站立和步行等运动状态的 识别，识别率在7 0 一9 5 之间“。 在基于加速度传感器的手势识别主要做的研究和产品有：i b m 公司早在1 9 9 6 年就推出了一种具有自动感知手部运动状态的惯性感知设备，后来i b m 将这种惯 性感知设备应用在笔记本中，在笔记本在发生意外的摔落时能有效的保护硬盘中 的数据：j o e lf b a r t l e t t 在p d a 中嵌入加速度传感器实现了对使用者简单手势 的识别，从而可以控$ o p d a 的旋转和选择等简单功能p “：j u h ak e l a 等人发明一 种基于三维加速度传感器的电视机、v c r ( 盒式磁带录像机) 等的控制器，根据为 控制器设定的特定动作实现了对这些控制对象进行控制的全部功能“； r a h u lp a r s a n i ，k a r a n d e e ps i n g h 将基于加速度传感器的手势识别应用到人机 交互技术上，实现上、下、左、右简单的控制扣：国内，j i a h u iw u 等人对表示 7 第一章绪论 各种方向的手势和表示几个容易区分的字母手势进行了研究，用他们提出的 f d s v m 方法对其进行分类识别，识别率达到8 9 一9 7 瞄； f o ，1 1 5 本课题的研究意义及研究内容 1 5 1 本课题的研究意义 基于加速度信息的人机交互游戏以它独特的参与方式、新型的交互方式彻底 颠覆了游戏的概念，在商业上取得了空前的成功。然而，在国内外出版的几款基 于加速度信息的人机交互游戏都存在一些缺陷，使得游戏的体验感大打折扣，玩 家对它的热度也逐渐降低，从而限制了该游戏及其相关技术的进一步发展。 本文在分析国内外几款游戏的基础之上，改变加速度信息的获取方案，通过 一些算法实现最终建立泛化能力较好、离线识别率较高的s v m 模型，从而为解决 限制人机交互游戏发展的一些缺陷奠定一定的基础。并且，本文还对动作质量评 价方法作了一定的研究，针对加速度信息的物理特征提取出在本系统内影响上肢 动作质量的最值和均值两个主要特征，将这两种特征作为对游戏过程中的上肢动 作质量进行评价两种主要指标，应用到人机交互游戏之中可以较真实地再现现实 中的动作，使得该游戏能成为真正意义上的健身游戏。 本文提出的研究既是基于该游戏而提出的，也是动作识别领域中的一种较新 的研究方向。以往的针对动作识别的研究主要是集中于视频方面，基于视频信息 的动作识别对视角、光线强度要求较高，隐蔽性较差，并且不能揭示人体运动过 程中的生物力学信息，而基于加速度信息的动作识别较之而言有较大的优越性， 目前国内外也在积极展开这方面的研究。 本文的研究是在调研国内外人体动作识别技术以及相关应用研究现状的基 础上，在中国科学院合肥智能机械研究所运动与健康信息技术研究中心的支持下 开展的，主要解决人机交互游戏中的上肢动作识别、动作质量评价等关键问题， 为进行下一阶段人机交互游戏中相关技术的改进作了很好的探索。 1 5 2 本课题的研究内容 全文共分为5 章，具体内容安排如下： 第一章：绪论。该部分主要陈述了本文的研究动机以及研究方法，主要介绍 了动作识别的研究领域以及国内外在相关领域的研究情况，对动作识别中常用的 几种算法作了简单的介绍。 第二章：信号采集系统的设计。该部分首先对人体运动模型进行了分析，提 8 第一章绪论 出新的加速度信息采集方案，简单介绍实验室开发的加速度信息采集硬件系统， 对信息采集系统的软件设计作了概要介绍。 第三章：上肢动作识别的算法设计。该部分主要针对乒乓球运动的常见的三 种动作，即正抽、反抽和扣杀，给出了实现其分类识别的过程以及具体的算法实 现。首先对加速度信号进行预处理，提取出动作有效信号并对其归一化处理，利 用小波变换进行特征提取，然后通过蚁群算法进行了特征选择，得到分类能力最 强的特征向量，最后利用支持向量机建立了这三种动作的s y m 模型。 第四章：动作质量评价方法的研究。该部分主要对动作质量评价方法做了探 索性的研究，利用主成份分析法对上述的三种动作进行分析，提取出3 9 个物理 指标，根据公共因子的特征值和方差提取出在本系统中影响动作质量的2 个主要 成分，对主成份进行分析提取到在本系统内影响上肢动作质量的最值和均值两个 主要特征。 第五章：总结与展望。该部分主要对本论文的工作进行了总结，提出本系统 的不足之处并结合不足之处讨论下一步的工作内容和方向。 9 第二章信号采集系统的设计 第二章信号采集系统的设计 信号采集系统的设计是本套系统中首要解决的问题，关键是选择最合适的信 号采集方案，信号采集方案设计的结果将直接影响硬件系统的设计，保证软件系 统的有效性、高效性。信号采集方案设计主要包括传感器的选择及传感器的布置、 硬件系统的设计及上位机信号采集软件的设计。 2 1 人体运动模型分析 任何一个识别系统的设计，首先需要建立简化的识别对象模型，这样才能较 为准确、全面的获取识别对象的有用信息，对识别结果影响较小或者无用信息可 以忽略不计。人体运动模型的选取和建立是动作识别系统的一个重要环节，根据 研究内容和研究目的建立合理的人体模型是必要的。人体运动模型主要有人体多 质点模型和人体多刚体模型。 一、人体多质点模型分析 根据物理学上的质点定义，质点只表示一个具有质量大小，且物理尺寸和几 何形状等都忽略不计的物体，质点是一种理想的物理模型。通常情况下，如果只 研究人体的平均部分而不涉及人体的转动和形变，就可以把人体简化为多质点模 型。当研究肢体的运动情况时，人体的肢体就可以看作质点，如图2 1 所示，空 心圆圈是关节点，实心黑圈表示肢体质心。人体多质点的主要特点是：肢体的相 对质量已知，并且集中于其质心，质心的物理位置确定，在运动那个过程中固定 不变；关节点和肢体质心以球铰实现连接，这样从功能上与人体解剖结构保持一 致矧。 l o 第二章信号采集系统的设计 圈2 1 人体多质点模型 二、人体多刚体模型分析 人体运动过程中如果肢体有转动情况时，多质点模型就不适合了就必须要 考虑人体的形状和大小，这样原来的质点就应该视为刚体，刚体是由一系列相互 距离保持不变的质点组成的连续点。当物体的形变很小或者形变在物体的运动过 程中影响很小、可以忽略的情况下可以将物体视为剐体。人体在运动过程中有肢 体环节转动时，就可以将人体模型简化为多刚体模型“。 目前应用较多的是著名的h a n n v a n 人体模型，如图22 所示，该模型将人体 分成1 5 个环节各个环节通过球铰相连。 第二章信号采集系统的设计 o 图2 2h a n n a v a n 人体多刚体模型 该模型特点是：各个环节由密度相同且几何形状简单的刚体组成，各个刚体 之间通过球铰相连；对组织变形且器官的不对称等问题忽略不计。 在基于加速度信息的人机交互游戏中，需要获取的是上肢信息，且不需要考 虑肢体的旋转。从上面的分析得知，在本系统中仅需采集上肢的前臂和后臂上 的两个点的加速度信息。 2 2 采集系统的硬件设计 2 2 1 硬件系统设计指标 输入通道数：6 个。 分辨率：1 2 位，s 1 m 3 2 f 1 0 3 r 8 t 6e p u 自带a d 的采样位数。 采样频率：2 0 0 h z 。 可测量加速度范围：- 3 9 , - 。+ 3 9 。 最长连续采样时间：不限。 数据通信接口：u s b 2 0 。 输入电压范围5 v + 5 v 。 o 曰日 日曰。 日。 曰。 第二章信号采集系统的设计 2 2 2 硬件系统设计 从前面的分析知道，需要测量上肢( 左肢或右肢) 的前臂和后臂的加速度信 息，本实验系统所用的加速度传感器是三维加速度传感器，型号是a d x l 3 3 0 ，所 以需要同时采集6 个通道的数据，如图2 3 所示的系统硬件结构图，在本套系统中， 数据采集系统是一种增益可调的数据采集器，采集器可对输入的6 路幅度在5 v + 5 v 之间的模拟信号进行数据采集、经过中间步骤的处理并存储，最后通过u s b 接口向上位机传输采集的数据，图2 3 中的中间步骤包括放大器、双4 选l 电子开 关a d g 6 0 9 、5 v 到o 3 。3 v 电压变换器o p 4 9 6 、数字电位器调节的增益可调比 例运算放大电路、6 路巴特沃兹滤波器。 存储器 l 中 i 喜j s b 6 路加速 l 间 i c p u 通 l i 信 卜 度信号 i步 i s t m 3 2 f 10 3 。1 ，。” i l 接 i 骤 i 争令 口二溺章孽 l i i= 辐丌一a 【 ：一一一一： j x 键接口调试接口 2 3 采集系统的软件设计 图2 3 系统硬件结构图 采集系统的软件主要负责读取u s b 传进来的数据并加以实时显示。如图2 4 所示是信号采集系统的软件界面，主要是基于m f c 框架开发，基于微软的 v c + + 2 0 0 5 开发工具，有6 个通道分别显示6 个加速度通道的数据，经过转换后 变成相应的电压值进行显示，设电压值是u ，a d 值是x ，转换公式是：u = 5 1 ，5 0 0 0 2 6 8 5 5 x ，利用生成的t x t 文档保存数据，t x t 中保存的数据是经a d 转 换后的值，它与真实加速度的值是一种线性关系，设加速度信号为a ，a d 值是 x ：a = ( 5 1 5 0 0 0 2 6 8 5 5 x ) 木9 8 o - 3 。 一舅一 第二章信号采集系统的设计 鼎f ) 躺向硼_ 删j 雠i 强i ：! ! 坚! ：坠! i f ，l “” ”“” ，十一一，一。一，“一一“一一一一7 “一4 4 一。一，一r - i i 扭二二壹二二j 二二盘二二j 二二盘二二型 二二盘二二竭 i * 7 越j7 岫十m 帅 目 一一一一一一一一一j 悖j 5 乍i 矗r 1 南吲f 1 南矗i 1 赤茜i i 盎 圈2 4 信号采集软件界面 24 上肢动作识别系统的数据采集实验设计 从前面的人体运动模型的分析得知，在全面获取上肢运动过程中的加速度 信息时，仅需要知道上肢的前臂和后臂在运动过程中的加速度信息。在我们的数 据采集实验中，如图：5 ，我们丹别在前臂和后譬的几何中心位置放置三维加速 度传感器，放置方向固定，即图中的红色引线部分要和人的中指在一条线上，加 速度传感器的x 轴平行于手臂，这样在保证每次采集实验时加速度放置位置的 相同的同时能较为准确的获取上肢在运动过程中的加速度信息。由于现在是在实 验阶段，所以信号采集器采集到的加速度信息通过有线方式传输到信号采集盒 中，以后应用时做成无线传输方式。 弟二章信号采集系统的设计 围2 5 信号采集实验 信号采集器封装在一个小盒子里以便于实验和保护估感器，如图2 6 所示。 信号采集器主要集成了加速度传感器和放大电路，从图2 6 中可以看到x 轴、y 轴、z 轴的对应关系，由前所述，x 轴是平行于手臂，y 轴与x 轴、手臂表面在 同一个平面上，并且垂直于y 轴，z 轴垂直于x 轴和y 轴。 25 本章小结 图2 6 加速度传感器封装盒 本章首先对人体运动模型进行了分析，通过对人体多质点模型和人体多刚体 模型的分析，在本系统中只需要在上肢的前臂和后臂的固定位置放置三维加速度 传感器就可以比较全面的得到上肢在运动过程中的加速度信息，对本实验室开发 的加速度信息采集系统的硬件设计、软件设计以及系统设计指标作了简单介绍。 1 5 第三章上肢动作识别系统的算法实现 第三章上肢动作识别系统的算法实现 本章所用的识别算法属于模式识别中的统计分类范畴，统计分类是在模式识 别长期发展过程中建立起来的经典方法，其建立在一些坚实的方法和公式的基础 之上。统计分类属于监督式学习方法，主要利用基于用概率统计模型得到各类别 的特征向量分布，以达到分类的功能。基于一个类别已知的训练样本集获得特征 向量分布，所以说统计分类中的分类器是概念驱动的，用己知类别标签的样本集 进行训练从而得知如何对新的样本集进行分类。 一般统计分类的模型结构如图3 1 所示，它先对输入的信号进行预处理得到 有效信号，针对具体的识别目标进行特征提取，然后进行特征选择剔除冗余特征， 得到的特征向量对分类器进行训练，这就是训练过程。分类器设计好之后，就可 以利用分类器对新的特征向量进行分类决策了。本章的识别过程与图3 1 所示的 结构图描述的很相似，先是对采集到的6 路加速度信号进行进行差分、平滑处理， 对每个动作的终始点进行判别得到有用信号，在得到上肢动作有效信号之后进行 归一化处理，将每路加速度信号调整成序列为1 3 0 的加速度信号，再利用小波变 化对加速度信号进行特征提取，将小波变换后6 路加速度信号合并为一个特征向 量，再利用蚁群算法对特征向量进行特征选择去除冗余特征，然后利用s v m 对 特征向量进行训练来训练s v m 分类模型，接下来就可以利用训练好的s v m 模 型对新的输入向量进行识别。 训幼：过稃 3 1 加速度信号预处理 3 1 1 滤波 图3 1