基于多模态感知的人手动作捕捉与识别

2020年度河南省重点研发与推广专项（科技攻关）项目，编号202102310197；

平顶山学院高层次人才启动基金项目，.编号PXY-BSQD-2019011

基于多模态感知的人手

动作捕捉与识别

薛亚许 著

新华出版社

图书在版编目（CIP）数据

基于多模态感知的人手动作捕捉与识别/薛亚许著

北京：新华出版社，2020.7

ISBN978-7-5166-5210-7

Ⅰ.①基…Ⅱ.①薛…Ⅲ.①机械手－研究Ⅳ.①TP241

中国版本图书馆CIP数据核字(2020)第120824号

基于多模态感知的人手动作捕捉与识别

责任编辑：唐波勇封面设计：优盛文化

出版发行：新华出版社

地址：北京石景山区京原路8号邮编：100040

网址：

经销：新华书店、新华出版社天猫旗舰店、京东旗舰店及各大网店

购书热线国新闻书店购书热线/p>

照排：优盛文化

印刷：定州启航印刷有限公司

成品尺寸：170mm×240mm

印张：10.5字数：190千字

版次：2020年7月第一版印次：2020年7月第一次印刷

书号：ISBN978-7-5166-5210-7

定价：45.00元

版权专有，侵权必究。

前 言

机器人通过模拟人手完成复杂的类人操作任务，在航空航天、仓储物流、

医疗、军事、手势操控安全驾驶等领域发挥着越来越大的作用。其中，多指机

械手是机器人实现灵巧操作的核心部件，深入研究人手动作捕捉和人手动作识

别是仿人多指机械手类人操作研究的基础。

在国家自然科学基金项目“多模态人手手内操作技巧研究及其在仿生机

械手上的应用（51575412）”、欧盟项目“欧盟第七框架计划：DREAM项目

(611391)”、国家自然科学基金项目“不确定环境下基于多源信息融合的机器

人灵巧手稳定操作机制研究（51575407）”等的资助下，展开基于多模态感知

的人手动作捕捉与识别研究。主要工作和研究结果如下:

（1）针对人手灵巧操作的研究主要体现在一些简单动作，缺少对人类所

擅长复杂动作的深入研究，如人手手内操作、双手协调、多次操作等问题，以

人手为研究对象，提出了人手对物体的灵巧操作机理；通过分析人手自然结

构，研究了人手在面对不同操作任务和不同物体时所采取的接触模式与操作模

式、抓取点布局以及相应的力封闭性；根据人手与物体之间的运动模式，归纳

了人手与物体的交互方式，提出了一种人手动作分类方法，并分为简单动作和

复杂动作，为人手动作捕捉与识别奠定l.基础。

（2）在人手简单动作捕捉方面，针对单一感知技术获取人手动作信息的

局限性，采用接触式多模态感知技术，构建了人手动作多模态数据采集平台，

主要包括表面肌电信号捕捉系统、数据手套和手指压力感知系统，同步获取人

手操作过程的肌电信息、手指角度轨迹和力信号等多模态数据；提出了人手动

作的捕捉方法，设计了人手简单动作集，选择受试人员，获取了人手简单动作

的原始信号，经高速数字信号处理器处理后同步上传至上位机；提出了一种基

于阈值的动作分割方法，得到了经过分割后的原始信号；采用基于经验连接函

数的斯皮尔曼等级相关，分析和研究了人手手指轨迹、接触力和SEMG.3种信

号的相关性，验证了不同信号之间的关系对人手动作完成产生的影响；采用时

域特征提取方法，提取原始信号的6种代表性特征，构建了人手简单动作的特

征样本库。研究结果为人手简单动作识别提供原始数据和特征样本库。

1

（3）在人手简单动作识别方面，针对支持向量机多分类方法的多类不可

分区域、误分、拒分、误差积累等问题，提出了基于ADAG-SVM的人手简单

动作识别方法和仿真试验方法，完成了仿真试验，从感知技术、识别方法、受

试人员等方面，验证了基于ADAG-SVM的人手简单动作识别方法的效果，平

均识别率达到了94.57%，相对识别率最高。将提出的基于ADAG-SVM的人手

简单动作识别方法应用到车辆驾驶辅助手势识别中，通过系统框架设计、车载

手势动作捕捉、特征提取以及试验结果分析，7种手势的识别率都在94%以上，

验证了基于ADAG-SVM的人手动作识别方法较好的识别效果，以及基于车载

视觉的手势识别系统的可行性。

（4）在人手复杂动作捕捉方面，针对非接触式多模态感知技术应用于人

手复杂动作识别中，存在2种及以上非接触式传感器的联合校准问题，采用混

合式多模态感知技术，以Kinect和SEMG作为硬件基础，构建了人手复杂动

作多模态数据采集平台，提出了人手复杂动作捕捉方法和试验方法，设计了人

手复杂动作集，挑选了具有代表性的受试人员，获取人手复杂动作的时域信号

和3D图像的原始信号；提出了基于人手复杂动作的图像分割和特征提取方法，

提取了手部区域图像特征信息，与人手复杂动作时域信号的特征样本数据共同

构成了人手复杂动作的特征集。研究成果为人手复杂动作识别提供原始数据和

人手复杂动作的特征样本库。

（5）在人手复杂动作识别方面，选用ML人工神经网络算法，提出了基于

ML的人手复杂动作识别方法和仿真试验方法，完成了仿真试验，从感知技术、

识别方法、受试人员等方面，验证了本书提出的基于ML的人手复杂动作识别

方法的效果。仿真结果表明，基于ML的人手复杂动作识别方法易收敛、计算

速度快，平均识别率为95.10%，优于单一感知技术的识别效果。

本书完成了基于多模态感知的人手动作捕捉与识别研究，在理论研究、

计算机仿真和试验平台搭建进行了有益的探索，为实现仿人多指机械手的类人

灵巧操作和推广应用奠定了一定的理论和技术基础。

2

目 录

第1章 绪 论..................................................................................................1

1.1.研究背景及意义...........................................................................1

1.2.仿人多指机械手的国内外研究现状.............................................2

1.3.人手动作捕捉技术的国内外研究现状.........................................7

1.4.人手动作识别方法的国内外研究现状.......................................13

1.5.需要解决的科学问题..................................................................19

1.6.主要研究内容和技术路线..........................................................20

第2章 人手动作分类方法的研究................................................................24

2.1.人手灵巧操作机理.....................................................................24

2.2.人手自然结构分析.....................................................................26

2.3.人手操作模式.............................................................................27

2.4.抓取点布局.................................................................................31

2.5.力封闭性分析.............................................................................32

2.6.人手基本动作分类.....................................................................33

2.7.人手与物体的交互方式..............................................................35

2.8.人手动作分类方法.....................................................................37

2.9.本章小结.....................................................................................39

第3章 基于接触式多模态感知的人手简单动作捕捉...............................41

3.1.人手简单动作多模态数据采集平台...........................................41

3.2.人手简单动作的捕捉方法..........................................................43

I

3.3.基于阈值的动作分割方法..........................................................46

3.4.多模态信号的相关性分析..........................................................53

3.5.人手动作的特征提取..................................................................58

3.6.本章小结.....................................................................................64

第4章 基于ADAG-SVM的人手简单动作识别.....................................66

4.1.支持向量机多分类方法的问题分析...........................................66

4.2.基于ADAG-SVM的人手简单动作识别方法.............................70

4.3.人手简单动作识别的仿真试验方法...........................................75

4.4.人手简单动作识别的仿真结果分析...........................................77

4.5.基于RGBD的车辆驾驶辅助手势识别......................................91

4.6.本章小结.....................................................................................99

第5章 基于混合式多模态感知的人手复杂动作捕捉.............................100

5.1.人手复杂动作多模态数据采集平台.........................................100

5.2.人手复杂动作捕捉方法............................................................102

5.3.人手复杂动作的图像分割方法................................................104

5.4.人手复杂动作的图像特征提取................................................110

5.5.本章小结...................................................................................112

第6章 基于ML的人手复杂动作识别.....................................................113

6.1.基于ML的人手复杂动作识别方法.........................................113

6.2.基于ML的人工神经网络算法.................................................114

6.3.人手复杂动作识别的仿真试验方法.........................................115

6.4.人手复杂动作识别的仿真结果分析.........................................116

6.5.本章小结...................................................................................127

II

第7章 基于SEMG的人手手内动作识别...............................................128

7.1.相关人手手内动作研究............................................................128

7.2.基于SEMG的人手手内动作识别方法.....................................129

7.3.数据分析...................................................................................134

7.4.实验结果...................................................................................136

7.5.本章小结...................................................................................139

第8章 总结与展望......................................................................................140

8.1.总结..........................................................................................140

8.2.研究展望...................................................................................142

参考文献...........................................................................................................143

攻读博士学位期间发表的学术论文..............................................................155

攻读博士学位期间的科研项目......................................................................156

致谢.................................................................................................................157

III

第1章 绪 论

1.1 研究背景及意义

随着人工智能、微电子技术和机械制造等相关科学领域的飞速发展，以

及人类日益增长的生产生活需求，机器人作为一种新颖且实用的高级执行工具

在航空航天、仓储物流、医疗、军事、手势操控安全驾驶等领域发挥着越来越

大的作用。无论结构还是功能都类似人手的机器人末端执行器—多指机械手

是机器人对不同物体的灵巧操作的核心部件，而人手动作捕捉和人手动作识别

是多指机械手灵巧操作的两大核心技术问题，着两大技术可以解决对不同物体

的灵巧操作，以实现在复杂环境中的作业问题。

人手作为多指机械手的仿生对象，两者对物体的灵巧操作具有共通性，

深入研究人手灵巧操作技巧是仿人多指机械手类人操作研究的基础。国内外对

人手灵巧操作的研究主要围绕一些简单动作，缺少对人类擅长的复杂操作技巧

的深入研究，如人手手内操作、双手协调、多次操作等。

目前，用于获取人手动作信息的捕捉技术只有单一接触式感知和单一非

接触式感知两大类。多指机械手的人手动作捕捉需要通过不同类型的传感器来

同步获取同一动作的多模态感知信息。为此，多指机械手的人手动作捕捉需要

将接触式和非接触式感知技术有机结合，发挥各自优势，获取动态性强的人手

操作特征信息，以真实地模拟人类的感知和认知机制。

人手动作识别是指在获取人手操作特征信息后，根据人手操作特点，通

过多模态数据分析获取具有表征能力和分离度的特征集，并利用机器学习方法

对特征集进行分类，识别不同的人手动作。人手动作识别方法是将人手行为映

射到机器人手操作过程中的关键。现用于人手动作识别的方法主要基于同一动

作的单一感知信息进行人手动作识别，而人手对物体的操作是一个涉及多种特

征信息的复合运动，其识别需要人手操作过程中的多模态感知信息。此外，同

1

基于多模态感知的人手动作捕捉与识别

一动作的多模态感知信息需要结合高效的机器学习方法（如支持向量机和神经

网络），实现人手灵巧操作的精确识别。

综上所述，本书采用多模态感知技术进行人手动作捕捉与识别研究，主

要内容包括人手动作分类方法、人手动作感知技术和人手动作识别方法等。以

人手作为多指机械手的仿生对象，提出了人手与物体的交互方式和人手动作分

类方法；针对单一感知技术获取人手动作信息的局限性，构建了人手简单动作

多模态数据采集平台，提出了基于接触式多模态感知的人手简单动作捕捉方

法；针对多类支持向量机对人手简单动作识别过程中出现的多类不可分区域、

误分、拒分和误差累积等问题，提出了一种基于ADAG-SVM的人手简单动作

识别方法；针对非接触式多模态感知技术应用于人手复杂动作识别中存在2种

以上非接触式传感器的联合校准问题，构建了人手复杂动作多模态数据采集平

台，提出了人手复杂动作捕捉方法；基于多模态特征信息，结合高效的机器学

习算法，提出了基于ML的人手复杂动作识别方法，对特征信息进行人手复杂

动作识别。

本书为实现仿人多指机械手的类人灵巧操作和推广应用奠定了一定的理

论和技术基础。

1.2 仿人多指机械手的国内外研究现状

对仿人多指机械手的研究起始于假肢手。从20世纪60年代开始，国外的

众多专家、学者对仿人多指机械手进行了大量的研究。20世纪90年代初，随

着人工智能、计算机科学、传感器科学、微电子技术等的迅速发展，出现了多

关节、多自由度的模块化结构和位置、力觉、触觉等多传感器系统高度集成的

电机驱动式仿人多指机械手。目前，经历了几代的发展，仿人多指机械手已经

进入了相对成熟的发展阶段。

国内对仿人多指灵巧机械手的研究始于20世纪80年代，有关高校、研究

机构以及企业累积了一些研究成果，并开发出相应的产品，如BUAA系列机

械手和HIT/DLR系列机械手等。

1.2.1 仿人多指机械手的结构组成

针对复杂的非结构化操作环境，多自由度、多关节的仿人多指机械手成

为机器人末端执行器的发展方向，能够适应不同的工作环境，根据任务要求协

2

第1章 绪 论

调完成各种复杂和灵巧的操作。一个典型的仿人多指机械手一般由感知系统、

总控计算机、人机交互系统和灵巧机械手系统等4个功能模块组成，如图1-1

所示。

总控计算机控制系统

视觉感知

运动机构

触觉感知

手部

人机交互系统

感知系统

灵巧机械手系统

图1-1 仿人多指机械手组成结构

1.感知系统

针对不同的任务，感知系统通过视觉、触觉、听觉等各种各样的传感器

来获取操作对象的物理特性和外界环境的特征信息，帮助机器人具备人类的感

知能力，从而使其更加有效地完成各种特定的任务。

2.总控计算机

总控计算机是机器人操控系统的核心，用于实现信息处理、操作决策、

任务协调等上层关键功能。

3.人机交互系统

人机交互系统作为使用者与机器人之间传递、交换信息的桥梁，用于实

现使用者的指令发送和机器人的操作信息反馈等交互功能。

4.灵巧机械手系统

灵巧机械手系统通过各种感知系统提供的外部信息，采用适当的操作方

式和规划算法，理论上可以在复杂的非结构环境中实现任意形状物体的灵巧操

作。灵巧机械手系统由控制系统、运动机构和手部构成。先由DSP或单片机

构成的控制系统发送动作指令，再由运动机构根据接收的指令实现手部各种转

动、移动或复合运动来完成规定的动作，从而改变被抓持物体的位置和姿势，

最后手部则根据物体的形状、尺寸、材料等物理特征完成作业要求。

1.2.2 国外典型的仿人多指机械手

1962年，由Tomovic和Boni研制并用于伤寒病人的Belgrade手是世界上

3

基于多模态感知的人手动作捕捉与识别

最早的机械手。1974年，日本研制的Okada手是早期机械手的典型代表，由

3个手指和1个手掌组成，手指的每个关节通过电机驱动，采用钢丝—滑轮结

构实现运动和动力的传递。20世纪80年代以来，随着机器人技术的快速发展，

很多国家加强了机器人多指机械手的研制，促使一些代表性的多指机械手问

世，如美国麻省理工学院和犹他大学联合研制的Utah/MIT手，美国斯坦福大

学的Stanford/JPL手和日本于1984年研制的Hitachi手，奠定了多指机械手的

基本设计思想。20世纪90年代后，随着计算机技术、微电子机械技术和精密

加工技术的不断创新，多指机械手进入了一个崭新的快速发展阶段。高性能计

算机大大提高了多指机械手控制系统的信号处理能力和复杂控制算法的计算能

力，大规模集成电路和微电机为多指机械手的集成化设计提供了良好的条件。

典型代表有意大利研制的DIST手和UB手、德国宇航局研制的DLR-I手、美

国宇航局研制的NASA.Robonaut手，如图1-2所示。

图1-2 灵巧机械手典型代表

图1-2中的灵巧机械手已经具备了一定的类人操作功能，但由于微电机

技术、材料加工等技术的制约依旧面临着不小的挑战，如力控制问题、多指协

同。综合分析以上4种灵巧机械手的性能及特点，从手指数、自由度、传感器

数量、驱动方式和可靠性等方面进行比较，其结果如表1-1所示。

表1-1 4种灵巧机械手比较结果

灵巧机械手手指数自由度传感器数量驱动方式可靠性

DIST手416无直流电机低

UB—Ⅱ手3139绳索和滑轮低

无刷直流电机、谐波齿轮和

DLR—Ⅰ手412112高

基关节锥齿轮

NASA手51443无刷直流电机.较高

4

第1章 绪 论

由表1-1可以得出以下结论。

（1）从机械手手指数量来看，NASA手具有和人类相同的手模型，但远未

达到人手灵巧性。

（2）自由度越高所能实现的操作功能越多，从自由度的数量来看，4种机

械手仅能实现较为简单的操作，缺乏手指和物体间作用力的主动控制，难以实

现精确操作和强力控制。

（3）从4种机械手拥有的传感器数量来看，DLR—Ⅰ手配有最多的传感器，

具有丰富的感知功能，如触觉、力、位置、速度和温度等。

（4）从驱动方式来看，NASA手使用12个无刷直流电机实现整手驱动，

且有冗余关节，相比其他机械手具有最高的稳定性。

（5）从可靠性方面来看，NASA手的可靠性最高，DIST手和UB—Ⅱ手的

可靠性最低，这与没有或较少的传感器数量以及不太稳定的驱动方式有关。

21世纪以来，多指机械手技术进入了一个稳步提高的发展阶段。多指机

械手的集成化、智能化和灵巧操作水平得到了新的提高，特别是微型电动机

技术的显著发展，使由驱动器直接驱动关节运动的内置式多指手成为发展主

流，如德国宇航局基于全数字机电集成的思想研制的第二代DLR—Ⅱ手，苏

格兰Touch.Bionics公司研制的i-Limb仿生手，英国Shadow机器人公司研制

的Shadow手和美国DEKA公司研制的DEKA手。

21世纪多指灵巧机械手典型代表如图1-3所示。

图1-3 21世纪多指灵巧机械手典型代表

相比于较前期的仿生手，21世纪多指灵巧机械手更加的拟人化，并且具

备了更高的自由度，各种传感器、电气、驱动和控制系统高度集成，控制器功

能更加丰富，计算能力更加强大。目前，多指灵巧机械手在智能机器人手臂、

危险环境下的精密操作、医疗康复、空间机器人等领域得到了广泛应用。

5

基于多模态感知的人手动作捕捉与识别

1.2.3 国内典型的仿人多指机械手

从20世纪80年代开始，以北京航空航天大学和哈尔滨工业大学为首

的高校开展了多指灵巧机械手的研究工作。其中，我国第一个多指灵巧机

械BUAA-I手由北京航空航天大学研制而成，随后的改进型BUAA-Ⅱ和

BUAA-Ⅲ手也相继研制成功。BUAA-Ⅲ手为拟人型4指16自由度手，采用模

块化设计，传动元件全部由齿轮副组成，如图1-4所示。该手电机内置，结构

简单、紧凑，可满足不同任务的操作要求。.

图1-4 BUAA-Ⅲ手

哈尔滨工业大学研制的HIT灵巧手由4个完全相同的手指组成，每个手

指有3个自由度和4个关节。该手采用微型直线驱动器和腱传动相结合的方式

实现手指关节的驱动，基于内置的多种位置、力、温度等传感器获取的感知信

息实现位置和阻抗控制，也可通过数据手套实现远程遥控作业。以HIT手和

DLR手的核心技术为基础，哈尔滨工业大学和德国宇航中心联合研制了基于

多种感知的仿人多指灵巧手—HIT/DLRⅠ手，如图1-5所示，HIT/DLRⅠ手

由4个完全相同的手指组成，不同于HIT手的地方是大拇指还有一个相对于

手掌的运动自由度，用于满足不同抓握方式的要求。此外，多种传感器和驱动

器高度集成于手指或手掌内部，并且采用基于PCI总线DSP控制卡实现灵巧

手的控制。

6

第1章 绪 论

图1-5 HIT/DLRⅠ手

与此同时，其他高校及研究所相继展开了多指灵巧机械手的研究工作。

上海交通大学机器人研究所针对残疾人所研制的仿人假肢手，具有质量轻、功

耗低、可靠性高等特点，通过创新研制的肌电臂带控制，可实现人手90%的

动作，为残疾人满足日常生活需求带来了希望。华中科技大学研制的上肢康复

机器人，采用肌电信号实现了基于人体运动意图控制的臂部和手部康复训练。

随着较高自由度与灵敏度的仿人多指机械手在医疗康复、类人机器人等

领域的深入应用，高智能、多功能的设计要求对灵巧手操作规划、多模态感知

和动作识别关键技术的研究带来了新的挑战。

为使其适应更加复杂的人类生活环境，仿人多指机械手不再局限于简单

的操作，而需实现更加复杂的类人操作，如手内操作、双手协同操作以及重新

抓取等。

1.3 人手动作捕捉技术的国内外研究现状

模拟人类的操作、感知和认知机制，仿人多指机械手需借助不同的捕捉

技术来获取相应的特征信息以实现类人操作。人手在进行物体操作前，先通过

视觉获取物体的位置、形状、尺寸等特征信息，然后通过这些物理特征信息来

选择合适的操作姿态，在接触物体后通过触觉来获取物体的纹理、重量等特征

信息，以选择合适的操作力，最后实现物体的稳定操作。

目前，用于获取人手动作信息的捕捉技术分为单一接触式感知和单一非

接触式感知两大类捕捉技术，其分类见图1-6。

7

基于多模态感知的人手动作捕捉与识别

Ӫ᡻ࣘ֌ᦅ᥹ᢰᵟ

অа᧕䀖ᔿᝏ⸕অа䶎᧕䀖ᔿᝏ⸕

ᮠ׍㚼ݹа␡᡻

ᦞ䱴⭥ᆖ㡜ᓖ࣯

᡻࣋Ԛḷᩴᩴ᧗

ࡦۿۿՐ䇠྇

ᝏᵪᵪಘ

ಘ

图1-6 人手动作捕捉技术分类

1.3.1 基于单一接触式感知的人手动作捕捉技术

单一接触式捕捉技术指通过单一种类接触式传感器来获取人手动作的某

种感知信息，如手指弯曲角度、手指力、肌电信号等。其主要包括数据手套、

依附力传感器、肌电仪和光学标记等4种感知设备。

1.数据手套

随着传感技术和精密加工技术的飞速发展，数据手套更多地被用于手部

动作模拟，并且每根手指都能够进行多自由度的运动。数据手套配备有不同类

型传感器的电子设备，用于实时感测手指的屈曲和触点。由数据手套感知到

的手部动作信息通过模-数转换后实时传送到计算机，经计算机测量手指角

度、应用力和手倾斜度等关键信息。目前，市场上流行的数据手套主要包括

CyberGloveⅢ，ShapeHand.Glove，5-DT.14.Glove和CyberWorld.P5。

数据手套的高精度、高响应速度和易控制等优点，使其在市场竞争中处

于主导地位。Luzanin开发了一种基于数据手套的手部动作识别系统，采用具

有5个传感器的数据手套来获取手部动作信息，通过概率神经网络算法对生成

的聚类集进行训练，从而有效识别虚拟现实应用中的手部运动。Fang设计了

一款名为YoBu的数据手套，由18个惯性和磁感应单元组成，能够同时获取

手部和手臂的动作信息，以非常直观自然的方式远程操控机器人。此外，有相

关研究已证明了数据手套在人手动作识别方面的优势。数据手套获取手的关节

角，存在尺寸差异，需要比例校准；无法获取空间位置信息和操作力，且传感

器之间存在交叉耦合，对校准提出更高要求。

8

第1章 绪 论

2.依附力传感器

依附力传感器主要通过测量施加的切向力和法向力来量化外部力。通过

对相互作用力的准确评估，集成在机器手上的力传感器能够使机器人执行精确

的操作。因此，学术界和工业界加大了对力传感器和测量外部力的感知技术的

研究。力传感器在操作任务中的设计标准主要包括空间分辨率、鲁棒性、敏感

性和频率响应，并满足对物体表征、识别和操作的要求。现在被广泛采用的力

传感器主要包括电容式传感器、压阻式传感器、压电式传感器和应变计。

电容式传感器基于由外力变化引起的上下电极之间的距离变化来获取位

移、力和速度信息；压阻式传感器检测在硅衬底上形成的感测材料的电阻率变

化来获取相应的力；压电式传感器通过测量压电材料产生的与施加的压力成比

例的电荷来获取力信息；应变计将应变量转化成电阻变化量来获取对应的力。

通过对大量相关文献的查阅和总结，表1-2总结了4种典型的力传感器

的优缺点。

表1-2 4种典型力传感器的优缺点比较

类 型优 点缺 点

频率响应和高空间分布率高、动态

电容式电磁噪声、温度敏感、非线性特性、磁滞

分布大、成本低

压阻式功耗低、灵活性和高空间分布率高磁滞、易脆、低的频率响应、重复性差

低功耗、高空间分辨率、较高的动温度敏感、不可伸缩、电气连接脆弱、

压电式

态响应漂移

应变计灵敏度高、低成本、尺寸小温湿度敏感、过载不可逆、非线性

3.肌电仪

肌电仪通过测量依附在皮肤表面的肌电信号，为肌肉训练和科学研究的

生物反馈测量和评估提供技术支持。越来越多的研究人员通过肌电仪来分析人

手动作用于假肢手和医疗康复研究。通过识别人手动作所对应的肌肉收缩模

式，机器人可以根据人的意图来执行相应的动作，如假肢手运动。Kiguchi提

出了一种新颖的使用肌电仪获取用户动作意图来进行上肢控制的设计框架。Al.

Timemy对假肢控制的各种动作进行识别，并采用离线处理来评估基于多通道

肌电仪的识别性能。

肌电仪提取人类肌电信号，其数据易受到串扰或冗余影响，需要从原始

信号中进行有效信息的特征提取，来精确地控制手腕和手部动作。

9

基于多模态感知的人手动作捕捉与识别

4.光学标记

光学标记作为近些年出现的一种新颖的动作捕捉感知技术，由于其高鲁

棒性和高效性的优点，被广泛应用于具有可校准摄像机的可控环境中追踪和分

析人手动作，其中摄像机只用于追踪附于人身上的光学标记。附于人手表面的

光学标记使关键特征信息的检测更加简易化，既不会影响手的自然运动，又不

会像数据手套那样由于接触带来的扰动。Chang采用监督式特征选择方法来简

化光学标记捕捉的人手动作特征集，以实现多种手部操作动作的识别。Cerveri

提出了一种将非刚体球体拟合和渐进优化相结合的方法，通过光学标记来估算

骨骼关节的旋转中心和功能轴。Kuo等人设计了一种基于皮肤传感器和表面标

记的非侵入式装置用于3D定量测量。Metcalf等人提出了基于表面标记的运动

学模型，并通过标准计算来确定光标所在位置。

光学标记捕捉人体动作信息时，皮肤形变和标记物位移会引起测量误差，

测量范围有限，需穿戴特殊标记衣服，使关键特征信息的检测更加简易化。

1.3.2 基于单一非接触式感知的人手动作捕捉技术

单一非接触式捕捉技术指通过单一种类非接触式传感器来获取人手动作

的某种感知信息，如颜色图像和深度图像等，主要包括一般摄像机、深度摄像

机或手势控制器等非接触式传感器。

1.一般摄像机

接触式感知系统由于其传感器装置需通过与物体的物理接触来获取相应

的特征信息，易受到复杂的连接线、接触面特性、迟滞等的影响。而非接触式

感知系统不需物理接触即可实现对人手动作特征信息的获取，避免由于接触

所引起的误差干扰。随着视觉技术的飞速发展和各种先进摄像机的出现，如

RGB摄像机和立体摄像机，为接触式感知系统所面临的问题提供了新的解决

方案。

RGB摄像机通过三根不同的导线来提供红、绿、蓝3种颜色分量，使用3

个独立的CCD传感器来获取相应的颜色信号，具有数百万像素和每秒超过20

帧的画面捕捉能力，为获取高精度的人手动作信息提供了足够的保障。RGB

摄像机捕捉3D人手动作信息时，需彼此分开一定角度，以避免由人手动作的

高动态性和投影产生的遮挡现象。.

立体摄像机由两套相同规格的数码相机组成，两摄像镜头平行相距一定

的距离，对准1～5ｍ的目标，通过对两个数码相机的调焦、变焦和感光等参

数设置获取物体的3D结构。Grzeszczuk等人提出了一种基于立体摄像机来获

10

第1章 绪 论

取人手动作信息进行手势识别的方法。立体摄像机具有固定的镜头角度和内部

预校准，这使摄像机能够自由移动，但两个镜头之间的角度通常太小，无法覆

盖人体运动中的遮挡区域。另外，立体几何计算的复杂性和立体声强度图像对

光线变化的高敏感性，使立体摄像机很难进行三角测量。

2.深度摄像机

相比于一般摄像机，深度摄像机不仅能捕捉传统的RGB图像，还能获取每

一帧像素的深度信息，并将得到的深度图像转换为点云，通过几何和拓扑操作

从中提取人体骨骼信息。由于深度摄像机较高的稳定性、实时性和价格低廉特

性，被广泛应用于虚拟游戏、3D建构、增强现实和人体动作行为分析等。

TOF摄像机是获取深度图像信息应用较为典型的方法之一，它是通过给

目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的

飞行往返时间来得到物体距离。与立体摄像机或三角测量系统相比，TOF摄像

机体积小，适合一些需要轻便、小体积相机的场合。它能够实时快速地计算深

度信息，并且不受物体表面灰度和特征影响，可以非常准确地进行三维测量。

另外，TOF摄像机的深度计算不随距离改变而改变，对一些大范围运动的应用

场合非常有意义。Oprisescu等人提出了一种基于TOF摄像机的自动图像捕捉

系统来识别静止的人手动作。kopinski等人给出了一种基于3D的人手姿态识

别研究，采用新一代低成本的TOF传感器用于室外汽车人机交互。

由微软公司研发的Kinect能很方便地取得深度图像和人体姿态等信息，

因此被全世界的开发者和研究人员关注。基于结构光感测原理的Kinect.V1

于2010年发布，采用了光编码的方式，将已知的光图案投射到3D场景中，

由Kinect集成的光检测器读取投射的红外线模式，并通过物体表面上的投影

引起的光图案的变形来计算点云的3D结构。但是，Kinect.V1的分辨率只有

640×480，不能取得精确的图像。基于此，Kinect.V2于2013年发布，具有

1920×1080的分辨率，骨骼关节检测点也从20提高到了26个。Kinect.V1采

用光编码的方式，而Kinect.V2采用TOF的工作原理来获取深度图像数据。近

些年来，大量的人体行为分析工作，如人体运动、手部动作和脸部动作等，都

采用RGB-D信息作为输入。

虽然深度摄像机具有很明显的优点，但是对于捕捉复杂的人手动作，易

受到噪音、身体遮挡和数据丢失等影响，仅靠单一的深度摄像机在室内环境中

获取相应的深度信息仍然有一定的难度。为解决此问题，大多数采用同时使用

多个RGB-D摄像机来追踪人体动作分析一组动作。

11

基于多模态感知的人手动作捕捉与识别

3.手势控制器

手势控制器是一种新颖的人手姿态和位置追踪传感器。它是放置在物理

桌面上的小型USB外围设备，面朝上，具有可重复性的人手动作控制用户界

面，并能捕捉百分之一毫米的图像信息。手势控制器的核心部分由3个红外线

发射器和2个可以从不同方向拍摄照片的内置摄像机组成，可以很方便地获取

3D空间中的人手动作信息。它能以延迟低于显示器刷新率的精度，同时跟踪

10个手指的动作。因此，很容易区分手指关节并追踪它们的移动[63]。与深度

摄像机相比，手势控制器采用红外光学相机而不是深度传感器，并且与典型的

多触摸方法不同，其表面传感用于现实立体3D交互系统。Chen等人提出了采

用手势控制器来捕捉手势的机器人控制系统，通过噪声抑制、坐标变换和逆运

动学的处理过程，实现了对虚拟通用机器人UR10的控制。Chophuk等人使用

手势控制器来预估触发手指的异常手指运动，并通过点积方程来测量手指的关

节角度。刘少强等人提出了基于欧几里得和余弦算法的印度手语识别系统，以

识别使用手势控制器获取的人手动作及位置信息。

手势控制器可以准确地追踪和识别人手动作，但不能够确定每一帧的所

有属性，如当手握成拳头时，并且当检测区域多于2个手或有类似手的物体出

现时，不能保证其对手部动作信息获取的质量。

1.3.3 基于多模态感知的人手动作捕捉技术

多模态感知技术指通过不同类型的传感器来同步获取同一动作的不同感

知信息。根据人手简单动作或复杂动作识别对多模态感知信息的需要，将多模

态感知技术归结为接触式多模态感知技术和非接触式多模态感知技术。

1.接触式多模态感知技术

接触式多模态感知技术指同时采用数据手套、依附力传感器、肌电仪和

光学标记等2种及以上接触式传感器组合，同步获取人手同一动作的手指力、

角速度和手指弯曲角度等多模态数据信息。

多种类型的接触式传感器组合可以获取更多人手动作信息，弥补了单一

接触式传感器仅能获取一种信息的缺点。目前的接触式多模态传感器通常包括

触觉压力感测阵列、接近传感器、动态触觉传感器和热传感器。触觉压力感测

阵列通常由附着在手指表面上的各个压敏元件组成。基于无线传感的接近传感

器主要用于目标区域跟踪。动态触觉传感器包括几种典型的传感器，如检测传

感器、加速度计、应变速率传感器、主动激励传感器和其他具有快速响应的

传感器。热传感器主要根据温度的变化来检测与温度和湿度有关的特征信息。

12

第1章 绪 论

liu等人提出了一种基于多模态感知技术的人手动作识别框架，通过获取指尖

轨迹、接触力和肌电信号来实现对不同动作的识别。Wettels等人通过BioTac

手指感知阵列来获取接触力、微振动和热通量信息，采用自适应神经网络算法

实现对特定手势的识别。

接触式多模态感知技术在工程应用中，由于传感器装置需通过与物体的

物理接触来获取相应的特征信息，其获取手指力、角速度、手指弯曲角度等数

据易受到复杂的连接线、接触面特性、迟滞等的影响，但采用接触式多模态感

知技术获取人手动作识别特征信息，可满足人手简单动作的识别要求。因此，

本书在人手简单动作识别中，选用接触式多模态感知技术。

2.非接触式多模态感知技术

非接触式多模态感知技术指同时采用一般摄像机、深度摄像机和手势控

制器等2种及以上的单一非接触式传感器，同步获取人手同一动作的3D图像

信息（如颜色图像和深度图像）。

近年来，视觉传感器的出现为人手动作识别提供了新的思路。越来越多

的研究人员试图采用非接触式感知技术来获取人手动作特征信息，以用于人机

交互、远程遥控等领域中的动作识别。Marin等人提出了一种基于Kinect和手

势控制器的手势识别框架。Dominio等人通过获取手指弯曲曲率、手掌区域等

多模态深度图像信息来实现不同手势动作的识别。

非接触式多模态感知技术可应用于人手复杂动作识别，获取人手动作

的视觉信息。但在实际应用中，存在2种及以上非接触式传感器的联合校准

问题。

1.4 人手动作识别方法的国内外研究现状

人手动作识别是指在获取原始人手行为特征信息后，根据人手操作的特

点，通过多模态数据分析获取具有较好表征能力和分离度的特征集，有效地对

其进行分类，识别出不同的人手动作，属于多分类范畴。人手动作识别方法是

将人手行为映射到机器人手操作过程中的关键。

现用于人手动作识别的方法主要有支持向量机、神经网络、隐马尔科夫

模型、高斯混合模型、模板匹配和动态时间规整等。此外，还有一些其他的方

法，如有限状态机、时间聚类方法、杂合高斯混合模型、贝叶斯神经网络、延

时神经网络等。针对本书所涉及的人手动作多模态数据特征，支持向量机和人

13

基于多模态感知的人手动作捕捉与识别

工神经网络结合自身的算法特点，具有良好的人手动作识别优势，其研究现状

综述如下。

1.4.1 支持向量机多分类方法

支持向量机（Support.Vector.Machine，SVM）是一种经典的二分类算法，

通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的

最小化，从而达到在统计样本量较少的情况下，获得良好的统计规律，在解决

小样本、非线性及高维模式识别问题中表现出特有的优势。它将向量映射到更

高维的空间上，并建立一个划分矢量簇的最大边界超平面。新对象位于相同的

空间中，并被认为属于基于它们所在的区域的类，从而实现不同类之间的划分

[82-85]。

相比其他一些传统的方法，支持向量机具有较为明显的优势，但不能处

理大规模分类问题，而人手动作识别中遇到的大部分是多分类问题。因此，

经过国内外学者的深入研究，目前常用的方法主要包括一对多SVM、一对一

SVM、多分类SVM、有向无环图SVM（DAGSVM）和决策树SVM。

1.一对多SVM方法

一对多SVM是应用最为广泛的多类分类法。假设k类问题，给定样本集

n

(xy11,),...,(xylk,),xi∈=Ri,1,...,l,yi∈{1,...,k}。目标样本包含k个类别，第i个

分类器把第i类和其他的各类划分开，训练时第i个分类器取训练集中第i类

为正类，其余类别为负类进行训练。判别时，输入信号分别经过k个分类器，

共得到k个输出值Fx(ii)=sgn(fx())。若只有一个+1出现，则其对应类别为

输入信号类别。但实际情况下构造的决策函数总有误差，若出处不止一个+1

（不止一类声称属于自己），或者没有一个输出为+1（没有一个类声称属于自

己），则比较fx()输出，最大者对应类别为输入类别。

一对多SVM方法所需分类器较少，分类速度较快。当面对大样本分类

问题时，其训练时间与类别数成正比，训练时间较长，且易出现误分、拒分

现象。

2.一对一SVM方法

一对一SVM在每两类间训练一个分类器，对k个类别将产生kk(−1)/2个

分类器。对一个位置样本进行分类时，每个分类器对其类别采取“投票”方

式，即每个两类分类器都对样本的类别进行判断，得票数最多者即为该未知样

本的实际类别。相比一对多SVM，一对一SVM由于每个SVM只考虑2类样本，

因此更容易训练，分类精度也较高。

14

第1章 绪 论

一对一SVM方法所需的分类器数目跟类别数成正比，但“投票”机制使

其决策时速度较慢，若出现票数一致易产生不可分情况。

3.多分类SVM方法

多分类SVM通过修改目标函数，把多分类问题转换为解决单个优化问题，

从而建立k个分类器。

由二分类支持向量机推广可得

2

1nl

mT≥

minΨ=(w,ξ)wC+ξφiywxb(i)+y

wb,,ξ∑∑∑ii

2m=11i=my≠i.............（1-1）

Tm

wxbmiφξ()+m+−2i

m≥

式中，ξii0,m∈{1,...,ky}/，最终获得的目标决策函数为

=Tφ+

fx()argmaxwmm(x)b............................（1-2）

mk=1,...,

利用拉格朗日乘子法将最优分类问题转换为对偶问题得以解决，采用块

算法可以快速实现不同样本类的分类。

多分类SVM方法在样本训练过程中由于较多的参数选择、函数变换等，

相对于一对多、一对一消耗时间更长，更适合于样本规模较小的分类问题。

4.有向无环图SVM方法

有向无环图SVM方法与一对一SVM方法一样，对于k类别问题也需要求

解kk(−1)/2个分类器。分类器构成一个含有kk(−1)/2个内部节点和k个叶

节点的有向无环图。其中，每个节点对应一个二类分类器。有向无环图SVM

的最大优点在于只需k−1个决策函数即可获取最终的分类结果，测试速度快，

不存在误分和拒分区域，并且具有一定的容错性，分类精度较高。

有向无环图SVM方法由于其自上而下的层次分类结构，容易出现误差

累积。

5.决策树SVM方法

决策树SVM方法的基本思想是从根节点开始，采用某种方法将该节点所

包含的类别划分为两个子类，然后再对两个子类进一步划分，如此循环，直到

子类中只包含一个类别为止，这样就得到了一个倒立的二叉树。最后，在二

叉树各决策节点训练支持向量机分类器，实现对识别样本的分类。决策树支持

向量机多分类方法有很多种，主要区别是设计树结构的方法不同。完全二叉树

结构分类时使用的平均分类器数目为log(2k)，偏二叉树使用的平均分类器数

为k−1，具有其他层次结构的二叉树使用的分类器，其平均值介于二者之间。

15

基于多模态感知的人手动作捕捉与识别

完全二叉树分类时所需要的分类器数目最少，因此具有较少支持向量的完全二

叉树的分类器速度也是较快的。

决策树SVM方法的每个类的区域严重依赖二叉树的结构，分割顺序不一

样，每个类的分割区域随之不同，从而降低了分类精度。

表1-3对这5种典型的支持向量机多分类方法在训练时间、分类器数量，

样本大小等方面做了一个详细的对比。

表1-3 不同的多类支持向量机方法比较

多类SVM训练时间分类器数样本大小优 点缺 点

一对多短k大简单有效误分、拒分

较高精度不可分

一对一长kk(−1)/2适中

快速分类过拟合

多分类长