手势识别-人工神经网络

1、手势识别-人工神经网络手势识别-人工神经网络一.手势识别综述随着计算机性能的逐步提高和各领域对计算机使用的不断深入，人与计算机的交互活 动越来越成为人们日常生活中的一个重要组成部分。鼠标和键盘等传统的的人机交互方式 越来越显示出它们的局限性，尤其在虚拟现实、增强现实和可穿戴计算等新兴的应用中变 得更为明显。近年来，手势交互作为一种新的人机交互方式被越来越多地采用，特别是基 于视觉的手势交互，由于其简单、自然、直观和非侵犯性等特性已成为手势交互的重要方 式之一。手势是一种自然、直观、易于学习的人机交互手段。以人手直接作为计算机的输入设 备，人机间的通讯将不再需要中间的媒体，用户可以简单地定义一种

2、适当的手势来对周围 的机器进行控制。手势研究分为手势合成和手势识别，前者属于计算机图形学的问题，后 者属r模式识别的问题。手势识别技术分为基于数据手套和基于计算机视觉两大类。1.1 手势识别的发展最初的研究主要集中在做一种专用硬件设备来进行输入。例如数据手套，即人可以戴 上一个类似于手套的传感器，计算机通过它可以获：取手的位置、手指的伸展状况等丰富 信息。如1993年B. Thamas等人做的自由手遥控目标的系统是凭借数据手套作为输入的媒 介，但这需要实验者呆上一个专用设备。之后人们乂致力于标记手势的研究，即通过在手 上作标记，例如在手腕和手指处贴上或画上特殊颜色的圆点，用来识别手势。这虽然给

3、识 别带来了方便，但同样给实验者带来麻烦。最后人们终于把注意力集中到白然手上，通过 专用加速硬件和脱机训练，一些研究者成功地研制了手势系统，但其识别的手势仅限几种。 例如Freeman和Roth等人提出的基于一方向直方图的手势识别系统。1994年，作者高文等人提出了一种静态复杂背景中手势目标的捕获与识别，1995年乂提出了动态 复杂背景中手势目标的捕获与识别方法。1.2 手势的定义由于手势(gesture)本身具有多样性和多义性，具有在时间空间上的差异性加上不同 文化背景的影响对手势的定义是不同的。这里把手势定义为：手势是人手或者手和臂结合 所产生的各种姿势和动作，它包括静态手势(指姿态，单个

4、手形)和动态手势(指动作，由 一系列姿态组成)。静态手势对应空间里的一个点，而动态手势对应着模型参数空间里的 一条轨迹，需要使用随时间变化的空间特征来表述。手势和姿势(posture)的主要区别在 于姿势更为强调手和身体的形态和状态而手势更为强调手的运动。1.3 手势识别的技术难点现在大多数的研究重点都在静态手势的识别，其技术难点都以下几点:1 .手势目标检测的困难；2.手势目标识别的困难。目标的实时截取是指在人以复杂的背景条件下从图像流中截取出目标来，这是机器视 觉主要研究的课题之一。目前已有许多针对专用自动视觉系统的较为成熟且易于实现的技 术。例如，利用目标窗与背景窗的脂肪图分割目标的方法

5、，基于多图像信息的目标分割方 法以及二维病的阈值分割方法等。手势识别则是根据人手的姿态以及变化过程来解释其高层次的含义，提取出具有几何 不变性的特征是其关键技术。由于手势具有以下特点：2 .手是弹性物体，故同一种手势之间差别很大；3 .手有大量冗余信息，由于人识别手势关键是识别手指特征，故手掌特征是冗余信 息：4 .手的位置是在三维空间，因此难以定位，并且计算机获取的图像是三维向二维的投影，因此投影方向很关键；4.由于手的表面是非光滑的，因 此易产生阴影。上面两个问题目前还远未解决，具体实现时必须加一定的限制条件。5 .4手势识别的技术和方法利用计算机识别和解释手势输入是将手势应用于人机交互的

6、关键前提。目前人们采用 了不同手段来识别手势1 .基于鼠标器和笔，缺点是只能识别手的整体运动而不能识别手指的动作；优点是 仅利用软件算法来实现，从而适合于一般桌面系统。需要说明，仅当用鼠标光标或笔尖的 运动或方向变化来传达信息时，才可将鼠标器或笔看作手势表达工具。这类技术可用于文 字校对等应用。2 .基于数据手套(Data Glove),主要优点是可以测定手指的姿势和手势，但是相对 而言较为昂贵，并且有时会给用户带来不便(如出汗)。3 .基于计算机视觉，即利用摄象机输入手势，其优点是不干扰用户，这是一种很有 前途的技术，目前有许多研究者致力于此项工作。但在技术上存在很多困难，目前的计算 机视觉

7、技术还难以胜任手势识别和理解的任务。所采用的手势识别方法目前主要有：1 .模板匹配技术，这是一种最简单的识别技术，它将传感器输入的原始数据与预先 存储的模板进行匹配，通过测量两者之间的相似度来完成识别任务。2 .神经网络技术，这是一种较新的模式识别技术，具有自组织和自学习能力，具有 分布性特点，能有效抗噪声和处理不完整的模式以及具有模式推广能力。3 .统计分析技术，通过统计样本特征向量来确定分类器的一种基于概率的分类方法。 在模式识别中一般采用贝叶斯极大似然理论确定分类函数。该技术的缺点是要求人们从原 始数据中提取特定的特征向量，而不能直接对原始数据进行识别。目前较为实用的手势识别是基于数据手

8、套的，因为数据手套不仅可以输入包括一维空 间运动在内的较为全面的手势信息，而且比基于计算机视觉的手势在技术上要容易得多。 但是基于视觉的手势识别是未来的趋势，下面来主要介绍一下人工神经网络。二.BP神经网络概述BP (Back Propagation)网络是 1986 年由 Rumelhart 和 McCelland 为首的科学家小 组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模 型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种 映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的 权值和阈值，使网络的误

9、差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、 隐层(hide layer)和输出层(output layer)»如下图所示：2. 1 BP神经网络原理人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在 于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大 量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。BP神经网络的主要思想是从后向前逐层传播输出层的误差，以间接算出隐层误差。算 法分为两个阶段第一阶段(正向过程)输入信息从输入层经隐层逐层计算各单元的输出 值：第二阶段(反向传播过程)内输出误差逐层向前算出隐

10、层各单元的误差，并用此误差 修正前层权值。人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络 对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出 “1”，而当输入为“B”时，输出为“0”。所以网络学习的准则应该是:如果网络作出 错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给 网络的各连接权值赋P(0, 1)区间内的随机值，将“A”所对应的图象模式输入给网络， 网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况 下，网络输出为“1”和“0”的概率各为50蛤也就是说是完全随机的。这时如果输出为“1”（结果正确），则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作 出正确的判断。如果输出为“0”（即结果错误），则把网络连接权值朝着减小综合输入 加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的 可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按 以上学习方法进行若干次学习后，网络判断的