手势计算技术的发展研究.doc

手势计算技术的发展研究摘 要 2012年新媒体联盟nmc发布的最新地平线报告指出，未来五年“基于手势计算技术”将是影响教育信息化发展的关键技术之一，并将在4到5年内被全世界教育机构广泛使用。本文以探索手势计算技术未来五年的发展前景为出发点，对近几年来国内外手势计算技术的内涵及发展现状、手势计算技术的关键技术及主要实现难点进行简单的概述。最后，总结手势计算技术未来的发展趋势、应用领域和研究价值。关键字 手势计算； 地平线报告； 虚拟现实； k-12中图分类号 g434 文献标志码 a作者简介 李建珍（1967），男，甘肃秦安人。教授，主要从事信息技术与教育研究。e-mail：。前 言“新媒体联盟nmc（new media consortium）是由全球近300个来自不同国家和地区的高校、博物馆、学习中心、基金会等领先学习机构组成，致力于促进信息技术在教育（尤其是高等教育）中的研究和运用，总部位于美国得克萨斯州的奥斯汀。”12002年，国际“新媒体联盟nmc”启动实施“地平线项目（the horizon project）”，其评估的标准是新兴信息技术进入教育主流性应用的潜能，通过质性研究，在每年的3月份左右以报告的形式，向学习机构提出关于技术展望、关键趋势和重要挑战等三方面的研究分析，并力求实现研究和实践的互动。2目前，horizon report成为预测教育信息化发展趋势的主要信息来源。“horizon report 2011年2月和2012年（高等教育版）发布两次关于新兴技术的研究报告中预示了手势计算技术不可阻挡的趋势。”horizon report的确定过程是：首先，horizon项目顾问委员会通过大量的文献研究和甄选，确定影响教育中教学、学习、研究和创新的主要因素。3然后，分析和讨论对教育及相关实践有潜在影响的50多种新技术。最后，根据其对教育的影响程度排序，最终确定了horizon report中六项关键的新技术。“这六项关键技术分别适用于基础教育、初等教育和高等教育，主要分为三个阶段（近期：1年内，中期：23年，远期：45年）。”4当然，这六项关键技术也是教育技术在2012年至2017年间发展的主要技术指标。horizon report中就每一个关键技术对应了大量的案例。2012年horizon report包括三部分内容，“在未来五年（20122017年）推动教育信息化发展的核心趋势”、“未来教育信息化面对的重要挑战”、“影响未来教育发展的关键技术”；而这些关键技术已经开始变革着当下教育环境和教育模式，例如，最近一段时间，国内很多学者都在关注一个新的教学模式：颠倒的课堂，其思想是改变传统的教学模式。表1所示，智能化人机交互技术从2008年horizon report开始提出，2010年，提出“基于手势计算技术”，到2012年高等教育版本的horizon report，连续三次将其列为远期（从现在起4到5年）潜在影响教育信息化发展的关键技术。但是，目前手势计算的研究还处于理论不完整、实践不成熟的窘迫阶段。如何让手势计算真正走入我们的生活才是我们面临的重要挑战。自2001 年以来， 以mit （美国麻省理工学院）为代表的开放课程的兴起，我们不断接触呈现在全球视野下的各种公开课，如ted演讲集，基本控制在20分钟内的课程。这些开放的、共享的资源总能激发的是一个民族的创新教育。在2010年的一个ted公开课中，奥布朗工业公司研究员介绍了他所设计的电影虚拟接口，称为“g-speak”。5该公司首席科学家约翰乌德科夫勒（john underkoffler）说：“人手是世界上最复杂的操作工具。我们的想法是扔掉鼠标，让手取代它的全部作用。”这套系统要素有三点：“手势输入和输出、网络重组和现实界像素。”并被发明者称为自1984年第一个计算机界面发明以来最重要的一步。6他向全世界展示了手势控制电脑画面的变动和旋转，给我们带来了视觉的冲击和对这门技术未来发展的信心。一、手势计算技术概述（一）手势计算的定义“手势”（gesture）是一种灵活、自然、直观的人机交互手段，它的运动轨迹存在于三维空间中。国内学者把手势定义为：“手势是人手或者手和手臂结合所产生的各种姿势和动作。”7包括静态手势和动态手势两种。静态手势对应空间里的一个点，而动态手势对应着手势在参数空间里的运动轨迹，是一个变量。它们对应着不同的技术支持。基于手势计算技术在当前是一个比较新的研究课题，大量的研究集中在基于视频的手势识别技术，主要是由于手势计算才刚刚被大家重视，近年来研究渐增。笔者以“手势计算”为关键字在中国知网全文检索，共有32篇文献。以“手势识别”进行题名检索，就有451篇文章。大量的文献是国内学者对手势识别技术的研究，研究主要集中在技术开发和应用方向。笔者认为，手势识别与手势计算内涵是不一样的。所以，关于基于手势计算技术的相关理论及应用的研究还需要更多的人去探究。本文将基于手势识别技术的研究成果，探讨手势计算技术在教育中的应用价值和未来发展趋势。（二）国内外手势计算技术研究现状1. 手势识别技术成果综述早在1982年国外已经开始对手势识别技术展开研究，目前，很多实践都是基于视觉和数据手套的识别研究，国内研究领头人物主要有吴江琴、高文等人，他们的研究成果比较丰富，带动了国内手势识别技术的发展。表2是关于手势识别研究代表性成果。由表2所述，对于手势识别技术的研究自1982年开始一直没有间断过，而且已经有很多新出现的技术手段，其中应用的领域也是非常广泛，从简单的人机交互为目的的研究到我们生活中每一部分，如控制汽车、控制天气预报的进程以及后来的基于视频的手势识别技术。每一个阶段所对应的技术相对来说都成熟了许多。但是这些技术都因为存在一些缺陷而没能成功。相比而言，我国对于手势识别技术的研究还比较薄弱。在2012年地平线报告中指出手势识别技术将在未来五年得到广泛的应用，所以近几年来，国内外对这项新技术的发展趋势作了大量的研究。众所周知，每一项新技术的投入使用都需要足够的前期工作，首先要清楚地知道新技术是什么，这样我们才能不断地探索新知和克服种种阻力，所以，通过上文介绍的手势识别技术的一些概念性的内容，笔者将在此基础上探索关于手势识别技术最新的进展和发展前景。2. 手势计算技术的现状2012年horizon report指出：“基于手势的计算从利用鼠标和键盘来控制电脑，转变到通过新输入设备利用身体运动、面部表情和语音识别来控制电脑，使得交互更加灵活。”目前，基于手势的计算在教育领域应用的实例很少。表3是horizon report给出的国外研究的实例参考。（三）手势计算的关键技术手势计算有很多技术支持，在这里笔者主要总结最具代表的三个关键技术：“模板匹配技术”、“人工神经网络（ann）技术”和“基于隐马尔可夫模型（hidden markov model ）hmm技术”。这三个技术有不同的特点和用途，如图1所示。“模板匹配技术”是一种最简单的识别技术，它将传感器输入的原始数据与预先存储的模板进行匹配，通过测量两者之间的相似度来完成识别任务。 “人工神经网络（ann）的手势识别技术是一种较新的非线性映射模式识别技术，主要通过权值连接。”8“基于隐马尔可夫模型hmm技术”作为信号的一种统计模型，已经在语音识别领域得到了广泛的应用。“它的识别过程是基于hmm 模型，大多采用计算某测试样本与参考模型集的似然度，通过判断最大值以确定测试样本的类别。”9这些关键技术是手势计算技术未来发展的核心技术，所以，对于很多致力于开发手势计算技术深层资源的公司或机构，必然会面临很多技术上的困难。国外研究比较成熟的有微软的kinect。（四）手势计算技术研究面临的挑战1. 人手自身的局限性人手是一个形状复杂而且灵活多变的物体，要实现准确识别手势，主要面临四个难题：超三维问题（人手的二十多个自由度的复杂多变性和手势位置及旋转的不稳定性，使得准确估计手的姿态非常困难，最少也需要六维信息）、阴影问题（基于视觉的手势识别中主要应用二维手势图像，但人手形状的高度复杂性，二维平面关键部位会被手的投影遮挡，这也是手势识别技术要克服的最主要的困难）、手势的统一定义问题（手势定义是给计算机识别的，如何定义手势，使其既便于计算机识别，又符合人的自然习惯，是急需解决的问题）、运算速度问题（实时计算机视觉系统本身就需要处理大量数据，在识别手势这种高度复杂多变的物体时，需要进行的运算量更大。在目前的计算机硬件条件下，达到实时性计算是很困难的）。2. 与增强现实ar技术融合的现实挑战中国手势计算在今后发展中必然会面临许多挑战性难题，当下，最关键的是如何将虚拟现实技术融入手势计算中以更好的支持教育。“增强现实（augmented reality，ar）技术可以将虚拟的物体合并到现实场景中，并能支持用户与其进行交互，它已经成为虚拟现实研究中的一个重要领域，也是人机界面技术发展的一个重要方向。”10世界已经无法阻止这一技术的发展，我相信有一句话“你以为你看到的就是真实的吗？”是未来必然存在的问题。例如：kinect。11kinect是微软面向游戏消费者开发的一款视觉媒体。它真正实现了人机智能交互。基于视频的人际交互的现实案例有许多，如qq手势达人，用来控制ppt播放，但与此不同的是kinect所侦测的不仅是脸部，而是3d影像和人体骨架。所以，它在慢慢渗透于各个行业如生活、军事、科学、医疗、娱乐以及教育领域。例如在各大商场设置的3d试衣间就是很好的说明。但是，虽然kinect的发展前景非常广泛，它自身的造价也是非常昂贵。以后的发展将对现实技术和市场提出挑战。二、手势计算技术未来五年的发展趋势未来的人机交互方式将被手势计算技术主宰，是人机智能化的新时代。纵观近年来手势计算技术的发展，硕果累累。主要出现了四类手势计算系统：“基于数据手套的计算系统”、“基于表面肌电信号semg的手势控制系统”、“基于佩戴式输入设备（body-instrumentation）的手势交互系统”和“基于视觉的手势计算系统”（见表4）。其中最具发展前景的两个系统是“基于数据手套的识别系统”和“基于视觉的手势计算系统”。这两个手势计算系统是实现新一代人机交互所不可缺少的关键技术，也是未来五年发展的趋势。“数据手套”（data glove）是增强现实中广泛使用和最重要的交互设备， 是手与虚拟环境交互的基本工具。它在手势计算中属于最基础、并需要最先开发出来的一类系统。基于摄像头或基于视频的手势计算与人机交互的研究得到越来越多的重视，是目前手势计算技术中研究人数最多、研究最为广泛的输入设备。它涉及到“计算机视觉、模式识别、图像及视频处理、人机交互、人工智能、行为心理学等多个学科。”12但目前的研究工作仍处于初级阶段，需要进一步解决的问题仍然很多。如今，基于数据手套的手势计算系统和基于视觉的手势计算系统发展速度较快，国内外各专家都积极投入研究中。至今已有很多成功的案例，许多研究识别率能达到90%以上，这已经说明手势计算技术不再遥远。然而，随着移动学习的日益普遍，随身携带是大多数人的内在需求，所以，研究的关键点是如何克服这些缺点，降低造价，使之真正走进人们的生活中。三、手势计算技术主要应用领域目前，人机交互正在步入智能化，即从以计算机为中心逐渐转换为以人为中心的交互方式。未来手势计算技术不仅可以用于简单的人机交互中，还会在机器人与虚拟现实、教育与临床医学、数字化生活及娱乐等方面显示广阔的发展前景。作为新型的人机交互技术，手势计算技术未来发展主要有以下几个方面的应用。（一）机器人与虚拟现实“手势计算最先用于机器人机械手的抓取，机器人机械手的自然抓取一直是该研究领域的难点。”13手势计算技术尤其是基于数据手套的手势计算的研究对克服这个问题有重要的意义。所以，至今机器人仍然是手势计算的重要应用领域之一。手势计算作为一种三维交互设备，主要用于虚拟现实的交互，如“虚拟制造”和“虚拟装配”、“艺术设计”等。虚拟现实的交互是通过手势计算技术对环境和虚拟物体进行控制，或者实现虚拟场景中的镜像手部运动。目前应用最多的是虚拟装配，通过手与电脑的交互，产生虚拟画面，手的运动可以直接控制零件的装配。这个领域为很多没有现成设备的配置人员提供虚拟学习机会。同时可以节约成本，可反复练习。艺术设计主要是艺术学领域的一个突破，在虚拟现实界面可以任意发挥自己的创造力和想象力，所有创作都会自动保存成文件以便查看。虚拟现实领域可使手势计算技术发挥其最大优势。（二）教育与医学当然，基于手势的计算将会在各个方面都能发挥重要的作用。在教育方面：“实时反馈、技能模拟训练、真实感官学习、肢体运动表演、新协作模式、新的人机交互模式、超三维空间学习环境等等”，14手势计算技术之所以是未来教育信息化发展的关键技术，是因为它能给我们带来新的启示和动力。随着社会的快速发展，人们的学习方式和工作方式也发生了变化。移动学习和非正式学习已经深深地渗透在每一个人的心里。非正式学习和个性化学习环境（ple）再度成为教育的焦点。教育是手势计算发展空间最大和最值得关注的领域。手势计算与增强现实的结合将成为主流应用于教育中。手势计算将彻底改变课堂的教学方式以及学习环境，在未来几年它不断变革教育的发展。如图2手势计算在教育中的应用。综上所述，在未来教育发展的大方向下要正确把握教育信息化发展的方向，手势计算技术在教育中的应用价值明显提高。笔者主要从以下两方面作简单的阐述。1. 虚拟校园“2005年美国教育部颁发的美国国家教育技术计划分析了前期用于教育技术的财政投入， 对近20多万k-12的学生展开网上调研和分析， 提出e- learning与虚拟学校的激增并大力支持。”15虚拟校园是一种基于互联网的在线学习，其出发点和学习对象与网络学校是不一样的。平板电脑的出现与普及，相应的应用也越来越广泛，如电子书包、电子课堂等。虚拟校园如哈尔滨工业大学三维虚拟校园和奥博虚拟校园，都是模拟现实中的校园生活。访问者可以扮演学校中的各种角色，在手势计算技术的支持下具有身临其境的真实感觉，即可重温美好的校园生活，又能学习网站提供的大量学习资料、百科知识等。2. 三维空间学习环境三维空间学习环境是基于 web的交互式三维虚拟学习环境平台的情境学习，学习者在三维学习环境下获取丰富的知识资源。在手势计算技术的支持下，情境化学习更具有生动性和悦趣性。三维空间学习环境的价值体现在解决学习媒体的情境化和智能交互的应用， 它改善二维文本方式为主的网络资源， 即在教育领域呈现出极大的应用前景。但2012年horizon report指出未来教育信息化将面临的挑战之一：高校的壁垒给教育使用新技术带来了难题。随着知识经济时代的到来，高校要加强学习型社会的构建，必须要适应社会的发展。所以，未来教育信息化的发展离不开新技术的支持。在web2.0大背景下，新技术层出不群，但是，horizon report已经为我们筛选出了六项核心技术。在医学方面，手势计算的意义将在这里能得到最好的诠释，“2011年地平线报告中假设了在手势计算技术下，学生可动手组合或改变果蝇的dna，或者外科医生使用相同的方式练习外科手术。”16相比之下，这种方式为医疗领域带来的是一个新奇的交互体验。（三）数字化生活与娱乐目前，手势计算技术代替鼠标和键盘，在生活中应用最多的是一些简单的控制操作，比如控制幻灯片或视频或音频的播放、前进和结束，当然，这些是最初级也是最简单的应用。在数字化生活中，一些大型商场里设置的3d试衣间与我们生活息息相关。数字化大爆炸时代，我们要紧跟这个时代的步伐，同时也要提高自己数字化生存能力。随着技术的发展，对于游戏用户来说，这些技术已经不再陌生了。比如已开发的家庭版的虚拟网球，犹如“ios”、“android”这样的全触控操作系统一般，给使用者带来生活趣味性。当然，手势计算技术还可以应用于未来的智能交通控制系统，与“物联网”结合，减少交通事故的发生。结束语“在落实和推进国家中长期教育改革和发展规划纲要（20102020年）和教育信息化十年发展规划（20112020年）的大发展的背景下，要密切关注国际教育技术研究与应用的发展动态。”16未来教育的研究与应用都需要在全球视野下拥有创新思维和战略眼光。基于手势的计算是一次突破性的变革，它正在从身体和设备两方面改变着我们与计算机的交流方式。基于手势的计算并非离我们遥不可及。qq手势达人、g-speak等已实现了实质性的突破，也变革了我们传统的教学的环境和教学模式。当然，手势计算和增强现实相结合是今后的研究难题和挑战，有挑战就有机会，我们要把握这个机会去开启教育的新视野。参考文献1 the new media consortiumdb/ol.http：/，2012，（2）.2 王龙.地平线研究报告及其启示j.中国远程教育，2009，（7）：7076.3 焦建利.未来五年影响教育的六大技术horizon 报告j.中国信息技术教育，2011，（5）：6768.4 16 陈娜.未来五年影响教育的趋势、挑战和技术关于2011 horizon年度报告j.电化教育研究，