基于自然界面的多病害识别交互桌面界面存储器设计

基于自然界面的多病害识别交互桌面界面存储器设计

在计算机支持协同工作、多媒体计算和一般应用程序的共同推动下，结合多因素多领域的自然界面实现了接口的建设。与传统的个人表面计算机相比，交互式界面系统具有水平显示、多手动操作、支持多媒体作品的功能。互动桌布用于军事、教育、娱乐、合作设计等领域。交互桌面系统的界面构造涉及多领域、多学科交叉,是一项复杂的系统工作.界面工具可减少底层实现的负担,通过提供合适的功能模块,既降低了系统开发门槛,又可使应用程序开发人员将注意力集中到应用领域功能的实现,但目前的界面工具大多基于传统WIMP范式开发.Grafiti提供了一个可扩展的多指手势处理框架,用户可自由地添加新的手势识别算法,手势以手势事件的形式提供给应用程序;但由于Grafiti缺少构造多触点交互桌面界面的界面组件库,为了实现支持多指手势并且可实现任意角度旋转的界面元素,开发人员在界面绘制方面仍需做大量的工作.PyMT提供了一个适用于多触点交互桌面的界面组件库;但在手势识别管理方面略显不足,支持的手势种类少,开发人员仍需基于原始的触点数据实现手势识别算法.SurfaceSDK1也有类似于PyMT的问题,仅提供了基本的手势;同时,SurfaceSDK的使用基于具体的软件平台,移植性较差.DiamondSpin提供了用户身份区分的功能,但需凭借特定的硬件设施,该方法不具有通用性.可见由于WIMP范式基于鼠标等支持精确指点输入的输入设备,交互方式是精确、离散的,只有单个输入焦点,不适合用于指导多触点交互桌面的开发.多触点交互桌面使用手指、笔等输入设备,交互方式通常使用自然手势,该交互方式具有模糊、连续、多焦点并行输入等特性.George提出自然用户界面的通用隐喻OCGM(objects,containers,gesturesandmanipulations)2,该隐喻与多触点交互桌面的界面及交互方式更加符合,其对象是基本的界面元素,可以是物理对象也可以是虚拟的界面元素;容器是对象以某种形式组织形成的集合;手势与系统命令相对应手势输入完成之后,系统根据手势识别结果执行某个系统任务;操作是对对象的直接操作,操作方式类比于物理世界中对物体的操作.为了有效地支持多触点交互桌面系统的开发,MTBuilder在对多触点交互桌面界面工具需求分析的基础上,基于自然用户界面通用隐喻OCGM设计并实现,力求为应用程序开发人员提供一个功能强大、简单易用的多触点交互桌面应用程序开发环境.MTBuilder使用了一系列新型的技术,用多触点手势识别预处理算法对多触点信息进行预处理,即按照抽象层次的不同对触点信息进行结构化存储,经过预处理的多触点信息更有利于多指手势的识别;使用动态配置手势识别器的技术对手势识别器进行调度,系统运行的某一时刻只调用可能会用到的识别器,采用这种方式可有效地提高手势识别效率,进而提高系统的响应速度;基于自然用户界面通用隐喻OCGM构建的界面更易于被用户理解,可提高界面的易用性;采用个人活动窗口以软件的方式实现多触点交互桌面身份区分,这种基于软件的身份区分方式不受硬件设备的限制,具有较好的通用性.1面向用户的多进一步融合为了保证用户与交互桌面系统交互的自然性、直观性,减少用户的学习和认知负担,本文对一些典型的多人交互场景进行研究发现,用户通常会多个手指协调配合实现对物理对象的操作,如抓取、放置等;用户与用户之间对某对象进行讨论的时候,总是习惯于将对象拖动并旋转至两人均方便查看的位置以方便交流.为了便于开发具有良好沉浸感及交互自然性的交互桌面系统,交互桌面界面开发工具箱的设计与开发需要解决如下3个技术难点:1)多指手势识别与理解.多指输入具有多个输入焦点、连续、并发、信息量大等特点,这些触点信息的组织和存储模型将直接影响多指手势识别与理解的效率,因此需要一种有效的方式对用户实时输入的多触点信息进行结构化存储.2)多触点交互桌面界面元素设计.显示方式从垂直转化成了水平,位于交互桌面不同位置的协作用户不能共享视角,需要在新的界面隐喻指导下对交互桌面界面组件重新进行设计,以便用户理解界面并顺利完成交互任务.3)多指手势事件管理.多触点输入具有连续、并发的特点,但是现有界面工具通常把触点或手势当作鼠标事件来处理,未能充分利用多触点交互所提供的丰富的输入通道.界面工具应提供一个面向多触点交互的手势事件管理机制.为了解决上述问题,本文基于OCGM提出如图1所示的MTBuilder整体架构图.用户通过多触点硬件设备输入多触点信息,这些多触点信息经过一系列的处理后通过TUIO协议发送给MTBuilder,MTBuilder对接收到的数据进行处理,最后通过应用程序接口可旋转图形界面组件和手势事件管理器将用户的手势信息发送给应用程序,从而完成相应的交互任务.基于TUIO协议传输多触点信息使该界面工具可以独立于具体的多触点硬件平台,具有更好的可移植性.MTBuilder由手势算法库和界面组件库两大模块组成.手势算法库包含多个手势识别器,主要负责将用户输入的触点信息转化为具有高级语义的手势,并以手势事件的形式发送给手势事件管理器;界面组件库由多个可旋转图形界面组件组成,这些界面组件基于OCGM隐喻进行设计,可监听多触点手势事件并且可以实现任意角度的旋转.MTBuilder的架构具有很好的模块化特征,手势算法库和界面组件库均可进行任意扩展,以方便地集成各种新型的交互技术和算法.下面详细介绍手势算法库设计与实现过程中涉及到的关键技术,界面组件库中组件设计的指导思想,以及手势算法库和界面组件库两大核心模块之间的通信机制手势事件管理机制.2指手动信息提取的提取2.1场景图的描述和编码信息多触交互桌面通常屏幕较大并支持多个用户并发交互,往往会出现多个用户同时与界面元素进行交互的情况.TUIO服务器端会将所有用户输入的触点信息无差别地顺序发送给交互桌面系统,对系统的手势识别和理解带来困难,需对接收到的TUIO数据进行预处理.文献按照用户的不同对输入触点进行分类,以用户作为语义理解的单位解析单个用户的交互意图,该方式适用于具有身份识别功能的交互桌面,但对于大多数基于计算机视觉的多触点交互桌面系统并不可行.通过认知心理学对人类大脑注意机制的研究可知,单个用户在与系统交互的过程中关注的焦点通常只有一个.故为了有效理解用户输入的触点信息流,本文将界面元素作为语义理解的基本单位,即对同一界面元素的交互效果是作用于该元素的所有触点的合作用.作用于同一界面元素的所有触点信息也将作为手势识别的基本单元,用户输入触点信息后,系统进行碰撞检测判断触点所在界面元素,从而将触点按照界面元素进行分类.图2所示为多触点信息分类示意图,按照产生时间的不同,触点数据依次经TUIO发送给交互桌面系统,交互桌面系统按上述方式将触点按界面元素进行分类,即可进行手势识别等处理,理解用户对该界面元素进行的操作.为了有效地保存上述触点信息及触点分类结果,本文采用类似于场景图的方式描述并保存各个层次的触点信息.触点信息被分为触点、路径和路径簇3个层次进行存储,这些数据在原始的触点信息的基础上还添加了相关的上下文信息及其他辅助信息.1)触点.每一个触点事件都对应一个新的触点,其数据模型为TouchPoint<fingerID,xpos,ypos,xspeed,yspeed,state>.其中,fingerID唯一标识一个手指;xpos和ypos表示该触点在屏幕上的绝对位置;xspeed和yspeed表示触点当前的运动速度,通常通过当前帧与上一帧2帧的坐标差计算而得;state表示该触点所处的状态ADDED,UPDATED和REMOVED,ADDED表示手指刚接触屏幕,UPDATED表示手指在屏幕上移动位置信息被更新了,REMOVED表示手指抬起.2)路径.手指按下、移动、抬起这一过程中涉及到的所有的触点形成的轨迹,其数据模型为Path<pathID,<TouchPoints>,<targets>,enteringTarget,currentTarget,leavingTarget,state,timestamp>.其中,pathID为该路径的唯一标识,通常为产生该路径的手指的fingerID;<TouchPoints>触点列表保存该路径上的所有触点信息;<targets>界面对象列表保存手指划过的所有界面对象;enteringTarget表示手指当前进入的对象;currentTarget表示手指当前所在的对象;leavingTarget表示手指当前离开的对象;state表示该路径所处的状态ADD,UPDATE和REMOVE,ADD表示新建了一条路径,UPDATE表示路径处于活动状态,REMOVE表示该路径结束;timestamp保存该路径信息最后一次被修改的时间.3)路径簇.多触点手势识别预处理算法对当前所有触点进行分类产生路径簇,路径簇是此界面工具进行手势识别的基本单位,是用户的一个输入焦点,其数据模型为Cluster<clusterID,<Paths>,<currentPaths>,<currentAddingPaths>,<currentUpdatingPaths>,<currentRemovingPaths>,initialTarget,<finalTargets>,<enteringTargets>,<currentTargets>,<leavingTargets>,state,timestamp>.其中,clusterID唯一标记一个路径簇;<Paths>为路径列表,保存着从该路径簇产生到现在包含的所有路径,包括刚添加的、被更新的以及已经移除的路径;<currentPaths>为路径簇当前包含的路径;<currentAddingPaths>为当前新添加的路径;<currentUpdatingPaths>为当前被更新的路径;<currentRemovingPaths>为当前被移除的路径;initialTarget为该路径簇初始化的时候所在的界面对象;<finalTargets>为该路径簇中所有路径被移除时每条路径所在界面对象的集合;<enteringTargets>为该路径簇中路径在这一处理周期进入的界面对象集;<currentTargets>为该路径簇中路径在这一处理周期所在的界面对象集;<leavingTargets>为该路径簇中路径在这一处理周期离开的界面对象;state表示该路径簇所处的状态ADD,UPDATE、REMOVE,ADD表示该路径簇刚被初始化,UPDATE表示该路径簇处于活动状态,REMOVE表示该路径簇生命周期结束;timestamp保存该路径簇信息最后一次被修改的时间.2.2mtbuildad分类手指输入是多触点交互桌面环境下用户最主要的交互方式,理解用户交互意图将用户输入的多指轨迹理解为相应的语义表达是手势算法库的关键所在.为了有效地对多指手势进行理解,首先需对用户输入进行划分.自然用户界面通用隐喻OCGM对用户输入进行了划分,将用户输入分为手势(gesture)和操作(manipulation).其手势是用户执行的一个动作,在手势执行完成之后会触发一个系统动作,只在动作完成之后系统才会给出响应;操作是用户对对象本身或者容器的直接操作,模拟日常生活中用户对物理对象的操作,在用户操作的过程中系统会实时地给予反馈.基于此划分,本文将用户输入分为直触手势、命令手势和文本内容输入3类.直触手势以“围桌”为隐喻,其手势设计也模仿人们日常生活中作用于物理桌面对象的方式,如缩放、旋转、拖动、抓取等;命令手势是对直触手势的补充,主要用于系统状态的切换、系统命令的调用等操作;文本内容输入也是不可避免需要输入的内容,如图片标注、文本注解等均需提供文本内容的输入.其中,直触手势与OCGM中的操作相对应,命令手势和文本内容输入与OCGM中的手势相对应.该分类方法是对OCGM中用户输入分类的具体化,基于该分类即可为每一类输入分别设计不同的识别器.MTBuilder支持多人并行交互,存在系统同时响应多个输入焦点的问题.MTBuilder对识别器的管理方式类似于笔式界面工具SATIN,通过识别管理器对各个识别器进行管理和调度.与SATIN不同的是,MTBuilder中每一个路径簇均需配备所有的手势识别器,具体的识别调度由每一个路径簇对应的识别管理器进行管理,如图3所示.图3中,C表示路径簇,即上述多触点数据层次化存储的结果;CGM表示该路径簇的识别管理器;GR表示手势识别器;Gesture表示GR可识别的手势.MTBuilder可并行处理的路径簇不止2个,对路径簇的个数并无限制,即对交互桌面可并行输入的焦点个数没有限制.MTBuilder内置对3类触点信息直触手势、命令手势和文本内容输入的识别.命令手势通常为单笔手势,文本内容输入为符号、数字等,这些内容的识别已有较为成熟的算法,如Rubin算法、$1算法以及汉王识别库等,在MTBuilder对触点分类的基础上即可直接调用.MTBuilder目前使用$1算法识别命令手势,使用汉王识别库识别文本内容输入.直触手势的识别要复杂一些,需根据触点、路径、路径簇中保存的信息实时计算和判断,如两手指放缩手势需判断当前界面元素上的触点个数,在触点个数为2个的前提下,再计算两触点之间的距离等信息,最后得出缩放比例,将缩放比例作为手势事件参数传送给应用程序.手势识别器的个数也可根据用户需求进行任意扩展,MTBuilder具有很好的可扩展性.此外,多触点手势处理是迭代运行的,对用户实时输入的触点信息进行循环处理,识别器个数增多会使迭代处理周期变长,进而影响系统的响应速度.从用户的角度看,即为系统反馈滞后、用户体验差.为缩短迭代周期,本文对识别器状态进行划分,根据其状态对识别器进行实时动态管理.如图4所示,识别器有5种状态,在界面组件初始化的过程中初始化其所需的手势识别器,完成识别器配置等工作;在应用程序运行过程中,随着触点信息的输入,手势识别器对触点信息进行手势识别,如果识别成功则发送相应的手势事件,如果识别过程中遇到未定义手势类型,则认为后续的触点输入都将无法识别,识别器的状态转为识别结束.识别器识别结束后,需对识别器进行清理等善后工作,即识别器销毁.若手势识别器转到销毁状态,则下一个处理周期将不再调用该手势识别器对触点输入进行识别,可缩短系统处理时间.3界面技术特性交互桌面自然手势输入和水平显示等特点,使基于传统WIMP范式设计的界面组件库不再适用于交互桌面界面的开发:在交互桌面上选取传统WIMP界面中的某些对象,如菜单选项、工具栏中的按钮时会出现很难选中的问题;交互桌面供多个用户同时使用,传统WIMP界面中对象的朝向是固定的,水平显示的方式致使处于桌面不同方位的用户出现界面理解困难的问题;有些交互桌面的幅面比较大,使用自然手操作会出现远距离对象选取难的问题.OCGM以对象作为界面基本元素,容器作为对象的组织形式,能够更好地概括交互桌面界面元素的特征.因此本文界面工具基于该隐喻设计,并开发了多触点交互桌面的基本界面组件库,其中界面组件库包含多种类型的界面容器和界面对象以满足不同应用需求.这些界面对象均支持多指手势操作,交互语义由应用程序开发人员根据具体的应用需求定义.界面元素组织形式如图5所示,MTBuilder要求应用系统有且只有一个根容器,该根容器可以理解为“围桌”隐喻中的围桌桌面,可以放置别的容器和对象.在MTBuilder界面组件库中,本文设计并实现了一个特殊的界面组件个人活动窗口.本文界面工具实验使用的交互桌面是基于计算机视觉原理的,只有一个摄像头用来捕获用户触点信息,不能对用户的身份进行区分.桌面领土理论指出,用户与桌面交互的过程中会将桌面划分为个人工作空间、公共工作空间及存储空间.基于该理论,本文使用个人活动窗口的方式实现了有身份区分的多触点交互桌面的协同工作.用户可使用个人区域选择手势在桌面上划分出个人活动窗口,个人活动窗口出现后,系统即将该个人活动窗口与此用户绑定,该个人活动窗口内发生的所有交互均被认为是该用户发出的.系统通过区分个人活动窗口来区分不同的用户,用户对其个人活动窗口具有所有权和操作权,用户在该窗口内可进行任意操作,别人对该窗口内容的操作需通过用户的许可;在操作完成之后,用户可通过手势关闭该窗口.对公共工作空间及存储空间的操作需在所有用户达成一致的情况下才能进行.4人工干预机+toio多触点交互桌面是由手势事件驱动的,手势事件是联系多指手势识别模块与界面组件库的桥梁.MTBuilder的手势事件管理机制如图6所示,该机制可分为3个阶段:注册手势事件,对应图6中①;产生手势事件,对应图6中②;执行手势事件,对应图6中③.在界面对象初始化的时候,界面对象利用手势事件管理器注册其需要监听的手势事件,手势事件管理器会将该界面对象、界面对象需要监听的手势以及与该手势对应的手势事件处理函数均保存到手势事件注册表中;应用程序初始化之后,就处于TUIO消息监听状态,如果有用户输入,与某界面对象相关的手势识别器就对用户输入进行手势识别处理,若手势识别成功,则通过图6中过程④从手势事件管理器的手势事件注册表中读取与该界面对象及手势相关的手势事件处理函数;手势事件的执行即为调用手势事件处理函数,修改界面元素属性并重新绘制场景图.5最佳设计方案的验证利用MTBuilder可以方便地构造各种多触点交互桌面应用系统.目前,基于MTBuilder已经开发出多个具有良好应用前景的原型系统,如无身份区分的应用多人信息浏览系统和有身份区分的应用城市规划系统.多人信息浏览系统可以供多个用户在围桌的任意方位同时浏览图片、视频、文本等多媒体信息,如图7所示.该类系统可以应用在博物馆展览、新产品展示、家人信息分享等场景,在展示信息的同时给用户以新的交互体验.城市规划系统可供多人协同进行城市规划,如对城市模型进行高程编辑、地形编辑、人口密度编辑等操作;多个用户可以使用个人活动窗口同时对城市模型的不同部位进行编辑,如图8所示,协同编辑的组合效果会实时体现在整体城市模型的变化上,小组可对设计方案进行评估讨论,促使最佳设计方案的产生.为验证本文工具箱的有效性,我们从开发效率和用户主观体验两方面对比了MTBuilder与开源工具箱Grafiti和PyMT.图9所示为实验所使用的多触交互桌面,该硬件平台基于LLP技术,其长宽高分别为104cm,140cm和90cm.软件平台的配置为MicrosoftWindowsXPProfessional版本2002ServicePack3.基于该平台,我们请本实