移动设备交互方式调研.ppt

1、FPP/RAMA,新一代人机自然交互在移动设备中的应用,人机自然交互的定义 移动设备现有的交互方式 自然交互在移动设备中的应用 语音交互在移动设备中的应用 图像识别在移动设备中的应用 多媒体交互在移动设备中的应用 电信研究院在移动设备人机交互中可以做的,FPP/RAMA,人机自然交互的定义人机交互的定义,人机交互技术(Human-Computer Interaction Techniques)是指人与机器的交互其实质是通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。 机器通过输出或显示设备给人提供大量有关信息及提示请示等； 人通过输入设备给机器输入有关信息及提示请示等； 人通过

2、输入设备给机器输入有关信息，回答问题等； 人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。,FPP/RAMA,人机自然交互的定义人机交互的发展,确切的说，人机交互是指人与“含有计算机的机器”的交互。人机交互的发展已经经历了4代： 第1代 ： 键盘； 第2代 ： 鼠标； 第3代 ： 多媒体； 第4代 ： 人及自然交互。,FPP/RAMA,人机自然交互的定义鼠标,到20世纪80年代初期进入第2代交互，开始使用鼠标。 20世纪60年代麻省理工学院发明了Sketchpad首次引入菜单、不可重叠的瓦片式窗口、图标、并采用光笔进行绘图操作。 1963

3、年，斯坦福研究所Engelbart发明了鼠标。 20世纪70年代，施乐公司在Alto计算机上首次开发了位映像图形显示技术，奠基了目前图形用户界面的基础。 人机交互的自然性和效率得到很大的提高，便于初学者使用，但是占用了较多屏幕空间，难以表达和支持非空间的抽象性信息的交互。,FPP/RAMA,鼠标,FPP/RAMA,人机自然交互的定义多媒体,到20世纪80年代末期进入第3代，开始以用多媒体并且与鼠标并用。 动画 音频 视频 智能用户界面和自然交互技术取得突破之前的一种过渡技术。提高了人们对信息的表现形式的选择和控制能力。但是并没有理解媒体的信息的含义。,FPP/RAMA,人机自然交互的定义人机自

4、然交互,基本特征： 赋予计算机听觉和视觉智能，使计算机能认识交互的对象，理解以语言形式表达的说话内容，理解交互对象的情感，按人的要求去做，或回答人提出的问题，达到交互的目的。 研究重点： 非生命对于生命的理解，生命与非生命的对话。重点是计算机对人的理解，发展人造信息与自然信息的接口，改造人造信息与自然信息想兼容。,FPP/RAMA,人机自然交互,语音设备：,FPP/RAMA,人机自然交互,人机自然交互两种技术： 多通道用户界面：采用实现语音、手势、书写和眼动等新的交互通道、设备和交互技术，使用户利用多个通道以自然、并行、协作的方式进行交互。 虚拟现实技术：以人为中心。,FPP/RAMA,人机自

5、然交互,主要功能与特征： 功能： 说话人识别； 语音识别； 情态识别； 对说话人进行定位和识别； 特征 交互方式：输入输出是多模态的。 交互内容：人机对话，情态的表现，在互联网上基于内容的信息检索。 交互界面：智能代理界面。 交互环境：营造2或3维的真实的虚拟环境和虚拟真人。,FPP/RAMA,人机自然交互,识别交互的对象（说话人识别）： 说话人辨别：判断正在说话的人是谁。 说话人验证：验证所获取的语言或人脸信号是哪个人的。 说话人识别的途径： 听觉通道 视觉通道,FPP/RAMA,人机自然交互,识别交互内容： 在人际交互中，对交互内容的识别就是对人类语言的识别，包括语音识别及对自然语言的理解

6、，这是交互的核心问题。 识别方法： 听觉通道：线形预测编码（LPC），DTW，HMM 视觉通道：唇读图像 基于像素 基于模型参量,FPP/RAMA,人机自然交互,听觉视觉的双模态融合： 融合问题：将视觉与听觉信息融为一体，恢复其本来的面貌。 融合策略： 早期融合：在分类以前将来自听觉和视觉的信号的语音特征连接形成特征向量空间。 中期融合：为了适应如何对融合的加权值进行有效地调整。 晚期融合：听觉和视觉信到可信度评价的算法机制。,FPP/RAMA,人机自然交互的定义人机自然交互发展趋势,高科技化 计算机硬件的发展：屏幕小，体积小，触屏，多种交互方式 计算机软件的发展：识别软件的推广 多媒体技术的

7、发展 自然化 语音 手势 情态 人性化,FPP/RAMA,移动设备现有的交互方式现状,现在市场上有很多的移动设备，从每个设备生产商的不同交互理念来设计出不同的交互方式，总体来看有以下几种交互方式： 手机键盘交互 这种交互方式被广泛的应用到1代手机和2代手机上，其中最为出名的当属诺基亚的机型。 半触屏交互 这种交互方式被广泛的应用到2代手机上，其中大部分用在山寨手机上，显然这是一种折中方案，既节省成本又节省钱,FPP/RAMA,移动设备现有的交互方式现状,全触屏交互 这种交互方式多使用在第3带手机中，被广泛的使用在Android和iPhone及WinPhone手机上，给人们一种全新的交互方式。

8、语音交互 目前应用很少，最为典型的当属iPhone 4S sir和腾讯的手机语音助手。 手势交互 这类交互方式被不同程度的融合到各种智能手机中，最具有显著特点的就是联想的LePhone系列 全方位姿态交互 这类交互方式是最接近人类自然语言沟通的一种交互方式，目前仅仅微软在开发。,FPP/RAMA,移动设备现有的交互方式现状,Kinect是一种3D体感摄影机，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。 Kinect玩家可以通过这项技术在游戏中开车、与其他玩家互动、通过互联网与其他Xbox玩家分享图片和信息等。,FPP/RAMA,移动设备现有的交互方式趋势,目前看来

9、微软如果可以把Kinect一直到移动设备上，那微软绝对会占据绝对的市场。所以说未来的移动设备的交互方式向着这方面发展，即手机不仅仅是一个死物，更像一个人，我们可以与他交谈，它还可以根据我们的一些动作去做一些事情，甚至只要我们一个眼神他就懂去干什么，这就是未来移动设备交互方式的发展趋势。具体的来说就是更人性化和更简单和设备交互,FPP/RAMA,自然交互在移动设备中的应用,语音交互在移动设备中的应用： 应用：理想情况下人可以通过语音与设备交流 目前状况：可以简单的使用命令使移动设备做一些不太复杂的事情。 发展空间：更自然的语音交流，更进一步与不同地方的人进行语言交流 具体应用：苹果的sir，TX

10、的语音助手 缺点：苹果那个像是一个ai体，不过还远远达不到语言交流，跟别提方言了，同样的问题也存在在TX中,FPP/RAMA,自然交互在移动设备中的应用,图像识别在移动设备中的应用： 应用：安全措施，手势识别 目前状况：多用于安全措施，协助多姿态识别。 发展空间：几乎再没有别的发展控件了 具体应用：网易的人脸认证，其他一些嵌入式设备的指纹识别，虹膜识别 缺点：指纹识别基本上很成熟了，人脸的难度还是相当大，比如随着年龄的增长，怎么解决识别问题，还有光照姿态的影响等,FPP/RAMA,自然交互在移动设备中的应用,多媒体交互在移动设备中的应用： 应用：人机自然交互 目前状况：人机自然交互。 发展空间：还没有一款手机实现此功能 具体应用：Xbox 缺点：不确定