体感交互技术专家讲座

Kinect体感交互技术什么是体感交互技术？Kinect设备基本介绍Kinect工作原理Kinect研究现实状况和应用发展前景体感交互技术专家讲座第1页体感交互技术体感交互技术是一项无需借助任何控制设备，能够直接使用肢体动作与数字设备和环境互动，随心所欲地操控智能技术。该技术关键在于它让计算机有了更精准有效“眼睛”去观察这个世界，并依据人动作来完成各种指令。体感交互技术专家讲座第2页体感交互技术体感交互技术专家讲座第3页体感交互技术“体感交互软件”能自动将体感设备模拟windows操作系统鼠标和键盘操作事件，兼容全部软件，能将投影机、拼接屏、广告机、智能电视机等数字设备升级为体感操作设备，日常浏览图片，开会PPT演示，Flash游戏，动画、多媒体，桌面应用都能够轻松变成体感控制。该软件最大价值在于它提供强大自定义功效，全部开发者以及软件开发企业，整体处理方案提供商或者中间商，能够依据自己项目需求自行开发应用，而不需要专门成立体感技术团对进行研发，实现低成本高效率体感应用开发。体感交互技术专家讲座第4页Kinect体感交互技术什么是体感交互技术？Kinect设备基本介绍Kinect工作原理Kinect研究现实状况和应用发展前景体感交互技术专家讲座第5页Kinect设备基本介绍Kinect是由微软企业开发一款姿态传感输入设备，作为Xbox360外接3D体感摄影机，利用即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功效让用户摆脱传统输入设备束缚，经过自己肢体控制终端。体感交互技术专家讲座第6页Kinect设备基本介绍

Kinect设备整体结构：

摄像头3D深度传感器麦克风阵列体感交互技术专家讲座第7页摄像头RGB摄像头：用于拍摄视角范围内彩色视频图像。红外摄像头：用于分析红外光谱，创建可视范围内人体、物体深度图像。红外投影仪：主动投射红外光谱，照射到粗糙物体或者穿透毛玻璃后，光谱发生扭曲，会形成随机反射斑点，进而被红外摄像头读取。体感交互技术专家讲座第8页

3D深度传感器体感交互技术专家讲座第9页3D深度传感器Kinect“心脏”由14中关键芯片组成，其中最主要是PrimeSensePS1080系统芯片。它拥有超强并行计算逻辑，可控制红外光源。同时，经过一个标准CMOS图像传感器接收投影LightCoding红外光谱而且将编码后反射斑点图像传给PS1080，然后在对此进行处理，并生成深度图像。体感交互技术专家讲座第10页麦克风阵列声音从4个麦克风采集，同时滤过背景噪声，可定位声源。为了质量分布均衡，麦克风阵列是左右不对称体感交互技术专家讲座第11页Kinect体感交互技术什么是体感交互技术？Kinect设备基本介绍Kinect工作原理Kinect研究现实状况和应用发展前景体感交互技术专家讲座第12页Kinect体感交互工作原理传感寻找移动部位判断关节点模型匹配：生成骨架系统体感交互技术专家讲座第13页Kinect传感Kinect传感关键是一个不论周围环境光照条件怎样，都能够让Kinect感知世界CMOS红外传感器。该传感器经过黑白光谱方式来感知环境：纯黑代表无穷远，纯白代表无穷近。黑白间灰色地带对应物体到传感器物理距离。它搜集视野范围内每一点，并形成一幅代表周围环境景深图像。传感器以每秒30帧速度生成景深图像流，实时3D地再现周围环境。体感交互技术专家讲座第14页Kinect传感体感交互技术专家讲座第15页寻找移动部位Kinect需要做下一件事是寻找图像中较可能是人体移动物体，就像人眼下意识地聚焦在移动物体上那样。接下来，Kinect会对景深图像进行像素级评定，来区分人体不一样部位。Kinect采取分割策略来将人体从背景环境中区分出来。在这一阶段，我们为每个被追踪人在景深图像中创建了分割遮罩，这是一个将背景物体（比如椅子和宠物等）剔除后景深图像。在后面处理流程中仅仅传送分割遮罩部分，以减轻体感计算量。体感交互技术专家讲座第16页判断关节点分割化人图像每一个像素都被传送进一个区分人体部位机器学习系统中。随即该系统将给出了某个特定像素属于哪个身体部位可能性。比如，一个像素有80%几率属于脚，60%几率属于腿，40%几率属于胸部。这时候并不是就把几率最大可能性看成结果，而是将全部这些可能性输入到Exemplar（模型）系统进行处理中而且等到最终阶段再做判断。数以TB计数据被输入到集群系统中来教会Kinect以像素级技术来识别手、脚以及它看到其它身体部位。体感交互技术专家讲座第17页判断关节点体感交互技术专家讲座第18页判断关节点体感交互技术专家讲座第19页模型匹配：生成骨架系统处理流程最终一步是使用之前阶段输出结果，依据追踪到20个关节点来生成一幅骨架系统。Kinect会评定Exemplar输出每一个可能像素来确定关节点。经过这种方式Kinect能够基于充分信息最准确地评定人体实际所处位置。体感交互技术专家讲座第20页Kinect体感交互技术什么是体感交互技术？Kinect设备基本介绍Kinect工作原理Kinect研究现实状况和应用发展前景体感交互技术专家讲座第21页

Kinect体感技术国内外研究现实状况Kinect在医学领域应用研究Kinect在商业领域应用研究Kinect在科技助残领域应用研究Kinect在机器人领域应用研究

Kinect在智能家居应用研究体感交互技术专家讲座第22页Kinect在医学领域应用研究临床医学远程手术医学教育医学数据调查明体感交互技术专家讲座第23页Kinect在商业领域应用研究Kinect凭借其出众互动能力已经在商业方面得到了实际应用，如俄罗斯一家名为ARDoor科技企业于

年5月利用Kinect体感外设技术创造一款“试衣魔镜”，当购物者站在这虚拟试衣镜前时，装置将自动显示试穿新衣以后三维图像。如黄康泉开发CoolView视频会议系统中整合了Kinect设备部分功效，实现了手势控制PPT、自动识别与会人员举手讲话请求及实时3D捕捉与显示等功效，提升了视频会议交互性和真实感。体感交互技术专家讲座第24页Kinect在科技助残领域应用研究如德国康斯坦茨大学Michael.Zollner等开发视觉障碍导航辅助（NavigationalAidsfortheVisuallyImpaired，NAVI）系统就实现了帮助盲人导航功效，他们将Kinect设备固定在一个头盔上，将连接到Arduino主板上震动马达装在腰带上，再经过USB接口连接到背部笔记本上，耳中戴有蓝牙耳机。当Kinect扫描到前方有障碍物时，经过软件解读，腰带中马达会震动，而且会发出转向提醒。体感交互技术专家讲座第25页Kinect在机器人领域应用研究麻省理工学院一个名为Warwick移动机器人团体，将Kinect设备和救援机器人结合到一起，设计出一款新机器人—Kinectbot。这个机器人利用Kinect传感器能够探测出人存在，而且人们能够经过肢体动作和声音来控制这个机器人。Kinectbot还能利用Kinect设备画面捕捉技术，将自己“看到”画面绘制成3D地图。这款机器人目标是应用于灾难现场救援工作，无须需要过多人力，或许只是一个两人小队就能完成这台机器人操作。即使现在这个创造还没能应用到现实中，但按照这么思绪，未来机器人伴随灵敏度提升，已经完全能够代替人类去勘探危险区域，制作精细3D地图了。体感交互技术专家讲座第26页Kinect在智能家居应用研究现在已经有很多人开始着手将Kinect应用于智能家居方面，当前已经有些人设计了一个基于Kinect智能家俱系统。它采取B/S架构，利用ZIGBEE，Wi-Fi和RS485等各种组网方式，来实现对各类家居设备信息采集和指令控制，并经过家庭网关与数据库管理系统数据库服务器进行实时数据交互。在Web站点服务器中搭建应用ASP.NET技术Web站点，采取ADO.NET技术与数据库服务器进行数据交互。Web服务器经过访问数据库服务器能够取得实时家居环境、状态等数据，用户能够经过Web站点访问并进行操控。Web服务器将在Web页面上接收到用户指令交递给数据库服务器，进行智能控制。体感交互技术专家讲座第27页Kinect在智能家居应用研究体感交互技术专家讲座第28页Kinect体感交互技术什么是体感交互技术？Kinect设备基本介绍Kinect工作原理Kinect研究现实状况和应用发展前景体感交互技术专家讲座第29页发展前景

继鼠标和多点触摸技术之后，Kinect体感技术或将成为第三次人机交互革命原点，不但因为其全新操作方式，更因为其背后所蕴含创新精神。得益于这种新人机交互技术，人对机器使用门槛在深入降低，因为计算机已经越来越能读懂人在自然状态所传递命令。然而这项技术还很不成熟，有许多需要改进和完善地方，如Kinect设备识别只到人体头部、躯干和四肢，对于手指识别还不灵敏；存在延迟和精度问题；只能捕捉一些简单动作；点击动作需引入其它设备等。所以，Kinect体