人机交互显示KINECT课件

人机交互显示技术-Kinect原理与应用报告人：彭伟金组员：

夏锐文潘国豪目录什么是KinectKinect使用原理Kinect的应用前言-体感游戏KinectforXbox360，简称Kinect，是由微软开发，应用于Xbox360主机的周边设备。它让玩家不需要手持或踩踏控制器，而是使用语音指令或手势来操作Xbox360的系统界面。它也能捕捉玩家全身上下的动作，用身体来进行游戏，带给玩家“免控制器的游戏与娱乐体验”。第一代kinect2010年11月4日于美国上市，建议售价为149美金。什么是Kinect？Kinect的构造1.麦克风阵列：声音从4个麦克风采集，同时通过，过滤背景噪声，可以定位声源2.红外投影机：主动投射近红外光谱，照射到粗糙物体，或是穿透毛玻璃后，光谱发生扭曲，会形成随机的反射斑点（称为散斑），进而能被红外摄像头读取。3.红外摄像头：分析红外光谱，创建可视范围的人体，物体的深度图像4.仰角控制马达：可编程控制仰角的马达，用于获得最佳视角5.彩色摄像头：用于拍摄视角范围内的彩色视频图像Kinect的关键部位及组成附：美国材料检测协会（ASTM）将近红外光谱区定义为780-2526nm的区域Kinect处理信息流程Kinect核心—PS1080Figure2-9.PrimeSensePS1080systemonchip(imagecourtesyofPrimeSense)Kinect的“心脏”是PrimeSense的PS1080系统级芯片（SoC）。PS1080SoC拥有超强的并行计算逻辑，可控制近红外光源，进行图像编码并主动投射近红外光谱。同时，通过一个标准的CMOS图像传感器接收投影的LightCoding™红外光谱并且将编码后的反射斑点图像传输给PS1080，PS1080对此进行处理并生成深度图像。四元线性麦克风阵列技术KinectforXbox360视野范围等高线的启发把地图上海拔高度相等的点连成闭合曲线，垂直投影到一个标准面上，并按比例的缩小在图纸上，就可以得到等高线。另外用一个色分辨度代表一米的高度，可以表达更为精细的距离变化，就可以得到彩色的地形图深度图像的获取Kinect系统有点不同。而不是投射可见光条纹，Kinect的IR投影仪发出红外光束的图案（通过PrimeSense称为IR编码图像），其在物体上反射，并由标准CMOS图像传感器捕获。FigureKinnectIRcodingimage(detail)深度图像的获取这个捕获的图像传递到板载PrimeSense芯片，以转换为深度图像Figure2-8.Depthmap(left)reconstitutedfromthelightcodinginfraredpattern(right)下图所示是借鉴彩色等高线图绘制的Kinect深度图像，距离由远而近渐变的效果使得图像更有层次感。Kinect所采用的红外摄像头基于飞行时间（TimeofFlight简称ToF）原理的摄像头，它通过测量光脉冲之间的传输延迟时间来计算深度信息。结构光测量，基于光编码，投射已知的红外模式到场景中，通过另外一个红外CMOS成像器所捕获到的该模式的变形，从而最终来确定深度信息的摄像头SR4500（from：SwissRanger）深度图像成像原理Kinect有发射、捕捉、计算视觉重现的类似过程。严格说来，Kinect的“深度眼睛”是由一个红外投影机和红外摄像头组合而成的，投影和接收互为重叠图：Kinect红外摄像头视角结构光测量技术结构光是指具有特定模式的光，其模式图案可以是点，线，面等。结构光扫描法是首先将结构光投射到物体表面，再用摄像机接收该物体表面反射的结构光图案，再根据接受到图案的形变程度来计算表面的空间信息。图：pinpointimpression上面密密麻麻的为类似大头针一样的东西，不过两端都是圆头的LightCording技术利用光源照明给需要的空间编上码其光源称为“激光散斑”——激光照射到粗糙物体或毛玻璃后随机形成的衍射斑点，具有高度的随机性，而且会随距离的不同而变换图案。只要在空间中打上这样结构的光，整个空间就全部被标记LightCording技术技术对比1）和传统的TOF、结构光的光源不同，使用“LightCoding”技术的PrimeSense的PS1080系统级芯片负责对红外光源进行控制，投射出具有三维纵深的“立体编码”。2）不需要特制的感光芯片，只需要普通的CMOS感光芯片。3）LightCoding技术不是通过空间几何关系求解的，它的测量精度只和标定时取的参考面的密度有关，参考面越密测量越精确。从人体部位识别关节从图中可以看出，人体的关节连着躯干，四肢，头颅等，包括指关节，腕关节，手肘关节，膝关节，髋关节，肩关节，胸锁关节，下颌关节，趾关节。Kinect主要是根据找到这些关节进行人体骨骼进行识别。考虑到人体部位的重叠，分别从正面、侧面、复试角度去分析、机器学习，根据每一个可能的像素来确定关节点。Kinect骨骼跟踪的机器学习技术Kinect通过红外摄像头看到三维世界后，将这部分深度数据传输给“Kinect大脑”去处理，接着深度图像的每一个像素都会被进行分析评估，其特征变量会被分类，在一个为“随机决策库”里面进行搜索。同一个人、同一支手的不同深度图Kinect的“学习过程”机器学习需要大量的输入数据，故需要不同身高、体型、着装、肤色、文化背景的志愿者参与进来，提供了大量的训练数据给微软后续计算和提炼。图3-43基本特点人群的建模左图为KinectLab里处理训练照片的服务器群。右图就是用来训练和测试Exemplar的数据之一微软GameStudio开发这一套人工智能被称为Exemplar（模型）系统。数以TB计的数据被输入到集群系统中，Kinect以像素级的“眼光”来辨认手、脚以及它看到的其他身体部位。数TB的数据Kinect的“决策树”图：机器学习”产出的“决策树”大量经过分析结果被编排成能够迅速决策识别人体各部位的树状图，如右图所示。一旦树状图构建完毕，便可以根据Kinect采集到的深度数据进行像素扫描，从而识别出32组人体部位。我们能利用Kinect制作什么?利用单片机制作能模仿你动作的安卓机器人Figure.Drawingrobotinaction参考资料Kinect的开发与实战.余涛Human–ComputerInteraction.AlanDixBeginning-Kinect-Programming-with-the-Microsoft-Kinect-sdk近红外光谱分析技术在奶制品检测中的应用.彭攀KinectDepthSensorEvaluationforComputerVisionApplicationsKinectforWindowsSDKProgrammingGuide开放的自然交互学习网址（HTTP：///）推荐读物附加信息爱看不看附注近红外光谱(NearInfraRedSpectrum,NIRS)是指介于可见光和中红外的电磁波，其波长范围为780nm～2526nm[1]深度是从对象到相机的激光平面，而不是从对象到传感器的实际距离的距离的估计值。[1]StarkE,LuchterKandMargoshesM.ApplSpectroseRev,1986,22(4):335.贝叶斯分类算法—删繁就简机器学习和贝叶斯曲线华硕Xtion是OpenNI和有限兼容，这意味着某些项目，也可以使用华硕XtionPro现场摄像机实现！ASUSXtionFigure2-10.ASUSXtionPROLIVE(imagecourtesyofASUS)一代Kinect识别范围一个玩家：2.26两个玩家：2.5LightCording技术LightCoding就是以红外线发出对人体无害的一类激光，透过镜头前的diffuser（光栅、扩散片）将激光均匀分布投射在测量空间中，再透过红外线摄影机记录下空间中的每个散斑，获取原始资料（光源标定）后，再透过芯片计算成具有3D深度的图像。

人脸识别几何特征识别神经网络弹性图匹配线段Hausdorff距离等激光散斑关于深度的正确理解Norman’smodel诺曼交互模式Establishingthegoal.建立目标Formingtheintention.组成意图Specifyingtheactionsequence.明确行动顺序Executingtheaction