Kinect功能及原理.doc

1. 侦测3D影像不同于普通的通过计算得到物体3D坐标的设备，Kinect可以直接获取物体与摄像头之间的距离，这是Kinect最受人瞩目的一个功能。微软先后于2009年和2010年收购了3DV Systems(TOF)和PrimeSense(Light Coding)这两家以色列公司，并最终采用了Light Coding技术作为Kinect体感设备的深度摄像功能的基础。Light Coding技术理论是利用连续光（近红外线）对测量空间进行编码，经感应器读取编码的光线，交由晶片运算进行解码后，产生一张具有深度的图像。Light Coding技术说到底还是结构光技术。但与传统的结构光方法不同的是，他的光源打出去的并不是一副周期性变化的二维的图像编码，而是一个具有三维纵深的“体编码”。这种光源叫做激光散斑（laser speckle），是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同变换图案，空间中任何两处的散斑都会是不同的图案，等于是将整个空间加上了标记，所以任何物体进入该空间以及移动时，都可确切记录物体的位置。光源标定：测量前对原始空间的散斑图案做记录，先做一次光源的标定，方法是每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来；假设Kinect规定的用户活动范围是距离摄像头14m，每隔10cm取一个参考平面，标定后保存了30幅散斑图像；测量时拍摄一幅待测场景的散斑图案，将这幅图像和保存的30幅参考图像依次做互相关运算，得到30幅相关度图像；空间中有物体存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，经过插值运算，即可得到整个场景的三维形状。Kinect就是以红外线发出人眼看不见的class 1镭射光，透过镜头前的diffuser（光栅）将镭射光均匀分布投射在测量空间中，再透过红外线CMOS传感器记录下空间中的每个散斑，结合原始散斑图案，再透过晶片计算成具有3D深度的图像。传感器是通过黑白光谱的方式来感知环境的，纯黑代表无穷远，纯白代表无穷近，黑白间的灰色对应着物体到传感器的物理距离。Robust Structured Light Coding for 3D Reconstruction/wiki/kinect_calibration/technical 2.骨架追踪系统通过Light Coding技术所获得的只是基本的影像资料，重点还是要辨识影像，转换为动作指令，Prime Sense公司并没有提供辨识技术，所以该技术只能由微软自行开发。为了能够识别使用者的动作，微软使用了机器学习技术，建立出庞大的图像资料库，形成智慧辨识能力，尽可能理解使用者的肢体动作所代表的涵义。Kinect对深度图像进行像素级评估，来辨别人体的不同部位，首先采用分割策略将人体从背景环境中区分出来，得到追踪对象背景物体剔除后的深度图，然后把深度图像传进一个可辨别人体部位的机器学习系统中，该系统将给出某个特定像素属于身体某个部位的可能性，为了开发此人工智能（被称为Exemplar系统），数以TB计的数据被输入到集群系统中来教会Kinect以像素级技术辨认身体部位。Kinect会评估Exemplar输出的每一个可能的像素来确定关节点，然后根据追踪到的20个关节点来生成一幅骨架系统。Real-Time Human Pose Recognition in Parts from Single Depth Images3. 音频处理Kinect的音频系统采用四元线性麦克风阵列技术，排列可呈线形或L形，包括先进的噪音抑制、回声消除以及用于识别当前声源的波束形成技术等；扩展：1. /1/183/183900.htm 2. /2010/06/28/brief-review-of-several-depth-camera/ 3.