基于Kinect的数据采集和数据处理

基于四年五月中国科学技术大学s 四年五月2014学士学位论文题目基于四年五月s 30026, 2014中国科学技术大学本科毕业论文致谢毕业论文终于结稿，心情真的非常激动！在此，我非常感谢周文师兄从选题到现在对我的毫无保留的耐心的帮助，让我能够克服许多技术上以及知识层面的障碍；杨红庄师兄为我的数据采集工作提供了非常好的编程模板，使得我的数据采集工作得以顺利进行；王士伟师兄非常热情地为我提供许多编程方面的技术支持；感谢关梓翘与我密切合作与交流，共同进步；感谢方轶智同学的鼎力相助，为我的数据采集工作充当模特，任劳任怨，付出了很多精力和汗水；最后，感谢我的导师刘利刚教授为我指明了道路，不仅让我的编程等方面的基本功得到了提高，更是在我多次迷茫时给我指引了方向，让我爱上了计算机图形学这一学科，让我有机会为自己的兴趣去努力走得更远！. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 色的边表示边界边. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ”. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 于. . . . . . . . . . 种不同方法头顶补洞效果的比较. . . . . . . . 种不同方法头顶补洞效果的比较. . . . . . . . . . . . . . . . . 21计算机视觉效果的实现和3时也能极大程度满足3此之外，纹理的重建也是游戏、电影等行业的重要要求。人体的三维重建和纹理重建可以看成是对人体的三维重绘，而数据的采集和预处理是三维重绘最不可或缺的一环，数据的质量直接影响了重绘的效果。本文基于3D 1一文提出的三维重建和纹理重建流程，使用单台深度相机（微软的进行三维数据和颜色数据的采集和配准。度更高，直接采集单帧数据作为原始数据。文章利用括：原始数据的简化、使用用用深度图像模块去除边界和网格重建等等。这些工作为后期的三维重建和纹理重建提供了基础。对于重建工作后期遇到的头顶补洞修复问题，本文也尝试了若干方法，包括：从标准头部模型添加头顶点云数据、基于处理保留头部边界数据等，这些方法归根结底都是采用的方法进行补洞，只是为重建输入的点云数据有差别。文章基于这些方法分别进行了试验，得到了若干结果，可供参考。关键字:深度相机，人体重建，数据采集，点云处理,补洞of is an it of D it D to a is an of as of D is of of D , D a e to pr on a so we it as CL on D of of of . We to D 了3来越多的用户不再满足于打印现成的模型，而是更倾向于将三维打印作为二维照相的扩充，打印自身的模型来满足各种需要。如何快速、便捷，最关键的是廉价地获取自身的三维模型成为了今年来的研究热门。数据采集和处理作为人体三维重建的基础，是一个非常必要的研究方向。获取实际物体的三维模型是3维数据的采集和处理工作是三维重建的基础。三维数据的采集工具有激光扫描仪，结构光扫描仪等，这些设备的特点是精度高，但结构复杂，不易操作，价格昂贵。近年来，度相机价格低廉、结构小巧、使用方便、能实时捕获物体表面的深度与彩色信息，并且深度相机基于主动发射近红外光原理，因此计算复杂度低、不易受物体表面纹理及光照变化的影响。行时间计算”的方法来替代了现有的“光照测量”的测算方法，使得新准确。新的这意味着新的传感器，可以看到更紧密，更广泛和更深入的捕捉范围。除此之外，对纹理的重建至关重要。人们对人体、人脸非常熟悉，为满足诸如游戏、动画等应用要求，需要重建出的人体模型带有逼真的纹理信息。进行实时地配准，这使得纹理的重建成为了可能。为了方便开发者对软还特意推出了得开发者能方便地利用中国科学技术大学本科毕业论文基于这些优点，利用年来，基于章3使用迭代最近点查找确定输入点云与可变模型之间的对应点对，将可变形人体模型拟合扫描点云数据，迭代生成高精度的三维人体模型。文章4与5使用三台相机进行数据采集以实现三维重建，而文章1在三维重建的基础上又提出了一套结合纹理融合的流程，章1使用单台深度相机进行数据采集，对于身体小的扰动和光照的小的变化有很好的处理，更加便捷，用户体验更好。本文基于1，主要研究了基于单台深度相机的数据采集与预处理工作，:“随着消费级成本点云获取）的大量上市，以微软的前已有华硕、三星等多家公司开始量产此类产品，正在形成基于CL(运而生。”点云库朱德海7及点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建等等领域，为三维重建的前期工作提供了很大的便利。2中国科学技术大学本科毕业论文:便携带，和可扩展的系统，用于处理和非结构化编辑3以完成对网格或者点云的删除、去除重复点、点云数据的法向计算、于网格和点云的可视化也有着非常好的实现，是点云数据处理的非常好用的工具。本文部分数据处理就是用果均是通过文的主要工作是基于及后期重建的头顶补洞工作的探究，具体包括：数据采集部分：利用据处理部分：利用底面、去离散点和边界、网格重构等工作；后期补洞部分：提出了三种方法，包括基于于添加头顶数据的补洞方法、基于预处理阶段保留头部数据点的补洞方法，并给出了相应结果。论文结构安排:本文的下面部分按如下顺序进行编排：第二章介绍了基于提出的流程；第三章介绍了四章介绍了基于五章研究了三种头顶补洞的方法；最后一章将总结整个毕业论文的工作并进行了展望。力学）加上接）两字所自创的新词汇。时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。于捕获颜色数据；射红外线；1和是微软推出的基于为基于了是被推广到了很多其他方面的应用中去。用编程接口)提供了很多实用的操作，如深度与彩色数据的配准、深度数据向三维点云的转化、制相机马达转动等操作。，本文的编程实现就是基于每个小方块代表了一个点，该点包含了在该位置处的像素值或深度值；深度值，指的是矩形区域中特定位置对应的距相机最近的实际点，到相机平面的距离，规定坐标系为：与相机平面平行的平面为平方向为x轴，直于i;j)表示上图中第i行，点处的深度值为d, (x;y;z)为该处的三维坐标，则计算公式为式2:X = (i (j d(2中，Y ,别为： 321, 241, 0:00173667,这是LH=640致深度流和颜色流数据在一帧图像中并不一一对应，彩色数据和深度数据的匹配，是实现310和11)提供了三维物体扫描和模型构建的功能，用户可以用而获得更精细的数据，的数据采集了实时地获取更精细的数据，本文采用了于3们固定相机的位置不动，人保持相同的姿势，控制相机马达的转动（这样一次相机扫描能捕获一个侧面的脚底到头顶的全部数据；每次扫描结束，被扫描者保持同样的姿势和位置，顺时针旋转451图片来源127中国科学技术大学本科毕业论文度，进行下一次扫描。这样，整个数据的采集样本中，包含八帧数据，得获取一帧数据中包含从脚底到头顶的全部数据成为可能，因为的视角只有54度，不足以扫描到全身。为实现要用到多线程。是精度比已可以不需要用接使用相机拍到的单帧数据。与然是拍摄八个侧面作为一组数据。3。6是针对2D/3发的工程；如滤波(特征估计(表面重建(注册(模型拟合与分割(现了采集数据的一些预处理，如去底面，去重复点，去离散点，去边界等操作，并给出了一些结果，可供参考。是由于以下几个因素的存在：扫描得到的数据中，底面的平台与人的脚部是连在一起的，但是人体重建不需9中国科学技术大学本科毕业论文要，要去掉；离散的噪点不是建模所需要的，也要去掉；边界的数据比较粗糙，会影响要去掉。一位置的点可能被重复记录了多次，使得数据量非常大，因此需要先做简化，以减少后期的工作量；的数据采集是基于2的，是不断融合的结果，这样带来的问题是，边界上的数据质量明显很差，在颜色上的体现为会出现白斑，需要去除；为了方便点云处理，从最开始的点云简化开始，我们就直接丢掉网格信息，只研究点云数据，在后期的去除边界点时，再重新生成网格数据。为了保证数据质量，我们将数据采集限制在一个狭小的长方体区域内（点云按照x;y;若(x1;y1;(x2;y2;前，则章1中提出了如下的方法来生成于刚性配准后得到的每一片网格，我们利用其对应的相机位置，生成一副深度图；有了一副深度图，对于空间中任意的点，我们都可以做一个检测，判断该点在用来生成深度图的那片网格之前还是之后；1图片来源1417中国科学技术大学本科毕业论文这样，对于非刚性配准后的网格所在的长方体包围盒，我们进行均匀重采样，每个采样点都有了八个判断，如果这八个判断中，有六个或六个以上的判断都是点在网格之后，我们就判定，该点是内部点，否则为外部点。有了内部和外部的点的标定，我们利用移动立方体（15的方法，可以重建出网格，重建得到的网格就是需要的文章16所说，有了们从出少量点云数据，与非刚性注册得到的点云进行混合，作为行点云重建。发现4.7(c)）。因为头顶补洞问题的存在的主要原因在于，点云数据的缺失，因此可以考虑在头顶添加一些点云数据；我们的做法是，取一标准头部模型，从中挖出三维重建的点云数据的头部缺失的部分，和用于三维重建的点云数据混合，作为加点云数据后的重建结果，克服了直接度平坦等问题；结合人脸检测，也可以实现自动添加头部数据。但是，由于添加的数据不是采集得到的，使得重建的结果头型发生了改变，这个问题是不可避免的。们可以在数据预处理时，多保留一些头顶数据。基于这一基本想法，我们也进行了一些测试，并且得到了一些较好的结果。a)非刚性注册后的结果(b)生成的c)检测后的内外分区结果(d)用于括少量的e)基于于a)非刚性注册后的结果(b)直接c)基于d)种不同方法头顶补洞效果的比较(a)非刚性注册后的结果(b)直接c)基于d)据采集和预处理”过程，以及重建后期遇到的头顶补洞问题的探究。