智能网联汽车计算平台部署与测试课件：Kinect深度相机的认知与安装

智能网联汽车

计算平台部署与测试

Kinect深度相机的认知与安装任务1深度相机KinectV2驱动的认知目录01.任务描述02.任务目标03.任务准备04.知识准备05.任务实施06.评价反馈01.任务描述最近，小刘忙于自己的课程任务，但他当前对于深度相机KinectV2驱动不太了解，而且需要将其安装在自己的电脑上，请你准备一下，向他简要介绍一下深度相机KinectV2驱动，并且帮助他完成安装任务，最后对学习效果进行评价。02.任务目标

通过学习，希望同学们完成以下任务。了解能够深度相机KinectV2驱动。熟悉深度相机KinectV2驱动的安装方法。熟悉深度相机KinectV2驱动安装过程中常见问题的解决方法。能够在电脑上正确安装深度相机KinectV2驱动。能够解决安装过程中常见的问题。具有良好的团队协作精神和较强的组织沟通能力。具备良好的职业道德。获得多途径检索知识、分析解决问题以及多元化思考解决问题的方法，形成创新意识。03.任务准备常规实训着装防护装备安装有操作系统的计算机平台教学设备教学课件、电脑主机教学工具04.知识准备深度相机，也被称为三维相机或者RGBD相机，是一种能够同时获取场景的颜色信息和深度信息的相机技术。与传统的RGB相机只能获取颜色信息不同，深度相机通过使用红外光或者其他特殊传感器，可以获取场景中物体和环境的三维结构信息。一、深度相机KinectV2驱动的概述1.深度相机的介绍深度相机的工作原理：基于ToF成像技术，实现调幅连续波（AMCW）时差测距（ToF）。这种相机将近红外（NIR）频谱中的调制光投射到场景中，然后记录光线从相机传播到场景，再从场景返回到相机所花费的间接时间测量值。处理这些测量值可以生成深度图，深度图是图像每个像素的一组Z坐标值，以毫米为单位。一、深度相机KinectV2驱动的概述深度相机在多个领域有广泛的应用。例如，它可以实现更精细自然的背景虚化，人像光效的模仿，动画表情的实时转移，以及三维美颜和人脸活体识别等功能。此外，还有针对户外场景打造的3D结构光深度相机，解决了户外强光下成像困难的痛点，赋能景区、校园、加油站、公共交通等户外刷脸支付及人身核验应用。一、深度相机KinectV2驱动的概述KinectV2是一款集成了彩色相机、深度传感器、红外发射器和麦克风阵列的硬件设备,也是美国微软公司生产的Xbox第二代3D体感摄像机，包括彩色摄像头（ColorCamera）、深度传感器（DepthSensor）、麦克风阵列(MicrophoneArray)等部件，其中深度传感器（DepthSensor）由红外摄像机（IRCamera）和红外投影仪（IRProjector）构成。驱动程序（DeviceDriver）全称为“设备驱动程序”，是一种可以使计算机和设备进行通信的特殊程序。操作系统只有通过这类程序，才能控制相应的硬件设备。如果某设备的驱动程序未能正确安装，该设备便不能正常工作。其驱动是为了使KinectV2能够在计算机上正常工作而设计的软件程序。一、深度相机KinectV2驱动的概述2.深度相机KinectV2的介绍深度图像的每个像素数值都代表KinectV2距离此像素实际对应区域与相机的深度距离，因此KinectV2能够直接输出三维空间信息。同时，KinectV2的彩色相机用于获取高清彩色图像，而麦克风阵列则用于采集周围的声音信息，结合微软的语音库，可以实现语音识别等功能。一、深度相机KinectV2驱动的概述在安装KinectV2驱动时，通常需要将设备连接到电脑上，并安装相应的USB驱动。随后，下载并安装Kinect2.0SDK（软件开发工具包）以支持设备的运行。这个SDK提供了必要的库和工具，使得开发者能够利用KinectV2进行各种应用程序的开发。驱动安装完成后，KinectV2就可以通过其深度传感器捕获场景中的对象的深度信息。这主要依赖于结构光技术，即使用红外线光源和红外线相机。当红外线光照射到场景中的对象时，光线会反射回设备并被红外线相机捕捉。根据红外线光照射和反射的时间差，KinectV2能够计算出每个对象的距离和深度，生成深度图像。一、深度相机KinectV2驱动的概述KinectV2的驱动按照开发商类型，可以分为官方驱动和第三方驱动。1.官方驱动深度相机KinectV2的官方驱动由微软公司提供，包含在KinectForWindowsSDK2.0软件包中，可以从微软官网下载（）。二、深度相机KinectV2驱动的分类二、深度相机KinectV2驱动的分类KinectForWindowsSDK2.0软件包包含以下内容：（1）KinectV2驱动程序，适用于Windows桌面操作系统及Windows嵌入式操作系统；（2）KinectV2应用编程接口（API）以及设备编程接口；（3）SDK使用范例代码。二、深度相机KinectV2驱动的分类2.第三方驱动深度相机KinectV2的第三方驱动指由微软以外的其它公司/组织/个人开发的驱动程序，最常用的OpenKinect。OpenKinect是一个开源社区，致力于将Kinect设备运行于各种PC操作系统上，包括Windows，Linux以及Mac，并允许多台KinectV2设备连接到同一台计算机上。OpenKinect的所有代码可以在Github上得到（），其中驱动程序部分的代码为libfreenect2，位于。05.任务实施1.在教师的引导下，以小组为单位学习相关技能，并完成下列作业：（1）KinectV2是哪家公司生产的，包括哪些部件？（2）驱动程序的作用是什么？（3）KinectV2驱动程序有几种，各从什么渠道进行下载？2.在教师的引导下分组，以小组为单位学习相关知识，并结合Kinect相机驱动的安装，完成以下作业：（1）了解KinectV2深度相机的来源和部件。（2）了解KinectV2深度相机的驱动程序的作用（3）掌握KinectV2驱动程序有几种和各自的下载渠道。（4）按照下列表格索引，掌握KinectV2深度相机的相关知识，并完成“工作表格：KinectV2深度相机的认知”的填写。06.评价反馈（1）各组代表展示汇报PPT，介绍任务的完成过程。（2）以小组为单位，请对各组的操作过程与操作结果进行自评和互评，并将结果填入综合评价表中的小组评价部分。（3）教师对学生工作过程与工作结果进行评价，并将评价结果填入综合评价表中的教师评价部分。ThankYou智能网联汽车

计算平台部署与测试

Kinect深度相机的认知与安装任务2Kinect相机驱动的安装目录01.任务描述02.任务目标03.任务准备04.知识准备05.任务实施06.评价反馈01.任务描述最近，单位新来一批实习员工，他们对深度相机Kinect驱动的安装并不了解，需要学习如何安装Kinect相机驱动，请你准备一下，讲解相机驱动需要的系统要求及安装方法，包括官方驱动和第三方驱动。02.任务目标

通过学习，希望同学们完成以下任务。了解官方驱动和第三方驱动的使用场景。能够掌握官方驱动的安装方法。能够掌握第三方驱动的安装方法。能够在电脑上正确安装深度相机KinectV2官方驱动。能够在电脑上正确安装深度相机KinectV2第三方驱动。具有良好的团队协作精神和较强的组织沟通能力。具备良好的职业道德。获得多途径检索知识、分析解决问题以及多元化思考解决问题的方法，形成创新意识。03.任务准备常规实训着装防护装备安装有操作系统的计算机平台教学设备教学课件、电脑主机教学工具04.知识准备（1）双核3.1GHz以上64位处理器（2）4G以上内存（3）支持USB3.0的接口（4）支持DirectX11的显卡（5）VisualStudio2012以上（6）NetFramework4.5以上一、官方驱动安装1.系统要求（1）确定KinectV2未连接到计算机上（2）从微软官网下载KinectSDK2.0安装包，地址：download/F/2/D/F2D1012E-3BC6-49C5-B8B3-5ACFF58AF7B8/KinectSDK-v2.0_1409-Setup.exe一、深度相机KinectV2驱动的概述2.安装（3）下载完毕，双击KinectSDK-v2.0_1409-Setup.exe文件，开始安装（4）安装完毕，将KinectV2接上电源，并插入计算机上的USB3.0口，Windows将自动安装KinectV2的驱动程序（5）驱动程序安装完成后，你可以在Windows的设备管理器中看到KinectV2设备一、深度相机KinectV2驱动的概述2.安装在非Windows环境下，一般选择安装第三方的驱动。以在Ubuntu18.04操作系统中安装KinectV2驱动libfreenect2为例说明。1.系统要求（1）支持USB3.0的接口（2）Ubuntu14.04以上（3）已经安装了NVidia显卡及驱动（4）已经安装了CUDA10.0以上二、OpenKinect驱动安装二、OpenKinect驱动安装2.安装（1）首先更新Ubuntu系统软件包。在Ubuntu终端上执行如下命令：sudoaptupdate（2）安装libfreenect2依赖软件包。在Ubuntu终端上依次执行如下命令：sudoaptinstallbuild-essentialcmakepkg-configsudoaptinstalllibopenni2-devsudoaptinstalllibturbojpeg0-devsudoaptinstalllibglfw3-devsudoaptinstalllibva-devlibjpeg-dev二、OpenKinect驱动安装2.安装其中，libopenni2-dev是OpenNI2项目提供的函数库。OpenNI即开放自然语言交互，用于3D感知的开发接口，OpenNI2是其第二代版本，相对于第一代更加专注于对3D设备的支持和数据的获取，移除了手势识别等中间件的方式，代码更加的精简。OpenNI2是RGBD相机的用户态驱动，对上提供统一的接口，方便用户获取RGBD的图像数据，对下提供统一的标准类，方便RGBD厂商进行适配；目前OpenNI2支持的设备包括PS1080、PSLink、orbbec、Kinect等设备，由于其清晰的代码结构，很容易对第三方设备进行适配。二、OpenKinect驱动安装2.安装（3）获取libfreenect2源码。在Ubuntu终端上依次执行如下命令：cd~gitclone（4）编译libfreenect2并安装驱动。在Ubuntu终端上依次执行如下命令：cd~/libfreenect2mkdirbuildcdbuildcmake..-DENABLE_CXX11=ON-DCUDA_PROPAGATE_HOST_FLAGS=OFF-DENABLE_CUDA=ONmakesudomakeinstall二、OpenKinect驱动安装2.安装（5）为KinectV2获得计算机USB口的访问权限。在Ubuntu终端上执行如下命令：sudocp../platform/linux/udev/90-kinect2.rules/etc/udev/rules.d/（6）然后插拔KinectV2与计算机的连接线。接着测试KinectV2是否已经能够在该计算机上正确访问了。在Ubuntu终端上执行如下命令：./bin/Protonect如果此时能够在计算机上看到图像，说明已经正确安装了libfreenect2驱动。二、OpenKinect驱动安装2.安装（7）由于我们还需要在ROS下使用深度相机KinectV2，因此，下面还要继续安装libfreenect2的ROS驱动。在Ubuntu终端上依次执行如下命令，完成libfreenect2的ROS驱动的源代码下载和编译。mkdir-p~/kinect2_bridge/src/cd~/kinect2_bridge/src/gitclonecdiai_kinect2rosdepinstall--from-paths.--ignore-srccd~/kinect2_bridgecatkin_make-DCMAKE_BUILD_TYPE="Release"二、OpenKinect驱动安装2.安装（8）编译成功，说明libfreenect2的ROS驱动已经正确安装。可以按照以下步骤进行测试。在Ubuntu终端上依次执行如下命令：c