chapter10.3-应用于人机情景交互的视觉图像处理技术研究

CHAPTER10人机交互图像处理算法简介基于人机情景交互的图像处理算法设计图像处理研究实验过程及其结果210.3应用于人机情景交互的视觉图像处理技术研究10.3应用于人机情景交互的视觉图像处理技术研究310.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介带通滤波器2D图像3D点云图像43D图像比2D图像多了一个深度值，这个深度值直接与对象到传感器的距离有关，越靠近摄像的对象，该对象的深度越小。在图像采集过程中，可以利用带通滤波器根据深度值去除掉不感兴趣的物体。10.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介带通滤波器带通滤波器原理图带通滤波器公式5X轴、y轴、z轴10.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介统计学滤波器原图统计学滤波器处理过的图610.3应用于人机情景交互的视觉图像处理技术研究

710.3应用于人机情景交互的视觉图像处理技术研究统计学滤波器由上述式子，可计算距离阀值为：如果满足下式，则认为该点为奇异点，需要剔除。8原图统计学滤波器处理过的图10.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介RANSAC分割算法RANSAC（RANdomSAmpleConsensus随机抽样一致），可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果；为了提高概率必须提高迭代次数。9包含很多局外点的数据集RANSAC找到的直线（局外点不影响结果）10.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介RANSAC分割算法RANSAC算法的输入是一组观测数据、一个可以解释或者适应于观测数据的参数化模型、一些可信的参数。RANSAC的基本假设：（1）数据由“局内点”组成，例如：数据的分布可以用一些模型参数来解释；（2）“局外点”是不能适应该模型的数据(噪声的极值；错误的测量方法；对数据的错误假设)；（3）除此之外的数据属于噪声。RANSAC也做了以下假设：给定一组（通常很小的）局内点，存在一个可以估计模型参数的过程；而该模型能够解释或者适用于局内点。1010.3应用于人机情景交互的视觉图像处理技术研究RANSAC分割算法RANSAC算法的验证：11√迭代产生模型的结局：要么因为局内点太少，还不如上一次的模型，而被舍弃；要么因为比现有的模型更好而被选用。RANSAC找到的直线（局外点不影响结果）评估模型10.3应用于人机情景交互的视觉图像处理技术研究

1210.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法压缩算法的主要思想是减少数据传输量，其关键思想是将P帧结合到I帧中进行3D图像传输，即在两个I帧信息之间发送多个P帧信息，如图所示。压缩算法原理图13较大尺寸较小尺寸10.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法在本系统中，默认操作人员的脸部运动幅度不能过大。因此，面部信息将被视为P帧的信息。在接收端获得P帧信息后，为了能够得到第二个I帧信息，必须使用运动矢量进行评估。在图像获取端，利用人脸检测技术，检测出鼻尖的位置，利用I帧的鼻尖位置信息和P帧鼻尖位置信息的差值可以得到运动向量。

——I帧的鼻尖位置信息鼻尖的运动向量：——P帧的鼻尖位置信息1410.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法得到新一帧信息的过程：1、利用运动向量和P帧信息得到准确的脸部信息，为最终鼻尖位置信息。2、将得到的脸部信息和I帧信息进行融合，得到最终的新一帧信息。Haar-Face人脸检测算法：使用Haar-Like特征训练弱分类器，然后，弱分类器将用于构成强分类器。最后，强分类器组成级联，每个阶段的强分类器由不同个数的弱分类器集成，阶段在前面的强分类器包括弱分类器的数量比较少。1510.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法1)Haar-Like特征：Haar特征模板被分为三类。如图所示。特征模板也称为特征原型，在图像子窗口中扩展（平移伸缩）得到的特征称为矩形特征，矩形特征的值被称为特征值。Haar-like特征种类图1610.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介

1710.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法每个窗口包含矩形特征个数N：——矩形特征在水平和垂直方向的能放大的最大比例系数——图片窗口大小因矩形特征类别、大小和位置的变化，可以使很小的检测窗口含有非常多的矩形特征。如在24*24像素大小的检测窗口内矩形特征数量可以达16万个。1810.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介是整体图像的像素和，是点的像素，是图像第行累积的像素和，如图所示。积分原理解释图压缩算法可以使用积分图像来计算特征值，进一步提高计算特征值的速度。1910.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法积分图像计算如图所示。由图可知：矩形1中的积分图像的特征值叠加和为，矩形2中的积分图像的特征值叠加和为，矩形3中的积分图像的特征值叠加和为，矩形4中的积分图像的特征值叠加和为。积分图像计算示例图2010.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法2)Haar-Like特征分类器Haar-like分类器的目的是检测输入数据是否为人脸的信息。人体的某些相关关节将使用支持向量机、K-means和隐马尔可夫模型对其进行估计。弱分类器的训练过程：针对各个样本集，计算所有输入图像的特征值，利用排列技术将特征向量按照从小到大进行排列，然后为该特征向量选择一个最好阈值，最终形成一个弱分类器。弱分类器和强分类器：是阈值；用于修正不等式两边符号方向；是窗口特征的值；是弱分类器的权重；是弱分类器的数量。2110.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法2)级联器级联由一些强分类器组成，用于消除每个阶段不符合条件的候选数据，如图所示。级联器原理图2210.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介

鼻尖检测原理图2310.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计系统介绍系统结构描述图2410.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计系统介绍服务操作端结构描述图2510.3应用于人机情景交互的视觉图像处理技术研究系统介绍客户交互端结构描述图2610.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计系统整体算法设计介绍系统框图2710.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计

2810.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计统计学滤波器设计29①②③④10.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计

3010.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计人脸识别算法设计1）强分类器设计31人脸识别算法设计2）级联分类器设计10.3应用于人机情景交互的视觉图像处理技术研究32鼻尖检测算法设计10.3应用于人机情景交互的视觉图像处理技术研究33鼻尖检测算法设计10.3应用于人机情景交互的视觉图像处理技术研究3410.3应用于人机情景交互的视觉图像处理技术研究图像处理研究实验过程及其结果实验准备KinectV1传感器的结构原理图整体实验设备安装图3510.3应用于人机情景交互的视觉图像处理技术研究图像处理研究实验过程及其结果

Kinect传感器获取的3D图像3610.3应用于人机情景交互的视觉图像处理技术研究带通滤波器处理过的3D图像统计学滤波器处理的3D图像图像处理研究实验过程及其结果基于人脸检测压缩图像实验3710.3应用于人机情景交互的视觉图像处理技术研究RANSAC算法处理过的3D图像利用人脸检测，分割出人脸信息图像处理研究实验过程及其结果基于人脸检测压缩图像实验3810.3应用于人机情景交互的视觉图像处理技术研究图像处理研究实验过程及其结果基于八叉树结构压缩图像实验为了体现基于人脸检测算法的压缩算法的优点，本节做了比较实验。实验利用八叉树结构直接压缩了Kinect传感器抓取的3D点云数据。八叉树结构图3910.3应用于人机情景交互的视觉图像处理技术研究图像处理研究实验过程及其结果基于八叉树结构压缩图像实验使用基于八叉树的压缩算法来压缩由Kinect传感器抓取的3D点云数据。如通过Kinect传感器获取3D图像，然后直接压缩3D图像，无需经过任何算法处理如左图所示。如去除3D图像中的背景和异常值，通过基于八叉树