多光照环境下的第一人称手部检测

作品名称：多光照环境下的第一人称手部检测大类：自然科学类学术论文小类：信息技术简介：随着谷歌眼镜等第一人称设备的相继发布，在第一人称设备上可以实现更多类似手眼协调交互，手持物体识别等应用。而手部检测在此类应用中是一个基本问题。为了尝试解决第一人称摄像头中进行多光照下手部识别所遇到的挑战，我们在一些新的和他人公开的数据集上，分析了现有局域特征的有效性，指出在特征上进行稀疏选择，以及使用对全局光照进行建模能有效提升算法的性能。详细介绍：【摘要】在本文中我们考虑第一人称摄像头下的手部检测问题。手部检测，在类似谷歌眼镜或者是MIT第六感这样的第一人称设备的应用中，是一个重要而基本的问题，是进行人机交互，手持物体识别，手眼协调识别等应用的必要条件。对比于传统的手部识别方法，第一人称摄像头遇到了许多新的挑战，比如光照条件的改变，以及摄像机的快速运动和复杂的手部行为。为了尝试解决这些新环境下的挑战，我们建立了一个标定过的室内/室外第一人称手部识别数据集，包含2亿个像素实例，覆盖了各种不同光照环境下的手部照片。使用我们的数据集以及另一些公开的数据集，我们分析了现有局域特征的有效性。我们的分析指出在特征上进行稀疏选择，以及使用全局特征对全局光照进行建模能够有效提升算法的性能。更进一步我们提出使用模型推荐系统，在候选子模型中选取较好的模型来进行检测，方法进一步提升了整个流程的准确率。我们发布的方法能够显著地超过现有的基准算法。【简介】在本项目中我们主要致力于研究第一人称摄像头下的像素级手部检测问题。第一人称摄像头是指由用户佩戴在头顶向前下方进行拍摄的摄像头。比较著名的例子是MIT在10年前提出的“第六感”，以及谷歌公司在最近提出的谷歌眼镜设备，这些都是第一人称的摄像设备。除此之外，许多大公司如微软，NEC等，都在试图研究类似的设备。在第一人称摄像头中，头部与手部的交互是一个很重要的问题。在“第六感”的设计原型中，大量的应用需要依赖手势交互实现，如利用手势来控制摄像机的拍照功能。、但是在任意条件下进行手势识别是极为困难的，第六感的设计者试图利用彩色指套来方便识别的过程，但这样不仅问题没有被得到良好的解决，能够应用的场景也受到了极大的限制。相比于第三人称的摄像头，例如监控摄像头，或者电视游戏机摄像头(Kinect)；第一人称摄像头处在一个更为理想的交互视角，能够更好地捕捉特定用户的行为，来进行一些特别的应用例如分析用户抓握的物体，或者进行手眼协调的相关应用。所以最近，第一人称摄像头的应用成为一个非常流行的问题，有很多工作类似理解手眼协调和识别人类的日常生活行为在顶级的会议上被发表出来。为了更好的在这些应用中获得人类的行为，本文主要讨论的是一个底层问题，即在第一人称摄像头中进行像素级的手部检验。手部检验是一个重要而基本的问题，是一些应用类似手势识别，手部追踪，抓取物体识别，人体运动识别和理解手部交互活动的组成部分。对比于之前手部检测类的工作，这个问题第一人称摄像头下拥有许多新的特性，也遇到许多新的挑战。不同于经常被用来进行手势识别或者肢体语言识别的第三人称静止的摄像头，第一人称摄像头往往会遇到非常多的大移动，因为他被穿戴在用户的头上。而这些移动往往还会引起巨大的光照环境改变，例如当用户从室内走到室外时。强烈的摄像机运动导致无法使用传统的方法来应用摄像头配准及背景剪除技术。同样地，大的光照环境改变会引起图片上提取到的底层特征出现较大的变化，影响手部检测的性能。幸运的是，第一人称的摄像头经常被佩戴在一个特定的用户身上，并且摄像机所处的“物理世界”往往是同一个用户在有一定范围限定的环境。这样首先用户肤色的“内在颜色”就不会随着时间所发生变化。在本文的工作中，致力于解决第一人称摄像头手部检测所遇到的这些挑战。我们发布了一个超过1000张标定图像的手部图像数据集，数据集拍摄于不同的光照和背景环境。每张照片被作了像素集的分割标定。因此数据集总共超过4亿的像素样本。使用这个数据集以及一些其他研究者发布的数据集，我们对较为常用的底层特征都进行了测试。并且我们尝试结合全局光照信息，利用集成学习或者说结构化判断的思想对手部检验进行提升。我们提出了一个基于稀疏特征选择，以及依赖于全局特征的结构化判断方案并比较和超过了几个常见的基准方法。更进一步，我们利用一个模型推荐系统对性能作了进一步提升。基于全局信息或者是子模型之间的差异，推荐系统可以选出性能较好的子模型进行手部检验。我们将一种新型的动态模型选择方法应用到了第一人称的手势识别中。这种方法可以有效地提升算法的运行速度和性能。【相关工作]】（1）手部检测在这里我们回顾一下各种在移动摄像头中，进行像素级手部检验的工作。相关的工作可以被大致划分类三类。1.利用局部特征进行检验。2.利用基于照片全局的信息进行检验。3.利用运动信息进行检验。（2）基于局部特征的方法在大多数情况下，对于手部识别来说，图像局部的颜色信息是一个简单而又强的特征，是一种最为经典的肤色检验手段。Jones和Rehg最早提出利用混合高斯模型来对肤色与非肤色区域进行建模。他们的方法被证明可以有效地在互联网图片上提取肤色的区域。颜色建模的方法还时常与跟踪相结合来考虑动态更新的肤色检验问题。（3）基于全局匹配的方法全局的方法主要是利用模板匹配的方法，使用一个二维的样例图像来形成一个稀疏或稠密的模板数据库进行匹配或从一个3维的手部模型进行二维投影进行匹配。这些方法即使在手的一部分被遮挡的时候，还是能够有效地对手进行检测。不过，如果需要支持对遮挡鲁棒的检测，这个方法经常要在一个非常大的空间进行搜索，并且必须加载一个追踪的方法来限制搜索的结果。（4）基于运动的方法之前也有一些工作针对利用运动信息来增强手部识别的性能。这些利用运动信息进行手势的识别工作，其主要优势是尽可能的与颜色信息无关，因此能够较好地适应各种光照的变化。这些工作所利用的底层特征，往往需要提取一段时间内稠密或者是稀疏的光流，再利用轨迹空间分解的方法，来分辨前景（手）与背景的运动。一个主要的问题是无论是稀疏还是稠密的光流，都需要较长的时间来提取，并且这些方法往往无法直接处理静止的前景，需要进一步结合其他的方法来使用。传统的手部检验主要基于颜色信息，需要提前知道颜色的统计信息，不过优势是对运动有非常好的鲁棒性。不过，皮肤所反射的颜色往往随着环境的变化快速改变，一个简单的分类器往往不能适应所有的情况。之前的工作发现可以利用一些动态的模型来适应皮肤颜色的变化\。不过这样模型需要利用自己判断的结果进行学习，往往在很多步之后出现漂移。在第一人称摄像头的相关应用中，摄像头是移动并且不固定的（例如用户会在室内和室外行走）。所以在相应的手势交互应用中，算法应该能够在一个非常广泛的光照条件下进行检测，并且对摄像机和物体的运动有很好的鲁棒性。在本工作中，我们首先展示了可以使用一些已有的特征，在不同的光照条件下对手进行检测。然后，我们利用整张图全局的直方图作为一个全局特征，来寻找一个与待测试图像光照环境相近环境下，训练出的手部检验模型。不过，因为图片的直方图会同时受到光照环境，以及图片内容的影响。依靠直方图来选择模型的方法，很难推广到一个同光照环境但是显示的内容非常不同的场景(例如手在一个训练集中没有见过的室外环境，阳光的色度和亮度基本相同)，于是我们又提出了利用推荐系统来进一步解决这个问题的方案。（5）推荐系统Matikainen等人等人在2012年发表了一个有关利用模型推荐系统来进行运动识别的工作，这个工作说明了利用模型推荐可以有效地提升分类器的性能。并且在训练数据较为缺乏的情况下，可以利用跨数据库的模型来提升性能。不过在他们的工作中，他们假设测试场景的分布是静态的。而我们之前说过在第一人称的手部检测相关应用中，场景不再是静态的，而是会随着用户的移动而发生改变。在本文中我们将提到一个不需要先验分类器来作为探针的模型推荐系统，来尝试解决这样一个动态场景下的分类问题。一个模型推荐问题，与经典的监督学习指出有所不同在于，分类器能够更多拥有根据带测试任务的输入特征的分布改变自己参数的性能。类似的想法在近几年的机器学习中成为一个重要的话题，很多统计学习的新框架都在讨论这个问题，例如局域适应学习(domainadaptation)，转换学习(transductivelearning)，核密度估计(kerneldensityratioestima