看板管理_双目视觉的人手定位与手势识别系统研究_第1页
看板管理_双目视觉的人手定位与手势识别系统研究_第2页
看板管理_双目视觉的人手定位与手势识别系统研究_第3页
看板管理_双目视觉的人手定位与手势识别系统研究_第4页
看板管理_双目视觉的人手定位与手势识别系统研究_第5页
已阅读5页,还剩61页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

At h e s i ss u b m i t t e dt o Z h e n g z h o uU n i v e r s i t y f o rt h ed e g r e eo fM a s t e r R e s e a r c ho fH a n d P o s i t i o n i n ga n dG e s t u r eR e c o g n i t i o nB a s e d o nB i n o c u l a rV i s i o n B y Z h i m i nG u o S u p e r v i s o r :P r o f T o n g d eT a n C o m p u t e rA p p l i c a t i o nT e c h n o l o g y S c h o o lo fI n f o r m a t i o nE n g i n e e r i n g M a y 2 0 11 原创性声明 本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研 究所取得的成果。除文中已经注明引用的内容外,本论文不包含任何其他个人 或集体已经发表或撰写过的科研成果。对本文的研究做出重要贡献的个人和集 体,均已在文中以明确方式标明。本声明的法律责任由本人承担。 学位论文作者:郭为句灾日期:矽年乡月2 口日 学位论文使用授权声明 本人在导师指导下完成的论文及相关的职务作品,知识产权归属郑州大学。 根据郑州大学有关保留、使用学位论文的规定,同意学校保留或向国家有关部 门或机构送交论文的复印件和电子版,允许论文被查阅和借阅;本人授权郑州 大学可以将本学位论文的全部或部分编入有关数据库进行检索,可以采用影印、 缩印或者其他复制手段保存论文和汇编本学位论文。本人离校后发表、使用学 位论文或与该学位论文直接相关的学术论文或成果时,第一署名单位仍然为郑 州大学。保密论文在解密后应遵守此规定。 学位论文作者:静声。匀欠 日期:产f f 年,月z 。日 摘要 摘要 在虚拟现实应用领域,用户在操作虚拟物体时候,传统的鼠标键盘等输入 设备很难满足操作沉浸感和趣味性。而人类在平时的交流过程中,除了使用语 言、文字沟通之外,还常常借助手势来完成交流任务。因为人手不仅包含大量 的符合人类认知习惯的交互信息,而且由于人手的连续运动,还存在三维空间 位置信息,因此完全可以将人手位置和手势结合起来,作为一个不可分割的整 体进行研究。考虑到光学定位具有安装方便、价格低廉、非接触式测量等优点, 本论文设计开发了一套基于光学的人手定位与手势识别系统,该系统在实时定 位空间人手三维位置的同时,还能够识别出相应的手势,可将其作为虚拟手的 驱动接口,实现对虚拟物体的抓取、移动和释放操作。 文中首先对要实现的系统进行了需求分析和功能设计,将整个系统分成六 大模块,它们分别为操作者、图像采集模块、人手定位模块、虚实注册模块、 手势识别模块和虚拟操作模块,并结合六大模块给出了系统的框架组成。然后 分别介绍了这几大模块的实现方法。在人手定位模块中,采用C a m S h i f t 算法对 目标人手进行跟踪,并对该算法进行了改进,实现了全自动人手目标检测。同 时提出了一种新的人手特征点提取方法,该方法将人手的质心作为匹配点,然 后根据双目视觉定位数学模型计算目标位置信息;在手势识别模块中,利用基 于肤色的图像分割技术,首先将摄像机采集的R G B 原始图像转变为H S V 二值 图像,可以避免光照强弱的干扰。然后利用人手轮廓面积和人手质心点像素坐 标两个约束条件,在H S V 图像中查找并提取手型目标轮廓,接着利用凸包理论, 在提取的人手轮廓点集中找到人手的凸包点,利用手型凸包点轮廓面积与原始 轮廓面积的比值不同识别手势。 最后,介绍了系统实现的软硬件环境和系统实现核心流程图,并给出了一 个应用在虚拟化学实验平台中的具体实例。 关键词:人手定位;手势识别;三维虚实注册;虚拟手抓持;虚拟实验 A b s t r a c t A b s t r a c t w h e ni n t e r a c t i n gw i t hv i r t u a lo b j e c t si nv i r t u a lr e a l i t ye n v i r o n m e n t ,t h eo p e r a t o r u s i n gt h ei n p u td e v i c e sa b o u tt r a d i t i o n a lt w o d i m e n s i o na n dk e y b o a r dc o u l dn o t a c h i e v ei m m e r s i o na n df u n n y I nt h eu s u a lp r o c e s so fi n t e r p e r s o n a lc o m m u n i c a t i o n , p e o p l e c a nn o t o n l y u s el a n g u a g ea n dw o r dt oc o m m u n i c a t e ,b u ta l s oC a n c o m m u n i c a t ew i t hg e s t u r e s H u m a nh a n d sh a v en o to n l yc o n t a i n e dal a r g en u m b e ro f i n t e r a c t i v ei n f o r m a t i o nw i t hh u m a nc o g n i t i v eh a b i t sb u ta l s ot h et h r e e d i m e n s i o n a l s p a c ep o s i t i o ni n f o r m a t i o nf r o mt h ec o n t i n u o u sm o v e m e n to fh a n d s ,S Ow ec a n c o m b i n et h el o c a t i o na n dg e s t u r e si n f o r m a t i o na saw h o l e T h eo p t i c a lp o s i t i o n i n g e q u i p m e n t ,w i t h i t s e a s y i n s t a l l a t i o n ,r e l a t i v e l yi n e x p e n s i v e ,n o n 。c o n t a c t m e a s u r e m e n t ,i si n c r e a s i n g l ys u b j e c tt o a t t e n t i o n a s y s t e m ,b o t hl o c a t i n g t h e t h r e e d i m e n s i o n a lp o s i t i o ns p a c eo fh a n da n ds i m u l t a n e o u s l yi d e n t i f y i n g t h e a p p r o p r i a t eg e s t u r e s ,i sd e s i g n e d ,w h i c hC a ns e r v ea st h ei n t e r f a c et od r i v e rv i r t u a l h a n dc o m p l e t i n gm a n i p u l a t i o no fg r a s p i n g ,m o v i n ga n dr e l e a s i n gv i r t u a lo b j e c t s T h e s y s t e mC a nb eu s e da san a t u r a l ,e f f i c i e n ti n t e r f a c ed r i v e nw i t hi m m e r s i v e v i r t u a lh a n d i nt r a i n i n g ,v i r t u a la s s e m b l y , v i r t u a ls u r g e r y , r o b o t i ca r mc o n t r o la n dS Oo n I nt h i sp a p e r , w ef i r s ta n a l y z et h es y s t e m Sr e q u i r e m e n t sa n dd e s i g nt h es y s t e m S f u n c t i o n a l T h ew h o l es y s t e mi sd i v i d e di n t os i xp a r t s :t h eo p e r a t o r , t h ei m a g e a c q u i s i t i o nm o d u l e ,h a n dp o s i t i o n i n gm o d u l e ,3 Dr e g i s t r a t i o n m o d u l e ,g e s t u r e r e c o g n i t i o nm o d u l ea n dt h ev i r t u a lo p e r a t i n gm o d u l e ,t h es y s t e m S f r a m e w o r ki s g i v e nc o m b i n e dw i t hs i xm o d u l e s T h e n t h ei m p l e m e n t a t i o no fs e v e r a lm o d u l e sa r e i n t r o d u c e d I nt h ep o s i t i o n i n gm o d u l e ,t h ea u t h o ru s e sC a m S h i f la l g o r i t h mt ot r a c k t h et a r g e t s ,a n di m p r o v e si tt ot r a c kt a r g e t sa u t o m a t i c a l l y T h ep a p e ra l s op r o p o s e sa p r a c t i c a lm e t h o do f e x t r a c t i o nf e a t u r ep o i n t so fh a n d ,w h i c hm a k e st h ec e n t e ro fm a s s o fh a n da st h em a t c hp o i n ta n dc a l c u l a t e st h el o c a t i o ni n f o r m a t i o no ft h et a r g e tb a s e d o nM a t h e m a t i c a lm o d e lo fb i n o c u l a rv i s u a lp o s i t i o n i n g ;I nt h eg e s t u r er e c o g n i t i o n m o d u l e ,i no r d e rt oa v o i dt h ei n f l u e n t i a lo fi n f o r m a t i o no fb r i g h t n e s s ,w ef i r s tc o n v e r t R G Bc o l o rs p a c et oH S Vc o l o rs p a c e ;t h e nw eu s et w oc o n s t r a i n t so fp o s i t i o na n d l I A b s t r a c t a r e ao fc o n t o u r st od e t e r m i n eh a n dc o n t o u rf o r mH S V i m a g e F i n a l l y , a c c o r d i n gt o t h ec o n v e xh u l lt h e o r y , w ec a ne x t r a c tt h ec o n v e xh u l lo fh a n dc o n t o u r ,c a l c u l a t et h e r a t i ob e t w e e nh a n dc o n t o u ra r e aa n dc o n v e xh u l lp o i n t sa r e a , a n dr e c o g n i z eg e s t u r e s b yd i f f e r e n t i a t i n gr a t i o so fd i f f e r e n tg e s t u r e s F i n a l l y , t h ep a p e ri n t r o d u c e st h es y s t e me n v i r o n m e n to ft h eh a r d w a r ea n d s o f t w a r e ,s h o w st h ec o r ef l o wf o rt h i ss y s t e m ,a n dg i v e sa na p p l i c a t i o ni nt h ev i r t u a l c h e m i s t r ye x p e f i m e n t Sa st h es p e c i f i ce x a m p l e s K e yw o r d s :H u m a nH a n dL o c a t i o n ;H a n dG e s t u r eR e c o g n i t i o n ;3 DR e g i s t r a t i o n ; V i r t u a lH a n dG r a s p i n g ;V i r t u a lE x p e r i m e n t s I I I 目录 目录 1 绪论l 1 1 课题的背景、来源及意义1 1 2 国内外研究现状2 1 3 论文所做的工作与组织结构3 2 系统的总体框架5 2 1 系统的需求分析5 2 2 系统的功能设计6 2 2 1 系统的设计目标6 2 2 2 系统的功能模块及框架组成7 2 3 可能遇到的问题及解决方法8 2 3 1 系统实现的难点8 2 3 2 采取的技术路线9 2 4 本章小结9 3 人手定位模块的关键技术与实现1 0 3 1 目标的实时检测与跟踪I l O 3 1 1C a m S h i f t 算法1 0 3 1 2 改进的C a m S h i f t 跟踪算法。1 3 3 2 双目视觉定位原理1 5 3 2 1 坐标系说明1 5 3 2 2 定位原理1 6 3 3 摄像机标定18 3 3 1 摄像机标定原理1 8 I V 日录 3 3 2 标定的实现2 0 3 4 人手特征点的提取及定位的实现2 2 3 5 三维虚实注册2 3 3 6 本章小结2 4 4 手势识别模块的关键技术与实现一2 5 4 1 人手轮廓特征的提取2 5 4 1 1 人手轮廓的提取流程2 5 4 1 2 原始R G B 图像转换为H S V 图像2 6 4 1 3 图像的形态学去噪3 0 4 1 4 边缘检测算法提取轮廓3l 4 1 5 通过约束条件确定人手目标轮廓3 2 4 2 手势识别3 2 4 2 1 凸包的概念3 2 4 2 2 基于凸包点的手势识别原理3 3 4 3 手势库的建立3 5 4 3 1B M P 图像格式3 5 4 3 2 手势数据库的建立。3 5 4 4 本章小结3 6 5 系统实现及应用3 7 5 1 原型系统的实现3 7 5 1 1 系统开发的软硬件要求3 7 5 1 2 系统实现流程图4 0 5 1 3 核心函数及功能介绍4 2 5 1 4 虚拟化学实验平台简介4 4 5 1 5 虚拟手的构建4 5 V 目录 5 1 6 操作规则4 5 5 2 实例4 5 5 2 1 系统界面介绍4 5 5 2 2 操作实例4 8 5 3 本章小结4 9 6 总结与展望5 0 6 1 全文总结:5 0 6 2 展望一5l 参考文献5 3 至l 【谢5 6 个人简历在学期间发表的学术论文及研究成果5 7 V I 图表目录 图表目录 图2 1 系统框图7 图3 1C a m S h i f t 算法流程图1 3 图3 2 全自动跟踪1 4 图3 3C a m S h i f t 算法在左右图像中跟踪到的人手及质心1 5 图3 4 双目视觉定位原理l6 图3 5 标定板及标定操作2 0 图3 6 摄像机坐标系到虚拟坐标系的转换2 3 图4 1 人手轮廓的提取流程2 6 图4 2H S V 颜色模型2 8 图4 3 人手轮廓的提取过程3 0 图4 4 点集Q 的凸包3 3 图4 5 三种手势轮廓的凸包3 4 图4 6 十二种常用的交互手势3 5 图5 1 系统的软硬件环境3 8 图5 2V S 2 0 0 5 系统目录设置4 0 图5 3 系统核心流程图4 0 图5 4 系统启动初始化界面4 6 图5 5 原始图像采集界面4 6 图5 6 手势的识别与定位4 7 图5 7 操作虚拟物体4 8 图5 8 操作实例4 9 V I I 1 绪论 l 绪论 2 0 世纪末兴起的虚拟现实技术1 一,融合了计算机硬件、计算机视觉、计算 机图型学、感知心理学及人机交互技术等多种学科。它由计算机生成可以交互 的仿真环境,通过模拟真实交互过程中各种行为,从而对人们的视觉、听觉、 触觉等感官器官进行刺激,使人有一种身临其境的感觉,最大限度的方便用户 的操作。虚拟现实在航空、军事、教育、医疗、建筑、娱乐等领域都有广泛的 应用。 1 1 课题的背景、来源及意义 虚拟现实的目的是为用户提供一个可以实时反映虚拟对象变化并可以与虚 拟对象产生交互的虚拟世界,在此虚拟世界中,用户可以凭借听觉、视觉、触 觉等多种感知器官,参与到虚拟世界中并与虚拟物体完成交互。虚拟现实具有 多感知性、沉浸性、实时性和交互性等显著特征。为了进一步完善和实现这些 特征,国内国外的众多学者都在积极的从各个方面进行探索,旨在丰富人类的 认知能力,建立和谐的人机环境,最大限度的方便人类对设备的使用,从而实 现以人为本的理念。其中,虚拟现实系统中的人机交互特性,是虚拟现实当中 最为重要的一个特征,因为它是实现沉浸感和真实感的基础。 在虚拟现实应用领域,人要对虚拟物体进行交互操作,目前大多是使用二 维鼠标或者使用三维鼠标来实现虚拟物体的交互操作;为了使操作更加逼真和 自然,有时候需要借助于数据衣或数据手套来实现人与虚拟物体的交互;数据 衣或数据手套这些交互设备虽然能够获取比较精确的位置信息,但价格普遍比 较昂贵并且使用安装繁琐,使其应用范围仅限于专门的研究,很难推广。于是 研究探索一种的实行性强、廉价的、安装使用方便的新颖人机交互设备,应用 于虚拟现实的交互当中去就成为国内外研究的热点问题。本课题的目的是探索 一种新颖的人机交互【3 ,4 】方式,能够更好的应用于虚拟现实的开发当中,使用户 能够更加方便、更加自然的完成对虚拟世界中虚拟物体的交互。 人手不仅包含大量的符合人类认知习惯的交互信息,而且由于人手的连续 运动,还存在三维空间位置信息,因此完全可以将人手位置和手势结合起来, l 绪论 作为一个不可分割的整体进行研究。因此,对人手的姿态和人手的位置研究, 构建一个沉浸感强的、自然高效的手型识别和跟踪系统【5 ,6 1 ,可广泛应用于模拟 训练、虚拟装配、虚拟手术和机器人手臂操控等领域,具有十分重要的理论意 义和实践意义。 1 2 国内外研究现状 在人们的日常生活中,常常借助于手势来表达特定的意图。无论在平时的 生活中,还是与计算机的交互中,手势都充当着十分重要的角色。人们可以通 过定义适当的手势,完成对计算机的控制而无需借助其它的输入设备。因此这 种交互手段可以以一种直观而简便的方式操作计算机,成为当前国内外研究的 热点。但目前对计算机的应用技术中,很少应用到手势信息。例如传统用户使 用的二维鼠标,只能提供二维的平面信息和几个手指的点击,计算机无法获取 更丰富的交互信息,如三维空问信息、人手的手势信息等。从手势和更加丰富 的输入渠道获得用户更加丰富的交互意图是当前人机交互技术发展的一个趋 势。但同时由于手势具有空间上和时间上的不确定性,在加上人手本身也是复 杂的可变体,因此,手势识别的研究不仅具有挑战性,而且是一个十分有意义 的课题。 人们最初对手势的研究主要集中在设计专业的手势硬件输入设备。数据手 套是手势识别当中最常用的硬件设备,它实质是一种类似于手套的数据传感器, 计算机可以通过它来获取人手的位置、姿态等丰富信息。比较经典的国外数据 手套公司有V P I 的D a t a G l o v e ,M a t t e 公司的P o w e r G l o v e 以及V i r t e x 公司的 C y b e r G l o v e ;除此之外,还有E x o s 公司生产的精巧手控设备T h eD e x t r o n sH a n d M a s t e r 等。大家可以在些公司的官方网站上了解到最新的产品。在国内,北航 机器人研究所王家顺和王田苗研制了一种面向遥控操作的B H G I I 新型数据手 套,该手套可以适用于不同大小的手型,从而结合特定的仿真软件完成实时人 机交互。数据手套这类交互设备虽然能够获取比较精确的位置、手型信息,但 价格普遍比较昂贵并且使用安装繁琐,使其应用范围仅限于专门的研究,很难 推广。 之后人们开始致力于标记手势的研究,即通过在在手腕或特定的手指当中 打上不同的标记,使计算机能够比较容易的识别到图像当中的这些标签,从而 2 l 绪论 达到手势识别的目的。如J D a v i s 和M S h a s h l 7 1 研制的手势识别系统,将指尖打 上高亮标记,从而使计算机可以识别7 中手势。虽然打标签的方法相对于数据 手套操作方便了许多,但同样给操作者带来了不麻烦。 最后人们将主要力集中到了自然手上面,一些学者成功研制出来基于计算 机视觉的的手势识别系统,但能够识别的手势数量相当有限。例如F r e e m a n 和 R o t h | 8 】等人提出的基于方向直方图的手势识别系统。1 9 9 4 年,高文1 9 1 等人提出了 一种复杂背景下静态手势的捕捉与识别方法。0 2 年,邹伟利用人手图像的平面 信息和安装于手臂肘部的弯曲传感器,将二者结合起来计算手的深度信息,从 而提出了一种基于双信息源的人手空间跟踪方法【l0 1 。近几年,又有学者提出了 动态复杂背景中手势的目标捕获与识别方法。如清华大学的祝远新、徐光祜【l l 】 等人提出了一种基于视觉的动态孤立手势识别系统,后来他们又提出了动态时 空规整算法用于手势识别,可以识别1 2 种手势,识别正确率高达9 7 。 在当前手势识别的研究背景下,可将其应用于虚拟现实的交互当中。如在 虚拟装配领域,完全可以通过运动人手直接进行虚拟零件的装配,同时通过不 同手型实现不同的装配关系;而在虚拟化学实验的研究当中,完全可以用人手 直接操作虚拟化学仪器,进而取代传统的鼠标键盘操作,这将大大增加实验者 的实验兴趣,同时也将达到对实验的操作模拟尽可能的接近真实。虚拟现实领 域的交互需求必将为手势识别系统开发提供广泛的应用空间。 1 3 论文所做的工作与组织结构 针对目前虚拟现实应用领域当中存在的交互手段单一、沉浸感差、交互设 备昂贵等问题,论文借助于双目视觉原理,实现了人手定位与手势识别系统, 使计算机能够实时的获取到镜头前人手的位置和手势信息。可将该系统作为一 个自然、高效、沉浸感强的虚拟手驱动接口,应用于模拟训练、虚拟装配、虚 拟手术和机器人手臂操控等领域。本文的具体研究工作如下: 通过对比分析国内外手势识别研究现状,结合具体的虚拟现实应用需求, 设计了手势识别系统整体框架、功能模块、及系统的实现流程。 采用了基于C a m S h i f t 的运动跟踪算法来实现对视频图像中动态人手的跟 踪,并改进了该算法,将原来的半自动跟踪变为对人手的全自动跟踪,极大的 方便了操作使用者。 3 I 绪论 介绍了双目视觉的定位原理,提出了通过双目摄像机计算人手的三维空间 信息。在对人手的定位时,考虑到人手是一个复杂的多链接体,测量起来难度 相对较大,本文采用测量人手质心的方法很好的解决了人手的跟踪定位问题。 通过预先对大量手势图像特征的分析,建立了手势数学模型库。然后通过 分析摄像头所捕获的每帧图像,将R G B 空间转为H S V 空间,利用肤色信息模 型提取出人手的轮廓,通过计算人手凸包点轮廓面积与手型轮廓面积的比值来 识别手势。 阐述了基于双目视觉的人手定位与手势识别系统的具体实现以及界面的使 用说明,并以虚拟化学实验平台为对象,给出了系统的具体使用例子。 按照该系统的实现过程来划分,本文的组织结构如下: 绪论。主要介绍了课题的背景及手势识别的国内外研究现状,接着介绍了 本文的研究内容及组织结构。 系统的总体框架。首先介绍系统的功能需求;然后给出系统的功能实现一 一从设计目标到系统功能模块,并分别阐述了每个模块所要实现的功能;最后 构建了系统的框架。 人手定位模块的关键技术与实现。主要研究了借助C a m S h i f t 算法,实现人 手目标的实时检测与跟踪;接着提取跟踪到人手的特征点,利用双目视觉的原 理对左右两幅特征点进行匹配从而计算出人手质心点的三维坐标;最后将摄像 机坐标系下质心点坐标转换到虚拟环境当中的坐标系下,从而实现三维虚实注 册。 手势识别模块的关键技术与实现。本章介绍了将人手轮廓从数字图像中提 取的过程;接着对提取到的轮廓特征进行分析建立起手势库:最后介绍了手势 的识别原理和过程。 系统实现及应用。介绍了系统的详细实现过程及系统的软硬件要求;并将 该系统应用到虚拟化学实验平台当中,给出了应用操作实例。 总结与展望。最后总结了本文所做的研究工作并对下一步的工作做了详细 的探索与设计。 4 2 系统的总体框架 2 系统的总体框架 在进行系统开发前,首先要分析清楚系统的需求,及系统所要实现的功能, 这样才能真正设计出一个运行良好、可扩展的系统。本章我们就来进行基于视 觉的手势识别与定位系统的详细设计。 2 1 系统的需求分析 为了使开发出来的系统能够为用户提供有价值而且必备的特性,往往需要 进行不同层次的需求分析,它们分别为:业务需求、用户需求和功能需求【1 2 1 , 另外还包括必要的非功能需求。目前开发的基于视觉的手势识别与定位系统还 处于研究初期,势必存在一些设计不足,如何构建功能完善、运行高效、使用 方便的系统也是需要我们在使用当中一步步改进和完善的。下面针对本系统分 别阐述系统的业务需求、用户需求、功能需求和非功能需求。 ( 1 ) 业务需求 目前在虚拟现实应用领域,人与虚拟物体的交互操作还缺乏一个统一简单 方便的输入设备。二维鼠标缺乏三维信息且操作不够直观,数据手套或数据衣 价格昂贵,安装调试复杂。因此,设计出一种操作简单、安装方便、价格便宜、 交互感强的新型人机交互设备,应用到虚拟现实领域中,使操作者不经过培训 就都能够非常轻松方便的使用该设备完成交互任务,是本系统设计的初衷。最 终开发出来的系统要能够实现这样一个目标:可以通过手势与计算机进行交互 双目摄像头捕获到人手图像信息,通过本系统将人手信息转换为虚拟空间 的三维位置信息和特定的手势信息,然后根据虚拟领域的特定应用,从而完成 人与虚拟物体不同的交互任务。 ( 2 ) 用户需求 对系统进行用户需求分析时,最重要的原则就是要站在用户的角度,设 计出方便用户操作的系统。本系统对手势的识别时通过摄像头直接拍摄手势的 运动过程,在操作的时候,不希望对用户限制太多。所以不能采用打标记或贴 标签的方式,要以用户自然手为对象,能在平常的背景和光照条件下,对服饰 不能做太多要求,尽可能的识别出特定的手势。另外,系统的安装调试及对系 5 2 系统的总体框架 统的掌握也应尽可能简单些,因为用户不一定都是计算机专家,系统的软硬件 造价要低廉。 ( 3 ) 功能需求 本系统做为一个新颖的人机交互接口,主要应用到虚拟现实领域中,实 现的功能包括主要包括两个方面:第一能够时实的计算出摄像头前方人手的三 维位置;第二在计算出三维位置的同时还可以识别出相应的手势信息;有了人 手的位置信息和手势信息之后,可以将这两部分信息结合起来做为虚实交互接 口,驱动虚拟世界当中的虚拟手完成抓取、移动、释放等交互操作。同时考虑 到系统使用到具体虚拟应用领域的不同,对手势的识别要有扩展性,即可也预 先定义一个手势识别库,通过往库中添加不同的手型数据来不断扩展对手型的 识别种类。 ( 4 ) 非功能需求 在以上需求得到满足的基础上,要使系统做为一个硬件接口得以推广应 用,还要是考虑系统的软硬件成本。该系统运行硬件要求为两个工业摄像头( 普 通的网络摄像头由于其成本廉价,镜头的径向畸变和切向畸变都非常大,在人 手定位的时候非常不准确) ;普通的带有独显的P C 机;考虑到虚拟现实交互的 沉浸感和真是性,要求系统在对手势的识别和定位的处理时间要满足不低于2 4 帧的下限要求,这样才能给使用者一种身临其境的感觉;另外系统的安装调试 都要尽可能的方便,使不具备多少电脑知识的使用者都能够非常方便的使用。 2 2 系统的功能设计 2 2 1 系统的设计目标 系统的设计目标主要是开发一套新颖的人机交互软硬件设备,它能够时实 的捕获摄像头前方的运动人手,从而计算出人手的三维位置和手势信息1 3 , 1 4 。此 系统可以代替传统的鼠标键盘等输入设备,操作者可通过手势和人手的位置变 化来驱动虚拟环境当中的虚拟手做相应的操作,比如抓取虚拟物体、平移到不 同的位置、释放物体等操作,这样的操作非常直观、生动,可以增加虚拟现实 交互的沉浸感和趣味性。另外此系统还要维护一个可扩展的手势库,操作者可 以自定义不同的手势,加入到手势库当中,从而不断丰富系统可识别的手势种 类。 6 2 系统的总体框架 2 2 2 系统的功能模块及框架组成 通过对所要没计的系统功能需求分析,设计出来的系统主要包含六大部分: 操作者、图像采集模块、人手定位模块、虚实注册模块、手势识别模块和虚拟 操作模块。六部分相互作用,构成一个闭合回路,如图2 1 所示。 真实环境 警圃 一人群H 虚溯芦 醯 左量帆瘫 叫豢 簧露 鼍一P :鬈 “ 右曩冉 一 操作者得到信息反馈 l :操作者变换 型 :和位置 - 图2 1 系统框图 ( 1 ) 操作者:真实环境当中的操作者是整个系统的输入端,在系统初始阶 段,操作者需要将人手( 不需要在手部携带任何标记物的自然手) 放入到摄像 头有效成像焦距范围内。根据具体虚拟应用的不同,系统在每帧运行中,通过 改变摄像机前方手型和人手的位置来驱动虚拟环境当中的虚拟手做相应的变 化。由此来达到间接操作虚拟物体的作用。 ( 2 ) 图像采集模块:主要功能是做为图像采集源,时实捕获摄像头前方的 图像。由于在人手定位中要利用到计算机视觉的相关原理,所以此模块要提供 的不能是一张图片,而应当是同人手的左右两幅图像对。可将两部型号相同 的摄像机固定在一个特质的支架上面,并调节好重叠的成像区域。 ( 3 ) 人手定位模块:此模块是系统的核心模块之一,主要功能是在每一 帧中,都需要分析处理图像采集模块捕捉到的左右图像对。首先从视频流中跟 踪左右图像中的人手目标,然后将左右图像中的人手质心做为目标匹配点运用 计算机视觉原理,最终计算出入手质心点相对应左( 右) 摄像镜头光心的三维 坐标;当然,此阶段还有是个非常重要的任务,那就是要对双目摄像机进行标 定,标定的目的就是要获得每部摄像机当中的一些必要参数,包括摄像机的内 参数、外参数和镜头的畸变系数等。如果镜头的畸变比较严重,还需要对左右 图像对进行立体矫正。标定的精度将直接影响到人手定位的精准度。 ( 4 ) 虚实注册模块:人手定位模块计算出的人手质心点坐标是相对应左 7 2 系统的总体框架 ( 右) 摄像机镜头光心的,要实现与虚拟世界当中虚拟物体的交互,人手质心 点三维坐标就需要与虚拟世界当中的某一点有一个对应关系,即需要一个从左 ( 右) 摄像机坐标系到虚拟世界坐标系的转化。此步骤为操作者完成真实人手 与虚拟世界中的虚拟物体交互提供了坚实的基础。 ( 5 ) 手势识别模块:此模块也是系统的核心模块之一,主要功能就是识 别镜头前方手势。人手定位模块要用到两部摄像机,因为需要获取左右图像对 中人手质心点信息;而手势识别模块只需要用到一部摄像机,通过对这一部摄 影机抓取的图像运用图像识别的相关理论,从而识别出特定的手势。另外,此 模块还需要支持一个可扩展的手势库,这样根据具体应用的不同,可以不断的 定义出特定的手势添加到手势库中,满足不同的应用需求。 ( 6 ) 虚拟操作模块:为了最终完成与虚拟物体的真实感交互,还需要在虚 拟环境中定义一个虚拟手模型,通过定义操作规则,所有与虚拟物体的交互, 包含抓取、移动、释放操作等都将通过虚拟手完成的。虚实注册模块和手势识 别模块可以得到人手在虚拟世界中的位置信息和手势信息,可以完全借助两部 分信息来驱动虚拟手实现相应的交互操作。最终,真是环境中的人手就与虚拟 世界中的虚拟手存在一个对应关系,当真是环境中的人手运动或改变手势,虚 拟手也必将做相应的位置和手势的改变。如此,在结合相应的操作规则,就可 以实现用真是手驱动虚拟手完成抓取、移动等与虚拟物体的交互操作。 2 3 可能遇到的问题及解决方法 2 3 1 系统实现的难点 目前基于计算机视觉的手势识别方法还是一项非常前沿的技术,其优点在 于对用户的限制较少,使用户可以通过手势以一种更加自然的方式进行人机交 互,从技术要服务于人类的角度看,基于视觉的手势识别是未来发展的一个大 趋势。但其缺点也很明显,比如理论不够成熟,实现起来也比较复杂,技术上 面还存在不少困难,导致目前绝大部分的研究都还仅仅停留在实验室研究阶段, 没有成熟的商业产品面市。这对于国内外的科研工作者来说,既是机遇,又是 挑战。而本系统的实现难点主要集中在手势图像的提取分割和左右两幅图像对 中人手特征点的提取上面。 在手势图像分割方面,目前大多是基于肤色信息和运动特征信息【1 5 1 来提取 8 2 系统的总体框架 的,由于存在背景干扰,比如光照的明亮程度、背景中与皮肤相近的颜色、人 体其他部位的皮肤等,使对人手区域的分割难点增大,有时候甚至很难实现。 对于人眼来讲,可以轻而易举的识别出副图像当中的人手,而要让带有摄像 头的电脑拥有此能力,还是非常困难的一件事情。 在查找左右图像对中匹配点方面,由于人手是一个复杂的多链接体,不同 手势的外形区别也比较大,在加上不同操作者人手大小也不相同,使得从人手 图像当中选取一个合适的匹配点成为一个难点。另外,还牵扯到一个立体匹配 问题,即对于左图像当中选取的匹配点,如何让计算机快速准确的在右图像当 中找到该点,也是一个棘手的问题。 2 3 2 采取的技术路线 要构建本系统,就不可避免的要解决好上面提到的两方面问题,古人云:“工 欲善其事,必先利其器”。对于从事计算机视觉应用开发的人们来说,我们所追 求的是功能强大同时又快捷高效的开发工具。毫无疑问,O p e n C V 是我们最佳的 开发工具。 O p e n C V 1 6 】是一个开源的计算机视觉库,采用C C + + 语言编写,可以运行在 L i n u x W i n d o w s M a c 等操作系统上,具有良好的跨平台性。O p e n C V 覆盖了计算 机视觉的方方面面,在工厂产品检测、医学成像、摄像机标定、立体视觉和机 器人等领域中均有应用。目前,O p e n C V 在世界上广受欢迎,在包括日本、中国、 欧洲都有广大的用户群。 正是基于O p e n C V 视觉库的开发源代码、图像处理功能强大、处理速度快 等优势,所以本系统选择了O p e n C V 2 0 版本做为开发工具,相信这个日趋强大 的计算机视觉库定会成为作者开发过程中的一道利器。 2 4 本章小结 本章主要介绍了系统平台的总体设计,首先介绍了系统的功能需求,然后 引出系统的功能设计,分别详细阐述了系统的六大功能模块,并给出了系统的 总体框图,最后介绍了系统开发中可能会遇到的难点问题并给出了系统开发的 技术路线。 9 3 人手定位模块的关键技术与实现 3 人手定位模块的关键技术与实现 在人手定位模块中,系统将借助于高速工业摄像机,以人手为目标检测对 象,从C C D 视频序列中检测出目标,然后根据计算机双目视觉原理,计算出目 标相对于左( 右) 摄像机镜头光心位置的三维坐标。 3 1 目标的实时检测与跟踪 要实现人手的定位,结合系统的功能需求,要求操作者手部不需要佩戴标 识物或对手指打标记,应当以自然手为研究对象,首先系统要分别从左右摄像 头捕获的图像中检测出人手,接着随着人手的运动,要求系统能够时实的跟踪 到人手。只有准确的检测并跟踪到人手,才能为后续的人手体征点提取、匹配、 特征点的空间位置计算打下基础。考虑到人手是复杂的多链接体,人手在运动 过程中形状大小时刻都在变,同时系统要求能够实时的定位目标,因此寻求一 种能够根据目标大小变化,实时跟踪到目标的高效图像跟踪算法十分必要。目 前采用的最主流的目标跟踪算法有基于粒子滤波 1 7 , 1 8 1 的跟踪算法和基于 C a m s h i f l t l 9 , 2 0 1 的运动跟踪算法。粒子滤波算法自于模拟蒙特卡洛方法,通过蒙特 卡洛算法来实现贝叶斯滤波,该算法拥有“多峰“ 性特点,具有很强的抗干扰 能力,目前基于粒子滤波的研究成果也非常多;C a m S h i i t 运动跟踪算法主要算 法是来自于M e a n s h i t t 跟踪算法,主要是通过目标的颜色概率分布图特性来搜索 目标,该算法的抗干扰能力也很强,同时由于该算法是基于颜色信息来进行跟 踪的,因此能够自适应的对目标形状和大小的连续变化做出调整,同时C a m s h i f t 算法是一种多迭代算法,计算速度也相当快。而从本系统的需求出发,时实性 对于交互系统至关重要,

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论