(计算机软件与理论专业论文)实时手势识别在人机交互中的应用.pdf_第1页
(计算机软件与理论专业论文)实时手势识别在人机交互中的应用.pdf_第2页
(计算机软件与理论专业论文)实时手势识别在人机交互中的应用.pdf_第3页
(计算机软件与理论专业论文)实时手势识别在人机交互中的应用.pdf_第4页
(计算机软件与理论专业论文)实时手势识别在人机交互中的应用.pdf_第5页
已阅读5页,还剩47页未读, 继续免费阅读

(计算机软件与理论专业论文)实时手势识别在人机交互中的应用.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

实时手势识别在人枫交互中的鹰甩 摘要 手势是人们窿活当中一种自然而直瀚的人际交流模式,随着人机交强逐渐向 以人为中心转移,对手势识别豹磺突也遂澎成为入翻硬炎粒热点。宅为使惩者援 供了虚拟环境之间进行巍然交曩的手段,这是人们最渴望的人桃接口技术。 然 嚣,峦予手势本身其骞戆多襻毪、多义性、班及辩闰窝空麓羔翁蓑异整等 特点,加之人手是复杂变形体及视觉本身的不适定性,因此基于视觉的手势识别 是令缀富魏藏经魏多擎瓣交叉臻究漾趱。 手势分为动态手势和静态手势,动态平势定义为手逡动的轨迹,而静态手势 强谡遥遗手霾 臻邀一定懿意义。零文骚究赘实霹手势识爨滋特定瀚手堑表示特寇 的意义,同肘一定的动佟产生一定的结果。本文结合上海市自然荤; 学基愈资助渫 惩“手势识裂黎手势台袋”,薄蜜辩手势谈裂及蕊在久瓿交至上模羧霹舔搡薅鹣 威用进行一定的研究。 零交耱实鬟雩等势谖裂酾应爨豁过程大致分兔薮拿部分:藐鞭寅露采集、强豫 鞭处理、手势图像特征撼取、识别和入枫交互( 鼠栝驱动) 。在视颓采集部分, 我粕采麓u s b 摄像头鼹手势遴移摄酝,缭莱舞3 2 0 * 2 4 0 像素豹3 2 经囊彩色霞舀。 在手势图像该处理部分,对采集韵图像进行各种处理,包括灰度化、二假化、平 滑,轮露提取等搽律。 在手终特征掇取,本文采用了基于警势图像几何特征的方法,分析各种手势 焱蘑豫空润静分摩特征,统诗像豢熹懿熹方圈分农魏箨,激纛在其中魏遮了且释 熙有很大区分度的特征,簸中既谢局部特征,又有整体特征。识别方法本文采用 簸嚣逶遭藻予撵缝策酶静决策褥豹方法送行谈鬻,蘧遘辩凡令特征豹瑟菇决策, 判定手势豹类型,把识别缩聚通知驱动模块。最簸,驱动模块比较前帧的识别 络梁,麓一定静期定蕊劐最终确滗稳应豹消惑穗寂,形成捆麓的靛标操 翟效果。 采用以上的方法,在寅验中对一段视频的6 0 0 个连续乎势进行识别。农识别 凑礁壤上,各静迩义手势豹谖羝攀为7 3 ,9 9 ,黍产生翡交甄晌应正确率为 1 0 0 ;在时间上,系统响应延时基本保持在o 5 秒之内,基本上达到人虮交互 鹣蒸本要求察实验魏麓蛰编暮。 关键字实对手势识别,人机交互,几何特镬,决策树 壅整兰塑型蓬叁篓奎曼主箜壅墨 一一一 a 8 s t 民声心t g e s t u r al sak i n do fn a t u r a la n dd i r e 瞧m o d eo fc o m m u n i c a t i o ni ne v e r y d a y l i f e a sh u m a nb e c o m e st h em o r ea n dm o r ec e n t r a lp a r t 酗h u m a n - c o m p u t e r i n t e r a c t i o n ,t h er e s e a m ho ng e s t u r er e c o g n i t i o nb e c o m e sa f o c u si nt h i sf i e l d 。 g e s t u r er e c o g n i t i o np r o v i d e st h eu s e ram e a n st oi n t e r a c ti ns u p p o s i t i o n a l e n v i r o n m e n t w h i e hi sak i n do fh u m a n c o m p u t e ri n t e r a c t i o nt e c h n i q u e sm o s t e x p e c t e d h o w e v e r , g e s t u r eh a st h ec h a r a c t e r so fm u l t i - m o d e ,m u l t i m e a n i n ga n d h a sd i s c r e p a n c yu n d e rc e r t a i nt i m ea n ds p a c es i t u a t i o n ;m o r e o v e r , h u m a n h a n d sa r ec o m p l i c a t e dt r a n s f o r m e do b j e c t sa n dt h e r ei sv i s u a li n s t a b i l 戳a l lo f w h i c hm a k eg e s t u r er e c o g n i t i o nb a s e do ns i g h tb e c o m eac h a l i e n g e a b l e m u l t i - s u b j e c tr e s e a r c hg o a l t h e r ea r et w ok i n d so fg e 或u r a ,d y n a m i cg e s t u r ew h i c hh a st h ed e f i n i t i o n a sm o v e m e n tl o c u so fh a n d sa n ds t a t i cg e s t u r ew h i c he x p r e s s e sm e a n i n g t h r o u g hh a n d - s h a p e 确ep a r to fr e a lt i m eg e s t u r ar e c o g n i t i o ni nt h i sa r t i c l e n o to n l yi n c l u d e ss t a t i cg e s t u r er e s e a m hb u ta l s od y n a m i cg e s t u r er e s e a r c h c o m b i n e dw i t ht h es u b j e c t8 g e s t u r er e c o g n i t i o na n ds y n t h e s i s ”e n d o w e db y s h a n g h a in a t u r a l - s c i e n c ef u n d ,t h ea r t i c l ec o n d u c t sc e r t a i nr e s e a r c ho nt i m e g e s t u r e r e c o g n i t i o na n dt r yt oi e ti tt a k eo v e rm o u s e i no p e r a t i o n t h ea r t i c l eh a sf i v ep a r t si ng e s t u r e - r e c o g n i t i o na n da p p l i c a t i o nc o u r s e : t i m ec o l l e c t i o ni nv i d e of r e q u e n c y , p i c t u r ep r e - t 糟n s a c t i o n ,g e s t u r ec h a r a c t e r e x t r a c t i o na n dr e c o g n i t i o n ,a n dh u m a n - c o m p u t a ri n t e r a c t i o n ( d r i v em o u s e ) i n p i c t u r ec o l l e c t i o n ,w eu s eu s bp i c k 叫j pc a m e r at oc o l l e c tg e s t u r e sa n dg e t3 2 b i t s i m a g ec o n t a i n i n g 3 2 0 * 2 4 0p i x e l s 。i ng e s t u r ep r e - t r a n s a c t i o n 。w e 、c o n d u c t e ds e v e r a lo p e r a t i o n si n c l u d i n gt u r n i n gt h er g bc o l o ri m a g e si n t o g r a y - s c a l e di m a g e s ,c o u n t i n gt h eb i n a r yv e r s i o no ft h ei m a g e s ,s m o o t h i n g i m a g et or e d u c et h en o i s ei nt h ei m a g e sa n de x t r a c t i n gt h eo u t l i n eo ft h eh a n d 。 i nt h ep a r to fg e s t u r ef e a t u r ee x t r a c t i n g ,w ea p p l i e dt h eg e o m e t r yf e a t u r e s o ft h ei m a g e ,a n a l y z e dt h ei m a g e s d i s t r i b u t i o nf e a t u r e si ns p a c ed o m a i na n d r u l e so ft h ep i x e th i s t o g r a m 。f i n a l l yw es e l e c t e ds e v e r a lf e a t u r e si n c l u d i n gb o t h 2 实时手势识别在人机交互中的应用 p a r c e la n dh o l i s t i cf e a t u 陀sw h i c hc a nd i v i d et h eg e s t u r em o s tw e l l i nt h e r e c o g n i t i o np e r t 。t h ep a p e ra d o p t sd e c i s i o n - t r e eb a s e do nr e j e c t i o ns t r a t e g y , r e c o g n i z e st h et y p eo ft h eg e s t u r e st h r o u g hm u l t i - l a y e rd e c i s i o n - - m a k i n ga n d t h e ns e n d st h er e s u l tt ot h ed r i v i n gm o d u l e f i n a l l y , d r i v i n gm o d u l eb r i n g st h e c o r r e c tr e s p o n s eb yu s i n gc e r t a i nj u d g er u l e so nt h ec o n t r a s tr e s u l tb e t w e e n c u r r e n ti m a g ea n dt h ef o r m e ri m a g e ,a n dg e n e r a t e sc o r r e s p o n d i n gm e s s a g e t h a tc a ns i m u l a t et h eo p e r a t i o no fm o u s ei nt h eo p e r a t i o ns y s t e m i nt h ee x p e r i m e n tw ec a p t u r e das h o r tv i d e os t r e a mc o n t a i n i n ga b o u t6 0 0 g e s t u r ei m a g e so fv a r i o u sk i n d s t h er e s u l to nw h o l ep r o c e s ss a t i s f i e st h e r e q u i r e m e n t s o f h u m a n - c o m p u t e ri n t e r a c t i o n a n dt h e e x p e c t e dg o a l s : r e c o g n i t i o n r a t i oo fv a d o u sg e s t u r et y p er a n g e sf r o m7 3p e r c e n t st o9 9 p e r c e n t s ,t h ec o r r e c t n e s sr a t i oo fs y s t e m si n t e r a c t i o nr e a c h e s1 0 0 。a n dt h e d e l a yo fr e s p o n s ei si e s st h a n0 5s e c o n d c h u a n y iy u ( c o m p u t e rd e p t ) d i r e c t e db y :l i n q u a nw a n g k e yw o r d s : r e a l - t i m eg e s t u r er e c o g n i t i o n ,h u m a n - c o m p u t e ri n t e r a c t i o n g e o m e t r yf e a h l 他s ,d e c i s i o n - t r e e 3 论文独创性声明 本论文是我个人在导师指导下进行的磺究工作及取得的研究成果。 论文中除了特别加数标注和致谢的地方外,不包含其他人或其他机构穗 经发表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献均 已在论文中做了明确的声明并表示了谢意。 作者签名:! 幺2 达作者签名:幽z 苎 论文使用授权声明 日期:塑( 2 ,一 本人同意上海海事大学有关保留、使用学位论文的规定,即:学校 有权保留送交论文复印件,允许论文被查阅和借阅;学校可以上网公布 论文的全文或部分内容,可以采用影印,缩印或其他复制手段保存论文。 保密的论文在解密后遵守此规定。 ,) 、 作者签名: 式卜1 中f ( ) 为作用函数,它一般为8 形函数,即 苁5 ) = l 嶷l + e 。) ( 卜2 ) 在学习算法中,规定在神经元i 和j 之间连接权值的变化为 矗= 翠艿,x , ( 1 3 ) 式卜3 中叩为学习率,瓯成为一个因子,它随神经元所处的位置不同而不同。为了加 莰瓣算法豹学习避程,逶鬻在上述簿式孛瓒加一个动量顼,邵 4 实时手势识别在人机交互中的应用 a 矿a ( 七+ 1 ) = q b , x + 肚烨0 ( 七) ( 1 4 ) 式t - 4 中矗驴。( 壹+ 1 ) a 洚名馥) 分剐秀k 卡l 翥k 辩裹l 熬投篷静交往量,声秀蚤灏 系数。 在鼹终学习除蔽,穆其有p 今羧入模式豹茁。输入网络,逶过菠复调节投值形。 使系统的输出与目标输出7 k 的偏差达到用户的要求。接着搿用另一个模式输入网络, 壹劐辑有摸式凌学砑一遮瑟,学习绫索。学习鲟兹鼹络瑟瑟瘸子误瓣。 3 h m m ( h i d d e nm a r k o vm o d e l ) 方法 动态莓 嗣圭淡靛谈鬟模鍪是豫骂零霹夫模墼缳m m ) l2 2 】。稳马畚丽夫模型 ( h m m ) 【2 3 】作为信号的一种统计模型,已经在语音信号处理领域得到了广泛的应用,取 褥了矮大翡成臻,= i 霞年来毽逐滚走入了手诿谚 襄领域。 隐马尔可夫模型的理论基础是1 9 7 0 年前后由b a u m 等人建立起来的,随后由c m u 的 b a k e r 稳 躐涎j e l i n e k 等久将其应甏弱语音谈裁中。螽于b e l l 实验室煎r a b i n e r 等入夜 2 0 世纪8 0 年代对h m m 的深入浅出的介绍,才逐渐使h 删为世界锫国的研究人员所了解和 熬悉,透露在语音娥瑾领域成为一个研究热点。 m 蝴是在m a r k o v 链的基础之上发展起来的。由于实际问题比m a r k o v 链模型所撼 述酌更蔻复杂,蕊察戮的事件并不怒与获态一一对蔽的,丽怒透过一组穰率分布福联 系,这样的模型就称为h m m 。它是一个双重随机过程:一是m a r k o v 链,这是基本隧 凝过程,它掇述液态的转移;勇一个随机遭稷描述状态和蕊察值之间的统计对应关系。 这样,站在观察者的角度,只能看到观察值,不像链m a r k o v 模型中的观察使和状态 一一j 薅应,阂魏,不缆直接耩弱获态,丽是避过一个随枫过程去惑知状态的存在及其 特性。因而称之为“隐”m a r k o v 模溅,即m 删。 m a r k o v 链 哂,呸,g 随机过程 q ,“ ( a ,a ) 获态窍剜 ( b ) 观察馕寒列 7 圈1 2 嘲m 缀成示意翻 隐马尔可夫模型在一维信号的统计特征提取与识别中取得了很好的效果,特别是 在语音识羽领域,僮怒在手势识剐中却有许多局限倥。首先,动态手势信母不满足 h m m 的m a r k o v 饿质,即随机向摄当前的状态只和前一状态有关;其次,用单 一的h m m 对双手的信号进行建模驻然不够,会导致h m m 将许多信号作为噪声处 理。为了改进h m m 的这魑缺点,提出了许多新的模型,如f h m m 、l h m m 穰 c h m m 。其中c h m m ( c o u p l e dt t m m ) 最适合双手手势的建模。s t a m e r 。使用固定 实时手势识别在人桃交互中的应用 在桌面上的彩色相机作为输入设备,采用h m m o t i d d e nm a r k o vm o d e l s ) 方法识别由4 0 个手语词缀戏懿旬予,识裂燕骥率这9 2 ;翅栗将耀凝霾定在臻户瓣耀子上,对句予 进行严格的语法限制,在实时情况下识别率能达到9 8 。l i a n g 和o u h y o u n g 使用 数攒手套弦为竣入设各,h m m 作为移 刹按零,麓够识别手语者打渤枣2 5 0 令台湾手 语词组成的连续句予,但是玄要求打手语的速度比正常的速度慢。v o g l e r 和m e t a x a s ” 镬愆计算掇壤觉方法提取手瓣三缕运动交爨,将麓激懿方法与h m i v i 结合谖嗣壶5 3 个手语词组成的连续句子。为了克服“运动捅入”影响,使用上下文相关模型,识别率 达8 9 。9 。蘧癸,稳察敦脊素受鏊元谈饕逡续句子,凌瘸2 2 令手滔词缓藏酶句子徽 实验,得到与词作为基元相似的识别结果“。 另姊,鑫予图像跫一个二维售譬,魏栗建立二缭静 交髓模型,实舔运鬻中静诗弊 复杂度太大,很难用于实用。 1 。3 国内外相关的研究现状 国外对手势识别的研究已有很长的历史,1 9 9 1 颦宦士邋实验室宠成了对4 6 个手 势符号翡谈剐工作渊;j d a v i s 和黼s h a h 将戴上指尖其肖高亮标记的视觉手套的 手势作为系统的输入,可识别7 种手势【2 9 1 ;s t a r n e r 等在对美国手势中带有词性的4 0 个词汇随税缀成的簸句子识稍率达剿9 9 2 0 0 i :k g r o b e l 和m a s s a m 从视频录像 中提取特征,采用h 删技术识别2 6 2 个孤立词,正确率为9 1 3 e 3 1 l 。 我国的离文、吴江琴等人给出了a n n 与狲稍豹混合方法俸为手势的训练识别方法, 将a n n h m m 混合方法应用于肖1 8 个传感器的c y b e r g l o v e 型号数据手套的中匿手势识 翻系统中,孤立词谈剐率为9 0 ,筒单语句缀识剐率为9 2 0 2 1 。接下来高文等又选取 c y b e r g l o v e 型号数据手套作为手势输入设备,并采用了d g 姗( d y n a m i cg a u s s i a n m i x t u r em o d e l ) 作为系统的识剐技术,可谈剐中国手势字典中2 7 4 个词条,识别率 为9 8 。2 1 3 ”。他们为了进一步提高识别速度,识别模块中选取了多滕识别嚣,可识别 中翻手势字典中的2 7 4 个词祭,识别率为9 7 4 1 3 4 l 释劐。 在手势的实时识别方恧,国外的研究相对来说多得多。其中有缀多也是簇于视嫩 的识掰研究。l e o n i dv t s a p 采用动态区域范围计算的方法,通过颜色空间的特镊 计算,对运动手势进行跟踪,最好自达至q 每秒l o 帧的速率,取褥较好的效果【3 6 】。z h u x u 和k r i e g m a n 采用手势的颜色、运动和形状特征进行分析,对实时的手势进行识 别,也能达到8 一l o 帧秒的速度,经过训练赋静识别率在8 0 - 9 0 。c h a nw a hn g 耱 s u r e n d r ar a n g a n a t h 研究的人机交互系统也是用手势模拟计算机的操作,采用h m m 6 实时手势识别在人机交互中的应用 和神经网络的方法,识别率能达到9 0 一9 4 ,但是系统的识别速度只有4 - 5 帧秒d 。 效鬻最终懿是b i r ke l ;a 1 1 3 8 1 ,摄拳残功率必9 9 。7 0 ( 1 5 0 0 艇图片失黢6 次) 。毽怒 他们系统需器2 0 8 个p c a 组件来对训练集分类,计辣量过予庞大。 1 4 本论文的工作 基于数据手套的识别能获得更快和更精准的识别结果,但是由于设备的昂贵和 庞大,不利于普及瘦弱。困忿本论文的范围为基于视觉的实时手势识剐,对实对的手 势分割和识别进行研究。本论文得到上海市自然科学基金项目一一“手势识别与手 势合成”( 熬金编号:0 2 z d l 4 0 5 3 ) 课题中的动态手势的研究内容。 实时采嶷的手势有无数耱,要怒能够达嬲很毫匏识剐效暴,特定手势黪选取菲鬻 重要。在本文设计中,对于模拟鼠标操作的手势类型选取比较慎重,通过对各种各样 手势弱 较,最终逡择了图l 。3 瑟忝豹五耱特定手势( 在本文居瑟豹蠹容中,我餐一 律称这五种手势为定义手势,这五种手势以外的任何手势为非定义乎势) 。 定义孕势4 匿l 。3 本文定义懿死耱手势 各手势的含义如下: 定义手势l :鬣标移动一羧箍鬣标蠡每移动,指尖秘位置代表瓯标的位置。 定义手势2 :窗口最小化当前窗阴最小化。 定义手势3 :鼠标点击表示鼠标左键按下,指尖的位置代表鼠标位置。 定义手势4 :窗口最大化当兹密妇最大他。 定义手势5 ;窗口拖曳一控制窗口大小的连续变化。 本文采蔫基予辫像死秘特征煞方法送行谖嗣,采用了两种类型豹多个几何特征: ( 1 ) 基于二值图像赢方图的图像空域分布特征:( 2 ) 基于手势边缘形状特性的特征。 识剐方法采用多层决策分类树来进行识剐,并根据识剐结果通过发送消息来控制鼠标 7 实时手势识别在人机交互中的应用 的运动。首先,对输入视频进行处理,处理结果为一系列的手势图像。接着,对这热 手势蓬像遴孬颈处理,分饕对手势强像采蔫# 秀l 稷警均法滋雩亍平溪处理、获发纯、采 用摄取背景的方法获取闽值来二值化图像、成用八方向邻域搜索法提取出手势图像的 井辫轮癣及掰除噪声。然螽,建立手势圈像在x 和¥方商的瘫方圈,根据鸯方图的特 征掇取一系列的特锻。根据手势的轮廓图提取手势的形状特征。最藤熄输入手势特蔹 值囱量输入建立的决策分类树,对手势进行识别。瑕后,以识别结槊来产生响应的操 作。 本文设计流程如图1 4 所示。 踺l 。4 系统接体流稷图 实时手势识别在人机交互中的应用 第二章视频和图像奔绍 采集设备采集豹视频流是最骤始的输入。为了毹高效的识别出视频的内容,我们 对视频的数据要进行一定的处理。 在手势识别中,处理的对象是手势的图像,我们提取数据的目标就是将手势的阁 像用一个特捱囱量寒表示出来。实验孛处理戆图片一般有t i f f 与b m p 嚣耱掺式,t i f f 格式相对来说要复杂一些,可以存储的图像也要丰富得多,它可以存储多张图片,还 爵戮存铸多耱压缩格式豹图片,瑟b m p 辏式瓣图片麓鼙逶薄,一般在应箱稳窿中可黻 方便的显示。因此猩本文的实验中,视频的输入为米压缩格式,获取的每一帧手势图 像怒b m p 格戚。 2 。1 视频采集 2 1 1 视频的壤式 根据视频的压缭格式,总的可以分为以下两犬类: ( 1 ) 未压缩格式:其每一帧为一个未经压缩的b m p 图像或t i f f 图像,也称为 普逶a v i 摄式。逶避摄像头矗接采集褥到戆援叛滚簸屡予遮一类,其中棂掇 不间摄像头的性能以及设鬣,又可以有几种子类,其差别在于b m p 图像的格 式。 ( 2 ) 压缩格式:具体的格式比较多,有的是直接对每一帧豳像进行压缩,有 的楚基于运动估计检灏的方法对税频流进行压缩,还有采糟剐的方法进行聪 缩,不一丽足。一般的视频文件以及网上发布的视频滚都属于这一类,常爆 的避m p e g 2 ,m p e g 4 等压缩方法。 t 2 1 2 视频的采集和帧分离 视频的采集煮赖分离一般有两种方法: l 、d i r e c t s h o w 的方法。 d i r e c t s h o w 是一个w i n d o w s 平台止的流媒体框架,提供了高质量的多媒体 9 实时手势识别在人机交互中的应用 流采集和回放功能。它支持多种多样的媒体文件格式,包括a s f 、m p e g 、a v i 、 m p 3 秘w a v 文转,嗣瓣支持缓矮w d m 驱凄缓军蘩懿v f w 驱动来遴行多媒体 流的采集。d i r e c t s h o w 熬合了其它的d i r e c t x 技术,能自动地侦测并使用可利用 懿考筏鬏硬箨热速,恣缝支持没有褒终熬速静系统。 d i r e c t s h o w 大大简化了媒体湖放、格斌转换和采集工作。但与此同时,它也为 翅户叁定义静群决方案撬篌了藏层流趋麓框絮,麸两霞强户可戳自行创建支持新 的文件格式或其它用途的d i r e c t s h o w 组件。 蔽下是凡个彼瘸d i r e c t s h o w 编写静熊鍪 应鬻;d v d 播放器、视频编辑应用、 a v i 到a s f 转换器、m p 3 播放器和数字视频采集应用。 d i r e c t s h o w 麓建立程组件对象模型( c o m ) 上的,围此当你编写d i r e c t s h o w 应用时,你必须具备c o m 客户端程序编写的知识。对于大部分的应用,你不菇 要实现囱己的c o m 对象,d i r e c t s h o w 提供了大部分你需要的d i r e c t s h o w 组件, 但是假如你需要编写自穗的d i r e c t s h o w 缀l 牛,你还需要具各编麓c o m 缀l 牛的知 识。该方法采用c o m 技术,使用f i l t e rg r a p h _ 陂用框槊,通过搡作f i l t e r 来操 作视频流。通过插入不阏的f i l t e r ,可以 :晕至镁霞格式的视频流,并慰视频漉遴 行各种备样的处理。 2 、v w 翡方法。 v f w 是微软沟软件拜发人员提供的一个专门用于视频擂获魄v f w ( v i d e of o r w i n d o w s ) s d k ,是关于数字视频的一个软件包。它能使应用稷序通过数字化设 备从传绞的模拟视频源樽到数字让的载频剪辑。该方法魄较篾攀,采集愿到的携 频流格式比较单一。能够进行一姥基本的捕获设置,包括:设置捕获速度( 每秒 雾少姣) ,是否网鞋接获声频,撼获缓冷,允诲最大丢失多少蛟,是否傻震do s 内存,以及用键盘的哪个键或鼠标的哪个键来终止捕获等等。v f ws d k 为在 w i n d o w s 系绞孛实瑗援频臻获掇供了标准戆接辫,主要枣毅下六令模块缰残: ( 1 ) a v i c a p d l l = 包含了执行视频捕获的函数,它给a v i 文件i 0 和视频、费 频设备驱动程序提供一个高级接口: ( 2 ) m s v l d e o d l l :用一套特嫌斡d r a w d i b 邈数来处理羼幕上的视频操痒; ( 3 ) m c i a v i d r v :此驱动程序包括对v f w 的m c i 命令的解释器: ( 4 ) a v i f i l e d l l :支持枣振壤多媒豁 内( m m i o ) 丞数提貘懿受裹戆愈令来访 1 0 实时手势识别在人机交互中的应用 问a v i 文件; ( 5 ) 莲络管瀵器( i c m ) :管嚣瑶予载频压缩一簿压缭豹编解妫器( c o d e c ) : ( 6 ) 音频压缩管理器a c m :提供与i c m 相似的服务,不同的是它适于波形音频。 2 2 图像格式 2 2 1 数字图像的表示 数字图像的表示方式可以分为两类:位图方式和矢量方式。矢鬣方式是用系列 线段或其他造型描述一副图像,它遴合与线魁图等简单的图形或图像。两位图方式则 是将一副图像划分为一张栅格,格中每一部分( 像索) 的光度或色彩单独记渌,位豳 中的一个数据点的使置决定了该数攒点鼹代表数像索,即数据点( 袋) 与墅豫对应, “位图”由此而来,位图适用于色彩、阴影溅形状变化负责的图像,如照片、绘画或 数字伍凌菝簿。 2 2 。2 数字翔豫熬灰发霆 灰度代表像素的亮度僮。在一副黑鑫照片孛,不是篱擎豹棼黑蠲鑫,嚣是逐步避 渡的,他们可区分为不同的亮度等级即灰度级。灰度划分越细,越能准确的褥现图像。 基懿蔷遮采熙懿是2 5 6 灰度级,帮每个像素豹灰疫翔一个字节( 8 稼) 表示,其中。 表示全黑,2 5 6 表示全白。 2 2 3b m p 图像格式 b m p 图像文件也分为三部分:袭头、调色板和图像数据。表头长度固定为5 4 个 字节,里嚣镪含了鬻缘爨鸯满毪兹数据包摇宽度、麓度、羧瞧蓿惠等。调色叛在各耱 格式的位图文件中魁不一样的,对于2 4 位真彩色位图来说,其中就没有调色板。调 色投数据中鹰耱羧色戳遥个字节来表示,它翻分掰是b l u e 分量、g r e e n 分量、r e d 分量和一个保留值。在b m p 图像文件中,图像的数据以自下而上,自左到右的顺序存 放,并且必须保证每行的数据必须怒4 个字节的整数倍。 实时手势识别在人机交互中的应用 第三章图像获取和预处理 输入酌视频流獭须经;霪一定静簸理方麓得虱符合要求麓手势图像。图像在生产粕 传输过程中常受到备种噪声的干扰期影响,使图像质量下降,尤其在实时采集过程中, 光照的变化以及传输过程对图像的影响极大。当我们把采集别的原始的手势图像转换 成可用计算极处理的数字图像时,阁像在生成、传竣或交换过程中会受至4 各零孛因素戆 干扰和影响,图像的画质将会因噪声而在不同程度上出现畸变。 本文对浚入霆豫送行了获疫纯、平潺、去噪、二藿键等颈楚瑾。颈处理熬嚣熬麓 去除图像中的噪声,加强图像中的有用信息,并对输入方式贼其他原因造成的退化现 象送行复黎,瑶豫颓处理过程是对鬻像静一个过滤过程,妥排除干挠保留需爱处理的 部分,并过滤掉不需要的部分。由于摄像设螽在摄取手势图像时会扩大取景范围,其 中含很多无效的像豢点,这会影响以后的处理,增加计算量,因此首先完成的是尽可 能凇确从读入图像中取出包食被钡l 物体的图像部分,这个过程的主要难度毽予判龌图 像怒否属于需要保留的部分。且必须保证其准确性,否则将会对下一步图像分析和判 叛逡成严重豹影确。 3 。1 手势图像获取 由于本文要求的视频为朱压缩格式,因此基于简便和效率起见,我们使用w i n d o w s 旋供的v f 释瘁来进行视频捕获以及手势图像的获取等操作,我们首先需要引用v f w h 头文件和v f w 3 2 1i b 组件: # i n c l u d e ”v f w h ” # p r a g m ac o m m e n t ( 1i b ,”v f w 3 2 。l 违”) 系统采用了普通的3 8 万像数的u s b 摄像头,并选取一块背景板,捕获的视频大 小麓3 2 0 x 2 4 0 分辨率。援菝褰霉获戆蕊本步骤翔下: ( 1 ) 用c a p c r e a t e c a p t u r e w i n d o w 方法创建一个采集窳口。 发送识剐缝架透翘: ( 4 ) 返回第( 1 ) 步。 蓠魏,纛淳每秒栽谈鬟酌帧数专程寿鹃执行效率以及梳器配置肖着直接的关系。 3 2 图像灰度亿 通过采集模块得到的匿像,是2 4 位真彩色的b m p 图像。该图像格式数擐量菲常 大,即使一蒯3 2 0 x 2 4 0 的图片都有2 0 0 k 左右的大小,直接对其提取特征识别会大大 影螅速度。为了识别速度起煲,毖矮簧先霹葵进行获度亿处壤,垮獒转变梵2 5 6 缀灰 度图像。 2 4 建爽彩色罄像夔每一令像素赢懿颜毡分量程数据嚣都存储为3 令字节,萁中 红、绿、蓝分别为一个字节。我们上一步由图像获取模块得到的数据指针指向数据区 就怒位图的实际数据( 像素点豹颜色信息) 。我稍通过对该指针进行偏移操作就能得 到所有像素点的r g b 值,再根据这三个颜色分量进行灰度计算。本文采用了按普拉欺 算子对其进行灰度化; g r a y ( x ,y ) = o 。2 9 9 r ( x ,y ) + o 5 8 7 g ( x ,y ) + o 。1 1 4 * b ( x ,y )( 3 1 ) 其中r ( x ,y ) 、g ( x ,y ) 、b ( x ,y ) 为原图像( x ,y ) 处的r g b 值,g r a y ( x ,y ) 秀获度圈对斑点静获菠篷,g r a y ( x ,y ) o , z 5 5 】。 3 。3 图像平滑 实时采嶷过程中熬光照变纯默及黉竣过程帮会对霪缘豹产生 基大戆影豌。器始懿 实对手势识别在人帆交互中的应用 手势图像转换成可用计算机处理的数字图像时,图像的画质会因噪声而在不同程度上 出瑷疃交,毅篷我稍必矮蓄瓷对塑像遴毒亍一次平潺搽俸,戳邋滤捧一部分靛嗓声影桶。 对阁像的平滑处理,可在空域或频域中进行,有各种各样的方法,假总体原则是尽缀 不损害蘑豫中边沿翻各种细节。 图像的平滑是一种实用的数字图像处理技术,主要目的是为了减少图像的噪声。 一般情况下,在空间域内可以用邻域平均来减少噪声;在频率域,由于噪声频谱通常 多在高频段,因此可以采用器耱形式鲍低遗滤波的办法来减少噪声。 人们已经研究了很多平滑的方法和技术。总体来说可划分为两类:一类是全局处 理,舅一类是舄部楚理。全鼹处理楚对噪声爨缘豹熬体或大豹块进行校正滚褥到平辫 的圈像,例如在变换域中使用w i e n e r 滤波、最小二乘滤波簿,采用这种方法我们鬻 先需要螽道信号和臻声静统计模鳌,两显,这些技术计算量龟籀当大;两蓐部处理剿 是使用局部算子,当对某一像素进行平滑处理时,仪对它的局部小邻域的一魑像素加 以运算,其优点是诗算效率商,而鼠可以多个像素并行处理,因此可实现实时或准实 时处理。具体的方法主要楚以下三碧巾: ( 1 ) 局部平均法:直接在空域上进行平滑处理的技术。它使用像素邻域内的像素的 平均获度篷代替该像素器寒懿灰度毽,实现鬻缘懿乎瓣。荚孛最典型戆是部警 均法就是非加权邻域平均,它均等地对待邻域中的每个像素。该算法简单,计 算这菠获,毽燕要袋京是在降低噪声豹弱对後强像模襁,特掰在边滏耪细节娃。 ( 2 ) 中值滤波:也是一种局部平均平滑技术,它对一个滑动窗口的诸像素灰度摊 穿,蠲其中德代替窗翻中心像素原来的灰度後。该方法对脉冲干扰酌抑制效粱 好,在抑制随机噪声的同时能使边沿减少模糊。 ( 3 ) 频域平滑技术:该技沭是一绒信号低通滤波器概念猩二维图像中的戡接推广。 图像缀过二缀傅立时变换最,噪声频落一般佼于空闼频率较褰验区域,恧图像 本身的频率分量则处于空间频率较低的区域内,因此可以通过低通滤波器的方 法,使毫叛努量受到 辔裁,获瑟实瑷强豫熬平滢。滤波器翡数学表这式为: g ( u ,v ) = h ( u ,v ) f ( u ,v ) ( 3 2 ) 萁中f ( u ,v ) 为原溪像的傅立时交羧,g ( u ,v ) 为平滑后图像的傅立时变换, h ( u ,v ) 是滤波器的转移函数。常用的低邋滤波器有:理想低通滤波器、 b u t t e r w o r t h 滤波器和指数形滤波器等。 实时手势识别在人机交互中的应用 本文摄入的图像基本上噪声比较少,因此采用局部平均法进行图像的平滑。局部 平均法戆圭要操 车麓模扳搽作。 模板操作是数字图像处理中经常用到的一种运算方式,本系统的平滑即用到该操 睾,常觅静算法是将原图串的一个像素的获度值和它周围邻近,个像素的灰度值糯 加,然后求得平均傻( 除以9 ) 作为新图中该像素的灰度值,可将该算法表示为: 三l l1 | l 9 l l 1 1l 平滑模扳的愚想是通遥一点来老除突然变纯的点,扶两滤掉一定的噪声,但图像 丢 ;l 吉i i 吉匮竭去i 去i 毒习 3 。4 手势图像的二值化 把带多级灰度假的手势图像处理成二级灰度( o ,1 ) 图像的过穰,称之为二值化 过獠。最简单的二值化可以通过设定灰度阂值来完成。即当( i j ) 的像素值比预定的 阈傻大,看成背景,以“0 ”标志;焱则看成手势部分,“1 ”标志。这样经过二值傀, ( i j ) 位置的标志: ,力i :茎蓍薯釜( 3 - - 3 ) 掰懿二德位豹关键在予溺篷t 熬懿选择。 实时手势识别在人机交互中的应用 常用的几种整体阈值的选择方法有: 3 4 1 人工设定整体阀值 根据实验或入的先验经骏,预先给定个固定闽值。这是一种最简单到处速度快 酶二馕化方法。当手势部位溃曦,轮露明显,于扰缀小时是一秘行之有效熬方法,人 工设定整体阀值的缺点是:( 1 ) 不能根据每幅手势图像确定宦的最佳阈值,( 2 ) 确定 阙镶王居,建深等箨赛条转改变鼓,不能嫠浚僮夔之改交。 3 4 2 出获度级壹方羯( g r e yl e v e lh i s t o g r a m ) 确定整体瓣魏 灰度缎塞方图绘出了一壤灰发图像熬摄貌描述,设烧莲化灰度僮g 范重必 0 g 1 ,妒o 为最黑,g = l 为最白。m 为灰度级数目,p ( g 。) 为第k 级灰度的概率。 n k 怒在图像中出现的灰度级为k 的次数:1 2 为图像中像素的总数。则有 p ( g 女) :鱼。乳1 ,k - 1 2 。m ( 3 4 ) n 逶常称p ( g 。) 为缀黛标,戳瓢为横搬标的瀚形为获发直方圈。手势图像的蠹 方戮( 见图3 1 ) 一般有鼹个峰傻,一个峰值对应手势图像部分,另一个对应手势 的背景部分。阈值应该取取在两个峰值的波谷处,波谷欲深陡,二值化效果愈好。这 是一秘撮攒图像移鸷景浆灰疲篷壹动确定整体凌篷戆方法。 图3 1 手势图像直方图 3 4 3 自动确定整体溷值的其他方法 ( 1 ) 经验函数法( 如阁3 2 ) : 1 6 实时手势识别在人机交互中的鹿用 r = 或一半= 圭( 圾嘞) ( 3 _ 5 ) 式3 5 中b 。:图像背景平均灰度值 g 。:图像灰度最黑值 ( 2 ) 二次定氆法( 如图3 3 ) ;t f o 先取霉= g 。+ 矗( 秀经验僮) 进行第一次扫攫,攫撰夏区分燕霾像逐是鸷装, 再分别求出对应互的图像和背景的平均值f o 和b 。,得出二值化闽值为: 疋= i ( f o + 曰。) ( 3 - - 6 ) 图3 。2 经验函数法图3 3 二次定值法 3 4 4 本文的二值化算法 本文研究中经过灰度化处理得到的图像为3 2 0x2 4 0 像索的2 5 6 级灰度图像。图 缘受光照条l 孛戆影噙,因蓥乏数藿定戆瘸篷会慰谖剽耱发造袋影睫。键由予实验中采瓣 的背景比较单一,灰度值起伏变化不大,而凰与手的灰度相麓比较大。因此实验中采 蠲豹方法楚:先箍豢张不含手翁瑟景囤背,对背景图像取灰度值豹平均,乘戳一个 系数,得到二值化阀值。若阈值为l 则: t = b + 2 5 ( 3 7 ) 其中,b 为该背景图像的平均获度值。 本文采用该方法,反复的实验证明,基本上t p o ( i ) 为 ( 3 - - 8 ) 、噪声i fc o u n t ( i ) z 其孛y 楚测量交凌,x 是特征窆蠢,a 称为将缓获射,又称终特薤鬟凝器。 本文采用提取手势几何特征的方法。这热手势都比较特殊,使得能够找到具有很 大嚣分菠( 定义手努之闯蔽及定义筝势与菲定义手势之闯酌区分度) 的特程。首先经 过前面的预处理,得到手势网像的= 使图像及外围轮廓,然后对二值图像建立直方图, 提取纵向和横向的特征,以疑对轮艨曲线提取其形状特征。媛后用决策分类树对特缸e 信息进行匹配,识别出绘定孚势。 动态手势识别有着许多静态手势识别所没有的难度,尤其是实时手势识别。对于 一般摄像关,每秒2 5 犊,每姣墨缳大小麓2 3 0 k ,数据量稳警大。因蘧对予浚裂速黢 要求非常之商。一旦速度慢了,很容易陷入停机状态,因为程序无法对输入做出快速 浆穗应。这瞧决定了过于复杂靛特缀在这受并不适蠲。在豢像头摄敬过程中,镜头酌 远近、不同人手的大小、手的缩放、平移和旋转都会有很大的变化。实时识别系统的 手势要求是院较严格和规范一点,懋是也要求能够不被手的缩放、平移和小角度的旋 转影响。不过,过度旋转的筝势是会也应当被拒绝的。这是实畦系统 b 较特殊的要求, 否则就失去应用的意义。 恧以晷瓠不变特征为谈剐基础游煲g 有n m i 特征识剐、苓变矩特缝识剐以及毙铡特 征识别。n m i 特征识别是以计算图像的归。化转幼惯量( n o r m a l i z e dm o m e n to f i n e r t i a ) 为不交特缝进季亍

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论