（信号与信息处理专业论文）人机划拳系统的实现.pdf

论文题目：论文题目：论文题目： 论文题目： 人机划拳系统的实现人机划拳系统的实现 作者姓名：作者姓名：作者姓名： 作者姓名： 刘刘 棉棉入学时间：入学时间：入学时间： 入学时间： 200720072007 2007 年年 9 9 9 9 月月 专业名称：专业名称：专业名称： 专业名称： 信号与信息处理信号与信息处理研究方向：研究方向：研究方向： 研究方向： 图像处理与分析图像处理与分析 指导教师：指导教师：指导教师： 指导教师： 孙农亮孙农亮职职职 职 称：称：称： 称： 教教授授 论文提交日期：论文提交日期：论文提交日期： 论文提交日期： 201020102010 2010 年年 5 5 5 5 月月 论文答辩日期：论文答辩日期：论文答辩日期： 论文答辩日期： 201020102010 2010 年年 6 6 6 6 月月 授予学位日期：授予学位日期：授予学位日期： 授予学位日期： thethethe the realizationrealizationrealization realization ofofof of human-computerhuman-computerhuman-computer human-computer jankenjankenjanken janken systemsystemsystem system a a a a dissertationdissertationdissertation dissertation submittedsubmittedsubmitted submitted ininin in fulfillmentfulfillmentfulfillment fulfillment ofofof of thethethe the requirementsrequirementsrequirements requirements ofofof of thethethe the degreedegreedegree degree ofofof of mastermastermaster master ofofof of philosophyphilosophyphilosophy philosophy fromfromfrom from shandongshandongshandong shandong universityuniversityuniversity university ofofof of sciencesciencescience science andandand and technologytechnologytechnology technology b b b b y y y y liuliuliu liu mianmianmian mian supervisor:supervisor:supervisor: supervisor: professorprofessorprofessor professor sunsunsun sun nongliangnongliangnongliang nongliang collegecollegecollege college ofofof of informationinformationinformation information andandand and electricalelectricalelectrical electrical engineeringengineeringengineering engineering maymaymay may 201020102010 2010 声声明明 本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和世所本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和世所 公认的文献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈公认的文献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交交 于其它任何学术机关作鉴定。于其它任何学术机关作鉴定。 硕士生签名：硕士生签名： 日日期：期： affirmation i i i i declaredeclaredeclare declare thatthatthat that thisthisthis this dissertation,dissertation,dissertation, dissertation, submittedsubmittedsubmitted submitted ininin in fulfillmentfulfillmentfulfillment fulfillment ofofof of thethethe the requirementsrequirementsrequirements requirements forforfor for thethethe the awardawardaward award ofofof of mastermastermaster master ofofof of philosophyphilosophyphilosophy philosophy ininin in shandongshandongshandong shandong universityuniversityuniversity university ofofof of sciencesciencescience science andandand and technology,technology,technology, technology, is is is is whollywhollywholly wholly mymymy my ownownown own workworkwork work unlessunlessunless unless referencedreferencedreferenced referenced ofofof of acknowledge.acknowledge.acknowledge. acknowledge. thethethe the documentdocumentdocument document hashashas has notnotnot not beenbeenbeen been submittedsubmittedsubmitted submitted forforfor for qualificationqualificationqualification qualification atatat at anyanyany any otherotherother other academicacademicacademic academic institute.institute.institute. institute. signature:signature:signature: signature: date:date:date: date: 山东科技大学硕士学位论文摘要 1 摘摘要要 本文的人机划拳系统是一个简单的人机交互系统。它把人与人之间的划拳游戏的一 方换成了计算机，使人可以自由地去进行划拳游戏而不依赖别人。近几年，随着人机交 互技术的快速发展，研究符合人际交流习惯的人机交互方式取得了很大的进步。所主要 研究的人机交互方式有：脸部的识别、脸部情感识别、头部的运动跟踪、口形的识别、 眼球方向跟踪、手势的识别、体势的识别，以及多种方式相结合的人机交互方式。而手 势识别是一种相当重要的人机交互方式，它直观、简单、易于实现，现在很多游戏都试 图用打手势来代替鼠标和键盘操作，使人们能更容易沉浸于游戏中去。而由于手势的多 样性、一个手势可能有多种意义等特点，另外人手是可以灵活变形的,加上视觉技术的复 杂性，因此基于视觉技术的手势识别是一个具有挑战性的、牵涉到多学科的课题。 本文设计了一个人机划拳的系统。该系统的实现过程包括：视频采集、帧分离、提 取有用帧、图像分割、特征提取、分类识别、人机交互。我们首先通过 foresite-edu 摄像头获取视频数据流，并在采集的过程中通过调用 vfw 软件包中的接口函数来对采集 的视频进行处理和保存，得到连续单帧图像。下面通过背景减除判断是否有手势出现。 当检测到有手势出现时，再通过时间差分进行相邻帧间检测，若有连续几帧，相邻帧间 进行时间差分都得到的二值图像只有黑色像素时，则取其中一帧即为有用帧。然后针对 所得到的有用帧，根据人体肤色的 h 值的聚类特性，采用基于 hsv 肤色模型中 h 值的方 法分割出手势区域，得到二值图。对所得的二值图通过探索法法得到其外部轮廓图。特 征提取阶段，通过对二值图和轮廓图提取 8 个几何特征组成特征向量。识别阶段基于最 小欧式距离的模式匹配法来进行识别。 最后将识别结果与计算机随机出拳进行比较 （用1， 2，3 分别代表剪子，包袱，锤头）得到交互结果并进行显示。 本文获取 15 段视频片段，其中每种手势类型各采集 5 段做为测试样本，每段视频各 100 帧，平均识别率达到 98.7%，满足识别率要求。交互阶段也能满足速度要求。 关键词：关键词：人机划拳系统，运动分析检测， h 值分割，探索法，模式匹配法，最小欧氏距 离 山东科技大学硕士学位论文摘要 2 abstractabstractabstract abstract man-computer janken system is a simple man-computer interaction system. it changes one of the janken game of people into computer, so people can play janken games free without other people. these years, as the development of technique of man-computer interaction, the survey of ways of man-computer interaction which matches the interpersonal communication has improved quickly. the main way of survey including: face recognition, facial expression recognition, head moving tracking, hand gesture recognition, and so on. hand gesture recognition is a very important way of man-computer interaction because it is direct viewing, simple and easily realized. now in many games people try to use hand gesture instead of keyboard and the mouse, and so people can be more easy to immerse in the game. but hand gesture recognition is a topic which is challenging and involving several subjects, because of the diversity , ambiguity, flexibility of hand gesture and the complexity of computer vision. this text designs a man-computer interaction system based on moving hand gesture recognition.it includes: videocollection,frameseparation,get useful frame, image segmentation, feature extraction, image recognition, man-computer interaction. first, we get our video by foresite-edu camera, and then we get continuous image frames by vfw soft tool package. the following step, we judgeifthe hand gesture occurs by background deduction, andifwe detect the hand gestures, we select temporal difference between consecutive frames. nowifwe get binary images frames of whichallpixels are black from continuous several image frames, we choose a image frame free as our useful image frame.to the useful image frame we get, then we separatethe hand area based on h value of hsv model according to clustering character of h value of human skin color, and get the binary image. at last we get the contour by exploring method.atthe characters collection phase, the character vectorismade up of the eight geometrical characters from the binary image and the contour image. when we begin to recognize the image, we select pattern matching based on the minimal euclidean distance.atlastwe compare the recognition result and the result that the computer gives random (1 stands for scissors, 2 stands for cloth wrapper, 3stands for hammer), and display the comparing results. 山东科技大学硕士学位论文摘要 3 this article takes 15 pieces of video, and each kind of hand gesture includes 5 pieces. every piece of videoismade up of 100 image frames. the average recognition ratio can reach 98.7%, which can meet our demand for recognition. besides, the speed can also be ok in the interactive phase. keykeykey key words:words:words: words: man-computer janken system, detection by moving analysis, h segmentation, exploring method, pattern matching, minimal euclidean distance 山东科技大学硕士学位论文目录 1 目目录录 1 1 1 1 绪论绪论绪论 绪论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 1 1 1.1 手势识别技术概述. 1 1.2 手势识别技术和人机交互发展及现状. 2 1.3 本系统的构成. 7 1.4 本文主要工作. 7 2.2.2. 2. 手势的采集和分割手势的采集和分割手势的采集和分割 手势的采集和分割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 9 9 9 2.1 手势采集. 9 2.2 手势分割.11 2.3 轮廓提取. 21 3.3.3. 3. 手势特征的提取手势特征的提取手势特征的提取 手势特征的提取 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242424 24 3.1 模式识别中特征提取概述. 24 3.2 常用图像特征. 24 3.3 本文提取的特征. 25 3.4 本章总结. 32 4.4.4. 4. 手势识别和人机交互手势识别和人机交互手势识别和人机交互 手势识别和人机交互 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343434 34 4.1 分类器的设计. 34 4.2 人机划拳系统的实现. 36 4.3 实验结果. 38 5 5 5 5 总结与展望总结与展望总结与展望 总结与展望 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414141 41 5.1 本文总结. 41 5.2 展望. 42 致致致 致 谢谢谢 谢 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434343 43 研究生期间发表论文情况研究生期间发表论文情况研究生期间发表论文情况 研究生期间发表论文情况 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444444 44 山东科技大学硕士学位论文目录 2 参考文献参考文献参考文献 参考文献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454545 45 contentscontentscontents contents 1introductionintroductionintroduction introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 1 1 1.1 theoverview of hand gesture recognition technique.1 1.2 development and currentsituation of hand gesture and man-computer interaction.2 1.3 the structureof this system.7 1.4 main task of the article. 7 2 2 2 2 thethethe the collectioncollectioncollection collection andandand and segmentationsegmentationsegmentation segmentation