（信号与信息处理专业论文）互动音乐桌.pdf

互动音乐桌互动音乐桌互动音乐桌 互动音乐桌 作者姓名：作者姓名：作者姓名： 作者姓名： 陈楠楠陈楠楠入学时间：入学时间：入学时间： 入学时间： 200720072007 2007 年年 9 9 9 9 月月 专业名称：专业名称：专业名称： 专业名称： 信号与信息处理信号与信息处理研究方向：研究方向：研究方向： 研究方向： 图像处理与分析图像处理与分析 指导教师：指导教师：指导教师： 指导教师： 孙农亮孙农亮职职职 职 称：称：称： 称： 教授教授 论文提交日期：论文提交日期：论文提交日期： 论文提交日期： 201020102010 2010 年年 5 5 5 5 月月 论文答辩日期：论文答辩日期：论文答辩日期： 论文答辩日期： 201020102010 2010 年年 6 6 6 6 月月 授予学位日期：授予学位日期：授予学位日期： 授予学位日期： thethethe the interactiveinteractiveinteractive interactive musicmusicmusic music playplayplay play tabletabletable table a a a a dissertationdissertationdissertation dissertation submittedsubmittedsubmitted submitted ininin in fulfillmentfulfillmentfulfillment fulfillment ofofof of thethethe the requirementsrequirementsrequirements requirements ofofof of thethethe the degreedegreedegree degree ofofof of mastermastermaster master ofofof of philosophyphilosophyphilosophy philosophy fromfromfrom from shandongshandongshandong shandong universityuniversityuniversity university ofofof of sciencesciencescience science andandand and technologytechnologytechnology technology bybyby by chenchenchen chen nannannannannannan nannan supervisor:supervisor:supervisor: supervisor: professorprofessorprofessor professor sunsunsun sun nongliangnongliangnongliang nongliang collegecollegecollege college ofofof of informationinformationinformation information andandand and electricalelectricalelectrical electrical engineeringengineeringengineering engineering maymaymay may 201020102010 2010 声声明明 本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和世所公认的本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和世所公认的 文献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交于其它任何学文献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交于其它任何学 术机关作鉴定。术机关作鉴定。 硕士生签名：硕士生签名： 日日期：期： affirmation i i i i declaredeclaredeclare declare thatthatthat that thisthisthis this dissertation,dissertation,dissertation, dissertation, submittedsubmittedsubmitted submitted ininin in fulfillmentfulfillmentfulfillment fulfillment ofofof of thethethe the requirementsrequirementsrequirements requirements forforfor for thethethe the awardawardaward award ofofof of mastermastermaster master ofofof of philosophyphilosophyphilosophy philosophy ininin in shandongshandongshandong shandong universityuniversityuniversity university ofofof of sciencesciencescience science andandand and technology,technology,technology, technology, is is is is whollywhollywholly wholly mymymy my ownownown own workworkwork work unlessunlessunless unless referencedreferencedreferenced referenced ofofof of acknowledge.acknowledge.acknowledge. acknowledge. thethethe the documentdocumentdocument document hashashas has notnotnot not beenbeenbeen been submitsubmitsubmit submit tedtedted ted forforfor for qualificationqualificationqualification qualification atatat at anyanyany any otherotherother other academicacademicacademic academic institute.institute.institute. institute. signature:signature:signature: signature: datedatedate date ： 山东科技大学硕士学位论文摘要 摘摘要要 随着人机交互技术的日益成熟， 基于该技术的图像处理已经成为图像识别领域重要 的研究和发展方向之一。本文的主要研究内容为基于 vc 软件平台的实物目标的识别系 统的开发与实现。包括互动音乐桌的硬件构建，基于快速、有效的追踪依附于目标模块 的基准性标记、采集与识别系统；基于 midi 的音乐合成以及交互式平台的计算机视觉 框架。具体而言，主要包括以下内容： （1）硬件搭建。主要是采集系统的定位，拍摄环境的测试以及模块的设计与可行 性分析，同时就硬件搭建的各个模块的性能加以介绍； （2）目标模块的基准性标记、采集与识别，本文首次将手势图案作为操作模块引 入该设计，为了互动音乐桌的后期再开发做准备；同时在图像分割部分，针对红外图像 的特点，以及摄像头拍摄环境的影响导致多噪声的原因，采用了基于二维最大熵阈值分 割的方法，很好的解决了该问题；在音量控制部分，基于控制操作部分，操作模块无几 何形状的变化，采用了基于 meanshift 跟踪算法来进行定位，并较好的实现了跟踪的实 时性与准确性，使声音的高低变化得到较为连续的控制； （3）声音与影像合成，主要是基于 midi 软件库的声音合成。通过获得的操作模 块的特征，确定模块的图样，进而向系统发送一定得 midi 指令来调取不同的 midi 音 色、幅值、频率等不同的信息量，产生音量不同，节奏各异，不同音色的声音，通过调 整使其可以产生较为平滑的乐曲。影像合成部分，主要是调用 wav的波形文件实时显 示波形； （4）操作平台。系统的操作平台以 vs2005 为开发工具，生成可以人机交互的操 作界面。主要针对图像的采集，分割与识别部分的算法进行集成，使用户可以再此界面 上完成操作模块的特征信号提取。 关键字关键字：人机交互，红外分割，不变矩，meanshift，midi，视觉合成 山东科技大学硕士学位论文abstract abstractabstractabstract abstract with the rapidly development of human-computer interaction technology, based on the technology, image processing has become an important research field of pattern recognition and development directions. in this paper, the design is based on the vc software, mainly investigating the development and realization of the object recognition ， the hardware construction about the interactive music desk, the fast and robust tracking of fiducially markers attachedonto physical objects, as well as for multi-touch finger tracking2 ,acquisition and recognition system; basedonmidi music synthesis, and interactive platform computer vision framework. specifically, the main research contents are as following: (1)thehardwarestructures,primarilyacquisitionsystempositioning,shooting environment, testing and module design and feasibility analysis, and buildonthe hardware performance of the various modules to be introduced. (2) the fiducial mark、collection and identification of the target module.inthis paper， we will design a gesture as the operation module for the first time, prepare for the later redevelopment of the interactive music table;the same time, at the image segmentation part， for the characteristics of the infrared image, and the shooting environmental may causes more noise, we use two-dimensional maximum entropy basedonthreshold to segment the image, and this method get a good purpose. the volume control part, basedoncontrol operation, this operation module without geometry changes, we position the module basedonmeanshift tracking algorithm , and achieve better real-time and accuracy tracking, so we get a more continuous control about the change of the sound level. (3) sound and image synthesis, the voice synthesis part mainly basedonmidi software library. through the image processing, we get the characteristics of the operating module, then pick up the features about the module, and then sent different midi commands to the system to get tamber 、amplitude 、frequency and different information of midi sound, resulting in a special sound with different volume, different rhythms and different tamber, by adjusting module to produce a more smooth music. image synthesis part, the wave is called 山东科技大学硕士学位论文abstract wavfile real-time waveforms to display. (4) operation platform. operation platform is developed basedonvisual c+6.0 with mfc, platform generate human-computer interaction interface. mainly for image acquisition, segmentation and recognition integrated part of the algorithm, so the usercanget the feature signal of the operation module form the operation interface. keykeykey key wordswordswords words : : : : human-computer interaction, infrared image segmentation, invariant moment, meanshift, midi,view synthesis 山东科技大学硕士学位论文目录 目目录录 1 1 1 1 绪绪绪 绪 论论论 论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 1 1 1.1 课题研究背景及意义. 1 1.2 课题研究目的及价值. 1 1.3 课题研究现状. 3 1.4 本文主要工作和创新点. 4 2 2 2 2 互动音乐桌的操作平台介绍互动音乐桌的操作平台介绍互动音乐桌的操作平台介绍 互动音乐桌的操作平台介绍 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 5 5 5 2.1 硬件配置及开发平台. 5 2.2 工作流程. 7 2.3 主要功能模块. 9 2.4 小结.11 3 3 3 3 图像采集、处理及识别图像采集、处理及识别图像采集、处理及识别 图像采集、处理及识别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121212 12 3.1 视频采集. 12 3.2 图像预处理. 15 3.3 特征提取与模式识别. 19 3.4 自适应目标跟踪. 25 3.5 小结. 30 4 4 4 4 基于基于基于 基于 midimidimidi midi 声音合成与实现声音合成与实现声音合成与实现 声音合成与实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313131 31 4.1 midi 简介. 31 4.2 声音合成. 34 4.3 实验与结果实现. 38 4.4 小结. 40 5 5 5 5 视觉合成视觉合成视觉合成 视觉合成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414141 41 5.1 基于 midi 的视觉合成. 41 5.2 基于 wav的视觉合成.41 5.3 系统测试. 42 山东科技大学硕士学位论文目录 6 6 6 6 结束语结束语结束语 结束语 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444444 44 6.1 工作总结. 44 6.2 展望. 45 致致致 致 谢谢谢 谢 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464646 46 参考文献参考文献参考文献 参考文献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474747 47 附附附 附 录录录 录 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505050 50 山东科技大学硕士学位论文contents contentscontentscontents contents 1 1 1 1 introductionintroductionintroduction introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .