（无线电物理专业论文）基于视频的便携式虚拟乐器研究.pdf

硕士学位论文 m a s t e r st h e s i s 摘要 在计算机技术飞速发展的背景下，基于m i d i 技术的虚拟乐器也得到了蓬勃发 展，从根本上改变了传统乐器的结构形式。而嵌入式技术和数字视频技术的进步， 为虚拟乐器带来了新的机遇。开发研制低成本、结构紧凑的嵌入式新型虚拟乐器， 并进一步改变人机交互方式，对音乐的普及和推广具有重要的意义。 本文研究设计了一款基于视频的便携式无键盘虚拟乐器演奏系统。该系统引入 基于视频的人机交互方法，采用高性能d s p 芯片1 m s 3 2 0 d m “3 7 替代通用计算机， 配合以t v p 5 1 4 6 和v s l 0 0 3 b 这两款视、音频编解码器搭建起系统硬件平台；以 d s p b i o s 嵌入式实时操作系统作为软件平台编制外部设备驱动程序和应用程序。 本文所研制的虚拟乐器演奏系统能够识别摄像头视域内2 6 个区域的手指按键动作， 对应地可发出2 6 种不同音调的乐音，满足演奏非复杂音乐的需求。另外，该系统 能够很容易集成到诸如音乐设备、音乐教具、智能玩具等系统中，具有广阔的应用 空间。 关键词：虚拟乐器；m i d i ；d s p ；视频识别 a b s t r a c t a st h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , m i d i b a s e dv i r t u a li n s t r u m e n t sh a v e b e e nb o o m i n ga n dh a v ea l s o f u n d a m e n t a l l yc h a n g e dt h e s t r u c t u r eo ft r a d i t i o n a l i n s t r u m e n t s t h ep r o g r e s so fe m b e d d e dt e c h n o l o g ya n dd i g i t a lv i d e ot e c h n o l o g yb r o u g h t t h en e wo p p o r t u n i t i e sf o rv i r t u a li n s t r u m e n t s m e a n w h i l e ，d e v e l o p i n gl o w - c o s ta n d c o m p a c tn e wv i r t u a li n s t r u m e n t sw i l lm a k eag r e a ts i g n i f i c a n c e t of u r t h e rc h a n g e h u m a n - e o m p u t e ri n t e r a c t i o na n dt op o p u l a r i z ea n dp r o m o t em u s i c t h et h e s i sd e s i g n e dap o r t a b l ea n dv i r t u a li n s t r u m e n ts y s t e mw i t hn o k e y b o a r dt h a t b a s e do nv i d e or e c o g n i t i o n t h es y s t e mi n t r o d u c e dav i d e o b a s e dh u m a n - c o m p u t e r i n t e r a c t i o n sm e t h o d ，u s e dh i g h - p e r f o r m a n c ed s pc h i pt m s 3 2 0 d m 6 4 3 7t os u b s t i t u t e g e n e r a lc o m p u t e r , b u i l ts y s t e m sh a r d w a r ep l a t f o r mi nl i n e 、) v i t hb o t hv i s u a l ，a u d i oc o d e c o ft v p 514 6a n dv s10 0 3 ba n dt o o kd s p b i o se m b e d d e dr e a l t i m eo p e r a t i n gs y s t e ma s s o f t w a r ep l a t f o r mt oa d a p te x t e r n a ld e v i c ed r i v e r sa n da p p l i c a t i o n s r e s e a r c h i n go n v i s u a li n s t n m a e n ts y s t e mc o u l di d e n t i f yf i n g e r s k e y - p r e s sm o v e m e n t si n2 6r e g i o n so f c a m e r a sv i s i o nf i e l d ，c o r r e s p o n d i n g l ym a k e2 6k i n d so fd i f f e r e n tt o n e sa n ds a t i s f yt h e n e e do fp l a y i n gn o n - c o m p l e xm u s i c i na d d i t i o n , t h es y s t e mc o u l de a s i l yi n t e g r a t ei n t o s o m ed e v i c e s ，s u c ha sm u s i ce q u i p m e n t s ，m u s i c a lt e a c h i n ga i d sa n di n t e l l i g e n tt o y s ，a n d h a sab r o a da p p l i c a t i o ns p a c e k e y w o r d s ：v i r t u a li n s t r u m e n t s ；m i d i ；d s p ； v i d e or e c o g n i t i o n 硕士擘位论文 m a s t e r st i - i e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名： 痧碧易魄矽年 学位论文版权使用授权书 ，、 易其日 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务。 导师戳：穴吩 日期：少阡月 日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库”中全文发布，并可按“章程”中的规 定享受相关权益。回意论塞握交厦澄唇；旦坐生i 旦= 生；旦三生筮查! 储签名：涉蹇，魂 魄甲多月多日 导师警：夺。 嘲：7 月3 日 五移目 一=砑传月 涉“ 名加 豁叶 者期 硕士学位论文 m a s t e r st h e s i s 第一章绪论 1 1 计算机虚拟技术发展概述 进入二十一世纪以来，随着计算机技术自身的发展对其他领域渗透的不断加 深，计算机技术不仅提升了这些传统技术的水平，而且极大的改变了这些传统技术 的形式与结构。虚拟现实、虚拟仪器、虚拟音乐等各种虚拟技术得到了蓬勃发展。 1 1 1 虚拟现实技术 虚拟现实( v i r t u a lr e a l i t y ，v r ) 是“借助于计算机图形图像技术及硬件设备， 实现二种人们可以通过视、听、触觉等感受到的虚拟环境l l 如。这种虚拟世界由计算 机生成，可以是现实世界的再现，亦可以是构想中的世界，用户可借助视觉、听觉 及触觉等多种传感通道与虚拟世界进行自然的交互。它是以仿真的方式给用户创造 一个实时反映实体对象变化与相互作用的三维虚拟世界，并通过头盔显示器 ( h m d ) 、数据手套等辅助传感设备，提供用户一个用来观测或与该虚拟世界交互 的三维界面，使用户可直接参与并探索仿真对象在所处环境中的作用与变化。v r 技术是计算机技术、计算机图形学、计算机视觉、视觉生理学、视觉心理学、仿真 技术、微电子技术、多媒体技术、信息技术、立体显示技术、传感与测量技术、软 件工程、语音识别与合成技术、人机接口技术、网络技术及人工智能技术等多种高 新技术集成之结晶。它同时具有沉浸性( i m m e r s i o n ) 、交互性( i n t e r a c t i o n ) 和构想 性( i m a g i n a t i o n ) 1 2 ，使人们能沉浸其中，超越其上，出入自然，形成具有交互效 能多维化的信息环境。 虚拟现实技术的诞生可以追溯到2 0 世纪初，e d w i nl i n k 发明了l i n k 飞行模拟 器，该装置使飞行员能够体会在飞机中操作飞行的真实感觉，却无需在天空面对危 险。1 9 9 0 年在美国首先召开的s i g g r a p h 会议明确了虚拟现实技术的主要内容及研 究方向；不久，业界提出了v r m l ( v l r t u lr e a l i t ym o d e l i n gl a n g u a g e ) 的概念，并产 生了v r m l l 0 、v r m l 2 0 标准，进一步明确了v r 技术的研究方向和目标。 目前，v r 技术的发展仍处于初级阶段。计算机技术的发展为虚拟现实技术带 来的新的开发空间，概括的国内外虚拟现实技术，主要涉及到三个研究领域：通过 计算图形方式建立实时的三维视觉效果；建立对虚拟世界的观察界面；使用虚拟现 实技术加强诸如科学计算技术等方面的应用【3 】。美国作为v r 技术的发源地，其研 硕士学位论文 m a s t e r st 珏e s i s 究水平基本上就代表国际v r 发展的水平。目前美国在该领域的基础研究主要集中 在感知、用户界面、后台软件和硬件四个方面。 1 1 2 虚拟仪器 虚拟仪器( v m u a li n s t r u m e n t s ，v i ) 【4 】是美国国家仪器公司( n a t i o n a li n s t r u m e n t s c o r p ，n d 于1 9 8 6 年提出的概念。它是由计算机硬件资源，功能性模块化仪器硬件， 用于数据分析、过程通讯和图形用户界面的软件组成的检测控制系统；是计算机操 纵下的一种模块化仪器系统。 从发展史看，电子测量仪器经历了由模拟仪器、智能仪器到虚拟仪器的过程。 虚拟仪器技术是一种基于计算机的自动化测试仪器系统，它将传统通常由信号的采 集、分析和显示三部分组成的仪器系统，由一台计算机实现，并通过软件将计算机 硬件资源与仪器硬件有机的融合为一体【5 】。这样不但大大缩小了仪器硬件的成本和 体积，还通过软件方便实现对数据的显示、存储和分析处理1 6 j 。 虚拟仪器由高性价比的通用计算机，模块化的硬件平台，功能强大的专业软件 系统组成1 7 1 。计算机是虚拟仪器的硬件基础，可采用普通台式计算机、便携式计算 机、工作站、嵌入式计算机等来管理虚拟仪器的硬软件资源。硬件平台最常用的设 备是数据采集( d a q ) 卡，该卡能够完成a d 转换、d a 转换、数字输入，输出、 计数器定时器等多种功能，并以相应的信号调整电路为辅助。计算机技术在显示、 存储能力、处理性能、网络、总线标准等方面的发展，导致了虚拟仪器系统的快速 发展。对于虚拟仪器所使用的软件系统，世界各大公司都在改进编程及人机交互方 面做了大量的工作，其中基于图形的用户接口和开发环境是软件工作中最流行的发 展趋势。虚拟仪器的编程开发始于n i 公司推出的l a b v i e w 和l a b w i n d o w s ，c 软 件包；目前的软件则有n i 公司的l a b v i e w 和l a b w i n d o w s ，l i p 公司的h pv e e 和 h pt i g ，t e k t r o n i x 公司的e z - t e s t 和t e s t - t n s 等 7 1 。 只有同时拥有模块化i o 硬件、高效的软件和用于集成的软硬件平台这三大组 成部分，才能充分发挥虚拟仪器技术扩展性强、开发时间少，性能高和集成度高这 四大优势。 1 1 3 虚拟乐器与m i d i 音乐技术 虚拟乐器( v i r t u a li n s t r u m e n t s ，) 是一种利用计算机处理资源创建和回访声 音的软件引。它可以是对硬件诸如数字合成器、电子钢琴、手风琴或者原声乐器的 2 硕士学位论文 m a s t e r st h e s i s 模拟再现，也可以是以采样器的形式还原乐器声音。虚拟乐器的概念最早是从硬件 数字合成器内部声音引擎提炼出来的，硬件数字合成器是一种“非标准小型”计算机 + 软件代码所组成的数字设备【9 】。随着计算机技术的发展，虚拟乐器的硬件平台逐步 由通用计算机所替代，这一步跨越使得虚拟乐器的发展变得势不可挡。通用计算机 在内存的容量、存储的空间以及运算处理的能力上，都是硬件合成器所无法达到的。 而更为重要的是，计算机能够提供更为动态、更为细腻的声音的采样，这点在传统 硬件合成器上几乎无法实现。 虚拟乐器在发展初期是对原型产品的模拟再现，利用模拟合成器、风琴、电钢 琴等来在替代原型乐器。后来，虚拟乐器的数字技术特性得到了很好的发展，通过 增加复音数，改进m i d i 控制等手段使其发声性能轻松的超越模仿原型产品。 虚拟乐器目前主要有两种类型 9 1 ：一是声音合成型，有如p r o p h e tv 使用可以模 拟相应硬件的声音引擎生成音色的软件合成器；也有如m o t t om x 4 可以生成硬件 合成器所没有的最新乐器音色的类型。二是软件采样器，它们也被认为是虚拟乐器 家族的一部分，例如n a t i v ei n s t r u m e n t s 的k o n t a k t ，m o t u 的m a c h f i v e ，以及 t a s c a m 的g i g a s t u d i o 等，此外，软件采样器也有如i l i o 、e a s t w e s t 与s p e c t r a s o n i c s 公司的部分产品一样，主体功能是回放第三方音色库，同时也提供录音、编辑数字 音频数据的功能。 虚拟乐器通常采用两种使用模式 9 1 ：一种作为插件使用，例如在p r ot o o l s 、 l o g i c 、d i g i t a lp e r f o r m e r 、s o n a r 或其它d a w 程序中使用；另一种作为独立式程 序使用，即不需要其它宿主程序而独立演奏，这种模式在现场演奏时非常有效、方 便。在这两种模式中，都需要计算机键盘与鼠标来作为工具设置参数，然后利用 m i d i 键盘控制器让音乐人更为直观地控制软件。例如音乐控制器n o v a t i o n r e m o t es l2 5 ，它不但给音乐演奏人员增加钢琴感的键盘，还增加了软件的旋钮、 按钮以及滑杆等自动映射工具，这样就使音乐人们可以轻松的将软件放在手里控制 了。而对于偏向传统钢琴味道的演出，可以利用8 8 键击锤机制的控制器再配合以 虚拟钢琴乐器使用。例如s y n t h o g y 的i v o r y ，不但可以给人提供钢琴的感觉和音色， 还可以选择直接在d a w 或独立使用，显然比携带一部斯坦威的大钢琴要方便地多。 虚拟乐器的优点之一是在现场演出时能够发出震撼人心的音色。可以设想一 下，同时把h a m m o n db 3 、a r p2 6 0 0 、m i n i m o o g 、m e l l o t r o n 、f e n d e rr h o d e s 电钢 琴、p r o p h e t5 以及y a m a h ad x 7 、斯坦威大钢琴都带到舞台上，能够演奏出多么恢 宏的乐章，这在以前是不可想象的，但是现在所需要的就是一台笔记本、一台m i d i 3 硕士学位论文 m a s t e r st h e s i s 控制键盘以及一个音频界面即可。另外还可以添加一些硬件控制器，让虚拟乐器来 物理模仿真实乐器的使用感觉。比如n a t i v ei m t r u m e n t s 公司的b 4 d 捆绑包，同时 带有硬件控制器，上面带有9 个非常真实的拉杆( d r a w b a r ) ，外加旋钮与按钮。b 4 d 捆绑包不但对h a m m o n db 3 做了真实的模仿，还可以让人们控制风琴音色的停止， 就象真实的h a m m o n d 风琴一样。 虚拟乐器的发展与m i d i ( m u s i c a li n s t r u m e n td i g i t a li n t e r f a c e ) 音乐技术是紧密相 连的。 m i d i 是用于在各种电子乐器、音乐合成器( m u s i cs y n t h e s i z e r s ) 之间以及乐 器与计算机之间交换音乐信息的标准。m i d i 设备通过m i d i 接口发送数字编码来通 息，这些编码相当于音乐中的乐谱，他们包含音符、节拍、乐器种类及音量等各种 音乐要素的信息，相关设备的合成器接收到这些数字编码后，通过解码即可生成指 定的音乐。【1 0 】 1 9 8 2 年，国际乐器制造协会达成了美国s e q u e n t i a lc i r t u i t s 公司提出的“通用合 成器接口方案”，并于1 9 8 3 年正式指定了数字乐器的“m i d l l 0 ”协议标准，代表着 m i d i 的诞生。 1 9 9 1 年国际乐器制造协会通过了g e n e r a lm i d i 协议，即通用m i d i 标准系统第 一级协议，它在1 9 9 0 年日本r o l a n d 公司制定的g s 标准基础上，规定了音色排 列、同时发音数和鼓组的键位，并去掉了g s 标准中音色编辑和选择等部分。目前 不同厂家只要遵守g e n e r a lm i d i 协议生产的电子乐器，他们之问均可相互直接通 信。 m i d i 协议规划了1 6 个相互独立的通道，每个通道可选择使用1 2 8 种音色中的 一种。还规定除了通道1 0 专供4 7 种打击乐器使用，其他通道的音色可以根据m i d i 命令来改变或设置。合成器可以根据两种不同方法来使m i d i 信息产生音乐【l ，一 种是f r e q u e n c ym o d u l a t i o n 合成法，另一种是w a v e t a b l e 合成法，其中w a v e t a b l e 方 法是目前的主流。 1 2 嵌入式系统和数字视频d s p 技术 1 2 1 嵌入式系统定义和特点 进入信息化时代，计算机已经全面渗透到日常生活的每一个角落。对于大家来 说，工作已经不再仅仅是处理那些放在桌子上的文档，还需要操作那些用来实现工 作管理和生产控制的计算机设备。目前，各种各样的嵌入式系统设备在使用数量上 已经远远超过通用计算机，任何一个普通人可能拥有许多各式各样、大大小小的使 4 硕士学位论文 m 【a s t e r st h e s i s 用了嵌入式技术的电子产品，d , nm p 3 ，手机、车载g p s 等微型家电设备，大到工 业和服务领域中使用嵌入式技术的数字机床，智能工具，工业机器入等。这些嵌入 式系统设备的运用已经逐渐改变了人类的生活和生产方式。今天，“嵌入式系统的 研究和应用已向网络化、智能化、规范化、集成化方向发展【1 2 1 ”。嵌入式系统已经 渗透到国民经济的各个方面，并与不同行业的具体应用相结合，为我国现代化进程 的快速推进起到了巨大的作用。 嵌入式系统是“以应用为中心、以计算机技术为基础、软件硬件可裁剪、对功 能、可靠性、成本、体积和功耗严格要求的专用计算机系统【1 3 】”。嵌入式系统将操 作系统和功能软件一起集成到计算机硬件系统中，也可以说它将系统的应用软件与 系统的硬件紧密结合起来。它具有软件代码小，高度自动化，响应速度快等特点， 适用于那些要求实时和多任务的体系，是计算机技术、半导体技术、电子技术和各 个行业实际应用技术相综合的产物。 嵌入式系统分为两大模块：硬件平台和软件平台。嵌入式系统的硬件平台常以 专用性强的处理器为核心，结合少量的外围设备组成，具有很强的针对性；常用的 嵌入式系统的微处理器有微控制器0 订c 、数字信号处理器( d s p ) 、专用集成电路 ( a s i c ) 、嵌入式微处理器( m p u ) 。嵌入式系统软件平台包含嵌入式操作系统和嵌入 式应用程序两部分，其中嵌入式操作系统处于硬件和应用程序之间，负责任务调度 并管理实时应用程序，完成对硬件的控制和操作；实时应用程序则是基于嵌入式实 时操作系统，利用操作系统提供的实时机制完成特定的具体功能。 相对于一般计算机系统来说，嵌入式系统具有体积小、存储容量小、性价比高 的特点i l 。在嵌入式系统的主体应用场合，如手持设备，智能仪器仪表，家用电器 等均向小型化发展，要求尽量少占用空间。而嵌入式系统一般以r o m ，f l a s h m e m o r y 、r a m 等作为存储介质，相对于通用计算机所使用的大容量硬盘，存储 容量要小得多。另外，嵌入式系统拥有很好的性价比，因为很多嵌入式设备需要嵌 入到其他的宿主设备中，要尽量避免过分提高宿主设备成本。 1 2 2 数字视频技术 数字视频技术的飞速发展，极大地改变和丰富了人们的生活。随着互联网宽带 技术的进步和移动3 g 的逐步部署，基于互联网的数字视频产业和移动视频通信面 临着爆发式的增长。 在多媒体时代，数字视频的应用对许多行业起到了推进作用。数字视频技术在 硕士学位论文 m a s t e r st h e s i s 数字视频监控、宽带视频可视、流媒体视频设备中已经得到了广泛的应用；随着数 字视频技术与网络技术相结合，使得智能网络相机、口视频会议终端、p 机顶盒、 数字媒体网关等网络视频设备也纷纷出现，充分的利用了网络无处不在的便捷特性 【l5 1 。另外，数字视频技术的发展同时也推进了平板显示器、数字视频投影仪及视频 开关设备等产品的发展。在数字视频领域的广阔前景的吸引下，众多i c 供应商参 与开发了各种视频处理器和编解码器产品，同时全球主要f p g a 供应商也通过集成 d s p 和处理器内核积极进军数字视频应用领域。 相对于其他嵌入式系统，在数字视频嵌入式系统实施视频的复杂性要远远超过 对简单图像与音频的压缩和解压缩。数字视频存在着各种各样的形式与格式，开发 人员需要对不同的格式进行配置，还要考虑到很多其他方面的问题如：不同的分辨 率、不同的显示器尺寸、不同的数据比特率、实时性问题等i l 引。 目前很多数字视频系统方案都是针对特定的应用设计的，其灵活性与互联互通 性受到很大的制约。通过软件编程是延长产品使用寿命的最灵活的方法，却需要巨 额的软件开发投资。开放式标准和开发平台的出现解决了目前原始设备生产厂家各 自为政、产品之间互通性差的局面。t i ( t c x a si n s t r u m e n t s ，德州仪器) 公司的达芬奇 ( d a v i n c i ) 开放式数字视频开发平台是一个成功的例子。该平台集成了丰富的软硬件 资源，包含了高质量的视频算法软件，并且提供强大而灵活的开发工具。 1 2 3d s p 技术介绍 d s p 技术包括数字信号处理技术和数字信号处理器两部分【1 6 j ，其中数字信号处 理技术是指将模拟信号通过采样将其数字化，然后进行分析和处理，它侧重于理论、 算法以及软件实现【1 1 7 l ；数字信号处理器是数字信号处理技术实现的载体，是在通用 处理器结构的基础上加上专用乘法器构成的芯片。近年来，d s p 芯片朝集成度更高、 运算更快、功耗更小的方向发展，产品逐渐渗透到人们的消费领域【l 鄹。本文后面部 分所讲述的d s p 均指数字信号处理器。 1 1 的定点d s p 芯片自从t m s 3 2 0 1 0 推出以来，经历了t m s 3 2 0 c 1 x 、 t m s 3 2 0 c 2 x 、t m s 3 2 0 c 2 x x 、t m s 3 2 0 c 5 4 x 和t m s 3 2 0 c 6 2 ) o ( c 6 4 x x 等几代产品， 产品的性价比不断提高，应用也日益广泛。下面简单介绍n 常用三大系列的d s p 芯片：t m s 3 2 0 c 2 0 0 0 系列、t m s 3 2 0 c 5 0 0 0 系列和t m s 3 2 0 c 6 0 0 0 系列 2 0 1 。 1 m s 3 2 0 c 2 0 0 0 系列主要用于数字控制领域，包括t m s 3 2 0 c 2 0 x 、t m s 3 2 0 c 2 4 x 和1 m s 3 2 0 c 2 8 x 三类。 t m s 3 2 0 c 5 0 0 0 系列主要应用于通信、消费电子等领域，包括t m s 3 2 0 c 5 4 x 和 6 硕士学位论文 m a s t e r st h e s i s t m s 3 2 0 c 5 5 x 两大类，这两类芯片软件完全兼容，只是t m s 3 2 0 c 5 5 x 具有更低的 功耗和更高的性能。 t m s 3 2 0 c 6 0 0 0 系列芯片众多，这里主要介绍t m s 3 2 0 c 6 2 x 和t m s 3 2 0 c 6 4 x 这 两个子系列。t m s 3 2 0 c 6 2 x 芯片的内部结构与1 9 9 7 年以往推出的所有d s p 不同， 它集成了多个功能单元( 包括2 个乘法器和6 个算术运算单元、大容量的片内存储 器) ，使用二刑( v e r yl o n gi n s t r u c t i o nw o r d ) 指令字结构，能够同时执行8 条指 令，并且运算能力达到2 4 0 0 m i p s 。它成本低廉，主要使用在无线基站、无线p d a 、 组合m o d e m 、g p s 导航等需要较强运算能力的系统中。 t m s 3 2 0 c 6 4 x 是t m s 3 2 0 6 0 0 0 系列中性能较高的一款定点d s p 芯片，采用两 级缓冲( c a c h e ) 机制，增强的并行机制可以在单周期内完成4 个1 6 x 1 6 位或者8 个8 x 8 位乘累加操作；增强的3 2 通道d m a 控制器可以提供超过2 g b s 的持续带 宽；t m s 3 2 0 c 6 4 x 的总体性能相对于t m s 3 2 0 c 3 2 x 提高了1 0 倍。由于集成了丰 富的外设如片上以太网m a c 、p c i 端口、主机接口，以及大容量片上随机存取存 储器，t m s 3 2 0 c 6 4 x 能够使用在需要更高数据处理能力的环境中，例如电信基础设 施、网络以及高端影像等信号处理领域1 2 。 t i 公司近年来推出达芬奇技术系列，该技术成功将数字视频技术发展所需的处 理器、开发工具、软件以及第三方系统专业技术支持这四大要素集成到d s p 产品中， 为当前数字视频的变革打下了基础n 9 1 。 1 3 本文的主要内容和章节安排 虚拟乐器作为一种典型的计算机虚拟技术，已经由初期对原型真实乐器如钢 琴、风琴、架子鼓等音乐的简单模拟再现，发展到利用软件合成器通过增加复音数、 改进m i d i 控制等提供胜过大型音乐会的音乐演奏环境，从性能上轻松超越了原型 乐器。但直至今日，虚拟乐器的演奏还是离不开音乐键盘，其系统平台也还主要依 赖于通用计算机，这在很大程度上增加了成本，阻碍了虚拟乐器的广泛普及。 本文提出并研制了一款基于视频的便携式虚拟乐器演奏系统。该系统通过摄像 头监测演奏者的动作，对摄入图像进行识别和分析后，判断出手指的按键动作，然 后经过m i d i 音频解码芯片，实时演奏出各种音色的音符。论文具体内容安排如下： 第一章，绪论：首先介绍计算机虚拟技术和m i d i 音乐技术的发展概况，然后 介绍数字视频技术和嵌入式系统，最后介绍，n 公司d s p 中目前应用比较广泛的几 个系列，并对它们的性能做简单介绍。 第二章，系统硬件设计：首先介绍所研究的虚拟乐器的硬件设计框架结构，再 7 硕士擘位论文 m a s t e r st h e s i s 介绍采用达芬奇技术的d s p 芯片t m s 3 2 0 d m 6 4 3 7 ，主要从处理器高性能内核、大 容量快速片上r a m 、丰富的外部设备三个方面，最后用模块化的方法对系统的硬 件设计进行划分，对系统的视频采集模块、音频解码模块以及模块之间的接口等进 行了分析。 第三章，设备驱动软件设计：首先介绍了本文系统软件的组成、结构和系统所 采用的实时操作系统- d s p b i o s 。然后详细介绍了在d s p b i o s 平台上设备驱动 的开发和设计，包括驱动的分层结构、各层驱动的模型和驱动内部的调用流程。最 后按照需求分析、微驱动软件设计、类驱动软件设计的顺序，详细描述了对视频和 音频模块设备驱动的编写过程。 第四章，视频分析与音乐合成应用软件设计：首先介绍了视频分析软件设计过 程，具体描述了如何通过提取灰度图像、背景差分法等步骤来实现对视频中手指按 键动作的识别。然后介绍了m i d i 音频模块的应用软件设计，包括对m i d l l 0 协议 的讲解和如何实现对v s l 0 0 3 b 初始化、实时生成m i d i 事件流并发送的应用软件设 计过程。 第五章，总结与展望：对本文研究进行分析总结。 3 硕士学住论文 m a s t e r s 丁h e s i s 第二章系统硬件设计 本章主要介绍基于视频的便携式虚拟乐器硬件设计，包括系统总体设计、视频 采集模块设计和m i d i 音频解码模块设计三个部分。 2 1 总体设计 本论文所研究设计的虚拟乐器原理方框图如图2 1 所示。主要包括d s p 中央处 理控制模块、视频信号采集模块、m i d i 音频合成模块、d d r 2 存储模块、电源模块 等。 团圆 图2 1 基于视频的便携式无键盘虚拟乐器方框图 在图2 1 中摄像头摄入图像并输出p a l 制式的模拟电视信号；t v p 5 1 4 6 视频解 码芯片用于将采集的模拟电视信号转换成数字信号；d s p 芯片t m s 3 2 0 d m 6 4 3 7 用 于控制操作各个外围功能芯片并实时处理视频图像；v s l 0 0 3 b 用于实时合成m i d i 格式音乐；d d r 2 用于存储程序和各种数据；2 7 m h z 时钟电路用于给d m 6 4 3 7 提供 外部时钟源；j t a g 用于下载和调试程序；电视信号输出用于实时观测调试；另外， 在图中还有如电源模块、复位模块等一些功能单元。下面对硬件电路设计中一些主 9 硕士学位论文 m a s t e r st h e s i s 要模块一一进行介绍。 2 2d m 6 4 3 7 内部结构 采集和处理视频图像，一方面需要对视频解码芯片、存储器等外围电路进行控 制，另一方面要对大量的视频数据进行运算。目前，大家一般采用单片机、d s p 、 c p l d 或f p g a 来作为此类电路设计的中心控制和运算单元。本文选用d s p 作为系 统的中央处理控制模块，因为d s p 拥有处理速度快、内存较大、能够进行密集的乘 法运算等优点，这些都是其他几种类型芯片无法比较的。本文选择1 1 公司采用达 芬奇技术的t m s 3 2 0 d m 6 4 3 7 芯片，该芯片不但具有高速高效的数据处理能力，还 具有片内存储空间大、丰富的片内外设资源等优点，特别是具有针对视频的专用片 上外设v p s s 模块，为视频应用提供了一个理想的核心动力。如图2 2 为d m 6 4 3 7 内部结构功能图。 图2 2d m 6 4 3 7 内部结构图 d m 6 4 3 7 内部主要包括三个部分瞄】：中央处理单元( c p u ) 、存储器和外部设备。 其中c p u 采用t m s 3 2 0 c 6 4 x + i 内核；存储器采用l i l 2 两级片上存储器结构，并且 1 0 硕士学位论文 m a s t e r st h e s i $ 数据存储器和程序存储器分别独立；片上外设包括外部存储器接1 3 ( e m i f ) 、增强的 d m a ( e d m a ) 控制器、视频处理子系统( v p s s ) 、p c 接口、通用目标输入输出( g p i o ) 接口、h p i 、多通道缓冲串行口( m c b s p ) 、定时器等。下面简单介绍本文系统设计 中使用到的内部模块单元。 2 2 1c p u 单元 d m 6 4 3 7 采用c 6 4 x + 内核，该中央处理器包含8 个功能单元，2 个寄存器列表 和两个数据通道【2 3 1 。8 个功能单元分别是：l l 、l 2 、s l 、s 2 、m 1 、m 2 、d 1 、i ) 2 ， 它们分为两组，各由4 个单元组成，每个数据通道包含4 个功能单元；2 个寄存器 列表w b ) 每个都包含了3 2 个3 2 位的寄存器，用来作为数据、数据寻址指针或者 条件寄存器，支持8 比特，1 6 比特，3 2 比特，4 0 比特和6 4 比特定点数据；两个数 据通道除了包括以上功能单元和寄存器列表外，还拥有2 个读内存数据的通道( l d l 和l d 2 ) 、2 个写内存数据通道( s t l 和s 陇) 、2 个数据地址通道( d a l 和d a 2 ) 、 2 个寄存器文件数据交叉通道( 1 x 和2 x ) 。 2 2 2 片内存储器 d m 6 4 3 7 采用两级存储器体系结构。在第一级存储器中包含了一个专用的程序 存储器( l i p ) 和一个专用的数据存储器( l l d ) ，c p u 进入第一级存储器调用时可 完全不经过c p u 管道运转1 2 4 。l i p 和l i d 都可以被设置成为s r a m 和c a c h e 。如 果c p u 需要调用的数据不在c a c h e 中，就在片内第二级存储器( l 2 ) 或者外部存 储器中查找。 d m 6 4 3 7 有2 4 0 k br a m ，6 4 k br o m 的片上存储空问。包含有3 2 k b 可配置 大小的l i pr a m c a c h e ( 其中c a c h e 的最大值为3 2 k b ) ，8 0 k b 可配置大小的l 1 d ( 其中c a c h e 的最大值为3 2 k b ) ，1 2 8 k b 的二级存储器，6 4 k b 的启动r o m t 2 2 1 。 2 2 3 片上外部设备 d m 6 4 3 7 拥有丰富的片上外设资源，这里主要介绍本文所研究的系统中所使用 到的片上外设模块，包括d d r 2 控制器、v p s s 视频处理子系统、e m i f 接口、1 2 c 接1 2 1 、e m d a 3 控制器、g p i o 模块、m c b s p 接1 2 1 模块瞵】。 1 ) d d r 2 控制器 d d r 2 内存控制器支持j e s d 7 9 d - 2 a 标准的d d r 2s d r a m ，而诸如d d r l s d r a m ，s d rs d a r m ，s bs r a m 或者异步存储单元都不支持。d d r 2 内存控制器是 d m 6 4 3 7 中最主要的程序和数据存储控制器。 硕士学位论文 m a s t e r st h e s i s 2 ) v p s s 模块 d m 6 4 3 7 视频处理子系统由v p f e 和v p b e 二部分组成。v p f e 是视频处理前 端，用于外接输入数字视频数据，为多种标准的数字视频输入提供接口，并为输入 的数字视频数据作必要的预处理；v p b e 是视频处理后端，用于输出数字视频数据， 以驱动显示视频图像。 3 ) i 上c 接口 在d m 6 4 3 7 中，1 2 c 总线采用的是p h i l i p s 公司的1 2 cv 2 1 标准。1 2 c 总线采 用两根i o 线：一根时钟线( s c l ) ，一根数据线( s d a ) 。1 2 c 总线通过两根数据线 使任何连接在总线上的器件相互通信，每次传输8 b i t 数据。 4 ) e m i f 接口 d m 6 4 3 7 支持多种格式的外部存储器接口( e x t e r n a lm e m o r yi n t e r f a c e ，e m i n ， 可以连接s r a m 、n o rf l a s h 异步存储器接口( a s y n c h r o n o u se m l f ，。e m i f a - ) 和 n a n df l a s h 接口。 5 ) e d m a 控制器 增强型直接存储器访问( e n h a n c e dd i r e c tm e m o r ya c c e s s ，e d m a ) 是一种数 据访问方式，它可以在没有c p u 参与的情况下，由e d m a 控制器完成l 2 缓存内 存控制器与外部设备之间的所有数据搬移。e d m a 能提供超过2 g b y t e s s 的外部带 宽，支持6 4 路独立触发事件的传输。 6 ) g p i o 接口 g p i o ( g e n e r a l p u r p o s ei n p u t o u t p u 0 提供通用i o 端口支持，可配置为输入、输 出状态，或产生c p u 中断和e d m a 事件。d m 6 4 3 7 一共有1 1 1 个g p i o 引脚。 7 ) m c b s p 接口 d m 6 4 3 7 有两个多通道缓冲串口( m u l t i - c h a n n e lb u f f e rs e r i a lp o r t ，m c b s p ) ，可 支持多种标准的串行协议。 2 3 视频采集模块设计 图2 3 为视频采集模块的硬件设计框图，主要包括模拟电视信号源即摄像头、 t v p 5 1 4 6 视频信号解码芯片以及c c d c 三个部分。视频采集模块的主要功能是把经 过摄像头采集的p a l 制式电视信号发送到视频解码芯片，r v p 5 1 4 6 ，在d s p 中v p s s 模块c c d c 的控制下，经过对视频数据模数转换、亮度、色度和复合信号等相应的 参数处理后送出8 位的数字视频信号，并发送存储到外部d d r 2 存储器中。另外1 2 c 接口负责实现d s p 对”，p 5 1 4 6 芯片的初始化和控制任务。 1 2 d s p v p s s v p f e l l d d r 2 c c d c i 樟拟电视信号源t y p 5 1 4 6 i “”“。”l ， i l c 图2 3 视频采集模块功能结构图 在系统设计中选用安立公司的摄像头j k _ 3 0 9 a 2 6 1 来采集视频信号，并输出p a l 制的模拟电视信号。t v p 5 1 4 6 作为一款高质量单芯片数字视频解码器，可以很方便 地将现有格式的模拟视频信号转换成数字视频。t v p 5 1 4 6 可支持高达1 0 组信号输 入，包括r g b ，y p b p r ，c v b s ，s 信子；接受标准的n t s c 】p a u s e c m 制式的 复合视频信号和s - v i d e o 信号输入，也可用r g b y p b p r 作为输入端；可以将这些 视频信号转化为y u v 格式输出【2 7 】。此外，该数字视频解码器还包括5 线自适应梳 状滤波器( a d a p t i v ec o m bf i l t e r ) 以提供最佳亮色分离效果以及四路可提供出色防噪性 能的1 0 位、3 0m s p s ( m i l l i o ns a m p l e sp e rs e c o n d ) 模数转换器唧。在每一路a d 转 换器之前都有一个相应的模拟电路去调整输入信号的电压、增益和偏移。输出格式 可以选择2 0 位y u v 4 ：2 ：2 或者1 0 位y u v 4 ：2 ：2 。 v p f e 模块包括c c d 控制器、图像预览处理管道、3 a ( 自动对焦自动白色平衡 自动曝光) 、缩放器和柱状图等，组成了一个功能强大而又操作灵活的视频前端处 理单元【2 引。其中c c d c 为图像传感器和视频数据源提供了一个接1 2 1 ，当用于从 c