（计算机应用技术专业论文）语音技术在塔台模拟机上的应用.pdf

塔台模拟机语音合成及识别系统的设计与实现 y6 5 4 2 9 3 语音技术在塔台模拟机上的应用 专业计算机应用技术 研究生李锐指导教师游志胜 随着航空运输业的不断发展，迫切需要更多的管制员。为了适应这一需求， 陆续出现了培训使用的雷达模拟机，塔台模拟机等设备，提高了管制员的实际 业务水平，缩短了放飞时间。为了更好发挥模拟机的作用，我们把语音合成及 识别技术引入其中，实践证明，提高了培训效率，更好的发挥了模拟机的作用。 语音信号处理是信息科学的一个分支，是以数字信号处理和语言学为基础发 展起来的一门交叉学科包括语音编码、语音合成、语音识别与理解等三个丰 要分支。语音技术的引入，进一步增强了塔台模拟系统的整体功能。 塔台模拟机语音合成系统是塔台模拟机非常重要的子系统，它将机长位键入 的操作命令自动生成清晰流畅的航空管制语句，从而降低了虚拟机长的培洲工作 负担，提高了工作效率；另一个方面也提高了航空管制语句的正确性，易懂性，所 用合成语音单元均米自一线机长和管制员实际工作用语，提高模拟机培训所需 环境的真实性。 塔台模拟机语音识别系统同样是塔台模拟机功能增强的一个子系统，使用此 系统后，虚拟机长和管制员无需手工键入管制语句，只需选定雷达图上操作目 标，像f 常工作样口述航管语句，航管语句经本系统识别后可自动转换为目 标的执行动作，从而减轻了培训人员的j l = 作负担，训练环境的真实性进一步得 到增强。 关键词：塔台模拟机语音合成语音识别基音周期叠接相加隐马尔可夫 d t w 塔台模拟机语音合成及识别系统的设计与实现 a p p l i c a t i o n o f s p e e c ht e c h n o l o g y o nt o w e rs i m u l a t o rs y s t e m w i t ht h ed e v e l o p m e n to fm o d e ma i rt r a n s p o r t a t i o n ，m o r ea n dm o r ec o n t r o l l e r s a r en e e d e dc o n t i n o u s l y i no r d e rt om e e tt h i sn e e d ，m a n yk i n d so fr a d a rs i m u l a t o r a n dt o w e rs i m u l a t o rc o m eu pc o n t i n u e l y , w h i c hi m p r o v et h et e c h n i co fc o n t r o l l e r s a n dc u tt h et a k i n g - o n t o w e r st i m e f o rs t r e n t h e n i n gf u n c t i o no ft o w e rs i m u l a t o r , s p e e c hs y n t h e s i sa n dr e c o g n i t i o ni s i n t r o d u c e dt ot h i ss y s t e m i ti sp r o v e dt h a ti t s f i m c f i o ni se n h a n c e da n dt h ee f f i c i e n c yo f t r a i n i n gi sa l s oi m p r o v e d s p e e c hs i g n a lp r o c e s s i n g i sab r a n c ho fi n f o r m a t i o ns c i e n c e ，ai n t e r s e c t i o n s u b j e c t b a s e do n d i g i t a ls i g n a lp r o c e s s i n g a n d l i n g u i s t i c s ，i n c l u d i n gs p e e c h c o d e ，s p e e c hs y n t h e s i sa n ds p e e c hr e c o g n i t i o n t o w e rs i m u l a t o rs y s t e m sf u n c t i o ni s s t r e n g t h e n e dw i t ht h ei n p u to fs p e e c ht e c h n o l o g y s p e e c hs y n t h e s i ss y s t e mi s a r t i m p o r t a n tp a r to ft o w e rs i m u l a l t o r , b yw h i c h i n p u t i n g c o m m a n di n p i l o tp o s r i o n c o u l db et r a n s l a t e dt on a t u r a la n df l u e n t a i r - c o n t r o l s e n t e n c e s ，r e d u c i n g t h eb u r d e no fc o n t r o l l e r sa n d i m p r o v i n gt r a i n i n g e f f i c i e n c y o nt h eo t h e rh a n d ，t h eu n d e r s t a n d i n g a n d a c c u r a c yo f a i r - c o n t r o ls e n t e n c e c o u l db ei m p r o v e d a l ls p e e c hs y n t h e s i su n i t sa r es a m p l e df r o mf r o n tc o n t r o l l e r s ，t h e t r a i n i n gr e a l i t yi se n h a n c e d s p e e c hr e c o g n i t i o ns y s t e mi sa n o t h e ri m p o r t a n tp a r to fs t r e n t h e n i n gf u n c t i o no f t o w e rs i m u l a t o r ，b yw h i c hp s e u d o p i l o tj u s tc h o o s et h eo b j e c tn e e d e dt oe x c u ti n r a d a rm a pa n ds p e a ka si nr e a lw o r ke n v i r o n m e n t 、i t l le n t e r i n ga n yc o m m a n d t h e s y s t e mc o u l dt r a n s l a t et h es p e a kw o r d s i n t oc o m m a n d ，s ot h eo b j e c t , t h ep l a n e , c o u l d d of o l l o w i n gc o m m a n d t h e nt h eb u r d e no f c o n t r o l l e r sc a nb er e d u c e dm o r ef u r t h e r l y k e y w o r d s ：t o w e rs i m u l a t o r , r e a lt i m e0 b j e c to r i e n t e dm o d e l i n g ( r o o m ) s p e e c hs y n t h e s i s ，s p e e c hr e c o g n i t i o n ，p s o l a ，h m m ，d t w i i i 塔台模拟机语音合成及识别系统的设计与实现 第一章绪论 1 1 塔台模拟机概述 近年来，随着科学的进步与社会的发展，并伴随着我国民航运输业的迅猛 发展，使得飞行流量和复杂性急剧增大，对培养训练高水平空中交通管制人员 的需求越来越大。可以说，高水平空中交通管制人员的培养训练，目前己成为 制约民航发展的一个瓶颈，而使用空管模拟训练机对空中交通管制学员进行训 练具有很多优越性：它不会影响飞行安全：可以人工设计各种管制情况，进行 全面训练；同时它不受航班时刻的限制，可以灵活方便地随时进行训练，从而 提高训练的数量和质量。基于空管模拟训练机对空中交通管制人员训练这种重 要性与优越性，因此，国内外一直十分重视各种空管模拟训练机的研究和开发。 空管模拟训练机就是借助计算机技术、系统仿真技术、电子和机械技术等 逼真地再现空中交通管制的实际工作环境，利用模拟的方法进行管制服务，以 较低的成本换取良好的训练效果的一种计算机模拟仿真系统。通常空管模拟i j i 练机能模拟实际的空中交通管制环境，完成模拟航空器飞行的动态计算及辅助 的模拟仿真雷达视频显示。训练机中很重要的一个组成部分就是由位于管制员 位的管制学员，对根据不同训练要求而设定的模拟飞行任务，提供发布一系列 的管制指令，完成相关的管制任务，从而到达对管制学员进行训练的目的。 塔台模拟机就是这样一种模拟训练系统，它通过模拟机场塔台的工作环境 并利用特定的训练题目来训练塔台管制人员，它不会影响飞行安全：可以人工 设计各种管制情况，进行全面训练：同时它不受航班时刻的限制，可以灵活方 便地随时进行训练，从而提高训练的数量和质量从而提供了一种有效的途径使 对人员的单对单培训方式转向大规模集中训练成为可能。欧美发达国家从七十 年代开始研制以雷达模拟机为代表的空中交通管制模拟机，八十年代开始大量 使用空管模拟机培训航管人员。我国曾在国际民航组织( i c a o ) 支持下由加拿 大引进一套塔台视景模拟机，但由于性能不稳定而没有投入实际使用。国内目 前除了四川川大智胜软件股份有限公司外尚无开发生产空中交通管制塔台视景 模拟机产品的单位。 塔台模拟机语音合成及识别系统的设计与实现 1 2 引入语音合成及识别技术的必要性 由上所述，塔台模拟机对管制员的培训起着至关重要的作用，节省了管制 员上岗的时间，缩短了培训周期。但塔台模拟机也存在很多不理想之处，比如 虚拟机长的工作量太大，不仅要与管制员进行必要的航空管制对话，还要听从 管制员的调度，做好虚拟飞行目标的操作，当训练流量较大时，虚拟机长操作 起来更是繁琐不堪，而且现在塔台模拟机对目标的调度要通过人工的命令输入， 虽然随着系统的改进，命令格式和数量都在简化，但还是存在不尽人意之处， 而且现在机场方面要求更加逼真的训练环境，更高的训练质量，显然现在这种 模式很难满足用户的要求，解决这一困境的唯一出路就是引入语音技术，这样 虚拟机长再也不需要手工键入操作指令，只需对着麦克风说出目标所要执行的 命令，目标就会自动执行指令，一切作起来轻而易举，训练环境的真实性也得 到了增强。 1 3 论文的目的和意义 语音技术是一个处于不断发展和完善的技术，很多方面还不健全。无论对 语音合成技术还是语音识别技术，究竟采用哪种实现方法，是和具体项目背景 关联的。塔台模拟机作为航空管制领域的专用设备，很多地方不仅要考虑到语 音信号自身的特点还要考虑到塔台模拟机设备自身的特点，作为一个产品，更 要注重其适用性。那么如何在塔台模拟机上实现语音合成系统，如何实现语音 识别系统，就要和塔台模拟机自身的特点结合起来，做到简而易行。 本文正是从上述考虑方面阐述了系统具体实现的过程。由于是首次把语音 合成技术引入到塔台模拟机中，很多实现细节可能并不是太完善，但毕竟已经 在设备中得到应用，也得到了用户的好评。并且本文也在传统实现方面的基础 上进行创新，根据塔台模拟机的特点，语音合成语音采用基音同步叠加算法， 采用大语料合成手段，不仅合成起来简便，而且也得到很好的合成音质，并且 在需要的时候还可以调整语调，语速，又表现出很强的适应性和扩展性。语音 识别这部分工作处于项目立项时期，本文通过对塔台模拟机项目特点的概述， 语音识别所要起的作用。从而从理论上找出一条有效的识别方面和识别思路。 塔台模拟机语音合成及识别系统的设计与实现 本文的目的就是通过作者在语音合成及识别方面所做的研究，详尽地阐述 了塔台模拟机语音合成系统和语音识别系统的具体设计和实现过程，为塔台模 拟机语音技术的进一步适用起到探讨作用。 1 4 论文的内容安排 本论文的内容安排基本上按照阐述理论基础，设计思路和实现方法的顺序。 论文分为四章，其内容安排如下： 第一章，介绍塔台模拟机的特点，以及引入语音合成及识别技术的必要性，论 文的目的和意义，以及论文的内容安排。 第二章，语音信号处理基础知识，塔台模拟机拓扑结构和软件结构，语音合成 系统和语音识别系统与其他模块的相互关系和作用，为进步阐述塔 台模拟机语音合成系统和语音识别系统起到铺垫作用。 第三章，塔台模拟机语音合成系统的设计和实现部分。首先描述了国内外语音 合成技术应用现状，进而详细了阐述了合成系统的设计思路和实现过 程，以及基音同步叠加算法的改进。 第四章， 塔台模拟机语音识别系统的设计和实现部分。其中包括语音识别技术 的发展历史，语音识别的知识基础，塔台模拟机语音识别系统的重要 性，设计思路和实现过程。 第五章，总结 本文的主要创新点有： 1 首次在塔台模拟机系统中实现了语音合成。 2 根据塔台模拟机实际，提出了基于p s o l a 算法的语音合成设计思想，收到 了很好应用效果。 3 系统地阐述了塔台模拟机语音识别系统的设计步骤，为语音识别系统在塔 台模拟机上的应用奠定了良好的理论基础。 塔台模拟机语音合成及识别系统的设计与实现 第二章语音信号处理基础与塔台模拟机体系结构 在进行系统地阐述塔台模拟机语音合成及识别系统前，一定语音信号处理 知识是必要的，下面是语音信号处理的一些基础知识。 2 i 语音信号概述 语音信号数字处理时- - 1 7 涉及面很广的交叉学科，虽然从事这一领域的研 究人员主要来自计算机和电子工程等学科，但是它与语音学，语言学，数理统 计学及神经生理学等学科，也有非常密切的联系。语言是人类赖以进行思维德 重要工具，因此，语音信号的数字处理与认知科学和人工智能等领域研究，必 然有着千丝万缕的联系。近年来，人工神经网络的研究有了飞速发展，语音信 号数字处理的各项课题也是促进其发展的重要动力之一。同时，人工神经网络 的很多研究成果，也体现在有关语言能信号数字处理的各项应用之中。 语音信号处理涉及一系列前沿科研课题，是目前发展最迅速的信息科学研 究领域中的一个。如同其他数字信号处理的研究一样，语音处理的研究涉及应 用，算法和硬件三个方面。考虑到塔台模拟机实际项目背景，语音合成及识别 系统都是由软件实现，节约了开发资金。 2 2 语音信号处理的应用 语音信号是人类使用最多、最基本，也是最重要的信息载体。语音信号处 理是信息科学的一个分支，是以数字信号处理和语言学为基础发展起来的- - 1 7 交叉学科包括语音编码、语音合成语音识别与理解等三个主要分支。语音 编码的目的是将模拟的语音信号用尽可能少的比特实现数字化，使被编码和压 缩后的信息更有效地在网络中传输或记录在存储器中；语音合成的目的是让机 器生成人类的自然语言；语音识别的目的是使机器能识别人类的语言，从而能 够按用户的语音指令完成有关的动作或提供有关的信息服务。简而言之语音 信号处理的任务是实现人一人、人一机器和机器一人的通信是现代通信领域 4 塔台模拟机语音合成及识别系统的设计与实现 的重要环节。这三方面的基础都是对语音信号特征的认识，都要利用数字信号 处理的一些基本技术来分析和处理语音信号，它们各有特点各有侧重，然而 又相互关联相互促进。由于计算机技术数字信号处理技术和大规模集成电 路的迅速发展，很多极为复杂的、过去认为是不可能实现的设想、现在或不远 的将来也都可以做到。 介绍语音合成及识别前，首先介绍一下语音编码技术，这部分是语音合成 和识别的前提。早期的语音编码技术，包括以取样定理为基础的波形编码方法 和基于人类发育机理分析并提取语音特征参数进行编码传输的参数编码。但音 质较好的波形编码所需数码串太高，数码率低的参数编码声音自然度又太差。 从8 0 年代开始，出现了混合编码技术。在多数新算法中仍将语音信号的构成分 为声道和激励两大部分，但获取它们参数的方法各有木同。比较成功的有两类： 一类是用线性预测法获取声道参数，而用更精细的激励波形取代原来的清浊 音二元激励：另一类则是从分析语音谱的构成出发更细致地获取谱包络和各 频域的清浊音信息，这类称为多带激励算法。编码技术的改进使得编码算法的 评价方法也发生了根本变化。现在通常采用主观评价方法、由许多经过训练的 评听者对恢复的话音进行测听、打分，再统计平均。常用的是m o s 分，共分五级。 四分以上为网络质量，可以进人长途通信网：三四分之间为通信质量：三分 左右为合成质量，能听懂，但自然度很差。1 ) 混合编码算法，线性预测是最 有效、应用最广泛的语音分析技术之一。用线性预测法可以精确、快速地提供 一组估计语音信号的谱幅度，构成声道滤波器用于实时的语音编码系统以及 语音识别和合成系统中。线性预测技术的基本思想是：语音信号当前的一个样 位可以用若干项过去的样位的线性组合来逼近，项数称为线性预测的阶数，各 项的系数可根据实际样位和预测值问的误差最小渡则求得，系数随人讲话时的 口型而作缓慢变化，但在短时内可以认为近似不变，这个时间段称为帧( 通常为 5 2 0 m s ) ，按帧刷新参数。2 ) 码激励( c e l p ) ，每帧语音信号可是完全局期性的 塔台模拟机语音台成及识别系统的设计与实现 ( 纯浊音) 和完全非周期性的( 纯清音) ，但也有二者兼而有之者，如某一频段是 周期性为主其它频段以非周期为主：也有时域上的过渡帧，或者是语音夹杂 背景噪声等。在多带激励模型中将话音按带分为若干段、按段进行清浊音判决。 对某一帧话音而言，其激励可能是周期谱与非周期谱的混合。这种算法反映了 实际情况，具有更好的自然度和较强的抗噪声性能。语音编码技术正向更高的 语音质量、更低的数码率、更强的抗干扰性能、更低的时延等方向发展。除了 更进一步研究人的发音机理和语音的特征外，还要研究人的听觉机理和人耳的 听觉特性，将发音和昕觉结合起来，建立新的模型，用更低的数码率获取更高 的语音质量。 2 3 塔台模拟机的拓扑结构 系统由一系列用于产生相关的模拟操作环境和模拟执行操作命令的硬件和 软件构成，共同完成系统的设计任务。采用这种组件式的设计方法使系统更加 模块化，因而可以适应各种不同的配置要求。基本组件是“席位”或“子系统”， 这些组件是进行空管训练的基本出发点，不同的子系统完成不同的功能，它们 通过以太局域网联接起来组成一个统一的系统。 塔台模拟机语音合成及识别系统的设计与实现 图 l 塔台喇瑚碍勒构或 模拟塔台管制的具体工作场景，本系统以一台服务器为中心，带有多个分 离的计算机客户位，是分布式实时计算机系统。其服务器与各个客户位间通过 网络子系统保证整个系统的协调和一致，使得每个仿真客户机位能够在规定的 时限内完成信息交互，按照严格的时序仿真对象的行动，系统的功能按层次分 配，信息传递可靠、连续、安全。 系统包括实时网络服务器，3 6 0 度视景显示子系统，实时视景生成系统( 高 性能3 d 图形工作站) ，塔台控制员位子系统，模拟机长驾驶员位子系统，数据 培台模拟机语晋台成及识别系统的设计与实现 库生成和管理子系统，通讯子系统以及以太局域网络等组成。各个子系统具体 如下： l ，服务器 服务器为整个系统运算的核心。它在训练开始前，先从数据库中加载已经 编制好的训练计划。在训练中，向塔台管制员位、实时视景生成器和机长位提 供实时计算出的各种目标的状态信息以供显示，同时也接收管制员口述给机长 位的控制目标运动的指令，完成相应目标运动状态的计算。服务器还模拟三维 声音的输出，结合实时运动目标的位置和状态使用d i r e c t s o u n d 虚拟立体音效， 通过环绕音响实现。 2 ，实时视景生成器 负责实时的绘制塔台窗外所看到的3 6 0 度视景。视景生成器显示的内容( 机 场、飞机、地面车辆、特情效果1 均存贮在三维模型文件中，通过建立三维模型 和相关数据库，能够很容易的表现新的机场、飞机和汽车等。视景中运动目标 的运动数据通过网络由服务器实时计算和提供，通过s g i 公司的o n y x 2 专业图 形工作站实现三维视景的渲染，视频信号由3 个( 可扩展至8 个) 投影仪输出。 3 ，塔台管制员位 塔台管制员位是受训学员( 管制员) 模拟训练的席位，它为学员提供除塔 台窗外视景外( 这一部份由实时视景发生器提供) 的所有显示与工作界面。向管 制员显示各种状态信息，如气象信息、模拟雷达显示等，这些信息也通过网络 由服务器提供，同时还能直接模拟控制机场灯光开闭。 4 ，模拟机长位 模拟机长位的功能主要有两个：一个是模拟机长，主要是按控制员通过模 拟通讯系统传来的命令控制地面和空中目标的运动；另一个是完成一些教员功 能，也就是实时地给学员( 管制员) 造成一些难题，锻炼其反应能力，如设定 运动故障、改变气向等。由于这两者的实现都是向系统输入控制命令，有一定 的共同点，所以安排在同一套软件和硬件上。 5 ，数据库编辑管理系统 用以编缉和管理系统运行所要用到的各种数据，包括飞行计划、训练计划、 飞机、服务车辆、机场的有关参数和视景模型数据等。数据库编辑管理模块是 可以离线运行的软件模块，可以置于另外一台局域网上的微机中，也可置于服 塔台模拟机语音合成及识别系统的设计与实现 务器上。 6 ，模拟通讯机 模拟通讯机是用来模拟管制员位与机长位间无线地空通讯的设备，对语音 进行数字化传输，使用先进的多通道同步数字记录仪实现，可以记录和传输多 路语音信号。由服务器通过串口r s 2 3 2 控制模拟通讯机的工作，如控制其通道 的录音、回放等。 2 4 塔台模拟机的软件结构 根据系统基本组件的构成，即各个席位的划分，结合计算机分布式系统实 现中的c s 体系结构，塔台模拟机系统在软件组成上可以相应地分成实时服务 器系统模块、实时视景生成器系统模块、模拟机长位系统模块、管制员系统模 块、数据库系统模块等5 部分，分别对应服务器席位、视景、机长席位、管制 员席位、数据库编辑席位，如图2 2 ： 9 塔台模拟机语音合成及识别系统的设计与实现 图2 - 2 系统的模块分解图 塔台模拟机系统主要是根据塔台管制人员的控制命令进行相应的运算，并 将结果( 即目标状态信息) 以图形的方式返还给塔台管制人员。系统同外界的 信息交互关系如图2 3 所示： 目标状态信息 控制命令 图2 - 3 系统数据流、控制流图 0 塔台模拟机语音合成及识别系统的设计与实现 在系统内部各个位之间用以太网进行连接，服务器系统模块接收控制员发 给机长位的命令，并根据不同的命令进行计算控制目标的运动状态，将计算的 结果以信息包的形式发给各个席位，详细数据流和控制流如图2 - 4 ， 控制命令 图2 - 4 系统内部数据流、控制流圈 标状态信息 各个席位通过网络接口模块的低层支持进行信息的交互，网络接口模块提 供实时的数据包服务，使用户的命令得到最快的响应速度，并保证机长位和控 制员位的随机接入而不影响视景的效果。 1 ，服务器系统模块 服务器处于整个系统的核心地位，管制员位和机长位通过网络进行信息的 交互。服务器初始化成功后，等待各个席位的接入，使用一个侦听端口探测客 户到此端口的连接。各个客户端程序启动后，立即连接到服务器端口，并循环 判断端口连接成功否，一旦端口连接成功就向服务器发c h e e k l n 包表示请求登 记。服务器收到c h e e l d n 包后，处理相应端口的登记工作，并向客户端发初始 数据包( 包括机场数据和环境参数) ，因为初始包较大约3 m ，初始过程较慢。 客户端接收完初始数据包后就向服务器发r e a d y o n 包表示已经就绪，等待系统 运行。服务器接收到客户端的r e a d y o n 包后设置相应的标记，只有收到各个客 户端r e a d y o n 包后才能运行系统，否则使用服务器的运行功能会报警。系统的 塔台模拟机语音合成及识别系统的设计与实现 客户端和服务器端的连接工作类似于三次握手协议，其中网络传输的交接信息 较多，也比较慢。好处是这样能更可靠地完成系统的连接和初始化工作。仿真 系统的初始化工作并不影响运行中的实时性和可靠性，完善的准备工作可以减 少运行中实时传输的数据量，提高系统网络的效率。服务器系统模块同其它模 块的数据流和控制流图如图2 - 5 所示： 机长位系统模块 坊制龠4 竺一弋 f 京统卜触 控制员位系统 图2 - 5 服务器数据流图 服务器同客户端的连接成功后，系统进入可运行模式，通过服务器向客户 端发送d e f r e e z e p a c k e t 包开始系统的整体运行。服务器根据训练计划编制的任 务，计算系统中目标的运动状态或者根据机长位传来的控制命令来控制系统中 目标的运动状态，因此需要服务能够完成对运动目标的计算、对控制命令的解 析、对控制命令的接收和将结果的发送三方面的功能，具体分析图如图2 - 6 图： 塔台模拟机语音合成及识别系统的设计与实现 图2 _ 6 服务器内部数据流、控制流图 当网络信息接收单元接到网络上传来的信息包或者控制命令的时候，该单 元在完成信息包和控制命令的排队后通知命令解析单元对其中的信息进行解 析，并将解析后的结果传给计算核心单元，从而完成目标状态的控制，最后将 计算结果通过网络信息接收单元传给客户端。因此服务器的模块结构如图2 7 ： 塔台模拟机语音合成及识别系统的设计与实现 图2 - 7 服务器模块划分 2 ，数据库系统模块 数据库系统给塔台模拟机系统提供各种各样的数据，如飞机性能参数库、 机场雷达图、场间图、训练计划，飞机，服务车辆和视景模型等数据，并对这 些数据进行编缉和维护。数据库编辑管理模块是可以离线运行的软件模块，可 以置于另外一台联在局域网上的微机中，也可置于网络服务器上。 塔台模拟机是为了给塔台管制人员提供一个逼真模拟的环境用于训练管制 人员，但是没有一个编排良好的训练题目，即使再好的逼真环境也是没有用的， 在训练过程中一个训练题目的好坏直接影响n i j i t 练的效果。 训练题目是以训练计划为单位，训练计划由若干飞行计划组成。训练计划 中的一个飞行计划对应题目中的一个飞机或汽车目标的训练，题目中实现这些 目标的定位和预计运动路线等主要由指令编辑完成。系统初始化加载完一个训 练计划后，在运行中模拟管制员对实时场景的控制，需要管制员语音通知机长 位，由机长位输入相应的指令以控制实时仿真服务器，实现对塔台场景的交互。 由于塔台管制人员工作的特殊性使得训练题目的编制是一项非常复杂、繁 琐的事情，为了能够很好的发挥系统的整体性能，必须在训练题目的编排上有 所改进，使不直观的操作界面直观化，最好能够达到根据要求自动生成训练题 目的水平。经过一年来训练题目的编写和用户的反馈，本节在训练题目自动生 成方面做了一点点探索。 塔台模拟机语音合成及识别系统的设计与实现 在塔台模拟机中训练计划的组成结构如下图所示 图训练计划的组成 一个训练计划是由多个飞行计划组成，而一个飞行计划是由飞机模型、飞 机模型纹理、飞机呼号、起飞机场、目的机场、备降机场、飞行线路等基本元 素组成。飞机模型元素给视景位提供飞机类型信息，比如模型名字为b 7 4 7 ， 则对应飞机为波音7 4 7 类型的飞机：飞机模型纹理元素给视景位提供飞机表面 图象和航空公司标记信息，比如纹理名字为u n i ，则对应模型类型为波音7 4 7 的飞机在这个飞行计划中所属的航空公司标记是美联合公司：每个航空公司都 有在一定时间内固定的飞机呼号用来唯一的标记在一个飞行计划中的一架飞 机，起飞机场、目的机场和备降机场用来表示在一个飞行计划中，飞机的起飞 地、目的地和由于目的机场不适合降落而选择的另一个降落机场；运动路线包 括飞行线路和地面滑行路线，飞行路线是飞机根据飞行计划的指定沿着导航台 在一定的线路上飞行，在各个导航台之间飞机的速度、高度等飞行状况都是根 据民航组织指定的规范进行设定，地面滑行路线是指飞机在停机位到上跑道等 待点所经过滑过的路线。 塔台模拟机系统中对编写训练计划所需的各个元素中运动路线是最为复杂 的，但是在现有系统功能宏命令的支持下可以针对每一种情况编写一个宏命令 用来控制飞机的运动，并根据一定的规则将这些宏命令进行分类。在自动生成 训练计划时，首先，根据题目要求从宏命令中随机选出一个宏命令，然后，从 飞机模型中随机选择一种类型的飞机，并从对应的纹理库中选出一种纹理，最 后根据纹理生成飞机的呼号，这样一个训练计划就自动生成完毕。 塔台模拟机语音合成及识别系统的设计与实现 当飞行计划准备完毕后，给飞行计划进行排队是它们以一定的顺序和间隔 在训练过程中出现，这样训练计划生成完毕。 在自动生成训练计划的过程中，宏命令的准备是最为重要、繁琐、复杂的， 但是如果宏命令的准备比较完善，则会对以后训练计划的生成起到非常重要的 作用。训练计划中各个基本元素之间的相关性是十分复杂的，在开始阶段，人 工对其相关性进行分析，并以树形的结构存储，比如模型类型b 一7 4 7 为根， 则其儿子节点为u n i 纹理、s d 纹理、k o r 纹理等等，由b - - 7 4 7 和u n i 可决定u n i 的儿子节点是u n l 3 2 3 、u n l 3 2 1 等呼号。 3 ，控制员系统模块 控制员位用于模拟塔台管制人员的工作场景给其一个逼真的模拟环境，比 如： 1 模拟进近雷达场面监视雷达显示，向塔台管制人员显示目标飞机的位 置状态信息： 2 模拟飞行数据显示，向塔台管制人员提供训练计划的信息如日期、时 刻、当前机场、目标数等，气象信息如风向、风速、云高、云密等； 3 模拟塔台设备及控制塔台控制员可以通过屏幕上的一组控制按钮查看 当前机场灯光的开关情况( 当然，如果能见度允许，在窗外视景中也可 以看到1 ，并可方便的进行控制，可以模拟如进场灯、着地灯、跑道灯、 滑行道灯等； 4 模拟通讯设备，模以塔台控制员与飞行员之间的地空通话设备，也提 供与地面车辆驾驶员之间的通话设备，以及地面电话通讯的模拟。机 长位系统模块 从以上的模拟情况来看，控制员位的数据流和控制流图如下图所示： 发送信息包控制命令 图2 - 5 管制员位数据流图 ， 塔台模拟机语音合成及识别系统的设计与实现 管制员位接收服务器发送来的信息包，根据信息包中的信息刷新雷达界面 和场间雷达界面，更新飞行数据。管制员通过模拟地空通讯系统来发送指令给 飞机上的机组人员，机组人员根据控制命令操作飞机。 4 ，视景位系统模块 塔台模拟机是在局域网中实现的c l i e n t s e r v e r 模式系统，c s 模式有巨大的 优点，一方面可以大大降低成本，另一方面可以允许多个用户同时使用，并相 互影响，相互作用。在塔台模拟机视景系统中用多线程来实现c s 模式，主要 用两个线程来做，一个是网络数据收发线程，一个是视景显示线程。 图2 一视景位数据流图 目标状态显 网络数据接收线程：是用来接收从s e r v e r 发来的网上数据包。s e r v e r 发来 的数据包有两种类型：一种是视景控制包，一种是视景数据包。视景控制包是 用来改变目标状态、改变天气状态、改变视景帧速等，这种包是不能丢失的， 否则会对整个系统的运行后果完全出乎用户的意外，因此网络数据接收线程必 须对视景控制包特殊对待，保证其数据的完整性。视景数据包是用来改变目标 位置和方向，这种包的重要性不如视景控制包，因为这种包如果丢失，不会影 响整个系统的后果，但是会对视景的视觉效果产生影响，产生目标运动的不连 续性。为了保证正确接收从s e r v e r 发来的数据，我们在内存中开辟固定大小的 缓冲区，用来存放接收到的数据，当缓冲区满时，对s e r v e r 发来的视景数据包 可以采用丢掉的方法，而对s e r v e r 发来的视景控制包，是不能丢掉的，采用在 缓冲区里逆序查找到第一个视景数据包，将其数据丢掉，然后把收到的包插入 缓冲区的最后。同时，网络线程也在需要时将反映系统负载情况的信息包发送 1 7 塔台模拟机语音合成及识别系统的设计与实现 给服务器让其调整发包的速率。 视景显示线程：视景显示线程主要是用o b j e e t 3 d 图形引擎编写的，其优秀 的编程接口，大大提高了视景显示的开发进度。它的主要功能是将网络数据接 收线程收到的数据，从缓冲区中取出，然后刷新整个场景的显示。在视景显示 线程中，要负责显示机场环境、运动目标、气象效果、碰撞检测及特情效果。 以下分别介绍这些组成部分： 机场环境：要模拟显示跑道、滑行道、停机坪、草坪、建筑物、树木、远 山等等，这些是完全以真实尺寸按比例精确构建的模型，为了提高模拟的逼真 度，可以用实拍真彩色照片作纹理贴图覆盖几何模型。因为其中树木的三维模 型比较复杂，我们用一个具有b i l l b o a r d 属性的四边形，再用透明贴图的方法贴 上树纹理来模拟树的特性，这样不但可以大大减少模型中的三角形数量，而且 不影响视觉效果。 运动目标：主要模拟显示各种飞机和地面车辆。支持显示运动目标上的各 种灯光，如前灯、尾灯、航行灯以及从窗户上透出的灯光，所有灯光在白天自 动关闭，夜晚自动打开，支持显示在晴天，运动目标在地面上的阴影效果，阴 影的位置与太阳的位置相关，支持显示飞机起落架的收放动作。为了提高系统 模型的承载量，显示飞机模型时使用多细节层次模型( l o d ) 。 气象效果：主要提供自然环境的模拟手段。主要有雾能见度的模拟，2 4 小 时不同的光照的模拟，雨、雪的效果及风对雨、雪的影响的模拟，还可以模拟 云的高度、种类与对阳光的遮挡作用。 碰撞检测：用于测试空间中两个物体是否发生碰撞，既一个物体是否与另 一个相交。 特情效果：主要模拟飞机引擎着火、碰撞损坏及发生爆炸等特殊情况。这 些模拟主要是预先存好一段特情动画，在发生某种特情时，就调用该特情动画 连续播放一次或多次。还有就是模拟望远镜的效果，用于仔细观察远处的物体， 可以调节放大倍数与视场大小。 塔台模拟机语音合成及识别系统的设计与实现 第三章塔台模拟机语音合成系统的设计与实现 塔台模拟机语音系统进一步增强了塔台模拟机系统功能，简化了管制员的 培训工作，满足了用户的需求。现已成功应用与雷达模拟机中。 3 1 语音合成技术简介 计算机输出的”合成语音”应该是可懂、清晰、自然、具有表现力，这是语 音合成追求的目标。2 0 世纪6 0 年代，英语t t s 系统首先被研制成功。8 0 年代， 我国开始介入汉语语音合成领域的研究。近些年来，在国家”8 6 3 ”智能计算机主 题的支持下，汉语t t s 技术有了长足的进步。虽然目前语音合成技术已走向实 用，但还有许多理论和应用问题有待解决。 1 从应用需求出发，设计出特定应用和通用计算机语音输出系统 ( 1 ) 特定应用的语音输出系统 这种系统适合于特定场合的要求，它可以采用录音，重放技术，或针对有限 词汇采用某种拼接技术，不需要语言理解。如用于航班信息发布、语音报时、 汽车报站等。 ( 2 ) 文字一语音转换( t t s ) 系统 这是基于语音合成技术实现的文字到语音的转换，是通用计算机语音输出系统。 它并不只是文字到语音的简单映射，还包括了对文字的理解，以及对语音的韵 律处理。t t s 系统能适应各种应用的需求，应用领域极为广泛。 2 从采用的合成技术来划分，有基于规则或拼接合成两种技术 ( 1 ) 基于规则的合成 主要是计算参数的轨迹，形成规则，完成语音的参数合成。采用的参数有： - 发音器官参数语音合成这种方法对人的发音过程进行直接模拟。它定义了 唇、舌、声带的相关参数，由这些发音参数估计声道截面积函数，进而计算声 波。 - 声道模型参数语音合成它基于声道截面积函数或声道谐振特性合成语音， 如共振峰、l p c 、l s p 等参数合成器。这类合成器的比特率低，音质适中，易 于实现韵律修改。 塔台模拟机语音台成及识别系统的设计与实现 ( 2 ) 拼接语音合成技术 它的基本思想是存储语音的基元，合成时读取基元、拼接、韵律修饰。拼 按语音合成直接把语音基元相互拼接在一起，输出连续语流。这些语音基元取 自自然语音的词或句子，它隐含了声调、重音、发音速度变化时的细微特性， 合成的语音清晰自然，其质量普遍高于规则合成，但韵律参数修改范围受限。 近年来规则合成逐渐转向拼接合成。其原因是语音基元的存储不再受限， 某些声音如呼吸或爆破音很难由规则合成实现。特别是8 0 年代末，e m o u l i n e s 和e c h a r p e n t i e r 提出了基于波形修改的语音合成算法p s o l a ，使拼接合成得到 很大的发展与广泛的应用。 3 基于拼接合成算法中需要解决的问题 ( 1 ) 声学基元的选择 声学基元是指拼接的基本单位。它可能是音素、双音子( d i p h o n e ) 、三音 子( t r i p h o n e ) 、半音节( 首音、尾音) 、音节、词语、语句等。基元越小，语 音数据库越小，拼接越灵活，韵律修饰的规则就越复杂。 ( 2 ) 声学基元的样板数 对于同一个基元，由于语境不同和重音表现不同，其声学特征有很大差别。 为了减小韵律修饰的负担，可以建立多样板语音数据库。合成时，根据某种规 则或模型选择最为理想的基元。 ( 3 ) 韵律修饰 通常t t s 系统的基元平滑是必须的，其目的是改善合成语音的自然度。而 韵律修饰则反映该系统的功能。韵律修饰就是修改语音数据的声学参数，如基 频、时长、音强等。通过韵律修饰能力，进行重音、语调的模拟，实现语速、 调高的变化。也有一些基于拼接合成的系统，通过多样板的选择来体现韵律特 征，不含有韵律修饰功能。这就是近年流行的基于数据驱动方法的t t s 系统。 在这种系统中，语音数据库非常大，是以尽量多的基元样板数来满足韵律的需 求，而它的基元选择算法也非常复杂。 塔台模拟机语音台成及识别系统的设计与实现 3 2 语音合成技术发展现状 3 2 1 国外发展简介 综观语言合成技术的研究已有二百多年的历史，但是真正有实用意义的近 代语音合成技术是随着计算机技术和数字信号处理技术的发展而发展起来的， 主要是让计算机能够产生高清晰度、高自然度的连续语音。近几十年来国际和 国内的研究主要集中在按规则文语转换，即将书面语言转换成口头语言。在语 音合成技术的发展中，早期的研究主要是采用参数合成方法。值得提及的是 h o l m e s 的并联共振峰合成器( 1 9 7 3 ) 和k l a t t 的串并联共振峰合成器( 1 9 8 0 ) ， 只要精心调整参数，这两个合成器都能合成出非常自然的语音。而最具代表性 的文语转换系统数美国d e c 公司的d e c t a l k ( 1 9 8 7 ) ，该系统采用k l a t t 的串 并联共振峰合成器，可以通过标准的接口和计算机连网或单独接到电话网上提 供各种语音信息服务，它的发音清晰，并可产生七种不同音色的声音，供用户 选择。但是经过多年的研究与实践表明，由于准确提取共振峰参数比较困难， 虽然利用共振峰合成器可以得到许多逼真的合成语音，但是整体合成语音的音 质难以达到文语转换系统的实用要求。自八十年代末期至今，语言合成技术又 有了新的进展，特别是基音同步叠加( p s o l a ) 方法的提出( 1 9 9 0 ) ，使基于时 域波形拼接方法合成的语音的音色和自然度大大提高。九十年代初，基于p s o l a 技术的法语、德语、英语、日语等语种的文语转换系统都已经研制成功。这些 系统的自然度比以前基于l p c 方法或共振峰合成器的文语合成系统的自然度要 高，并且基于p s o l a 方法的合成器结构简单易于实时实现，有很大的商用前景。 最近几年，一种新的基于数据库的语音合成方法正引起人们的注意。在这个方 法中，合成语句的语音单元是从一个预先录下的庞大的语音数据库中挑选出来 的，不难想象只要语音数据库足够大，包括了各种可能语境下的语音单元，理 论上讲有可能拼接出任何语句。由于合成的语音基元都是来自自然的原始发音， 合成语句的清晰度和自然度都将会非常高。 2 1 塔台模拟机语音合成及识别系统的设计与实现 3 2 2 国内发展现状 国内的汉语语音合成研究起步较晚些，但从八十年代初就基本上与国际上 研究同步发展。大致也经历了共振峰合成、l p c 合成至应用p s o l a 技术的过程。 在国家8 6 3 计划，国家自然科学基金委，国家攻关计划，中国科学院有关项目 等支持下，汉语文语转换系统研究近年来取得了令人举目的进展，其中不乏成 功的例子：如中国科学院声学所的k x - p s o l a ( 1 9 9 3 ) ，联想佳音( 1 9 9 5 ) ；清 华大学的t hs p e e c h ( 1 9 9 3 ) ；中国科技大学的k d t a l k ( 1 9 9 5 ) 等系统。这些系 统基本上都是采用基于p s o l a 方法的时域波形拼接技术，其合成汉语普通话的 可懂度、清晰度达到了很高的水平。然而同国外其它语种的文语转换系统一样， 这些系统合成的句子及篇章语音机器味较浓，其自然度还不能达到用户可广泛 接受的程度，从而制约了这项技术的大规模进入市场。一一1 9 9 8 年中国科技 大学在国家8 6 3 计划和国家自然科学基金委支持下，研制成功k d 一8 6 3 汉语文 语转换系统。和采用国内外流行的p s o l a 技术的系统相比，在输出语音的音质 和自然度上有了突破性的提高。k d - 8 6 3 采用了一种全新的基于语音数据库的语 音合成方法，该技术的基本思想是将实际语流中汉语音节千变万化的音变进行 听感上的量化归并，设计出多样本的汉语语音基元库，这个库蕴涵了汉语韵律 变化信息，合成时只要通过对基元库样本的选取便可实现韵律控制。同时语音 基元库中的样本是直接从自然语音中截取，避免了采用信号处理技术获取音变 单元对音质的损