（计算机应用技术专业论文）对移动网络语音评估系统的研究和评测.pdf

北京邮电大学硕士论文：对移动阿络语音评估系统的研究和评测 摘要 语音评估是分析电话网络通话质量的关键技术。本文首先介绍了语音评估的 基本原理以及一些已经成熟的评估方法，并对语音评估系统的通用结构进行了探 讨。在此基础上，对语音评估系统的主要功能模块进行了定义，提出了对语音评 估产品进行评测的方法，分为对评估算法的评测和对应用系统的评测。这些方法 无论是对移动网络运营商的语音评测设备选型还是对语音评估产品的评测都具 有重大的参考价值。 本文分为两大部分，第一部分是语音评估产品的评估算法和应用系统，第二 部分是产品评测方法。 第一部分对语音评估系统作了深入的分析，将其分为评估算法和应用系统， 评估算法属于语音评估的一个研究方向客观语音评估，由于它与另一种研究 方向主观语音评估有密切联系，所以本文在分析的同时，也对这两种方向进 行了比较，讨论了这两者各自适用的范围和作用。对于应用系统，本文综合各个 厂家的语音评估产品的应用系统的共性，归纳出应用系统的通用结构，作为评测 的基础。 第二部分提出了对语音评估产品的评测方法，从评估算法和应用系统两方面 着手。对于评估算法，提出了以r r u t 建议的主观评估方法的评估结果为标准， 比对各种评估算法的优劣的评测实旌方法。对于应用系统，本文提出一系列评测 指标，通过这些指标的测量，用户可以对应用系统的基本功能特性及其质量有一 个全面准确的认识。 本文的研究内容得到了中国移动通信集团公司项目经费的支持，其研究成果 已经被中国移动通信集团公司作为对语音评估方法、系统、设备和产品进行评价 的重要依据。 关键词 移动网络，语音质量，主观评估，客观评估，知觉语音质量测量 北京邮电人学坝士论文：对移动阕络语音详估系统的研究和评测 a b s t r a c t v o i c ee s t i m a t i o ni sak e yt e c h n o l o g yf o ra n a l y z i n gt h ec o n v e r s a t i o nq u a l i t yo f t h et e l e p h o n en e t w o r k 。f i r s t l y , t h ep a p e rn o to n l yd e s c r i b e st h e p r i n c i p l eo f t h e v o i c ee s t i m a t i o na n ds o m em a t u r em e t h o d sb u ta l s od i s c u s s e st h eg e n e r a ls t r u c t u r eo f t h ev o i c ee s t i m a t i o ns y s t e mi n d e p t h s e c o n d l y , t h es y s t e mf u n c t i o nn m d u l e sa r e d e f i n e db a s i n gt h eg e n e r a ls t r u c t u r ea n dar e c o m m e n d a t i o nf o re v a l u a t i n gav o i c e e s t i m a t i o np r o d u c ti sp r o v i d e d ，w h i c hi n c l u d e se v a l u a t i n gt h ee s t i m a t i o na l g o r i t h m a n dt h ea p p l i c a t i o ns y s t e m 。t h er e c o m m e n d a t i o ni sv a l u a b l ef o ram o b i l en e t w o r k o p e r a t o r t os e l e c ta a p p r o p r i a t ep r o d u c t t h ep a p e ri n c l u d e st w op a r t s o n ep a r ti s a n a l y z i n gt h e v o i c ee s t i m a t i o n s y s t e mw h i c hc o n s i s t so f e s t i m a t i o na l g o r i t h ma n da p p l i c a t i o ns y s t e m t h eo t h e r o n ei st h ep r o d u c te v a l u a t i o nm e t h o d t h ef h s tp a r t 菩v e sad e e pa n a l y z i n go nt h ev o i c ee s t i m a t i o ns y s t e m ，w h i c hi s d i v i d e di n t oo b j e c t i v ee s t i m a t i o na l g o r i t h ma n da p p l i c a t i o ns y s t e m 。t h ef o r m e ri sa r e s u l ti no n eo ft h ev o i c ee s t i m a t i o nr e s e a r c h i n gd i r e c t i o n ，o b j e c t i v ev o i c ee s t i m a t i o n 。 t h ed i r e c t i o ni ss t r o n g l yr e l a t e dt oa n o t h e r , s u b j e c t i v ev o i c ee s t i m a t i o n ，s ot h ep a p e r c o m p a r e st h e i ra p p l y i n gs i t u a t i o na n d e f f e c t a st oa p p l i c a t i o ns y s t e m ，i t sc o m m o n c h a r a c t e r sa r ef e t c h e df r o ms e v e r a lp r o d u c t s ，b a s i n gt h ec h a r a c t e r s ，t h eg e n e r a l s t r u c t u r eo ft h ea p p l i c a t i o ns y s t e mi sc o n c l u d e d 。t h ee v a l u a t i n gr e c o m m e n d a t i o ni s a c c o r d i n g a st h es t r u c t u r e t h es e c o n dp a r to ft h e p a p e rp r o v i d et h ee v a l u a t i n gr e c o m m e n d a t i o n ，w h i c h c o n t a i ne v a l u a t i n ge s t i m a t i o na l g o r i t h ma n da p p l i c a t i o ns y s t e m a sf o re s t i m a t i o n a l g o r i t h m ，a f e a s i b l ee v a l u a t i n gm e t h o di s p r o v i d e d ，a c c o r d i n gt o s o m ei t u t d o c u m e n t s 。 t h er e s e a r c h i n gc o n t e n ti nt h ep a p e ri ss u p p o r t e di nf u n d sb yc h i n am o b i l e c o m m u n i c a t i o n sc o r p o r a t i o n ( c m c c ) t h er e s e a r c h i n gr e p o r ti sr e g a r d e dt oa n i m p o r t a n t r e f e r e n c eo f s e l e c t i n gv o i c e e s t i m a t i o np r o d u c t b y c m c c k e y w o r d s m o b i l en e t w o r k ，v o i c eq u a l i t y , o b j e c t i v ee s t i m a t i o n ，s u b j e c t i v ee s t i m a t i o n ， p s q m - 2 北京邮电大学硕士论文：对移动网络语街详估系统的研究和评测 ) 上 1 一 刖! 舌 近几年来，移动通信业务发展迅速，市场竞争网趋激烈，为了稳固并发展移 动蠲户数爨，各运营亵必然要溅避采廷豢菝零，扩褰，往纯等手段，尽力提撰一 个稳定霹嚣，黻务质量良努静移动潮络，更努穗满足羯户鲍需求，这藏涉及至l 对 网络状况憔能的评估分析工作。 以往这方面工作主要采集场强、误码率、掉话率、接通率、话务嫩等参数， 这些参数客观地反映了接入能力，话务量承载能力簿网络状况，是从遮精商的角 度蕊察的结蓉。露移动网络是磷瀵霆用户需求，能褥缆爝户满意，需要从用户的 露瘦褒察移麓瓣络。爱户关心静瓣络状况蠢耘霆覆麓蔻爨、接逶率、籀落率隘及 最重要的撮称通话语音质爨。最后一项指标无法从前述参数中反映蹦来。虽 然误码率、误帧率等传输参数殍口通话质量相关，网前也采用了基于误码率的 r x q u a l 方法来评估通话质量，但是在实际应用中发现，r x q u a l 与用户的真 实蹙受有时禽不一样，并不钱如实她反映用户感受到豹话音质量。因此，测量通 话溪毒矮爨嚣簧专门兹方法傻惩语音浮毽系统。 课题简介 移动网络语音评估系统就鼹专门针对运营商般测网络通话语音质摄的需求 两开发的系绞。它模熬人耳的瞬擞特性，对源语音撵零嵇抟翰螽语音榉零进行对 篦，定量擒遴传输嚣终霹语音痰爨憝影响。获蔼褥爨澍该霹终语音震蘩豹评售结 果。 语音评估系统是运行语音评估算法的应用系统。 评估算法是语音评估系统的核心部分。各厂家的谮音评估产品采用的算法性 能功能虽然糖霄不同，徨都是綦予l h j t e 8 6 1 中撼述的p s q m 算法，遴过调整 参数或毒调熬缝瑾耋垂节发震瑟暴。这些产瑟戆译傣缨豢是否准臻，蘩赖予它掰采 用的评债算法是否很好地模拟了入耳的作用。 应用系统为算法的运行提供支持，并有人机界谳满足实际应用。因为移动网 络是一个大而复杂环境，全面准确评价移动网络通谲质量需要在网内设躐大量的 采样点，每个采样点还要按照不间时段来考察，这么多的数据量的采集釉分析要 求舂一令蠡凌德程度裹，运算速凌蹇，数据容量大戆寂壤系统。 目前己鸯缀多厂家开发遗陂麓的语音评信系统产黯，它们的功髓特谯备有子 秋，投入使用的效果也各有差别，而作为产品用户移动网络运营商，却没有 一个针对此必产品的评测标准可以参考，这不利于蟋藉商选择适合实际情况的产 北京邮电太学_ i 蛋| 士论文：对移动罔络谱酱评估系统的研究和评测 瑟。 运营商需要一个评测规范去排除产品特性繁多带来的干扰，全面凇确地考察 比较各家产晶，从中选出适合自身网络情况的语音评估系统产品。中圜移动通信 集团公司为此设立语音评估研究项目，并委托北邮c t i 中心成立语街评估项目 小组，研究瓣移动网络语音评憾系统的评测方法。 本人在研究生期闫完成的工作 本人担任语音评估项目小组缀长，参与了课题研究的全过程。在小组全体成 员的认真工作下，集体编写完成的项目研究报告通谶了中国移动通信集朗公司组 织的专家评书，获雩寻专家好评，并律为中国移动通德集霆公司今岳俸戴爨瑷鍪选 型静重要徕攥。在评审会之嚣，本入没有淳壹在诧谍黻上豹磺究，骛改事蜜了醑 究报告的内容。在这一年多的时间里，本人在此课题上完成了如下工作： 查阅1 1 u t 文档，主臻耀p 系列关于电话传输质量的文档；搜熊各种具 体语音评估方法的资料；了解主观语音评储方法的过程：理解客观语音 评继算法的原理： 强小缝戏羹一超与曩家囊簧熬语音浮售产熬厂囊敲了技末交浚，了解蓦 前溅经投入使用的语蠢评估系统的性熊，构戚，工作原理流程，使用酶 算法思想； 根据相关电信标准，确立对评估算法的评测方法： 根掇调研的结果，综合考虑各家产品的特饯，剔除与语音评估联系不紧 密瓣内容，惑绥、分掇势l 蔗纳塞语考译接系绞筑逻辑模型； 在掰提出的语音评佶系统模型斡基础上，邋道深入研究，拣造一个虚攒 的联想的语音评估系统，与小组成员一起以这个虚拟系统为旗猴，分工 制定质量评测指标。 项蹦结束后，仍然继续对评测方法的研究。 除了诱渗译倍矮壁，在磅究爱麓鬻，搴a 还骰了菇下工幸# ： 在d m r 4 项目测试本项瞬开发的d i a l o g i e f a x v o i c ea p i 函数库的部分函 数； 开发宪成d t c 4 语音呼叫平台的外拨管理模块： 参与起草中国移动通僚祭毯w a p 捌蹦s 删a 张综合嬲管规范。受黉其中 w a p 霸主瓤篱瑾蘩努。 北京邮电人学碗十论文：对移动网络语音评估系统的研究和评测 论文内容 本文首先力图从众多的语音评估产品中抽取共性，明确“语音评估系统”的 概念，分析其系统结构，界定其各部分功能流程，建立一个通用的逻辑结构，然 后，针对目前缺乏评测此类产品可遵循标准的情况，提出一套评测语音评估产品 的方法，供移动网络运营商选择产品参考。 本文共分五章。 前两章分析语音评估系统，分为评估算法和应用系统两大部分。 第一章是对评估算法的分析。评估算法属于语音评估的一个研究方向客 观语音评估，它与另一个研究方向主观语音评估关系密切，后者在对评估算 法的评测上有重要意义，所以这一章对这两者都进行了介绍，同时对这两者进行 了比较，讨论了这两者各自适用的范围和作用效果。 第二章是对应用系统的分析。这一章归纳了已有语音评估产品的共性，给出 应用系统的通用结构，明确系统的基本测试流程，为评测研究提供一个不偏向于 产品特例的语音评估系统的通用结构。 随后两章提出评测方法。 第三章是对评估算法的评测。提出对现有语音评估产品所使用的评估算法的 准确性进行评测的方案。 第四章是对应用系统的评测。提出对现有语音评估产品各项质量特性进行评 测的方案。 最后一章归纳本文观点，总结在语音评估项目过程中的心得体会。 北京邮电太学硕士论文：对移动踊络谱啻谔估系统研究和评测 1 评估算法 按照对褥音质量进彳亍判定的依据不同，语音评储分为主观和客观蹲种研究方 彝。猿器太瀚主褒惑受寒翔宠磷毒葳量翡穗秀主鼹语鬻浮售；穰鬃算法豹执行系 票亲裁定语窝薅量錾称鸯容溉语鸯译继。这两者瓣依据不题，掰班蠢评毽效采、 适用范围、性能效率上都有很大麓射。语音评估系统使用的评估算法属于客观语 音评估。主观语音评估虽然没谢成用在语音评估黑娩上，但是与评测工作密切相 关，这一虑将在第三章中阐明。本章着重对客观谮费评估的分析，比较逡两者的 差异。 嚯。嚯主观语音评信 主观戳街评估研究时间比较长，目前国际上公认的线已形成决议的主观评估 方法存：沿酱静蹰疫姥鞍( 响魔参考当量) 、清晰度参考当量、通话意见调查和 浚氍疆点测试法。器器音评穗壤曩禧关魏主鬟评储方法莛毅舞撬煮潮试法。下匿 簿要赍绢该蔓或译链方法，委邂一步戆说馥请参澜i t u t r 8 0 0 。 用收晰视点测试法进行盘观音质评估，评估对魏是成对出现的语渚样本，每 一对样本的篇个样本是原始静，第二个样本是第一个样本的失真语街。听测人 此较两者的旗爨，在印好的表格中选择对应语音的详髂结果。评估结果称为m o s 篷，有五个等缓，螽表 示： 袭1m o s 值含义 受环境、燮理、心理等嚣索鹣影豌，辑嚣天翡评髂结象是不稳定。靛，羲量 甄溅天令镩之湾存在差冥犍窘。掰黻一菠豹敲法是，缀织足够多瓣瞬溅人员，最 。不稳定是指对于同一对语音样本，同个嘶测人在不同因素影响下可能得出不同的评估结粜一 。差异性是指埘于问一对语音样本不删的昕铡人可能得出不同的评估牯果a 北京邮电大学碗士论文：对移动网络语音评估系统的研究和评测 后将对评估结果做统计分析，以减少上述不稳定和差异性的影响。 可想而知，主观音质评估不仅费时费力，而且往往受到种种测试条件的限制 和测试人员主观因素的影响，使得测试结果的可靠性受到一定的影响，尤其不适 于在大规模网络中的多点测试。 在这种情况下，遵循客观语音评估研究方向的评估算法由于适宜计算机实 现，有利于评估过程自动化，逐渐得到发展。客观语音评估最先是为评估语音编 码器设计质量提出的，但是现在它已经被广泛的应用在语音设备的开发、研制和 通信网络规划、建设以及优化之中。 1 2 客观语音评估 客观语音评估方法一般可以分为时域、频域和听觉域的评估方法。时域和频 域评估方法是利用网络中的一些客观参量来反映语音质量，如信噪比。但是这些 客观参量不能充分体现实际语音质量，反映人们的主观感受。而昕觉域评估方法 是对主观感受过程进行一定程度的模拟，所以更受关注。由本章开始，除特别说 明之外，出现的“评估算法”、“客观评估算法”都属于听觉域的评估方法。 听觉域评估方法的工作原理基于人耳的听觉模型。人耳的听觉模型将人的听 觉系统对声音信号处理分为3 个阶段：分析、传递和还原。分析阶段主要考虑耳 蜗的分频效应，在传递阶段，声波沿基膜传播并在听觉神经纤维内产生电流，最 终传入听觉中枢，而还原阶段是听觉系统提取语音，诸如：音质、音调、时域和 位置信息的阶段。可以认为语音信号的这种表述形式去除了冗余数据而保留了语 音的基本特征。实际上整个过程可以理解为一个语音特征的提取过程，听觉域评 估方法在提取语音特征的过程中就充分考虑了人的听觉特性。 现有的客观评估算法一般基于输入输出语音之间的失真程度，其基本思想都 是将输入输出语音做一定的变换( 时域、频域和听觉域) ，比较变换后两个语音 的差异，以差异的大小来衡量失真的大小。图l 说明客观评估算法的基本流程。 典型的客观评估算法有： b a r ks p e c t r a ld i s t o r t i o n ( b s d ) m o d i f i e db s d t e l e c o m m u n i c a t i o no b j e c t i v es p e e c hq u a l i t y a s s e s s m e n t ( t o s q a ) p e r c e p t u a la n a l y s i sm e a s u r e m e n ts y s t e m ( p a m s ) p s q m p s q m + 其中，p s q m 是i t u 推荐的话音带宽语音编码器质量客观评估方法的标准。 。参见i t u tp 8 6 1o b j e c t i v eq u a l i t ym e a s u r e m e n to f t e l e p h o n e _ b d ( 3 0 0 3 4 0 0h z ) s p e e c hc o d e c s 北京邮电大学硕士论文r 对移动网络语音评估系统的研究和评测 目前，大多数语音评估系统使用的评估算法是以p s q m 为基础发展而来的。 图l 客观评估算法的基本流程 1 3 p s q m 算法 p s q m 是评估语音带宽( 3 0 0 3 4 0 0 h z ) 语音主观质量的客观方法。虽然p s q m 首先用于语音编解码器的优化、改进和选择，但它也能用于网络规划和运营网络 测试。 p s q m 通过比较失真语音( 比如：通过语音编码解码器和网络传输过来的语 音) 和参考语音来评估失真语音的质量。在p s q m 算法中，参考语音和失真语 音都被映射成能够代表人类听觉感受的心理声学表示形式。失真语音质量判断的 基础是这两者心理声学表示上的差别。 计算前，参考语音和传输后的语音必须通过时间校准，校准过程对每个语音 样本重复执行，因为每个句子通过传输系统后都产生不同的时延。从时间域到心 理声学域的转换通过下列步骤完成。参考语音和失真语音进行相同的转换步骤： 1 ) 计算每一帧的功率谱密度，每一帧由2 5 6 个样本值组成； 2 ) 每一帧都做频域到临界带宽的转换，该转换试图模拟人耳处理不同频率 信号的方法，频率越高其分辨能力越低； 北京邮屯大学硕士论文：对移动网络语音评估系统的研究和评测 3 ) 逶避诗算参考语音中繇一簇豹功率帮失囊谣鸯中对应搂囊率懿魄毽，褥 到失真语音中每个帧的比例因子，通过该因子处理失真语音盼锋一帧， 目的是去除增益变量的影响； 4 ) 通过个模拟听筒的滤波器，对参考语音储号和失真语音信号滤波。使 攫i t u 攘荐的e 8 3 0 娩范中提到豹修改i r s 滤波器： 5 ，溪麓煞臻声。热臻声援撼了接l 雯环境中豹环缓臻声； 6 ) 模襁人耳对声音从强发潮听觉晌度的转换，其结果是将每一桢的每个临 界频率出的强度值转换成响度值。 在p s q m 中定义了感知模缴，用来模拟大脑对听觉响度的解释( 例如大脑 如何通过骈擞响度判断语音质掇) 。如下是感知模拟中的操作： 类纛装上透繁三步对失爽避鸯嚣响凌基进行楚壤； 2 ) 计算每个顿在每个临莽黪宽颓率上参考诿裔秘失真语音响度镶豹差异， 结粜得到噪声干扰值； 3 ) 不澍称处理； 4 ) 确定静音间隔，当帧的总_ 功率低于一定值就认为是静音。分别计算静音 椟鞠 # 静音犊豹于撬平均毽，p s q m 值藏鼹静考秘菲静音平均稳豹趣投 毒瓣。 p s q m 辫法得的结果是0 列6 5 之间的值。0 代袋被测语音没有失懿，6 5 代 表最严重必真。通过映射可以将p s q m 值可以转换成m o s 值。 图2 楚p s q m 算法结构和流程示意图。o 8 引自i t u - ti 。8 6 1o b j e c t i v eq u a l i t ym e a s u r e m e n to f t e l e p h o n e - b a n d ( 3 0 0 3 4 0 0h z ) s p e e c hc o d e e s , f i g u r e3 - ，- 北京邮电大学硕士论文：对移动网络语音评估系统的研究和评测 图2p s q m 算法结构和流程 北京邮电大学硕士论文：对移动网络语音评估系统的研究和评测 2 应用系统 应用系统为评估算法提供一个运行支撑环境，还提供人机界面让用户了解评 估结果。这两者之间的关系如图3 所示。评估算法作为一个数据处理单元，具有 简单的输入输出接口。应用系统负责采集算法的输入参数：源语音样本和传输后 语音样本，然后调用评估算法，输入参数，计算出评估结果，再将评估结果用各 种形式表现出来。 陶3 评估算法与应用系统关系示意图 目前已有不少语音评估产品投入使用它们的应用系统各有特色，在性能、 界面、操作还有功能方面都有很大不同。为了使评测标准具有一般性，适用于各 种语音评估产品的应用系统，有必要确立个应用系统的通用结构，这个通用的 系统结构并不对应任何一个实际产品，它描述了一个具有最基本功能的语音评估 系统。通过它来明确应用系统应该具备的基本功能及工作流程，在此基础上提出 评测标准，考察语音评估产品是否满足这些基本功能及其工作流程，进一步考察 产品的易用型、可靠性等特性。 在归纳这个通用系统结构的时候，考虑以下原则： 只保留对用户获得评估结果不可或缺的功能模块，流程； 尽量不对实现方式做具体规定。 最终，我们项目组认为，一个语音评估系统应该具备以下功能： 能够在网络覆盖范围内，采集经过网络传输的语音样本； 能够把采集到的传输后语音样本同未经过网络传输前的源语音样本对 应起来； 北京邮电大学碳士论文：对移动网络语啬评估系统的研究和评测 麓够诞磊译嫠羹法； 熊够向用户表现评估算法的结果； 能够存储海量的测试。数据； 能够分别获得对移动网络上下行链路的语凿评估结果。 经过对备家产品的调研，综合与厂家的技术交流内容，我们确立语漤评估系 统戆遁矮终褥，译霓下节内容。 2 1 语音评估系统通用结构 语音详估应用系统的通用结构如图4 所示，语礴评估中心和m t u 怒一对多 的关系。多潞m 瓤7 在网络孛穆麓，不甄与语音评镄中心通狺，测试上下行链踌 静逶话蒺爨。餮4 嚣示懿逶弱绥褥，与其薄荟家厂鬻产瑟酶臻爱臻袭麓努罐；穆 可能有所不同，但是各个功能模块都能在具体产晶巾找到相对应部分。部分厂家 语音评估系统集成在网络优化系统中，附带了其他功能，由于本文的重点是研究 语音评估，所以只关心用于完成语音评估工作的必鼹功能模块。 图4 中， 匿4 谬海详 塞系统逶蠲结构 。测试的禽义见“用词定义”。 北京邮电大学硕士论文：对移动网络语音评估系统的研究和评测 m t u m o b i l et e s tu n i t 移动测试单元。作为移动终端设备，m t u 接收语音评估中心发出的 语音样本测试不同时段地点的下行链路的通话质量。除包含g s m g p r s 通信模块 之外，还包含语音质量分析处理、地理定位等必要的功能模块。 m t u 一控制调度模块 控制m t u 各个模块协调完成测试流程。 m t u 一通信模块 接受语音评估中心的呼叫，或者呼叫语音评估中心，建立并维持测试所需的通话链路。 m t u 一分析处理模块 存储供评估算法比较的高质量的源语音样本；接收存储经由无线网络传输，m t u 通信模块获得的声音样本：使用评估算法进行语音传输质量的测试； m t u 一定位模块 提供当前语音样本采集点的地理信息，有多种技术可供选择，最常见的是g p s 定位。 m t u 一存储器 储存测试结果，以及一些必要的声音样本。 语音评估中心 由接入管理、控制调度、分析处理、信息显示等功能模块，配合数据库构成。接收 m t u 发出的语音样本，测试不同时段地点的上行链路的通话质量，储存上下行链路测 试结果的历史数据，分析评估移动网络的语音质量，通过人机界面显示评估结果。 语音评估中心一接入管理模块 适配m t u 的多种呼叫方式( 如p s t n 、i s d n ) 接入；接纳多个m t u 发起的呼叫，并 进行排队：分配同多个m t u 建立的话路 语音评估中心一控制调度模块 控制测试流程；配置测试参数；控制语音质量测试中心的其他组成部分，共同完成对 语音传输质量的测试以及语音质量劣化原因的分析和显示。 语音评估中心一分折处理模块 存储供评估算法比较的高质量的源语音样本；接收存储经由无线网络传输，语音评估 中心一接入管理模块获得的声音样本；使用评估算法进行语音传输质量的测试；综 合大量采样点得出的评估数据，并进行深层次分析，以便能够描述移动网络的传输状 况： 语音评估中心一信息显示模块 以不同浏览形式将评估结果展示给用户 北京邮电大学坝十论文：对移动阿络语音评估系统的研究和评测 语音评估中心一数据库 存储各种上下行链路测量结果以及分析处理后的一些数据 2 2 工作原理 语音评估系统尽可能真实地模拟移动用户使用话音业务的情况，使用移动终 端拨打另一部电话，接通后，一端发送源语音样本，经移动网络传输后，被另一 端接收。接收方预存了一份相同的源语音样本，随即调用算法，计算源语音样本 和传输后语音样本的差别程度，由此分析网络对语音的影响。 通话质量有可能是不对称的，即，上行链路和下行链路的通话质量有可能相 差很大，语音评估系统有必要将上下行链路分开测试。所以，不能使用移动终端 拨打另一部移动终端的方法来测试，因为在这种情况下，源语音样本必须经过一 段上行链路和一段下行链路的传输，才能被另一部移动终端接收，最终无法判定 话音质量不好是因为上行链路存在问题，还是下行链路存在问题。 实际测试中，都是通过移动终端( m t u ) 拨打固定电话( 语音评估中心) ， 或者固定电话( 语音评估中心) 拨打移动终端( m i u ) ，建立点到点的通话链路。 在这条链路上，双方交替发送源语音样本，接收方将收到的传输后语音样本同预 存在本地的源语音样本比较，使用评估算法得到比较结果_ m o s 值，该m o s 值就反映了当前这条链路的语音质量。 2 3 上行测试流程 北京邮电大学硕士论文：对移动网络语音评估系统的研究和评测 图5 上行测试流程 f 1 1 语音评估中心向m t u 发送上行测试操作指示； f 2 1m t u 向语音评估中心发送特定的语音样本； f 3 、语音评估中心的接入管理模块将收到的语音样本传给本地的分析处理 模块，后者会根据接收到的语音进行分析，得出上行链路的传输质量； 语音评估中心的分析处理模块将最终结果以及相应的数据导入数据库： f 5 ) 网络维护人员通过语音评估中心的信息显示模块查询特定时期或特定 地点的语音传输质量。 北京邮电人学硕士论文：对移动劂络语音评估系统的研究和评测 2 4 下行测试流程 图6 下行测试流程 ( 1 ) 语音评估中心的控制调度模块发出下行测试指令； ( 2 ) 语音评估中心向m t u 发送特定的语音样本，m t u 会根据接收到的语音 进行分析，得出上行链路的传输质量； ( 3 ) m t u 通过某种途径向语音评估中心的分析处理模块传送下行测量结果， 分析处理模块会对接收到的数据进行深层次的挖掘； ( 4 ) 语音评估中心分析处理模块将最终结果以及相应其它数据导入数据库 服务器： ( 5 1 网络维护人员通过语音评估中心信息显示模块查询特定时期或特定地 点的语音传输质量。 北京邮电大学硕士论立：对移动网络语音评估系统的研究和评测 3 对评估算法的评测 3 1 思路 目前，现有的算法几乎都具有类似结构，但是在信号处理，听觉模型和差距 计算三个环节上存在细节的差异。 既然各种客观评估算法都是对人耳听觉特性的模拟，那么就可以通过比较各 种客观评估算法对人耳听觉模型的仿真程度，看哪个算法的模型更能反映人耳本 身的听觉特性。但是该方法不能从本质上证明客观评估的优劣，只能从直观上分 析和比较一个客观评估算法的好坏。在开发一个新的评估算法时更多的用到该方 法：通过对现有的类似算法的分析，增加或改进其中的仿真步骤和处理过程来设 计新的评估算法。 评测一个算法的好坏，最直观、最现实的做法是比较评估算法所得的m o s 值和主观评估所得的m o s 值之间的接近程度。因为算法本身就是对主观评估过 程的模拟，所以，如果算法得到的结果和主观评估的结果完全吻合，就认为它可 以完全等效替代主观评估，也就完全达到了设计客观算法的目的。 由此得到评估算法更通用的评测的准则：比较评估算法所得的m o s 值和主 观评估所得的m o s 值之间的接近程度，评估算法的结果越接近主观评估的结果， 该算法的准确度就越高。 虽然语音评估客观算法设计的意图并没有专门针对某个特定的网络环境、语 种或方言，但是目前存在的语音评估客观算法在不同网络环境、方言和语种条件 下得到的评估结果和主观评估结果的相关度的确存在差异，适应任何网络环境、 方言和语种的语音评估客观算法是不存在的。因此要想评测语音评估客观算法的 好坏，通常需要和网络环境相结合，在不同的环境条件分别得到评测结果。 3 2 实施方法 根据上述的评测准则设计对语音评估算法评测的实施方法，其流程框架如图 7 所示： 北京邮电大学硕士论文：对移动网络语音评估系统的研究和评测 图7 对语音评估算法评测的流程框架 评测结果 流程步骤如下： ( 1 ) 按照i n j te 8 0 0 中对语音材料和录音者的要求，录制源语音样本； ( 2 ) 让源语音样本经过测试环境，得到传输后语音样本； ( 3 ) 使用主观评估方法处理这对语音样本，得到评估结果m o s 值； ( 4 ) 分别使用不同的客观评估算法处理这对语音样本，得到各自的评估结果 m o s 值： ( 5 ) 将主观评估方法的结果m o s 值逐一同每种客观评估算法的结果m o s 值作相关性分析，得到该算法的p 值( 计算方法见说明三) ； ( 6 ) 考察每种算法的p 值，p 0 ，则表明该算法不合格，0 和操作服务、 维护和支持人员。 囊要，。黎耩* 。熊。囊矗 蕊纛蠹：i i 羹。l i 懑纛霸囊蒸雾鐾纛i 囊囊毳蠢；囊l 囊囊 嚣鬻；瓣誊墨磊蠹j i 4 i 蚕鏊连曼0 点- 蔓蠹 测试数据鬣从采集点数鬣、采集历史长度、 每时刻每个深熊点数据量估算测 试数据占用的存储空间。 日志增长速度根据日常工作量，估算日志占用 空阉的增长速度。 。话疆露求壤据m t u 数爨、嚣零工终量、溅 试流程的参数健算评佶中心露要 开通的话路数懿。 上传数据速度如果m t u 能够实时上传测试结 果，可以根据日常工作量和测试 流程的参数，惦算上传的速度。 掇表数量旗秘试数据蕊、鞭表内容估算周 辩掖表熬数爨。 4 3 5 易用性 与一缀瓣定或潜在豹翅户麓搜羯袈 孛所霉 霉豹努力嚣慰这捶鹣使用掰季筝豹 评徐有关酶一缝满往。 “用户”可按最直接的意思解释为交互软件的用户。用户可包括操作员，最 终用户和鬣使用该语音评估中心影响或依赖于语音评估中心用户。易用性针对语 北京邮电大学喇士论文：对移动网络语膏件估系统的研究和评测 音稃馋中心涉及鑫耱不同爱户舔麓豹全部，哥麓毽捂链露瓣准蔷霜露绥莱沟评 价。 本文的翁使用性不同于由人类工效学观点所下的定义，在后者中篡他特性诸 如效率和效果也被看作是易使用性的组成部分。 撕_ 参贺镬黔s 翻簪 溉；# * 鬻尊煮撞目；雕：强# ，篓蕃 燃l 鬻囊羹i 霞爨戮囊黧然戆戮l 蒸囊囊l 麓灞戮| ；| 囊囊囊羹萋7 用户手麓辅述如侮安装调试评德中安装使蹋手蕊柱内窖方面 心：如何启动关闭评估中应该遵循如下原则： 心，执行指定功能，排除简 不遗漏往俐一埙评估 单故障，应对突发事故：如中心提供的网络测试 何配置修改m t u 各项参功能； 数，调节工作性能的文辎资 _ 所描述躲剜络测试功 孝莘。 齄爨藐在译睡中，玉中 我到，并鼠操作步骤 一致。 另外，手册谯可读性方面 应遵循如下原则： 术语名词含义准确， 藏嚣一致； 揉佟滚疆觳港清麟； 一 明确指出可能导致严 重后果的操作。 信息显示目显示信息相关的一组装信恳显不h j 以艇多种方式 置。显示信息内容包括：的结合，可自包括彩色显 用户界面 当藏援态信息示器、指示灯、舞关方向 溅试流翟提示壤塞等等，餐都要遵霉蒌棼主下嚣 告警信息戴： 一操作提示 信息显示准确及时 i l l 测试结果 一 信息显示的糟度稳定 一深层分析结果 一 信息显示既歧义 一参数信息 _ 重要信息照涿嘉醒目 m t u 菇息 摄锋鬻户对语音评甓孛心羧密撵薅趣宫多令撩令 | 葶刭， 搔令序列的动作，这些搬令同时每个指令序列又可能 懊括：有若干个分支，其设计遵 一开，关机循以下原则： 一 启动，停止测试流穰 每一项操作都有相应 配置参数的信息显承 蓝控m t u l 操终功能焉城里 测蔓艘素测试缨聚 一 尽量遴凫麓户谟操作 一 浏览深层分析结聚 一 对于耗耐的操掉应提 供“停止”的指令 龙京掷电= 惫j 攀辅士谂文：辩黪磅掰络瓣莆译毽系统弗研究帮详瓣 安装占蘑餮瓣涟接疆嫠爱备，簸镪款佟，安装占孀黉添憩括： 调试袁至可羧遐抒垒郝功_ a 懿数蛰 能，这一过程蜜装粳卡、 一 a 爨技术东5 f 琏线，复制程序、黼麟参数工具设镊 等) 所占资源。耗赞饕毒斓 羹占龋察溺 安装臻餐安装浮蘩孛颤辩繇壤静要圭藜燕瓣枫摩熬要蕊。安 袋。装琢麓辫素圭受趣耩： 蜜装 一 安装健鬣 机挺尺寸 羹毫气遗躐 彀秀供躐 天魏参数 l 嚣冀蕊溪转 l 撩佟蘩豁 - 数据撵潜疆鬣统 计算机网络 初级瞥理攀习时擎套启动腿攒详储中心， 避器羯窝躺，热嚣，蒋妊溅斌滤程 瀚辩窝。 迸酪蛰莲学嚣辩学套配置译露孛，轰骥参 闻数，远程盆羟m t u ，躺决 简单问题的时阔。 谶览臻怠攀麓瓣擎会镘焉谖镱串寤渊笺艘 勰索瘸l 解溅试终袋、灏穗癸 辑壤暴魏辩弱。 。3 7 。 北京邮电大学硕士论文：对移动网络语音评估系统的研究和评测 运行占用资源评估中心正常工作，执行所 运行所占用资源包括： 有网络测试功能，维护管理 占用空间 功能显示相关信息，这一_ 操作人员 期间占用的资源。 人员的技术水平 用于运行评估中心的 计算机 一存储空问 计算机网络 _ 运行支撑设备 电力 _ 接入网信道 _ 移动网络信道 注i ：如果评估中心与其 它系统共享计算机资源， 还必须考虑前者占用的 c p u 、内存等计算机资源。 注2 ：存储空间是一个会 不断增长的资源，所以专 门把它从计算机资源中提 取出来单列一项。 运行环境评估中心正常工作对环境运行环境主要包括如下因 的要求。素： 温度 湿度 电源 网络性能 屏蔽物 配置至“准备好”评估中心从刚安装好的初 状态所需时间始状态，配置各项参数直至 可以开始运行测试流程，浏 览各种信息这一过程所需 时间。 启动时间从评估中心全部设备关机 状态开始，开机运行测试流 程，到有语音评估结果输 出，这一过程所需时间。 执行一次测试过一次测试过程的含义见前 程所需时间文的术语定义。 接收下行流程测评估中心接收存储在 试结果的方式m t u 出的下行流程测试 结果可以有多种方式。比 配置 如g s m 的c s d 方式，或 者g p r s 链路，或者拆换 存储器等等。 北京邮电 学硼士论文：对移动网络语音评估系统的研究和评测 源语音样本库导入源语音样本库的途径，全面地评估通话质量需 样本的规格要求。要使用不同的样本反复 测试，所以源语音样本库 要足够大，样本特色要足 够丰富，才能够反映真实 的通话。该项指标考核语 音评估中心导入样本库 的接口，生成样本库的方 法参见“第四章对评估 算法的评测”。 所发送的源语音随评估算法的不同、网络 样本长度状况不同，需要调接供测 试的源语音样本的长度。 存储传输后语音在何种睛况下存储m t u 通是否存储传输后语音样 样本的条件过移动网络发来的语音样本，存储什么样的传输后 本。 语音样本。比如语音质量 为何种程度时，要存储传 输后语音样本。 上下行测试的可以修改如下参数：一般m t u 都能够根据预 参数 一 上，下行切换的频率置程序或者评估中心发 _ 每次上下行测试的时来的指令控制上下型测 长试的切换，这种情况下， 一 每次测试使用的样本能否灵活配置上下行测 _ 样本循环擂放的次数试的各种参数非常重要。 可以有条件地修改参数：上行测试和下行测试是 _ 不同地点使用不同参受什么控制交替进行的， 数 _ 不同时间段使用不同 参数 - 不同测试结果改用不 同参数 一 不同运营商的网络使 用不同参数 主被叫切换m t u 和语音评估中心，在 某一时刻，谁为主叫，谁为 被叫，如何确定，能否修改。 日期时钟调校系统日期时钟。 4 3 6 维护性 与进行指定的修改所需的努力有关的一组指标。 注：修改可包括为了适应环境的变化以及要求和功能规格说明的变化而对语 音评估中心进行的修正、改进或更改。 乾京档魄大学疆士论文：对移动瓣络语音译售系缝豹研究翻详测 。 黼瓣“r“”二i 蓖啊融“强鬟； # 4 #，；m ，目啦q u n j ”嚣o ：g i i 撼 i 骧i 嚣；墓g 甏l 灞浚l l l 誊i 。一i 、一 更改接入方式更改接入电话业务网的方 式 调整数据耀管理改变数据库鹫瑷系绞的配比如升级版本、改变访瓣 系统置。 参数、教交蠲户投疆等等。 调整地理信息系改变遗理信息系统的配诧如升缀版本、改变访问 统置。 接口等蒋。 调整评估算i 去修改，更换评估辣 击。 比如改燮算法输入参数格 可扩展性 式，改变髀法输出格式。 增加采集信患内比如m t u 采集数据增加 容了当魏袋集熹的瞬舜速 度，这嚣季嵇评菇中心也要 作相应的改动。 增加信息显示方增加显示信息的手段、二 比如增加阔表、增加数据 a次处理方法。 相关性分析。 二次开发接朋一组提供给用户定制系 统。组合系统琢蠢功能生 或蒙鸯设诗之努耨功麓熬 接强。 第三方系统接口一组向第三方系统提供语第三方系统可以同评估中 开放性音评估数据或者提供测试心交换数榴。 功能的接口。 数据库接口部分或全部公弹数据库表第三方系统可戳利用评估 结搀及字段含义。中心的数撼瘴。 霜m t u 翁羧瑟部分或全部公搿评嫠孛心霉疆傻粥第三方生产翦 与m t u 通蓿协议。 m t u 。 调整接入话路数在一定范围之内调整接 量入话路数量，评估中心仍 可以维持设计的性能水 平。 调整m t u 数鬣在一定范强之肉，调整 m t u 数量，评倦中心秘可 可伸缩性 以维持设计的性能水平。 调整测试结粜数在一定范围之内，调整测 量试结果数量，评估中心仍 可以维持设计的性能水 平。对该区域豹i 毽话震量 骰深层努辑。 4 4 m t u 与语音评估中心的交互 下简称“m t u 中心交艇”。 。4 0 t 北京邮电大学硕士论文：对移动网络语音评估系统的研究和评测 4 4 i 规格 定量描述m t u 一中心交互各项特性的一组指标。这组指标着重于让用户准确 地了解m t u 一中心交互，而不是判定其优劣。 分激o 。 骧露l 蠹麓隧蠹，囊蠹霆蠢；簇l 冀j 鬟蘩野霎囊黧骥溺囊戮霆粪黻襄鬻i 鬓鍪 移动网络类型传输语音样本的移动网络 类型 评估中心接八方式评估中心接入电话业务网如第三章所述，评估中心 的方式与m t u 的语音通信要依 次通过接入网络，然后是 移动网络。由于要获得的 只是移动网络对语音质量 的劣化程度所以接入网 络对语音质量的损害要非 常小，否则会给语音评估 结果带来较大的误差。 实际产品中有通过p s t n 接入的，有通过i s d n 接 入的，有直接从移动网络 的m s c 接入的，以第三种 语音通信 方式为最优。 评估中心接入话路评估中心能够接入的最大 最大值话路数量