（模式识别与智能系统专业论文）基于普适计算的交互汉语学习系统.pdf

中文摘要 中文摘要 摘要： 近些年来，随着中国经济的快速发展和国际地位的不断提高，中国与世界的 交往和联系日趋广泛和深入汉语作为世界各国了解中国的重要工具和中华文化 的主要载体，受到了越来越多的国家政府、教育机构、企业以及传媒的重视，不 少国家出现了学习汉语的热潮。 普适计算是一种正在兴起的新型的计算模式，其“无处不在，以人为本”的 理念使得普适计算在许多领域的应用中都有着巨大的潜力。普适计算的理念非常 适合应用于方便、高效地交互汉语学习。基于软交换、文语转换、语音邮件等技 术的普适计算平台能够为汉语学习者提供多种普适服务，帮助他们更好的学习汉 语。比如通过利用软交换技术的实时通讯服务，学习者能够及时地与汉语老师实 时通信，这可以帮助学习者及时解决学习中遇到的问题，并建立一个汉语学习的 良好语境；通过使用文语转换的语音邮件服务，系统可以自动收集学习者学习情 况的信息，并以语音邮件的方式告知老师，这样老师就可以方便的了解到学习者 的程度，进而帮助学习者制定下面的学习计划。 语音识别技术能够识别学习者的汉语发音，同时计算出该汉语发音的准确度 是多少，从而帮助学习者掌握汉语的准确发音；声调识别技术能够识别学习者发 音的声调，并且计算出发音声调的准确度，这对于那些母语是非声调语言的学习 者来说是非常有帮助的。 本论文综合应用了语音识别、声调识别、软交换、文语转换、语音邮件等多 种技术，使用了以人为中心的普适计算系统模型( 珏 c ) 和分层结构分析与设计 方法( “蛤d ) ，设计了一个基于普适计算的交互汉语学习系统，以便为汉语学习者 提供更好的服务，使他们能够更便捷，更高效的学习汉语。我们的研究取得了以 下具体成果： 第一。设计了基于普适计算的交互汉语学习系统的框架，定义个各功能模块。 第二，完成了普适计算平台搭建，实现了软交换中口网和p s t n 网的语音通 信，实现了文语转换和发送语音邮件的功能； 第三，建立起了一个6 0 0 词的汉语语料库，成功实现了汉语孤立词识别和汉 语四种声调的识别，并提出了汉语发音准确度和汉语声调准确度的计算方法，实 现了汉语发音准确度和汉语声调准确度的计算； 第四，设计并完成了系统网站的建设，实现了交互汉语学习的目标。 关键词：普适计算；语音识别；声调识别；交互汉语学习 a b 趼r a c n 粥t hc h i n 馓e 湖锄y 缸td c v c l o p m 吼妇p l a y sav 艋r o l ci nt i l ew o d d r e 咖n y t h e 啪u n i c a i o nb c 柳湖q l i l l a 姐dt h ew o d db c 。o m 髓m o 化龃dm o 丘u 锄ti naw i d c 瑚g c m 柚d a f i n ，t h eo m n m 蛐i c a t i o nt o o l 卸da l l t i l 坨r r i 盯t l i a tl c t s t h cf o i g nc 0 岫t r yk n o w ( m i l l a ，a n r a c bm o a n dm o g o v c 咖蛐t s ，e d u c a t i o i 咖t i o 璐，唧o m t i o 璐柚dm c d i u m s m 蚰d a i j nl 锄i n gb e c o m 龉p o p u l 缸j nt h e f 0 i g no 咖嫡鹳b 鹤e d 彻t h a l ，、s t i l d y ，d 髂i g n 柚di n l p i c m e n tap e f v 勰i v c c o m p u t i n gb a s c di n t e r a c l i v cm 柚d a r i ne - 蛔m i n gs y s t e m 的丘i c i l i t yt h ef 0 i 印 m a n d i 血l c a 力1 e 培 p e r v a s i v ec o m p u 血gi s 璐i d c r c d 褐t h en e x tg c n 删o no f t rt e i c h i i o l o g y ，柚di th 私 a 孕c a tp o t e n t i a l 正0 fm 姐y 地】【t 嘿c 洲r ra p p l i c a t i o 璐1 t s “柚yt i m e ，卸yw h c 坤，a n d h 啪a n - 伽t c r e d 捧f e a t u mm a k 髂i t - p c 订e c tt c 曲唧d l o _ g yf o ri n t c m c i ：i v em 如蛐 c - l 锄i n ga p p l i c a t i 佣h 伽r 础渤地w r cs y i i t h e t i c a l l ya p p l yt h c 口cm o d d ，l d 蚺d m c t h o d ，s p l c c c hr c 鲥t j o n 蜘er e 鲥t i o n ，f ls 研t c h v o i m a i lt o c h n i q i 嵋孤dt h c n c c p to fp c 觞i v ec o m p u 缅gt 0t h ei n t e r a d i v em 柚d a r i ne - l c 删n gs y s t e md c s i 弘 柚di m p i e m 如谢o n t h cs p e c c h e c o 印i t i 衄t e c h l l i q u ch e l p st l l cl c a m 哪h 钾c 勰 a o c i l m t em a n d a r i np i 咖n d 砒i o n t h et o n cr e c o g n i t i o nc h e c k st h e i fp 啪u n c i a t i o nt o n 鹤 t o m a k e t h 锄l m o w w b e t h 盯曲障i r t o n e sa 他c o r r e c t 钟哪n g m 粕d a r i n t o n c i s t h c m o s td i f f 妣ni 豁u e n f h s i n gf o i g 吐k a m c r s p c n r 笛i v e 咖p u 曲gi n 伽rs y s t 锄 ”h t c dt os o f ts w i t c h ，v o i m a i 重l l n t e rt c 倒q u ci st oo 埔盯m 卸yp e r v 雒i v e s 盯v i c 髂t ot h ef b r e i g nl c a m e 培t 0f a c i l i t a t et h e i rl c a r n i n gp i o c c 髂 d l i r i n go l l rw o r k ，w eg c tt h ef o u o w i i i gm a j o ra c h i e v c m c n 协： f i f 瓯w ed 璐i 印柚di l p i 锄e n tt h cw h o l ep c r v 勰i v cc o m p u t i n gb 勰e di n t e m d i v e m 柚蛐e - l e a i n i n gs y s t c m s e c o n d ，w eb u i l dap c r v 嬲i v cc o m p u t i n gp l a l f o ml op r o v i d cp e r v a s i v cs e r v i c c s ， t h i sp la t 】f o 蛐c 蛆i m p l e m 衄tt h e 啪m u n i c a t i 蚰b e m e 吼t h e 口n e 脚o r k 卸dp s l l 也 柚d i t h 勰t h c f i i n c t i 蛐o f r r s 柚d v o i c c m a j l 舔w e l l t h i r d ，w e 咖d y 觚di m p l 锄姐tt h cs p c e c hr e 印i t i o n ，t h et cr e c o 印j t i 如dt h e 觚n 戤：ye v a l 眦n i o no m n p e n t s f 0 r t h ，w ed e s i 驴锄di m p l e m e n tt h cw 曲v e 璐i o f 加rs y s t e m 北京交通大学硕士学位论文 k e y w o i m s ：p e n ，舔i v c c c 粕p u t i i l g s p c e c hr e c o g l l j t i ；t 0 n er c c 0 印i t i 叩； m 柚d a r i nc - l e a m i n g 北京交通大学 2 0 0 6 年1 2 月 致谢 本论文的工作是在我的导师苗振江教授悉心指导下完成的，苗振江教授渊博 的知识、务实的精神和宽阔的胸怀让我深深地佩服，严谨的治学态度和科学的工 作方法给了我极大的帮助和影响。在此衷心感谢三年来苗振江老师对我的关心和 指导。 苗振江教授悉心指导我完成了实验室的科研工作，对于我的科研工作和论文 都提出了许多的宝贵意见，在学习上和生活上都给予了我很大的关心和帮助，在 此向苗振江老师表示衷心的谢意。 在攻读硕士学位期间，我还得到了袁保宗教授、赵耀教授、唐晓芳老师的指 导和热情帮助，特向他们表示感谢 在实验室工作及撰写论文期间，陈京博士、周卫东博士、费双波硕士、吴斐， 林爱民、徐展、岑科铁、明悦、任蕊等同学对我论文中的研究工作给予了热情帮 助，在此向他们表达我的感激之情。 另外也感谢家入，谢谢我的爸爸、妈妈和姐姐，他们的理解和支持使我能够 在学校专心完成我的学业。 序 序 我论文的研究工作是从2 0 0 5 年7 月暑假开始的，现在还清晰地记得那时我的 导师苗振江教授手把手教我、指导我的情形。 目前普适计算是盯界研究的热点问题，基于普适计算的交互汉语学习系统属 于普适计算应用方面的研究。这个研究方向是我的导师指给我的，通过这近一年 半的研究，我觉得这是一个非常有意义、非常有前景的研究领域，而且在国内研 究者也非常少，因此具有很高的研究价值。在此我不得不再次佩服苗老师的高瞻 远瞩了。 这篇论文首先介绍了基于普适计算的交互汉语学习系统的研究背景、意义， 然后通过分析目前市面上的汉语学习软件和跟踪国内相关科研单位的汉语学习研 究工作，提出了目前汉语学习研究方面的缺陷和不足，为下面的基于普适计算的 汉语交互学习系统的研究工作奠定了基础。随后在第二章中叙述了普适计算的概 念、交互汉语学习中的语音处理技术和基于普适计算的汉语交互学习系统的研究 优势和价值。第三章中，在普适计算系统结构的基础上设计出了基于普适计算的 交互汉语学习系统，并分析了系统中重要模块的功能。论文的第四和第五部分着 重论述了系统中位于普适计算人机接口层中的汉语语音识别子系统和汉语声调识 别子系统，第六部分描述了系统中位于普适计算网络层中的普适服务子系统，接 着在第七部分介绍了系统平台的实现，最后得到一些结论 本论文工作得到以下研究项目的支持，在此表示感谢1 9 7 3 国家重点基础研究发展计划2 0 明c b 3 1 8 1 1 0 9 7 3 国家重点基础研究发展计划2 6 c b 3 0 3 l o s “十五”专项重大课题2 0 0 5 s 加舵 引言 1 1 论文研究背景与意义 1 引言 汉语是世界上使用人数最多的语言之一。近年来随着中国对外开放的进一步 扩大和经济持续快速的增长，中国与世界的交往和联系日趋广泛和深入，汉语作 为世界各国了解中国的重要工具和文化载体，受到了越来越多的国家政府、教育 机构、企业以及传媒的重视。据了解，全世界学习汉语的人数已经超过千万。中 国是具有五千年悠久历史和灿烂文化的文明古国，汉语作为中国的重要组成部分 和传承载体，是中华民族对世界文化多样性的重要贡献。作为汉语的母语国，我 们对于积极推进汉语教学，帮助世界各地学习者更快更好地学习汉语，有着义不 容辞的责任。推动汉语教学的发展也将有利于让世界各国了解中华文明，了解中 国人民对于世界和平与共同发展的渴望以及为之付出的努力，让中华文明所包含 的知识和智慧造福于全人类【1 】 汉语的学习者以海外的学生为主，海外汉语教学的一个突出特点是空间距离 大，学生需求多样。传统的纸质教材在流通和沟通中都存在不少困难，这对网络 教材的研发和网络资源的配置提出了迫切的要求。 对外汉语教学需要集音频、视频诸种媒体优势于一身的网络教材，需要各式 各样的教学资源，因此利用各种语音技术的优秀汉语学习软件需求旺盛【2 】。 语言是人际交往的工具，语言的学习一定要有互动和语境。脱开语境的因素， 用各种设备代替教师是错误的1 3 】。因此能实现教学双方时时和非时时交流与互动 的平台必不可少。 通过上述需求可以发现，我们的这个基于普适计算的交互汉语学习系统能够 很好的满足这些需求。系统能够为汉语学习者建立良好的汉语语境，能够帮助学 习者掌握汉语的准确发声及声调，能够使学习者和老师实时或非实时互动，能够 提供给学习者许多普适服务，能够使他们能够更便捷、更高效的学习汉语。 1 2 目前汉语学习的现状与存在问题 1 2 1 现有汉语学习系统 目前市场上的汉语学习软件非常有限，主要产品有g ot 0c h i m 孤d a r i n 北京交通大学硕士学位论文 p l a t f 0 加a d v a n c e 、s t e p b y s t e p 一循序渐进汉语学习软件、c h i m s e m a s t c r 等， 他们各有自己的优缺点。 g ot 0c h i 蛆m 柚d a 血p l a t f o 珊a d v 蛐是一款由北京联软信息技术有限公 司开发的优秀汉语教学软件，该软件采用多媒体动画教学，真人发音，7 0 课课程 以日常对话和成语故事为主，涵盖中国传统文化、习惯以及生活常识等内容。软 件由七大模块组成，课文、字、词、句、读、写、字典等功能齐备，已经基本囊 括了一个中文学习者的所有需求。并且可通过互联网不断升级、更新。 s i e p b y s t e p 一黑龙江大学国际交流学院合作开发的循序渐进汉语学习软件。 该软件特色主要分为两大部分：( 1 ) 拼音学习一用各种多媒体手段详细论述拼音 的发音规则，并利用大量练习强化训练；( 2 ) 基础汉字学习一结合由浅入深的对 话内容，学习以甲、乙级词汇为主的汉字。并通过字、词、句的分级学习，学习 部分实用的语法。语音技术的应用：( 1 ) 四声调值的判断；( 2 ) 发音正确性的判 断。 a l i n 铝em 舔c 盯是一个很好的学中文软件。该软件由江阴市育星软件有限公 司开发，它能帮助学习者在较短时间内掌握大量中文词汇。它具有真人发声、系 列练习、界面友善、自动升级等功能，使用者能够迅速掌握汉语声韵母及其拼读、 3 5 0 0 常用汉字以及汉字的书写方法。 1 2 2 科研单位的汉语学习研究 汉语学习作为一个热点研究问题也受到许多科研单位的重视。这些单位研究 的方向十分广泛，包括有对外汉语教学研究、汉语普通话水平测试，汉语师资培 训、汉语国际推广学术研究、汉语教学网络和现代化技术的科技开发、语言信息 处理等多种对汉语学习推广非常有意义的方向。其中从事与我们较为类似研究的 有中国传媒大学语言学及应用语言学专业、北京语言大学对外汉语研究中心语言 信息处理研究方向、同济大学计算机系等。 ( 1 ) 中国传媒大学播音学院语言学及应用语言学专业，基于海量语料库的汉 语发音学习系统的研究。 中国传媒大学播音学院拥有许多从事一线语音教学工作的老师，以及大量受 过专业训练的学生，可以为课题中涉及到的标注、开发、测试工作提供指导与丰 富的人力资源。他们已经构建了一个层次分明、较为完备的海量语料库，包括： 人工录制的5 0 0 人规模单音节、轻声，儿化音库；取自广播电视的有声媒体语言 语料库，历时6 年共收集了2 5 0 0 小时真实语音、约1 亿字转写文本；2 0 小时的标 注了拼音、小句语调构造、小句焦点、轻重音、语段构造、韵律单元共六层信息 2 引言 的带标语料。在技术方面，已经实现了对单音节发音错误、调值不足等发音缺陷 的自动分析与判断，；提出了小句语调层、小句焦点层、语段层3 个新的韵律标注 层及标记集；拥有人机对话技术，利用人机对话技术可以提供互动式的学习环境， 系统依据发音错误和缺陷的分类与定位。 ( 2 ) 北京语言大学对外汉语研究中心语言信息处理研究方向。 北京语言大学对外汉语研究中心的语言信息处理研究方向着重研究对外汉语 教学的语言信息处理和教学手段现代化这两个方面的问题。包括以下几个方面： 汉语电子词典的研究；语料库的建设和开发研究；计算机辅助汉语教学系统和多 媒体教学软件的开发；基于英特网的远程汉语教学；进行汉语信息的自动加工、 处理及应用研究。此方向目前正在研究的课题有：现代汉语通用分词系统、汉语 口语课堂多媒体素材库、信息技术领域术语自动提取和形式化研究、词汇、句法 和语义基于认知实验的汉语加工过程研究等 ( 3 ) 同济大学计算机系，面向汉语的计算机辅助语音学习系统特征的研究。 他们在分析了语言及语音学习和教学的重要性及特点的基础上，讨论了将语 音处理技术应用于语言、语音的计算机辅助学习或教学中所涉及的多方面问题。 同时针对汉语语音的特点，研究了面向汉语学习的c a i l 系统所应具有的特征， 及其在设计和实现时应遵循的原则。最后借助通用语音分析器“s p c h a n a i y f ” 进行了汉语语音学习的尝试。 1 2 3 存在问题与挑战 通过上述几款软件的介绍和比较我们可以发现，这些汉语学习软件都有以下 缺点： ( 1 ) 缺少能够使教学双方交流互动的功能。 ( 2 ) 不能给学习者自动提供服务。 ( 3 ) 上述软件的学习效果测试大都是以笔试的方式来评价，缺乏口语学习的 测评，而一门语言最重要的交流，因此对汉语口语的学习效果的测评更为重要。 同样，国内相关科研单位的工作也存在一些不尽如人意的地方。 传媒大学的汉语学习研究具有丰富的人力资源和语料资源，但其语音信号处 理方面的技术储备相对较薄弱，同时其基于海量语料库的汉语发音学习系统的研 究缺乏汉语发音中语音及声调准确度的评分和以人为本的普适服务的内容。 北京语言大学在汉语学习方面的研究非常广泛，但其研究实际上更倾向于汉 语教学方面，而且同传媒大学一样，北京语言大学在语音信号处理方面的研发能 力不足，开发的系统仍以教和学的方式为主，缺少互动性。 3 北京交通大学硕士学位论文 同济大学计算机系在汉语学习方面的研究以c a l l 系统为主，将语音处理技 术应用于汉语语音的教学和学习，但是其研究中缺乏发音准确度的有效评测方法， 也缺乏从学习者本身出发考虑的汉语语境建立、学习互动性开发和相关服务提供。 1 3 本论的研究内容与结构 1 3 1 研究内容 针对汉语学习的现状，为了弥补目前汉语学习系统的缺陷，我们开展了以下 的研究 ( 1 ) 为了解决现有学习软件缺少能够使教学双方交流互动的功能和不能给学 习者自动提供服务的问题，我们创造性地将普适计算及普适服务的理念应用于本 系统，设计并实现了基于普适计算的汉语交互学习系统。 普适计算是一种正在兴起的新型的计算模式，其“无处不在，以人为本”【4 1 的理念使得普适计算在许多领域的应用中都有着巨大的潜力。我们发现普适计算 的理念非常适合应用于交互汉语学习系统，普适计算的研究主要包括普适计算的 发展、普适计算的概念、普适计算的特性及普适计算系统的结构。 普适计算的理念和软交换、文语转换、语音邮件等技术能够为汉语学习者提 供一系列普适服务，帮助他们更好的学习汉语，比如通过利用软交换技术的实时 通讯服务，学习者能够及时的与汉语老师实时通信，这可以帮助学习者及时解决 学习中遇到的问题，并建立一个汉语学习的良好语境；通过使用文语转换的语音 邮件服务，系统可以自动收集学习者学习情况的信息，并以语音邮件的方式告知 老师，这样老师就可以方便的了解到学习者的程度，进而帮助学习者制定下面的 学习计划。 ( 2 ) 为了实现汉语口语学习效果评测，帮助学习者掌握汉语的准确发音，我 们研究了适合本系统应用的汉语语音识别技术和汉语声调识别技术。 汉语语音识别技术能够识别学习者的汉语发音，同时计算出该汉语发音的准 确度是多少，这些能够帮助学习者掌握汉语的准确发音。汉语语音识别的研究内 容包括识别基本建模单元、语音特征提取、声学建模、语音分割、语音识别及语 音准确度评分。 汉语声调识别技术能够识别学习者发音的声调，并且计算出发音声调的准确 度，这些对于那些母语是非声调语言的学习者来说是非常有帮助的。汉语声调识 别研究的内容有声调获取、声调分割、声调识别及声调准确度评分。 4 引言 1 3 2 论文结构 本篇论文首先介绍了基于普适计算的交互汉语学习系统的研究背景及意义， 然后通过分析目前市面上的汉语学习软件的不足和跟踪相关科研单位的汉语学习 研究工作的不完善，提出了我们研究工推内容和结构。 第二章通过分析计算机的时代变迁，引出下一代计算技术一普适计算。然后 介绍了普适计算的概念及其4 无处不在，以人为本”的特性，我们发现普适计算 的理念非常合适应用于汉语交互学习系统，所以我们先描述了交互汉语学习中的 语音处理技术，然后结合普适计算说明了我们这个基于普适计算的交互汉语学习 系统的优势和研究价值。 第三章在普适计算系统结构的基础上，使用了以人为中心的普适计算系统模 型( 磁) 和分层结 句分析与设计方法( i a a d ) ，设计了一个基于普适计算的交互 汉语学习系统，并介绍了系统中五个层的具体定义、功能和设计。最后，分别描 述了系统中的汉语语音识别及语音准确度评分模块，汉语声调识别及声调准确度 评分模块、智能服务模块及它们各自的功能， 论文的第四部分从理论和技术的角度着重论述了语音识别技术首先是常用 的汉语基本建模单元，然后是现有的语音特征提取技术，重点介绍了梅尔倒谱系 数( m f c c ) ，随后是最重要的声学建模，在比较了模板匹配法、动态时间规整、 矢量量化、隐马凡可夫模型、人工神经网络识别法、模糊识别法、混合模型技术 等后，重点介绍了隐马儿可夫模型( i 玎d m ) 。二 关于汉语声调识别技术是在第五章中介绍的，汉语声调携带着重要的辩义信 息，是汉语的重要特征之一，具有非常重要的作用。我们回顾了汉语声调的演变， 然后再对多种基音提取方法比较的基础上，详细阐述了基于小波变换的声调获取 方法的原理，最后得出声调识别及其准确度的有效算法。 第六部分描述了系统中位于普适计算网络层中的普适服务，主要介绍了实现 实时通讯服务、语音邮件鼹务、两站服务的相关技术。如：软交换技术，文语转 换技术、w 曲技术等。 接着在第七部分论述了基于普适计算的交互汉语学习系统的具体实现。在汉 语语音识别子系统中，我们使用声韵母作为汉语语音识别的基本识别单元，使用 m f ( c 系数来提取特征参数。使用3 状态不可跳转的连续隐马尔可夫模型作为声 学模型，使用t e r b i 算法来识别模型。在汉语声调识别自系统中，采用了小波峰 值检测算法来计算基音周期序列，然后使用基音频率曲线的斜率来判断声调及计 算声调准确度。在普适服务子系统的实现中，使用了a 6 t e r i s k 和f e s t i v a i 等模块。 5 北京交通大学硕士学位论文 在第八章的结束语里，我们总结了目前已经完成的工作，提出了系统研究工 作中的一些问题和需要改进的地方，展望了今后的工作。 6 普适计算与交互汉语学习 2 普适计算与交互汉语学习 通过前一章引言的综述，我们对基于普适计算的交互汉语学习系统有了一个 总体的了解，同时对系统要实现的功能也有了大概的认识。本章我们重点要介绍 普适计算、交互汉语学习中的语音处理及基于普适计算的交互汉语学习系统。 2 1 计算机的时代变迁 技术的演化并不总是连续线性增长的，技术变迁过程中许多重大波动都从根 本上改变了技术在我们生活中的位置，即这种波动的实质不是技术本身，而是技 术与我们的关系。在过去5 0 多年中，计算与人类呈现过两种主要关系：主机关系 和个人计算机关系。今天，因特网通过分布计算正把我们带向普适计算( p e r y 酗i v c c 细p u 血g ) 关系。表1 给出了计算机时代的变迁i 习。 表1 计算机时代的变迁 计算机的时代计算机与我们的关系 主机时代多人共享一台计算机 个人计算机时代一个人一台计算机 因特网+ 分布计算过渡到 普适计算时代多台计算机共享每一个人 ( 1 ) 主机时代：计算机是稀有资源，一般放在密闭房子里由专家操作，其他 大量用户共享一台计算机。 ( 2 ) 个人计算机时代：计算机与人是一种个人关系，甚至是私人关系，你可 以有自己的计算机，当进行个人计算时，你就不能再做其他事了，你可给它起名 字，可以咒骂或抱怨它。个人计算机就像私家汽车，你可以拥有若干辆汽车，带 你到想去的地方去，但需要相当注意地操纵。 ( 3 ) 因特网和分布计算过渡期：因特网深深地影响着人们的生活，成百万新 的用户及其资料会被相互连接，同时也将主机时代和个人计算机时代的大量设备 连在一起。因特网是一种深刻的现象。出现了最好的创造发明家、最多的革新金 融家和最大的多国合作。今后，大量的信息联网结果将会浮现出新的计算关系。 ( 4 ) 普适计算时代：这是计算的第三波，它与个人计算的交叉点大约在2 0 q 5 2 0 2 0 年( w e i r 在1 9 9 6 年时的估计) 。普适计算时代将有大量计算机共享我们每一 7 北京交通大学硕士学位论文 个人，其中数百台计算机可以在几分钟的因特网浏览中被访问，其他计算机则嵌 入在墙壁、椅子、衣服、电灯开关、汽车等一切东西中。在过去的几十年里，计 算机技术有了飞速的发展，它的通讯能力和计算能力更加强大，价格更加便宜， 体积也变得越来越小。随着各种传感器技术和网络技术的不断进步，以及人们对 网络技术的青昧，带来了诗算模式韵第三次革命，鼯普适计算对代。 2 2 普适计算的概念 酱适计算【6 】的思想由m a r kw e i s h 在1 9 韶年产生的，1 9 9 1 年m a r kw e i r 在 s c i e n i 虢细删c 柚的“皿e c 0 m p u t c r f o r t h e2 n d o 鼬哪”中正式提出，并从上 个世纪9 0 年代后期开始受到广泛关注m a r kw e i s c r 给出的普适计算的定义为：普 适计算是一种链够随时随鲍将正确的信怠提供给正确的人的计算环境( nj sa m p u t i n g 钮v i r 伽吼e n tw h i c h 啪p r i 州d ct h er ! i 曲t 缸f o 】哑a t i 衄t ol h er ：l g h tp c r na t t h el i g h i m e 舯m a n c rw h c h ei s ) m a f kw e i s 盯被誉为普适计算之父，1 9 8 8 年 在】p a r c 实验室开始了这一领域的工作，于1 9 9 1 年通过。办公室内窗”产 生思索：计算机是否能够以一种人们察觉不到的计算方式感知人的动作、语音甚 至表情，从而做出反应( 就像人的潜意识) ，由此提出了关于普适计算的思想，认 为普适计算的目的在于使计算机在整个物理环境中都是可获得的。而用户则觉察 不到计算机酌存在。普适计算是一种新型的计算模式，在该模式下，计算以人为 中心，人机交互类似于人与人之间的自然交流方式( 如语言，姿势，书写等) ，用于 计算的设备无处不在，弥漫在人们生活的环境中，并能够随时随地为人们提供所 需要的服务，而使用计算设备的人则感知不烈计算机的存在既。 2 3 普适计算的特性 虽然普适计算目前尚未有统一、明确定义，但目标都是“要建立一个充满计 算和通信能力的环境，同时使这个环境与人们逐渐地融合在起”。清华大学徐 光祜教授等的定义是：“普适计算是信息空间与物理空间的融合，在这个融合的 空鳃中人们可以随时随地、透甥地获得数字他的服务。6 鼬 “随时随地”指人们可以在工作、生活的现场就可以获得服务，而不需离开 这个现场去端坐在一个专门的计算机面前，即像空气一样无所不在；“透明”指 获得这种服务时不需要花费很多注意力，即这种服务的访问方式是十分自然的甚 至是用户本身注意不到的，即所谓蕴涵式的交互。 相对“随时随地”的特性，“透明”是普适计算更本质的要求，是其与桌面 8 普适计算与交互汉语学习 计算模式最本质的区。桌面计算模式下，信息空间和物理空间是隔离的：( 1 ) 绑定 是稀疏的，唯一的绑定点是计算机；( 2 ) 它们之间的交互是由人驱动的，人先察觉物 理空间的改变然后用一定的方式输入到信息空间。隔离正是桌面计算模式各种不 足的根源! 1 9 】 综上所述，我们发现普适计算的特性如下： ( 1 ) 无所不在的：用户可以随地以各种接入手段进入同一信息世界； ( 2 ) 嵌入的：计算和通信能力存在于我们生活的世界中，用户能够感觉到它和 作用于它； ( 3 ) 游牧的：用户和计算均可按需自由移动； ( 4 ) 自适应的：计算和通信服务可按用户需要和运行条件提供充分的灵活性和 自主性； ( 5 ) 永恒的：系统在开启以后再也不会死机或需要重起；部件可以因需要、出 错或升级来去，但整个系统则永远可用。 普适计算的本质就是力图真正全面实现计算技术的“无处不在，以人为本”： 正是这种“无处不在”和。以人为本”的理念使得普适计算在许多领域的应用中 都有着巨大的潜力【1 0 】。 。 2 4 交互汉语学习中的语音处理 语音处理技术在交互汉语学习中有着至关重要的作用。利用语音处理技术， 学习者能够有效地学习到通过课本很难掌握的汉语口语知识，例如通过汉语语音 识别技术及准确度评分机制，汉语语音识别及语音准确度评分功能能够实时识别 出学习者汉语的发音为哪个汉语词组，并且计算出该词组发音中每个汉字的语音 准确度和词组的总语音准确度，这可以使学习者及时的知道其汉语的发音是否准 确，从而帮助他们掌握正确的汉语发音；通过汉语声调识别及声调准确度评分功 能通过汉语声调识别技术及准确度评分机制能够实时识别出学习者汉语的发音中 每个汉字的具体声调，并且这些声调的准确度，这可以使学习者及时的知道其汉 语的声调是否准确，从而帮助他们掌握正确的汉语声调。 2 5 基于普适计算的交互汉语学习系统 通过上述对目前市面上汉语学习软件的功能计较和对从事汉语学习相关研究 的科研单位的研究情况跟踪，可以发现我们研究的基于普适计算的交互汉语学习 系统克服了前面各种汉语学习软件的缺陷，弥补了一些相关科研单位的不足，具 9 北京交通大学硕士学位论文 有一定的优势和研究价值。 基于普适计算的交互汉语学习系统从普适计算“以人为本，无处不在”的理 念出发，将普适计算和语音信号处理相结合，一方面为汉语学习者提供无处不再 的学习服务，帮助他们建立互动的汉语学习语境和提供许多以人为本的普适服务。 比如通过利用软交换技本的实对通讯服务，学习者能够及时的与汉语老师实时通 信，这可以帮助学习者及时解决学习中遇到的问题，并建立一个汉语学习的良好 语境；通过使用文语转换的语音邮件服务，系统可以自动收集学习者学习情况的 信息，并以语音邮件的方式告知老师，这样老师就可以方便的了解到学习者的程 度，进而帮助学习者制定下面的学习计划；另一方面同过语音信号处理中的汉语 语音识别和汉语声调识别技术，准确计算出学习者发音的语音准确度和声调准确 度，帮助他们快速、正确的掌握汉语发音。 这些功能和服务恰恰正是汉语初学者所需要的，对他们的汉语学习具有很好 的帮助，能够使他们方便、快捷、高效的掌握汉语言的汉学。这也恰恰证明了我 们的研究具有的优势和价值。 1 0 基于普适计算的交互汉语学习系统的设计 3 基于普适计算的交互汉语学习系统的设计 3 1 普适计算系统的结构 对于任何一个系统中，各个子系统模块都不是独立存在的，它们有着密切的 联系。因此，在从整体上考虑普适计算系统中各个关键子系统的基础上，我们提 出了以人类为核心的普适计算系统模型( h p c ) 。我们认为一个普适计算系统基本 上由5 层组成：人类核心层、普适人机接口层、普适设备层、普适接入层、普适 网络层。普适网络层主要是关于普适计算系统的网络环境，这层是普适计算系统 的基础；普适接入层是连接用户普适设备和系统网络环境的桥梁，在这层中需要 考虑的是许多不同的网络接入协议，比如w u 蛳和g s m 等；普适设备层包含所 有的用户设备，这些设备可能是被用户直接的使用也可能是被用户间接的使用， 这些设备可能是可见的也可能是不可见的；普适人机接口层考虑的是用户与普适 设备之间詹然交互的问题：整个系统模型中人类极其需求处于核心地位，这就是 人类核心层。图1 给出了这个模型的具体范例【4 1 。 图l 以人类为核心的普适计算系统模型( i p c ) 北京交通大学硕士学位论文 ( 1 ) 普适网络层 这层也可以称为通用网络层、统一网络层或者普适计算环境层。它包括现在 和未来所有能够直接或者间接接入因特网的网络。在这层中考虑的软件问题是网 络资源管理、普适计算中间件平台和网络操作系统等。我们可以用0 s i ( 开放式系 统互联参考模型) 酶7 层参考模型来分析这一层。服务器和网关是这层中重要的 子系统。 ( 2 ) 普适接入层 普适接入层用来处理普适网络的连接问题。在这层中重点考虑的问题是服务 的发现和管理、安全性、隐私性、计算范例( 例如代理服务器和w 曲服务器) 、 物理空闻和信息空间的融合、网络端的上下文感知、不同的网络接入协议等。所 以，服务器的软件架构和软件设计是非常关键的问题。 ( 3 )普适设备层 普适设备层包含所有的用户相关设备，这些设备可能是被用户直接的使用也 可能是被用户间接的使用，这些设备可能是可见的也可能是不可见的，同时这些 设备可能是能被感知的也可能是不能被感知的。这层中被考虑的问题是上下文管 理、传感器、智能设备、设备软件架构和设计、嵌入式操作系统等。我们也可以 用o s l ( 开放式系统互联参考模型) 的7 层参考模型来分析这一层。 ( 4 ) 普适人机接口层 这层不是仅仅意味着入类一计算机的交互，而且包括接入设备和入类的交互， 例如p d a ( 掌上电脑) 和各种别的信息设备。这层考虑的问题主要是用户端的上 下文感知、人机接口的计算模式、用户空间和设备空间的融合、定位和跟踪、多 模式交互、用户接口等。 ( 5 )人类核心层 从模型的名称我们可以看出这个模型清楚的表达了普适计算中“以人为本”的 理念，人类核心被酱适设备和普适网络所环绕。通过这个我们可以也理解普适计 算是一种4 无处不在”的计算模式。基于各种不同应用的入类的需求是这个核心层主 要考虑的问题。人类核心层中考虑的应用例如人类健康关注、自动化、智能家庭、 工作环境、旅行服务、移动商业像等。 基于普适计算的交互汉语学习系统的设计 3 2 基于h p c 和i 。a a d 的交互汉语学习系统设计 当开发一个真正的普适计算系统时，我们首先要做的是分析应用需求，然后 设计系统来满足这些需求与以人类为核心的普适计算系统模型( h p c ) 相对照， 可以发现需求分析位于人类核心层，系统设计位于外围的其他四层。我们把这种 方法称为分层机构分析与设计方法( i a a d ) f 4 1 。 对于整个普适计算系统而言，最关键的问题是普适计算范例和各子系统间的 通信。整个普适计算系统中的关键子系统是位于普适接入层和普适人机接口层的 上下文感知计算子系统。 根据人类为核心的普适计算系统模型( h r c ) 和分层机构分析与设计方法 ( i a a d ) ，基于普适计算的交互汉语学习系统的设计如下： ( 1 ) 人类核心需求分析 基于普适计算的交互汉语学习系统主要的用户是希望学习汉语的外国学习 者这些外国学习者对汉语学习系统会有怎样的要求呢? 我们通过需求分析发现： 他们需要掌握正确的汉语发音；他们希望能够随时随地的学习汉语，比如在办公 室利用工作体息的时间学习或是晚上在家里学习；他们更喜欢用一些方便、有效 的个人学习工具来替代书本和磁带；他们希望能够和老师实时沟通，来获得一个 汉语语境；他们希望老师能自动的、方便的得知他们的学习情况，并以此来制定 下一步的学习计翊。 ( 2 ) 外围的其他四层的分析和设计。 为了满足上面人类核心层提出的需求，系统设计首先要考虑的是人机接口的 模式。怎样来获得普适人机接口层中所必须的全部信息呢? 怎样来回应学习者的 要求呢? 我们设计用文本和语音作为人机接口的模式，而回应学习者要求的问题， 将在后面论述。 在普适人机接口层设计结果的基础上，我们设计了普适设备层中需要的设备。 在本系统中普适设备层最有用的设备是计算机，包括桌面计算机和笔记本计算机； 麦克风和耳机或者音箱也是必须的；同样我们还需要软电话、模拟电话、或者s 口 电话。 在完成普适设备层的设计后，我们接下来要考虑的是怎样设计普适接入层来 使普适设备能够顺利的通过有线或者无线方式接入网络。在这层中我们设计了一 个w 曲服务器，用户可以通过登陆这台服务器来获得交互汉语学习服务。 基于以上所有的设计，我们将普适网络层的结构设计为局域网、通信网、国 际互联网和公用电话网。 1 3 北京交通大学硕士学位论文 综上所述。图2 描绘了基于普适计算的交互汉语学习系统的具体结构。 图2 基于普适计算的交互汉语学习系统 3 3 系统模块与功能描述 系统模块主要包括汉语语音识别子系绕、汉语声调识瓢子系统和普逶服务子 系统，下面分别叙述他们的功能。 3 3 1 汉语语音识别及语音准确度评分功能 通过汉语语音识别技术及准确度评分机制，汉语语音识别及语音准确度评分 功能能够实时识别出学习者汉语的发音为哪个汉语词组，并且计算出该词组发音 中每个汉字的语音准确度和词组戆总语音准确度。这个功能可以使学习者及时的 知道其汉语的发音是否准确，从而帮助他们掌握正确的汉语发音。 3 3 2 汉语声调识别及声调准确度评分功能 四种声调是汉语语言的一个重要组成部分，声调包含这重要的辩义信息，不 1 4 基于普适计算的交互汉语学习系统的设计 同的声调和音节的组合代表不同的含义。但是对于那些汉语初学者来说，四种声 调是非常难以准确掌握的，我们经常能够遇到说着古怪声调汉语的老外。我们的 汉语声调识别及声调准确度评分功能通过汉语声调识别技术及准确度评分机制能 够实时识别出学习者汉语的发音中每个汉字的具体声调，并且这些声调的准确度。 这个功能可以使学习者及时的知道其汉语的声调是否准确，从而帮助他们掌握正 确的汉语声调。 3 3 3 普适服务功能 普适服务功能很好的体现了普适计算系统“无处不在，以人为本”的思想。 首先汉语学习者能通过网络，方便的登陆进入这个基于普适计算的交互汉语学习 系统，能够饫捷、高效、随时随地地学习汉语。设想一下能够在办公室利用休息 的时间轻松的练习汉语发音，而不用一遍遍听磁带来纠正汉语发音；或者晚上在 家边喝茶边学习汉语，而不用坐在教室里对着枯燥的书本，这是多么令人向往的 学习方式啊。其次，通过系统提供的普适服务功能，学习者能够及时的与汉语老 师实时通信，这可以帮助学习者及时解决学习中遇到的问题，并建立一个汉语学 习的良好语境；通过系统提供的普适服务功能，系统还可以自动收集学习者学习 情况的信息，并以语音的方式告知老师，这样老师就可以方便的了解到学习者的 程度，进而帮助学习者制定下面的学习计划。 汉语语音识别 4 汉语语音识别 汉语在很多方面都有别于西方的字母语言。从文字的形状来看，大部分汉字 属于象形文字。凡乎每一个汉字都代表一个独特的含义从发音的情况来看，汉 字是特殊的单音节有调语言。每个汉字的发音都有一个声母和一个韵母组成，声 韵母之间只有固定数目的联接关系，发音时互相影响很大，有时甚至会出现变调 的情况，因此在建模时必须考虑协同发音现象；此外，不同的声调也对应不同的 汉字，准确的声调信息对于区分同音字很有帮助。汉语在书写时字与字之间是紧 挨着的，除了标点符号外，没有明显的分割界限，因此汉语中词的定义非常不确 定一个词可以是一个汉字，也可以是由两个或者三个汉字组成，甚至更多。 连续语流是由字和词组合而成在汉语中二字词组和三字词组占9 8 以上。 而四字或四字以上词组可看成二字和三字词组的各种组合形式【1 1 】。因此，我们觉 得汉语的学习应当先从单个词的学习入手，只有在掌握了大量的单个词汇的基础 上，才能进行更进一步的汉语语句的学习 语音识别从所识别的单位来分，可以分为孤立单词语音识别、选词语音识别、 连续语音识别、语音理解；从识别的词汇量来分，可以分为小词汇壁( 1 0 5 0 个 词) 、中词汇量( 5 0 2 0 0 个词) 、大词汇量( 2 0 0 个词以上) 【6 5 】等：从讲话人的范 围来分，有单个特定讲话人、多讲话人、与讲话着无关三种，从识荆的方法分。 有模板匹配法、随机模型法和概率语法分析法【1 2 】。 4 。l 基本建模单元 基本建模单元的选择是语音识别中的一个基本而重要的环节。词、音节、半 音节、声韵母或者音素都可以作为汉语语音识别的基本建模单元。根据不同的应 用场景，可以灵活选择。如对于中小词汇量的孤立词识别，一般选择词或者音节 为基本建模单元；对于大词汇量的识别任务，一般选择半音节、声韵母或者音素 来训练声学模型。一般来说，所选择的建模单元应该满足如下两个条件： ( 1 ) 可训练性；即每一个模型都要有足够的训练样本用来估计其模型参数， 如果样本太少，就难以得到较为鲁棒的声学模型。 ( 2 ) 稳定性：就是建模单元应该稳定，在不同的条件下其声学特性变化较小。 可训练性和稳定性其实是互相矛盾的。为了保持建模单元的稳定性，应该选 择较大的建模单元，如音节的稳定性就比半音节、声韵母或者音素高，而词的稳 定性还要优于音节。但是建模单元增大会造成模型数量的急剧增加，从而使得模 北京交通大学硕士学位论文 型的可训练性降低。而为了提高可训练性，总希望模型的数目少一些，这就需要 使用小一些的建模单元，而建模单元变小又会使得它在连续语音中更容易受到有 关上下文的影响，导致稳定性交差。所以对于具体的研究对象，