（计算机应用技术专业论文）笔式聋儿多媒体讲课系统的设计与实现.pdf

硕士学位论文 摘要 随着计算机应用领域的不断拓展，教育领域首当其冲，尤其对于聋儿教育领 域，借助先进的计算机多媒体工具进行教学，实现传统媒体与电教媒体的有机结 合，可以更好地利用聋幼儿的残余听力，达到优化聋幼儿语言康复训练的目的。 多种媒体在聋儿教师的经验指导下有机的整合，在聋儿的康复过程中具有重要的 作用，通过一个完整的课件可以使聋儿了解周围世界、认识自我、并融入文化。 传统的鼠标、键盘的交互方式并不适合老师们上课时使用，并且两者的切换很不 自然。笔手势交互是近年来迅速发展起来的一种人机交互技术，它适应了“以人 为中心 的自然交互准则，也被诸多研究证明是提高交互效率和自然性的有效途 径。随着人机交互户界面的不断发展，笔手势交互技术已经在一些面向儿童教育 的交互系统中得到了应用。 本文主要在面向聋儿的讲课系统与基于笔的单笔手势的结合方面研究了一些 新的设计和解决方法，设计并实现了基于笔的多媒体聋儿讲课系统，采用笔手势 交互的自然交互方式，增强老师在课堂上对课堂的把握能力，运用他们已有的经 验，充分发挥了他们的想象力和创造力，吸引聋儿的注意力，进一步提高聋儿的 听力康复速度。本文的主要研究内容如下： 1 、深入分析了目前国内外手势识别技术，以及多媒体教学的进展和现状，比 较和研究了大量多媒体教学系统的优劣点和适用范围，提出了普遍的交互体验不 足的问题，提出了新的基于笔手势的多媒体教学方法。 2 、将多种媒体应用于教学过程中，提出了将传统的基于鼠标、按钮的音视频 编辑交互与笔手势交互相结合的方式，给用户提供了新的交互途径，用简单的勾 画就可以准确地进行所需的操作，简化了备课和授课过程中的繁复操作，使教师 将更多的精力关注于教学质量。 3 、提出了视频编辑的预览选择再定位方法，摒弃了精确定位复杂操作，简化 了交互难度。不但满足了教师的需求，达到了反复选择再相对精确定位的目的， 还简化了操作难度。 4 、在前面几项工作的基础上，设计并实现了面向聋儿的多媒体讲课系统及相 关工具。该系统以手势作为主要的交互方式，通过自然、和谐的笔式用户界面， 硕士学位论文 将讲课和素材的制作过程变得非常简单、有趣，极大地提高了用户的交互体验。 关键词：笔式交互，手势，聋儿认知，讲课系统，可用性评估。 2 硕士学位论文 a b s t r a c t c o m p a n y 诵t l lt h ee x p a n s i o no fc o m p u t e r sa p p l i c a t i o n ，c o m p u t e r sb eu s e di nm o r e a n dm o r ef i e l d e d u c a t i o ni st h em o s ti m p o r t a n tu s eo fc o m p u t e r i nt h ed o m a i no fd e a f c h i l d r e ne d u c a t i o n , w ec a nc o m b i n et r a d i t i o n a lm e d i aa n dm u l t i m e d i aw i t ht h e a d v a n c e dm u l t i m e d i at e c h n i q u e s ，a n dt h e nw ec a no b v i o u s l yi m p r o v ee f f e c t so f h e a r i n g r e c o v e r i n gf o rd e a fc h i l & e n u n d e rt h ei n s t r u c t i o no fd e a fc l l i l dt e a c h e r se x p e r i e n c e ， m a n yk i n d so fm e d i ah a v eb e e ni n t e g r a t e dp l a ya ni m p o r t a n tr o l e c h i l d r e nl e a r nt o u n d e r s t a n dt h ew o r l da n dc u l t u r es u r r o u n d i n gt h e m ，a n dt or e c o g n i z ea n db l e n d t h e m s e l v e si n t ot h es o c i a la n dc u l t u r a lc o n t e x t ，b yag o o dc o u r s e w a r e h o w e v e r , d u et o t h eu n n a t u r a ls w i t c ho p e r a t i o n ，t h et r a d i t i o n a li n t e r a c t i o ns t y l ew i t hm o u s ea n d k e y b o a r di sn o ts u i t a b l ef o rc h i l d r e n r e c e n t l y , t h ep e n - b a s e dg e s t u r e si n t e r a c t i o ni sa r a p i d l yd e v e l o p i n gt e c h n i q u ei nt h eh u m a n - c o m p u t e ri n t e r a c t i o n i ta d a p t st h e h u m a n - c e n t e r e d p r i n c i p l eo fn a t u r a li n t e r a c t i o na n dh a sb e e np r o v e dt ob eav a l i dw a y t o i m p r o v et h ee f f i c i e n c ya n d t h en e u t r a l i t yo fi n t e r a c t i o n b yal o to f r e s e a r c hw o r k w i m t h ed e v e l o p m e n to ft h em u l t i m o d a lu s e ri n t e r f a c e s ，t h ep e n - b a s e dg e s t u r e si n t e r a c t i o n h a sb e e na p p l i e di ns e v e r a lc h i l d r e n si n t e r a c t i o ns y s t e m s n et h e s i sp r e s e n t ss o m en o v i c em e t h o df o c u so nt h ea p p l i c a t i o no fd e a fc h i l d r e n s t e a c h i n gs y s t e mc o m b i n ew i n lt h es i n g l eg e s t u r e s ap e n - b a s e dm u l t i m e d i ac o u r s e w a r e s y s t e mf o rd e a fc h i l d r e nh a sb e e nd e s i g n e da n dd e v e l o p e d ，w h i c hu s e st h en a t u r a l i n t e r a c t i o nm o d a lt oe n h a n c et h ei m a g i n a t i o na n dc r e a t i v i t yo ft e a c h e ra n da t t r a c td e a f c h i l d sa t t e n t i o na r eb a s e do nt e a c h e r se x p e r i e n c e 1 1 1 em a i nc o n t r i b u t i o n so ft h et h e s i s a r e ： 1 a n a l y z e dt h ed e v e l o p m e n to ft e c h n o l o g yo fg e s t u r e sa n dt h eu s eo fm u l t i m e d i ai n e d u c a t i o n p r e s e n t sap e n - b a s e dm u l t i m e d i ae d u c a t e sm e t h o d 2 a p p l i e st h em a n yk i n d so fm e d i ai nt h et e a c h i n gp r o c e s s ，c o m b i n et h et r a d i t i o n a l i n t e r a c t i v em e t h o ds u c ha si c o na n dm o u s ew i t hp e ng e s t u r e s ，w h i c hu s e di na u d i o a n dv i d e o se d i tp r o g r e s s s i m p l i f i e dt h ec o m p l i c a t eo p e r a t i o n si np r e p a r i n ga n d t e a c h i n gl e s s o n s s ot h a tt e a c h e rc a np a ym o r ea t t e n t i o nt ot h ed e a fc h i l d r e n s r e c o v e r i n g 3 g i v eaw a yt or e - e d i ta u d i oa n dv e d i of i l e sb yp r e - v i e wa n dr e c h o i c e r e d u c e dt h e i n t e r f a c ed i f f i c u l t ya n ds a t i s f i e dt h er e q u i r e m e n t so ft e a c h e r s 3 硕士学位论文 4 b a s e do nt h ew o r ka b o v e ，d e s i g n e dm u l t i m e d i at e a c h i n gs y s t e mu s e df o rd e a fc h i l d a n ds e v e r a lr e l a t e dt o o l s t h ei n t e r a c t i o ni sb a s e do np e ng e s t u r e s ，i m p r o v e d u s e r s e x p e r i e n c e s k e y w o r d s ：p e n - b a s e di n t e r a c t i o n ；g e s t u r e ；c o g n i t i o no fd e a fc h i l d r e n ；t e a c h i n g s y s t e m ；u s a b i l i t ye v a l u a t i o n 4 贵州人学硕士学位论文原刨性声明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含任何其他个人或集体己经发表或撰写过的科研成果。对本文 的研究在做出重要贡献的个人和集体，均己在文中以明确方式标 明。本人完全意识到本声明的法律责任由本人承担。 1 船 论文作者签名： 过盈坚 日 期： 2 壁鱼睁6 旦 关于学位论文使用授权的声明 本人完全了解贵州大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅；本人授权贵州大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：翠导师签名： 日瓤2 q q g 生厶旦 硕士学位论文 1 1 引言 第一章绪论 随着计算机软硬件技术的不断发展，以笔式交互为特征的笔式计算环境得到 迅速发展，使得对手势的研究已日益受到人们的关注，尤其注重对手势的底层支 持，从而使手势成为笔式用户界面环境下的“一等公民( f i r s t c l a s sd a t at y p e ) 【m a r kw e i s e r , 1 9 9 1 。笔式交互的明显特征是它易于控制，可以被用来进行高效、 自然的勾画，与鼠标、键盘等传统的交互方式相比，基于笔的交互方式具有自然、 和谐的交互特性，更符合用户的交互习惯，更利于捕捉用户的思想，同时，用笔 来代替键盘和鼠标，还解放了人们的一只手 b r i g g sr ，1 9 9 3 。如果将笔式交互技 术应用于教育领域，那么就可以充分发挥笔的优势，降低教师与计算机交互和控 制的难度。 目前中国有2 0 0 0 多万听力语言障碍者，每年新生聋儿2 万到3 万。聋儿数量 的增加以及社会对残障儿童的关注，加速了聋儿教育事业的发展。通过对聋儿康 复机构的调研，发现虽然部分机构硬件设施已经配备齐全，但由于缺少适应聋儿 康复的软件系统，目前的语言训练形式还是局限于传统的“看口说话 ，多媒体教 学软件的开发、推广以及应用还为广大康复教育工作者所期盼 李明，2 0 0 4 1 。认知 包括感觉、知觉、记忆、想象、思维和语言等【叶奕乾，1 9 9 1 ，是指人们获得知识或 应用知识或信息加工的过程，是指人最基本的心理过程。对于聋儿来说，现代教 育技术能积极刺激聋生的听觉、视觉器官，补偿其残余听力，充分发挥视觉感官 的代偿功能。因此，多媒体技术运用于聋儿康复教育，将改变教师在教学过程中 的位置，从教授、传递知识，向引导、辅助学生转化，使聋儿成为教育的主体； 改变传统的以教师言传和文字刺激为主要手段的教学方式，取而代之以图像、视 频、语音、动画、文字等多种方式传递信息，将教学内容以极具真实感和高度交 互性的方式展现给聋儿。同时它的强表现力，可以同时刺激聋儿的多个感官，不 但扩展了教学的内容，更能激发聋儿的学习兴趣，加速聋儿各方面的能力的发展 和康复。 3 硕士学位论文 1 2 研究背景和意义 1 2 1 笔式用户界面技术的发展 基于笔的人机交互技术是人机交互领域的重要研究方向，笔式用户界面是下 一代用户界面的研究热点之一 j u l g e n , 1 9 9 6 。自然的交互与人性化界面是人机交互 的发展趋势 董建明，2 0 0 2 。笔式用户界面是随着手写笔、触摸屏等笔式交互设 备的出现而逐渐发展的。最早的笔式交互设备在鼠标和图形用户界面出现之前即 己出现，1 9 6 3 年 s u t h e r l a n ds u t h e r l a n d1 e ，1 9 6 3 在s k e t c h p a d 系统中使用光笔在阴 极射线管显示器上直接绘制几何图形，被认为是笔式用户界面的诞生，如图11 所 示。随后r a n d 公司开展了相应的工作，他们较多地关注于手写体和图形识别【d a v i s mr ，1 9 6 4 】。 幽11s k e t c h p a d 系统不息崮 1 9 7 1 年x e r o xp a r c 的a l a nk a y 描述了第一台笔式用户界面的计算机 o y n a a o o k ，并开发t d y n a b o o k 的原型。m i c r o s o f t 公司在w i n d o w s 3 0 的基础上推 出了适于p d a 和s u b n o t e b o o k 的w i n d o w sf o rp e n c o m p u f i n g ，m m 公司也研制出 其第一款基于笔交互的计算由t t h i n k p a d 。此后，随着图形显示器和鼠标等设备的广 泛应用，以桌面为隐喻的图形用户界面的迅速兴起，笔式用户界面的研究由于软 硬件技术的不成熟而发展缓慢。 9 0 年代以后，移动计算、无处不在计算等计算模式的发展为笔式用户界面的 发展注入了新的活力，笔式交互的自然性和便携性使其迅速成为移动计算的主流 交互方式，a p p l e 、h p 、c o m p a q 、p a l m 、m i c r o s o f t 等公司开发了许多基于笔输入 的操作系统和移动设备等，特别是m i c r o s o f t 公司在原先w i n d o w sf o r p e a c o m p u t i n g 的基础上开发j p o c k e tp c 和t a b l e tp c 系列，推动了新环境下笔式交 互技术的发展。此外，日本的w a c o m 公司、瑞典的a n o t o 公司等研制开发了一系 列笔式辅助设备。 硕士学位论文 随着笔式设备的发展，国内外许多研究机构对笔式用户界面进行了深入的研 究工作。x e r o xp a r c 中心开发了t i v o l i 电子白板系统，用户通过在白板上勾画手势 来进行交流，没有进行手写文字的识别，而是保留原始笔迹的呈现方式 m o r a nt p ，1 9 8 1 ，p e d e r s e ne r ，1 9 9 3 。b e r k l c y 大学g u i r 实验室在笔式用户界面方面进行了 大量的研究，开发了基于笔的界面开发工具s a t i n h o n gj i , 2 0 0 0 、网站设计系统 d e n i m l i nj ，n e w m a nm ，2 0 0 0 、d a m a s k l i nj a m e s ，2 0 0 2 和图形用户界面设计工 具s i l k l a n d a yj a ，2 0 0 1 】。m i c r o s o f t 公司在其o f f i c e 系统中集成的o n e n o t e 系统， 是一款支持手写输入、编辑的笔迹处理软件，并支持对笔迹的文字识别。 计算机软硬件技术的不断进步，使得以笔式交互为特征的笔式计算环境得到 迅速发展，同时，各种基于t a b l e t 的交互设备和对手写识别的研究得到了人们的 重视【田丰，2 0 0 3 。笔式交互的明显特征是它易于控制，可以被用来进行高效、自 然的勾画【栗阳，2 0 0 2 。无论是文字还是图形都可以被自然地勾画在t a b l e t 并显示 于屏幕上，正是因为这些特点，将笔式应用于教育领域已经成为一个新的研究热 点。不但使纸笔的自然工作方式的优势得以发挥，还弥补了教师在讲课过程中须 要估计鼠标点击或键盘输入的限制，简化了教师对计算机的交互操作和控制难度。 1 2 2 聋儿认知规律 听力障碍儿童( 后简称聋j l ) 是社会的一支特殊群体，他们因为听觉神经先 天或后天受损导致听不清甚至听不到周围的声音和人们的语言，从而无法进行模 仿学习，同时由于听觉神经长期得不到有效的刺激，导致大脑皮层的听觉、言语 和语言中枢发育迟缓 籍静媛，2 0 0 5 。在行为控制中听觉和视觉有着密不可分的关 系：听觉信息能促进视觉信息的获得，并且也能使视觉刺激在记忆中保持激活， 因此缺少听力刺激，也会影响视觉技能的发展 葛修娟，2 0 0 5 。感觉的代偿即人若 缺失某种感官功能，他的其它感官功能常常会比常人发达许多倍，这在心理学上 叫感官代偿 m w 艾森克，2 0 0 2 。同样，聋儿的听力缺失是感官代偿功能是决定多 媒体教学手段一定要介入聋儿教学的重要因素，对聋儿而言这种代偿表现在对非 听力感官规觉功能的依赖上 李明，2 0 0 4 。这与前面所说的并不冲突，因为视 觉能力分为多种，聋儿在探测边缘视觉运动，尤其是运动与语言有关的时候的能 力以及对复杂的视觉符号的知觉和记忆、面孔识别方面，和在产生和转换或旋转 心里图像时都会强于正常儿童。在特征目标搜索的过程中，速度显著慢于正常儿 5 硕士学位论文 童，即他们的视觉注意技能要差于正常儿童，原因其实也是由于听觉的缺失。正 常儿童在学习选择性的集中视觉注意与某项人物的时候，听觉同时也在监控他们 所处的环境，而对听障儿童而言他们发展的视觉注意策略可能更加分散，是因为 他们必须也用视力来监控周围的环境 余敦清，1 9 8 9 1 。聋儿的视觉认知特点决定了 他们理解事物的不全面性，讲课系统通过多媒体呈现影像、界面功能设计尽量简 洁，不分散孩子的注意力；展示逼真的情景、演示生动的动画、控制发音工具， 通过人机互动等方式帮助孩子全面正确的理解字、词、句的含义，提起他们说话 的兴趣和冲动，同时加深记忆，开阔思维，弥补观察的局限性，进一步发展代偿 功能。 聋儿的思维和情绪特点是直观形象思维和具体形象化思维较强，他们的注意、 记忆、思维和想象都有很大的随意性，受情绪的支配。如果是他们感兴趣的事情， 会很容易在老师的引导下，主动学习 郭金美，2 0 0 5 。讲课系统的界面播放功能正 是为引起孩子的兴趣而设计。它可以控制g i f 动画，让孩子充分理解抽象动词的含 义，比如讲课内容中有“小兔跳”的概念，就可以分别控制多个预设的g i f 动画反 复告诉孩子们，什么是“跳 ，简单而明了。它可以根据预设的图片属性对图片进 行一点击出现，点击隐藏，交替出现，允许拖动等交互操作，通过反复而不枯燥 的交互操作弥补聋儿近乎“健忘 的记忆力。在讲课的过程中，老师可以将讲课 界面视为传统的黑板，用不同颜色不同类型的“笔进行重点圈画和标注，以此 来引起孩子们的注意。由于聋儿个体的特殊性，当授课过程中出现备课时没有预 料到的问题时，可以拉出讲课“白板 进行不限页数的书写、绘画、补充说明， 弥补传统“黑板 有限区域的限制。当一课的内容讲完后，如果有需要重点突出 或者重复的地方可以进入“缩略图”界面进行选择，点击选中页便自动转入选中 页面的讲课界面，极大程度的方便老师的授课过程。 聋儿较之正常儿童会表现出胆小、懦弱、缺乏自信心等特点，基于此讲课系 统提供了展台功能，在讲课或课后，孩子们的作业或作品可以通过实物展台展现 给所有的孩子，从而得到大家及自己的认同，逐步建立自信。还可以将身边的实 物通过展台展示给所有的孩子，提醒他们去主动观察身边的事物，从而提高他们 的观察能力，也同时将抽象的事物通过具体的实物展示给每个孩子，帮助他们全 面的理解。 6 硕士学位论文 随着聋儿年龄的增长，思维的发展，语言组织能力也在一天天的提高。简单 的字、词、句的学习已不能再满足聋儿的语言学习了，我们要求聋儿在理解字、 词、句的同时，可以组织句子来表达自己的意愿或完整的讲述某件具体的事件。 所以系统提供了音视频编辑功能，老师可以编辑一段简单的视频片段，让孩子们 反复的听和看，让孩子跟着情节讲故事，并通过音频编辑器录制下孩子讲的故事， 让孩子们听哪里讲的很好哪里发音还不对，激励孩子主动去学、去练。在听力训 练过程中，老师还可以边编辑边将编辑好的音频片段放给孩子听，训练和测试孩 子的辨音能力。 由于聋儿的自制力和持久性不强，我们只有发挥多种媒体的优势，通过不同 的表现形式将事物的不同侧面呈现给聋儿，在兴致勃勃中学习和认识现实世界。 另外由于聋儿教育的特殊性，聋儿教师每天不但要进行正常的教学工作，还 要对多个聋儿进行单独的语训，他们工作量不但体现在课上，还反映在课下的备 课过程中，为了减轻老师的负担，我们的用户主菜单设计采用形象易懂的“课件 夹”和“课件”的概念，通过老师们熟悉的笔一纸模式实现讲课系统自然的交互控 制。 1 2 3 手势的分析与理解技术 手势是人们日常生活中广泛使用的一种交流方式，具有较强的表意功能。目 前，在人机交互领域中，手势分为两种：一种是真正用手做出的三维手势，三维 手势借助于计算机视觉来实现，目前在技术上还面临着许多困难，有的三维手势 技术通过数据手套来完成，但是成本昂贵，而且交互效率并不高；另一种是基于 笔输入的二维手势，相应的界面被称为草图用户界面，基于笔输入的二维手势识 别相对容易，而且成本低廉，使用范围广。 本文中所指的手势都是指基于笔输入的二维手势，本文使用笔手势作为主要 的交互手段。下面以儿童教育为背景讨论一般的草图理解领域中用到的手势分析 和理解的过程，一般需要经过数据重采样、草图规整和草图理解三个步骤。 系统首先需要对数据点进行过滤和重新采样，一方面由于手写笔等输入设备 的采样速率比较高，超出了草图分析实际的需要；另一方面由于用户输入时的随 意性，导致数据点的几何分布可能不均匀。此外，系统可能还需要对数据点进行 光滑等美化处理，使得笔划更加符合用户意图，以降低用户输入的噪声，为后续 的工作提供数据良好的样本信息。 7 硕士学位论文 其次，系统需要对草图进行规整，包括元素间的几何关系分析和基于知识的 约束两个部分。此处的元素是指点、直线、圆弧等基本的几何图形，通过捕捉用 户的真实意图，分析各元素间的关系，如两条直线间可能存在平行、垂直、等长、 相接以及同一线条等多个关系，通过分析或者统计的方法来生成对元素几何关系 分析的文法知识规则库，在用户输入手势后自动进行最佳匹配。然后，根据一定 的推理结果在元素上施加合适的关系和约束，对其进行重绘或者规整，并检查草 图的几何拓扑关系的完备性，从而将原始草图转换为完整的精确的几何图形。 最后，系统需要对识别出来的几何图形进行理解。草图规整将原始的输入手 势转化为规则的几何图形，并且将几何图形间的关系规整为规范的几何约束关系， 但这属于几何层面，和用户设计思路中的任务还是有很大差距。因为用户考虑的 是具体的任务，是这些草图表示的具体的形象、概念等，因而草图理解属于语义 概念层面，而不同领域的知识结构相差可能很大，相同的几何图形可能会有不同 的解释。其次，前面的草图规整过程中对一些图形元素可能产生多种解释，这时 就需要更具体的信息，或者某具体领域的知识，对这些解释做进一步分析和评估， 进一步缩小歧义，确定最终识别结果。 1 2 4 存在的问题 开发聋儿或弱听儿童的听觉和语音潜能，提高聋儿教育水平，是一个国家 教育事业的重要组成部分。据统计，我国有7 岁以下的聋儿约8 p 万，每年新生聋 儿约2 3 万。研究表明，聋儿具有不同程度的听觉和言语潜能，如果这种潜能能得 到及时的开发和训练，那么他们的听觉能力会有不同程度的提高，甚至可以告别 没有声音的世界，步入正常的生活轨道。人类学习语言的最佳时机是2 3 5 周岁， 超过6 岁学习语言就较为困难，在这一阶段聋儿如果得不到及时的康复治疗，势 必会造成终生聋哑，给社会和家庭带来沉重的负担。 从1 9 8 8 年聋儿康复工作作为一项抢救性工程被纳入国家计划，到目前全国各 地共开设了1 7 0 0 多个听觉言语康复机构，为聋儿提供康复训练服务，康复质量由 “十聋九哑状态跃升到聋儿康复入普率达到2 6 8 。然而，我国的聋儿康复教育 观念陈旧，许多采用填鸭式的教育方法，难以激发聋儿的主动性、积极性，使他 们因学习困难产生畏惧心理，并逐渐失去了学习的兴趣；康复教育手段依然落后， 8 硕士学位论文 单单依靠教师的口语训练和卡片式教育，难以高效地促进聋儿听觉能力和口语能 力的提高 梁巍，2 0 0 4 。 在康复机构接受教育训练的聋儿一般不超过七岁，最小的可能才两岁。其中有 些聋儿配戴助听器较晚，由于长期处在无声的世界里，他们感受和理解声音的能 力较弱。为了使聋儿能养成良好的聆听习惯，必须让他们聆听大量的声音，包括 自然环境声响、动物叫声、乐器声、日常生活中的各种声音等，依靠现在的教学 手段难以提供如此丰富的声音。 随着计算机多媒体技术和互联网技术的发展，以及全国各地计算机和互联网的 普及，将聋儿康复教育和计算机多媒体技术相结合，采用多媒体课件和多媒体教 学的方式，可以突破原有教育方式的诸多弊端。多媒体技术在聋儿康复教育中的 运用，改变了教师在教学过程中的位置，教师从教授、传递知识向指导、辅助学 生学习转化，在单训时每个聋儿都能得到足够的重视和指导，从而使每个聋儿的 学习能力都得到最大程度的发挥，使聋儿真正成为教育的主体；改变了传统的以 教师言传和文字刺激为主要手段的教学方式，取而代之以图像、视频、语音、动 画、文字等多种方式传递信息，可以将教学内容以极具真实感和高度交互性的方 式展现给聋儿，可以同时刺激聋儿的多个感官，表现力非常强，不但扩展了教学 的内容，更能激发聋儿的学习兴趣。将声音与动画相结合，通过声音就能产生动 画的刺激，可以激发聋儿发出声音的意识和能力；利用互联网上的大量音频资源， 可以给聋儿提供丰富的用以训练的声音。 由于多媒体教学有许多优势，很多公司推出了自己的课件编辑产品，在一定 程度上丰富了教学方式。同时，很多机构相继建立起了自己的多媒体教学平台和 多媒体教室。但是，目前的多媒体课件编辑平台对于非计算机专业的普通用户来 说难于学习和操作，致使很多机构的多媒体教学还处于一种低效率的运作状态， 远远没有发挥多媒体教学的优势，造成严重的资源浪费。而对于聋儿康复教育， 现有的课件编辑产品基本都是基于普通教育而制作，基本没有针对聋儿听觉和言 语的特点，没有遵循聋儿认知的特殊规律，也没有提高聋儿学习兴趣的特殊方法， 因而难以满足现在聋儿康复教育的需求，难以应用在聋儿康复教育实践中。 针对聋儿康复教育的现状、未来发展的需求以及目前的技术水平，我们提出 研究基于多媒体和多通道的聋儿康复课件编辑平台，力图提供适合聋儿教育的课 9 硕士学位论文 件制作和演示环境，为从事康复教育的教师提供易学易用的软件和教学素材，减 轻他们的工作负担，提高康复教学质量，进而提高我国聋儿康复教育的水平，帮 助聋儿早日进入正常人的生活。 1 2 5 聋儿康复笔式多媒体教学系统的重要性 在对中国聋儿康复中心进行了为期一个多月的实地调研后，我们发现大部分教 师都配备有电脑设备，可以进行多媒体辅助教学，可是因为没有适合的软件，只 能将电脑和电视、d v d 等简单的视频播放设备一样只是用于多媒体文件的播放。 或者有配有专门的多媒体聋儿康复设备，例如启音博士等，但由于此类设备主要 是针对聋儿单训课使用的，所以导致上课时，教师们使用的仍然是传统的教材素 材工具，例如，黑板、图片、卡片、自制实物等，传统的实物教学并不能很好的 吸引聋孩子们的注意力，也不能帮助他们全面的认识世界，所以并不能达到十分 满意的康复效果。而采用多媒体的教学方式，可以极大地增加信息量，提高聋儿 的兴趣，增强教师的教授手段，为聋儿康复提供便利的方式。 1 3 课题的来源与意义 1 3 1 课题来源 本课题来自于： 国家自然科学基金“基于场景的多通道用户界面研究 ，项目编号：6 0 3 7 3 7 5 6 ； 中国科学院知识创新工程项目“聋儿康复多媒体课件编辑平台研究与开发 ， 项目编号：k c , c x 2 - y w 一6 0 6 ； 中小企业创新基金“基于多通道用户界面的儿童娱乐城 ，项目编号： 0 5 c z 6 2 2 11 0 0 0 2 0 。 1 3 2 课题意义 本项目的研究将利用先进的教育方法和信息技术，提高教师的备课、讲课效 率和质量，更好地帮助聋儿或弱听儿童恢复听觉和语音潜能，提高聋儿康复教育 水平，对于聋儿及其家庭和社会具有重要的意义。其关键意义如下： 促进聋儿康复教育的发展，减轻家庭和社会的负担 儿童是祖国的未来，是国家未来的建设者。结合多媒体技术、网络技术、交 l o 硕士学位论文 互技术，建立多媒体课件编辑平台，给聋儿康复教育提供了丰富的教学方式，可 以极大地提高聋儿的学习兴趣，促进聋儿的康复，使其可以早日回归正常社会， 这既促进了聋儿的个人发展，也减轻了家庭和社会的负担，对于聋儿个人、家庭 和社会都具有重要的意义。 笔手势交互技术对康复教学过程的有效支持 目前的课件编辑平台，普遍存在的问题是难以学习、难以使用，并不适合聋 几康复的教育领域。对于没有计算机经验的聋儿教师来说，学习使用课件编辑软 件有较大的难度。另外，针对聋儿康复教育，更需要特殊的交互手段，使用符合 聋儿特点的交互方式。本项目采用自然的交互方式，为教师的备课、授课提供有 效的工具和丰富的素材，提高教师的教学效率，降低教师的工作压力，进而对提 高康复教学质量有重要的意义。 用多媒体技术提高康复教育的水平 多媒体技术是课件编辑平台的基础技术，是区别于传统教育方式的核心技术， 是新的教学方式的重要手段。研究多媒体技术在聋儿康复教育中的应用，探索聋 儿康复教育中应用多媒体技术的特点和方法，对于多媒体技术本身具有很好的应 用意义。多媒体技术通过各种媒体包括文字、图形、图像、音频、动画的相互结 合，制作出具有立体感和真实感的课件，使得教学内容非常丰富，并能极大地激 发聋儿兴趣，促使他们早日康复。该技术的应用，对于提高康复教育水平和聋儿 康复效果具有重要的意义。 1 4 论文的研究内容及组织结构 1 4 1 论文研究内容 按照使用笔式用户界面的目的来说，其应用领域大体可以归为四类：创造性 工作、信息交流和共享、思想捕捉、笔交互增强【李杰，2 0 0 2 。笔式用户界面提升了 普通用户界面的交互能力，扩展了其应用领域，尤其在教育过程中的，随堂批注、 电子白板、媒体播放控制、电子笔记本等领域有着显著的优势。 本文以促进聋儿康复教育为目标，基于笔式用户界面，以手势识别和多媒体 作为主要技术，首先研究了适合多媒体教学的手势识别算法，设计了适合多媒体 教学的多种手势，然后设计并实现了基于笔的聋儿康复多媒体讲课系统，最后对 硕十学位论文 该系统进行了可用性评估。 1 4 2 主要工作 本文的主要工作包括了如下几个方面： l 、深入分析了目前国内外手势识别技术，以及多媒体教学的进展和现状，比 较和研究了大量多媒体教学系统的优劣点和适用范围，提出了普遍的交互体验不 足的问题，提出了新的基于笔手势的多媒体教学方法。 2 、将多种媒体应用于教学过程中，提出了将传统的基于鼠标、按钮的音视频 编辑交互与笔手势交互相结合的方式，给用户提供了新的交互途径，用简单的勾 画就可以准确地进行所需的操作，简化了备课和授课过程中的繁复操作，使教师 将更多的精力关注于教学质量。 3 、提出了视频编辑的预览选择再定位方法，摒弃了精确定位复杂操作，简化 了交互难度。不但满足了教师的需求，达到了反复选择再相对精确定位的目的， 还简化了操作难度。 4 、提出了一种新的方法对所绘图形进行编辑，即将每一笔手势作为一个单位 进行存储，进而对每一个手势进行操作。实现了绘图的局部编辑效果，解决了教 师需要重复绘制相似图片的问题，提高了教师的讲、备课效率。 5 、在前面几项工作的基础上，设计并实现了面向聋儿的多媒体讲课系统。该 系统以手势作为主要的交互方式，通过自然、和谐的笔式用户界面，将讲课和素 材的制作过程变得非常简单、有趣，极大地提高了用户的交互体验。 6 、在实现面向聋儿的多媒体讲课系统的同时，开发了新的计算手势训练工具， 具有良好的接口和可扩展性，可以独立出来提供给其他的研究和应用作为底层的 算法支持。 1 4 3 论文组织结构 本文共分七章，分别介绍如下： 第一章：绪论。介绍了笔式用户界面的发展状况，分析了聋儿认知规律和手 势识别技术，并阐述了基于笔手势的聋儿多媒体讲课系统的重要性，最后讲述了 本文的主要研究内容和组织结构。 第二章：国内外相关研究分析。分析了聋儿教育软件的国内外发展状况，阐 述了手势识别技术的国内外相关研究状况。 第三章：手势识别与设计。讲述了手势识别中的核心技术，手势特征提取和 手势训练算法，然后根据多媒体讲课系统的需要，设计了文本手势、音频编辑手 势、视频编辑手势等多种手势。 第四章：多媒体讲课系统的总体框架及原型设计。首先分析了多媒体讲课系 1 2 硕十学位论文 统的需求，然后描述了多媒体讲课系统的总体框架，最后设计了讲课系统主体部 分以及音视频编辑工具、绘图工具的主要功能和类结构。 第五章：多媒体讲课系统的实现。首先描述了多媒体讲课系统的开发和运行 环境，然后分别讲述了多媒体讲课系统主体部分以及音视频编辑工具、绘图工具 的实现和界面。 第六章：多媒体讲课系统的可用性评估。介绍了目前已有的可用性评估方法， 论述了基于界面场景的评估方法，详细描述了整个可用性评估实验的设计以及实 施的全过程，并对最终结果进行了统计和分析，得出相应结论。 第七章：结论与展望。总结全文，并指出了本文的不足和进一步的发展方向。 1 5 小结 本章首先讲述了笔式用户界面的发展状况，然后分析了聋儿的认知规律和手 势识别技术，并阐述了基于笔手势的聋儿多媒体讲课系统的重要性，最后讲述了 本文的主要研究内容和组织结构。 1 3 硕士学位论文 2 1 概述 第二章国内外相关研究分析 计算机在教育领域得到广泛应用，导致了教学手段、教学方法发生了巨大变革， 由此产生了相关的教育思想，理论和技术，课件就是在这种情况下产生，课件是 英文“c o u r s e w a r e 的译文，原意是课程软件，课件必须体现具体学科的教学目的， 包含具体学科的教学内容，并能够按照教学的顺序和控制方法进行教学。 耳聋学生的听觉系统存在障碍，他们感知客观事物的范围较健全学生的感知 范围要小得多，因此他们对事物的整体属性反应不完整、不准确，看问题往往具 有很大的片面性。但耳聋学生在听觉上的缺陷又使他们利用视觉、振动觉和触觉 等对听觉进行补偿的能力特别强，从而导致大脑各部位联系的重新组合，使健全 的感觉能力得到发展。因此在聋儿的教学中必须坚持直观性的教学原则，充分利 用耳聋学生的各种感官来掌握知识，通过各种形式的感知，丰富耳聋学生的直接 经验和感性认识，使耳聋学生获得生动的表象，从而比较全面地、深刻地掌握知 识。运用电子课件辅助教学则能强化耳聋学生的信息感受，帮助他们开展思维活 动，因此能够取得最佳的直观教学效果。电子课件不但能将文字、图片、图像等 展现出来，将耳聋儿童带进直观、生动、丰富的知识世界，解决许多难以直观表 达的概念和直观的仿真事物，还可实现交互式教学，这是其他媒体所不及的，它 能构建一种开放的学习环境，让聋儿主动地、创造性地学习。 2 2 聋儿教育软件的相关研究 计算机在教育领域得到广泛应用，导致了教学手段、教学方法发生了巨大变革， 由此产生了相关的教育思想，理论和技术，课件就是在这种情况下产生，课件是 英文“c o u r s e w a r e 的译文，原意是课程软件，课件必须体现具体学科的教学目的， 包含具体学科的教学内容，并能够按照教学的顺序和控制方法进行教学。 耳聋学生的听觉系统存在障碍，他们感知客观事物的范围较健全学生的感知 范围要小得多，因此他们对事物的整体属性反映不完整、不准确，看问题往往具 1 4 硕十学位论文 有很大的片面性。但耳聋学生在听觉上的缺陷又使他们利用视觉、振动觉和触觉 等对听觉进行补偿的能力特别强，从而导致大脑各部位联系的重新组合，使健全 的感觉能力得到发展。因此在聋儿的教学中必须坚持直观性的教学原则，充分利 用耳聋学生的各种感官来掌握知识，通过各种形式的感知，丰富耳聋学生的直接 经验和感性认识，使耳聋学生获得生动的表象，从而比较全面地、深刻地掌握知 识。运用电子课件辅助教学则能强化耳聋学生的信息感受，帮助他们开展思维活 动，因此能够取得最佳的直观教学效果。电子课件不但能将文字、图片、图像等 展现出来，将耳聋儿童带进直观、生动、丰富的知识世界，解决许多难以直观表 达的概念和直观的仿真事物，还可实现交互式教学，这是其他媒体所不及的，它 能构建一种开放的学习环境，让聋儿主动地、创造性地学习。 2 2 1 国外情况 国外的很多国家如美国，英国，日本等等对于残疾儿童的特殊教育非常重视。 就美国而言，美国的特殊教育有一系列法律法规的支撑。对美国特殊教育实践影 响最大的是联邦政府1 9 7 5 年的身心障碍儿童教育法案( 又称p l 9 4 1 4 2 ) ，1 9 9 0 年的障碍者教育法案( 即i d e a ，又称p l l o l 叫7 6 ) 以及该法的1 9 9 7 年、1 9 9 9 年修正案。许多地区还有专业的特殊教育技术支持中心，这些研究机构的任务主 要有两项：一是运用已有的科技成果研制开发适合特殊儿童多方面需要的辅助工 具，希望经由科技的辅助扩大障碍者残存的能力，补偿较为不足或有待提升的能 力。另一方面，紧追踪科学前沿，力求将最先进的科学技术应用于特殊教育，努 力使特殊儿童成为人类先进科技成果的第一个受益者【汪海萍，2 0 0 4 。 早在8 0 年代，i b m 公司以及圣地亚哥加利福尼亚大学的科学家们就开始共同 致力于一个提高聋儿读写能力的计算机项目，命名为h a n d s o n ( 传递) 。该项目是 让熟练使用美式手语的学生利用他们的手语表达能力来学习写作语法和词汇。一 个8 0 0 0 名美国中学毕业聋儿的抽样调查显示，对于他们，读写非常困难，1 8 岁却 只有平均9 岁的阅读能力。这个项目利用对于语言和心理学的训练，研究员们选 定了三个针对不同年龄儿童的故事。在计算机的帮助下，又开发了教育包h a n d s o n ， 这是一个运行在i b mp c 机的触控式显示屏上的软件。在讲故事的同时用手语和文 字文本显示，并伴有行动选项，使得学生可以同时用手语或者文字文本进行交互 1 5 硕士学位论文 【m a n a g e m e n ts e r v i c e s ，l9 8 9 】。 在俄勒冈州波特兰t u c k e r - m a x o n 口语学校里，6 岁至1 2 岁的聋儿在b a l d i ( 会 说话的电脑合成脸) 的帮助下提高他们的听力和发音能力。这个不寻常的言语导 师有强大的软件技术，结合了3 d 动画和语音识别以及发声的视听内容，让b a l d i 这张三维动画的脸在屏幕上讲话，在s