（计算机软件与理论专业论文）同步流媒体课件制作关键技术的研究与实现.pdf

山东大学硕士学位论文 摘要 随着计算机网络技术和数字技术的迅速发展，网络教育己经进入了数字化、 智能化、个性化的发展阶段，新的通讯技术为传递最新的教学信息与知识提供了 更多地途径，为网络资源的建设带来了突破性的进展。异步网络学习模式的 e 1 e a m i n g 系统要求将教学过程中录制的视频资源快速组织，制作成课件并发布 到网上供学生学习。p 町讲课视频作为e 1 e a r n i n g 中主要的课件形式，由于投影 设备和光照条件的影响，一般比较模糊，为解决这一问题，基于视频、讲稿和索 引标题三者同步的流媒体课件制作系统应运而生。但目前的同步流媒体课件制作 系统多存在两个问题：一是手工设置同步、效率低；二是课件未遵循e 1 e a r n i n g 标准、共享性差。 针对目前异步网络教学中的学习课件制作繁琐、视频资源网络传输延迟长、 课件共享性差等问题，本文对流媒体课件制作的关键技术进行了研究，并设计了 一个同步流媒体课件制作系统，实现了学习资源的组织浏览、同步整合、流媒体 发布和资源标准化等功能，可快速制作完成共享性和复用性较好的流媒体课件。 本文提出了一种p p t 讲课视频与讲稿的同步算法。首先在基于内容的视频 分析技术基础上，对p p t 讲课视频进行s l i d e 切换识别，构造s l i d e 场景，然后 提出了一种基于h o u g h 变换的p ”投影区域检测方法定位视频中讲稿的投影区 域，最后利用基于滑动窗口的图像匹配技术，得到视频与原始讲稿的同步关联。 本文探讨了如何将同步关联结果作为元数据加入流媒体格式的视频文件中， 如何制作视频、讲稿和索引三者同步的w e b 课件并发布到流媒体服务器，并对 资源的s c o r m 内容包装过程进行了详细的说明，对外提供了标准格式的数据 包，使资源可以在不同的学习平台间共享和复用。 本文对同步流媒体课件制作的关键技术进行了研究和实现，有较高的应用价 值，可以降低人工干预的工作量，提高课件的制作效率。目前，本文设计和实现 的课件制作系统以开始试用，并取得了较好的结果。 关键字：流媒体课件制作；s o o r m 标准化：视频讲稿同步；矩形检测 l j l 东大学硕士学位论文 ab s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rn e t w o r kt e c h n o l o g ya n dd i g i t a l t e c h n o l o g y , d i s t a n c ee d u c a t i o n h a sb e e ne n t e r e dt h e d i g i t a l ，i n t e l l i g e n t a n d p e r s o n a l i z e ds t a g e t h en e wc o m m u n i c a t i o nt e c h n o l o g yp r o v i d e sm o r es e l e c t i o n sf o r d e l i v e r i n gt h el a t e s ti n f o r m a t i o na n dk n o w l e d g e ，a n db r i n g sa b o u tab r e a k t h r o u g hf o r t h ec o n s t r u c t i o no fn e t w o r kr e s o u r c e s i nt h ea s y n c h r o n o u se - l e a r n i n gs y s t e m , t h e r e c o r d e dv i d e oa b o u tc l a s s r o o mt e a c h i n gw i l lb eo r g a n i z e d , p a c k e du pa n dd i s t r i b u t e t ot h ei n t e m e tf o rt h el e a r n e r s a st h ep r i m a r yf o r mo fe l e a r n i n gc o u r s e w a r e ，p 盯 v i d e oi sg e n e r a l l ya m b i g u o u sb e c a u s eo ft h ec o a r s ep r o j e c t i v ee q u i p m e n ta n dp o o r l i g h t i no r d e rt os o l v et h ep r o b l e m , t h es t r e a m i n gc o u r s e w a r ec r e a t i n gs y s t e mo nt h e s y n c h r o n i z a t i o no fv i d e o ，s o u r c ed o c u m e n ta n dn a v i g a t i o ni sd e v e l o p e d h o w e v e r , s u c hs y s t e m sm o s t l yh a v et w oq u e s t i o n s ：o n ei st h a tm a n u a ls y n c h r o n i z a t i o nb r i n g s a b o u tl o we f f i c i e n c y ；a n o t h e ri st h a tt h ec o u r s e w a r ei sp o o r l ys h a r a b l ew i t h o u t e - l e a m i n gs p e c i f i c a t i o n t os o l v et h ep r o b l e m so ff u s s yc r e a t i n g ，l o n gd e l a yi nt r a n s m i s s i o na n dp o o r s h a r i n go ft h ec o u r s e w a r ei n c u r r e n ta s y n c h r o n o u se - l e a r n i n gs y s t e m s ，t h ep a p e r s t u d i e st h ek e yt e c h n o l o g i e sf o rc r e a t i n gs y n c h r o n o u ss t r e a m i n gc o u r s e w a r e ，d e s i g n s o n es y s t e mt oc r e a t es u c hc o u r s e w a r e ，a n di m p l e m e n t st h ef u n c t i o n so fr e s o u r c e o r g a n i z a t i o n ，s y n c h r o n o u si n t e g r a t i o n ，c o u r s o w a r od i s t r i b u t i n g a n ds c o r m p a c k a g i n g t h ew e l ls h a r a b l ea n dr e u s a b l ec o u r s e w a r ec a nb ep r o d u c e dq u ic k l yb yt h e s y s t e m o n es y n c h r o n o u sa l g o r i t h mb e t w e e np p tl e c t u r ev i d e oa n ds o u r c ed o c u m e n ti s p r o p o s e di nt h i sp a p e r f i r s t l y , b a s e do nt h ec o n t e n t b a s e dv i d e oa n a l y s i st e c h n o l o g y ， s l i d et r a n s i t i o n sa r ei d e n t i f i e df r o mt h ev i d e ea n ds l i d e b a s e ds c e n e sa r oc o n s t r u c t e d t h e no n eh o u g ht r a n s f o r m - b a s e da l g o r i t h mi sp r o p o s e dt od e t e c tt h ep 盯p r o je c t i o n r e g i o n l a s t l y ，s l i d i n gw i n d o w - b a s e di m a g em a t c h i n gi s u s e dt oi d e n t i f yt h e c o r r e s p o n d i n ge l e c t r o n i c s l i d ef o re a c hs c e n e ，a n dt h es c o n e s l i d ec o u p l e s p r o d u c e d i i 山东大学硕十学位论文 h o wt oa d dt h es y n c h r o n o u sr e s u l tt ot h es t r e a m i n gv i d e of i l ea st h em e t a d a t ai s d i s c u s s e di nt h ep a p e r h o wt oc r e a t et h ew e bc o u r s e w a r ei nw h i c ht h ev i d e o ，s o u r c e d o c u m e n ta n dt h ei n d e xa r es y n c h r o n o u sp l a y i n ga n dd i s t r i b u t et h e mt ot h es t r e a m i n g m e d i as e r v e ra r ee x p l o r e d m o r e o v e r , t h es t a n d a r d i z a t i o np r o c e s so ft h ec o u r s e w a r e b a s e do ns c o r ms p e c i f i c a t i o ni s e x p l a i n e d , a n dt h ec r e a t i n gp r o c e s s o f s c o r m c o m p l i a n tp a c k a g ei sp r o v i d e dt oe n s u r et h es h a r i n ga n dr e u s a b i l i t yo ft h e t h ek e yt e c h n o l o g i e sf o r c r e a t i n gs y n c h r o n o u ss t r e a m i n gc o u r s e w a r e a r e e x p l o r e di nt h ep a p e r ，w h i c hc a nr e d u c et h ew o r k l o a do fm a n u a li n t e r v e n t i o n ， i m p r o v et h ee f f i c i e n c yo fc o u r s e w a r ec r e a t i o n ，a n dh a v ea ni m p o r t a n tw o r t ho f e d u c a t i o n a la p p l i c a t i o n a tp r e s e n t ，t h ec o u r s e w a r ec r e a t i n gs y s t e md e s i g n e da n d i m p l e m e n t e di nt h ep a p e rh a sb r o u g h ti n t oe f f e c ta n da c h i e v e dg o o dr e s u l t k e y w o r d ：s y n c h r o n o u ss t r e a m i n gc o u r s e w a r e ；s c o r mp a c k a g i n g ； s y n c h r o n i z a t i o nb e t w e e nv i d e oa n dd o c u m e n t ；r e c t a n g l ed e t e c t i i i 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的科研成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律责任由本人承担。 论文作者签名：盔鱼亟日 期：边殳。绝纽 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：盏亟鱼互导师签名： 山东大学硕士学位论文 1 1 研究背景及意义 第1 章绪论 现代远程教育是随着现代信息技术的发展而产生的一种新型的教育方式。计 算机技术、多媒体技术以及通信技术的发展，尤其是i n t e m e t 的迅速发展，使远 程教育有了质的飞跃。而随着教育信息化的迅速发展，网络学习( e l e c t r o n i c l e a r n i n g ，e l e a r n i n g ) 正以惊人的速度改变着远程教育的学习方，发展 e - l e a r n i n g 对提高教育质量、增强办学效益、建立终身教育体系具有重要 的作用。 所谓e - l e a r n i n g ，简单地说，就是在线学习或网络化学习，即在教育 领域建立互联网平台，学生通过p c 上网，通过网络进行学习的一种全新的 学习方式。当然，这种学习方式离不开由多媒体网络学习资源、网上学习 社区及网络技术平台构成的全新的网络学习环境n 3 。e l e a m i n g 具有四大特 点：w h o e v e r 、w h e r e v e r 、w h e n e v e r 、w h a t e v e r ，具体的说就是：任何人在任何 地点、任何时候都可以学习任何需要的内容，同时具有个性化、集成化、系统化 等特点。据美国培训与发展协会( a m e r i c a ns o c i e t yf o rt r a i n i n g & d e v e l o p m e n t ， a s t d ) 预测，到2 0 1 0 年，雇员人数超过5 0 0 的公司9 0 都将采用e - l e a r n i n g 培训，e l e a r n i n g j e 成为知识经济时代的正确抉择。 经过对现有m e l e a r n i n g 粼特点进行总结，p a t a n t h o n yf e d e r i c 0 1 2 1 提出 目前e l e a r n i n g 集中在两种模式： ( 1 ) 以多媒体技术为核心的同步实时教学。 利用视频会议系统传输声音和视频，构建一种分布式的教室同步教学，可以 针对学生的表现提供及时的反馈，可以根据需要迅速调整培训安排。同步教学的 拓扑结构如图1 1 所示 生蛮銮耋2 圭：竺鲨三 图1 1 基于视频会议的e - l j a m i n g 系统 在多媒体技术中以视频会议技术为主采用i - 1 _ 3 2 3 、s i p 协议通信，媒体压 缩则采用m p e g i 2 4 、h2 6 1 2 4 等视频编码和g 7 1 | 、m p e g l a y e r - 3 等音频编 码。 ( 2 ) 以w w w 技术为核心的异步网络学习翻。 它采用基于网络技术的多媒体教学平台，将教学课件或教学资源存放在信息 服务器中，学生可通过网络接入多媒体教学服务网，以点播方式进行课件的学习。 学生可以在任意时间、任意地点独立进行学习。异步教学的拓扑结构如图1 - 2 所 示： 图l o 基于w 曲的异步e j 钧m l d g 系统 异步网络学习模式要求将实时教学过程中录制的课堂场景进行快速组织，然 后将整理过的课件发布到网上供学生学习，而学生在学习的过程中需要迅速检索 到所需资源、定位到期望的知识点并在关键的地方做出自己的标注。本文探讨的 流媒体课件制作就是基于这种模式的。 j 舅雕( & 山东大学硕士学位论文 流媒体课件的特点在于其模拟了真实的教学环境，其内容一般包括教学现场 视频数据流、教师讲课的音频数据流，屏幕讲稿流。虽然教师、学生时空分离， 但学生能“看见、听到”老师的授课过程。这样的流媒体课件在现代远程教育中 起着重要的作用，关系到远程教育的质量和效益。然而流媒体课件目前需要专门 的网络课件人员来制作，具有制作工程复杂，制作周期长等缺点，大多数教师很 难掌握这些技术。在这种状况下，探讨流媒体课件的制作技术，实现流媒体课件 的自动合成，将极大地丰富远程教育资源，提高教育质量。这样的开发研究也具 有很大的实用价值。 1 2 流媒体课件的研发现状 e 1 e a m i n g 的高速发展，使网络流媒体课件成为课件制作系统的发展方向， 而开发一个和网络教学系统高度集成的流媒体课件制作系统成为必然的趋势。 目前流媒体课件的生成大约有以下几种： ( 1 ) 在线直播。可以利用卫星或网络，在线直播教师的讲课过程，完成教师 的图像、声音、动作以及公式推导和操作数据的同步采集，和讲义合成 后在线直播。 ( 2 ) 实时制作。随着教师讲课进行，完成教师的图像、声音、动作以及公式 推导和操作的数据采集，并且完成教师讲义与上述动态信息的同步。当 教师讲课完毕时，课件也同时制作出来，可以立即进行发布。这种方式 可以快速制作出标准的课件，但只能应用于同步实时教学模式中。目前 一些公司，例如葵花公司、科健公司已经推出了一些简单的系统，一般 是利用一个摄像头摄取教师图像，同时和屏幕上的讲义合成，基本上达 到了目标，但视频质量较低。 ( 3 ) 录屏制作。实时捕获教师在计算机屏幕上的操作过程和声音讲解，并在 课件播放中重现给学生，对于计算机相关的课程，特别是一些培训课程， 具有非常重要的意义。目前有的系统采取抓屏存成图片的技术，虽然可 以实现，但产生的课件非常大，有的产品将屏幕也作为一个视频流，教 师的影像也作为一个视频流，两个视频流可以实现课堂情景的重现，但 对网络传输要求太高。实际无法推广。 山东大学硕士学位论文 ( 4 ) 后期制作。这种课件生成方式适用于异步网络学习模式中。一般是先得 到视频文件后，由专业人员或教师插入各种类型的讲稿，最终通过编码 器合成标准的课件。 目前不少公司都已经开发出了自己的多媒体流媒体课件的后期制作工具， 可以实现视频和讲稿等多种形式的资源的整合和管理，主要包括以下几种1 4 ： ( 1 ) m i c r o s o f tp r o d u c e r m i c r o s o f tp r o d u c e r 是p o w e r p o i n t2 0 0 2 的一个插 件是微软特别提供的在线培训演示工具。p r o d u c e r 操作简单，易于 上手，通过导入素材、选择演示模板、合成、发布等几个步骤，手动进 行资源的整合，得到自己的作品，在本机或发布到w e b 上浏览。p r o d u c e r 支持媒体格式广，在进行合成之前无须对视频、音频文件进行流媒体转 换；提供了丰富的演示模板，满足不同的版面布局需要，甚至可以自定 义模板进行个性化的展示。 ( 2 ) p r e s e n t a t i o n m a k e r p r e s e n t a t i o n m a k e rp o w e r e db ys o f t v n e t 是s o f t v 公司开发的独立产品。同p r o d u c e r 一样，也需要通过导入素材、选择演 示模板、合成、发布等几个步骤，手动整合资源，得到自己的作品，在 本机或发布到w e b 上浏览。p r e s e n t a t i o n m a k e r 中支持的媒体格式较少， 只支持r m 格式；同样提供了大量的演示模板和自定义模板功能；最大 缺陷是不支持p o w e r p o i n t 中所作的各种特效设定。 ( 3 ) s t r e a m a u t h o r s t r e a m a u t h o r 是台湾讯连公司的产品，中文名称“串 流大师”，它具有流媒体采集、转换、屏幕捕捉以及资源整合的功能， 但是它设置幻灯片的切换点不方便。 ( 4 ) f l a s h 一最新的f l a s hm x 可以方便的导入外部的视频和音频，支持的 格式包括q u i c k t i m e 电影、m p e g 影片、w i n d o w s 视频、数字视频 ( d v ，d v i ) 、f l a s h 视频( f l v ) ，通过a c t i o ns c r i p t s 可对播放进行控制。 ( 5 ) w i n d o wm e d i at o o l s 一主要是使用其中的m e d i ae n c o d e r 和m e d i a a s fi n d e x e r 实现同步流媒体课件的制作，通过m e d i ae n c o d e r 将视频文 件转化成适合网络传输的a s f 格式的流媒体文件，通过m e d i aa s f i n d e x e r 对a s f 文件编辑实现音视频、讲稿和索引标题的同步：客户端 可以使用m e d i ap l a y e r 进行播放。 4 【j i 东大学硕士学位论文 以上这些工具都支持资源整合和同步课件制作的功能，但它们普遍存在两个 问题：一是它们都是手动设置视频中讲稿的切换点，与讲稿手动建立联系从而 实现资源的合成；二是这些工具发布的课件资源不支持或者不能很好的支持 e 1 e a r n i n g 国际标准，限制了课件在不同学习平台间的共享。 为解决以上问题，本文在对基于内容的视频分析、流媒体课件制作和资源标 准化的研究基础上，提出了一种p t r 讲课视频与讲稿的同步算法，设计并实现 了一个同步流媒体课件的制作系统，实现了教师端的流媒体课件的制作发布，并 描述了对课件资源进行s c o r m 标准化的过程。 1 3 本文的主要工作 本文对基于s l i d e 的视频场景构造和视频讲稿匹配进行了研究和试验，提出 了一种自动手动相结合的p p t 讲课视频与讲稿的同步算法，实现了一个同步流 媒体课件的制作系统，课件编辑人员可以对学习资源进行组织浏览、同步整合和 流媒体课件制作发布，并可以对整合后的课件资源进行s c o r v l 标准化。制作完 成的课件可以在学生端通过正浏览器检索学习。具体工作如下： ( 1 ) 提出了一种p 明讲课视频与电子讲稿的同步算法，首先根据p p t 投影 区域的变化对p p t 讲课视频进行镜头分割和场景构造，产生基于s l i d e 的视频片断序列，然后采用s l i d e 讲稿识别得到s l i d e 镜头所对应的电子 幻灯片，从而实现视频与电子讲稿的同步。 ( 2 ) 实现了同步流媒体课件的发布与应用，即将教师端同步整合后的资源制 作成同步流媒体课件并发布到流媒体服务器和w e b 服务器上，实现了学 生端的知识点检索和点播学习。由于在学生端和服务器之间采用了实时 传输，保证了数据传输的可靠性和实时性。 ( 3 ) 描述了基于s c o r m 标准的课件资源标准化的过程，给出了学习资源的 s c o p - d v l 内容包构建过程，并采用官方s c o p - d v i 自测软件对标准化内容 包进行了测试，保证了课件资源的共享性和重用性。 ( 4 ) 设计并实现了一个同步流媒体课件制作系统，实现了资源的组织浏览、 同步整合、流媒体课件发布和s c o r d m 标准化，为异步网络学习提供了 方便共享和检索的流媒体课件资源。 山东大学硕士学位论文 本文的主要创新点如下： ( 1 ) 提出了一种快速的视频讲稿同步算法，算法提供自动的视频场景切换， 解决了一般多媒体课件制作工具中手动设置视频s l i d e 切换点的问题， 实现了视频与讲稿的自动关联，准确率较高，教师可以对错误的关联进 行修改。 ( 2 ) 课件具有良好的共享性。教师端对课件资源进行了s c o r m 标准化包装， 对外提供了标准格式的数据包，可以在不同的学习平台间共享和复用。 ( 3 ) 设计实现的系统易于使用，教师或编辑人员可以通过简单的交互步骤， 就可以完成同步流媒体课件的制作和发布。 1 4 本文的组织结构 本文的余下内容将按照如下的章节进行组织： 第2 章首先提出了流媒体课件制作应用的总体结构，说明了课件制作的地位和 重要性，然后介绍了同步流媒体课件制作的流程，并从资源同步、流媒体方案设 计和资源标准化三方面进行了详细论述。 第3 章是本文的重点，首先简单介绍了p 阿讲课视频的特点和视频讲稿同步的流 程，然后通过s l i d e 切换和s l i d e 讲稿识别两步，详细讲述了视频讲稿的同步算法， 并对该算法的实验结果进行了分析。 第4 章在对流媒体技术原理的分析基础上，讲述了同步流媒体课件制作和发 布的过程，然后给出了s c o r m 内容包的构建过程，并对包装结果在s c o r m 自 测软件上进行了规范性验证。 第5 章是同步流媒体课件系统的设计和实现，介绍了系统功能结构设计、数据 库设计、视频处理的实现技术以及主要的功能界面。 第6 章是结束语及未来工作展望。 6 l j l 东大学硕士学位论文 第2 章同步流媒体课件制作概述 2 1 流媒体课件制作应用的总体结构 随着视频、音频、图形与图像为主体的多媒体教学成为开展e l e a r n i n g 的 主要手段，课件形式也从网页图片等静态文档，演变到以再现课堂场景的多媒体 资源为主的流媒体课件。目前的流媒体课件系统基本都是采用课件制作和课件应 用相分离的体系结构，如图2 1 所示。 流媒体课件制作系统i 流媒体课件应用系统 作工具 i w e b 浏览器 、同步整 ： ( 学生) 资源检索，知识点定 位学习、流媒体 姜 等 一二之羔一一一基尹一一一 爹爹 流媒体服务器w e b 服务器 ( 存放流式视 ( 存放w e b 谚ji 频资源) 讲稿资源) 流媒体课件制 ( 教师) 资源的组织浏览 合、标准化包装 课件发布 服 务 器 层 图2 1 流媒体课件制作应用的总体结构图 流媒体课件制作系统就是教师在本地组织资源并制作同步流媒体课件，以及 将制作好的课件上传到流媒体服务器和w e b 服务器，其中视频资源上传到流媒 体服务器、讲稿资源上传到w e b 服务器。该系统主要由作为客户端的课件制作 工具和处于服务器端的数据库服务器、流媒体服务器和w r e b 服务器组成，w e b 服务器应用程序主要实现课件资源的集中管理，而流媒体服务器则对课件的流式 播放提供良好的性能支持：数据存储层则是对课件制作子系统的相关素材和附加 7 t i i 东大学硕十学位论文 信息的存储。课件制作系统为网络用户提供支持高效率检索和定位的课件资源， 并可以对外提供s c o i m 标准的内容包以共享。 流媒体课件应用系统则负责用户对课件信息的检索、资源的访问控制和课件 的流式播放等。其中客户端的用户利用内嵌有流媒体播放器的正浏览器，可方 便地对课件资源进行检索、学习。 从图2 1 可以看出，流媒体课件的制作效果直接关系到应用端的资源检索准 确度和学习者的学习质量，因此流媒体课件制作在整个课件制作应用中占据着重 要地位。下面对流媒体课件的制作流程进行详细的论述说明。 2 2 同步流媒体课件制作流程 本文探讨的同步流媒体课件就是基于流式传输的、视频与讲稿及索引标题同 步播放的w e b 课件。同步流媒体课件作为现代网络教育中一种新型的数字化学 习资源，有效地解决了传统网络课件的网络带宽限制、教学模式单一、交互性差、 课件制作方法复杂等问题，因此在网络教学上正得到越来越广泛的发展和应用。 课件的制作流程如下图2 2 所示： 摄像机 图2 - 2 同步流媒体课件制作流程 本文主要针对固定摄像机拍摄的讲课视频和相应的电子讲稿两类教学资源 进行同步整合和课件制作的。制作分为四个过程：资源组织、资源同步关联、流 媒体课件制作和资源标准化。详细描述如下： ( 1 ) 资源组织一将讲课视频和相应的电子讲稿按照树型结构进行组织，可分 为资源类型、所属课程和资源名称三级。对于讲课视频，还需要对其分 割的场景进行组织和预览。对于电子讲稿，需要对其每页内容进行组织 和存储。 8 圈尚 山东大学硕士学位论文 ( 2 ) 资源同步关联一主要是将视频根据讲解的讲稿与原始的电子讲稿建立 关联，即将视频分割为多个片段，每个片段对应一页讲稿内容，然后匹 配原始的电子讲稿页，得到视频片段和电子讲稿页面的匹配序列，从而 实现资源的同步，并以每页讲稿的标题作为索引。这个过程可以手动实 现，也可以通过基于内容的视频分析技术实现。 ( 3 ) 流媒体课件制作一主要是将资源及其同步关联信息转换成流媒体格式， 并发布到流媒体服务器上。构建合适的流媒体方案可以极大的提高制作 的课件的易用性和可扩展性。 ( 4 ) 资源标准化一将各种学习资源按照通用的e - l e a r n i n g 规范进行内容包 装，统一资源的格式和使用方法，使课件资源达到最大程度的共享和复 用。它不仅要求存储格式的标准化，还要保证传输和交换信息的标准化。 下面主要对资源同步关联、流媒体方案的构建和资源的s c o r m 标准化三方 面的设计和考虑进行简单的说明。 2 2 1 资源同步关联 目前，课堂教学或会议中演讲人多使用m i c r o s o f tp o w e r p o i n t 作为演示工具， 因此p p t 讲课视频成为e l e a r n i n g 中主要的课件形式。由于投影设备、摄像设 备及环境光照等条件的影响，这类视频一般比较模糊，视频与讲稿的同步不仅可 以使用户在观看视频的同时浏览对应的讲解内容，更好的理解学习内容，而且可 以借助讲稿中的文本对视频进行标注，便于学生根据知识点对视频的快速定位， 不需要浏览整个视频。 前面已经说过，资源的同步关联可以手动实现，也可以通过基于内容的视频 分析技术自动完成。手动实现是课件编辑人员在视频播放过程中手工设置讲稿页 面的切换点，并与原始讲稿进行关联。这样的流媒体课件制作繁琐、效率低，对 课件编辑人员造成极大的时间浪费。而自动实现则需要根据视频中讲稿的切换进 行场景的检测，并提取场景关键帧，这其中关键使用了基于内容的视频分析技术， 然后检测关键帧的讲稿区域并通过图像匹配技术关联其对应的电子讲稿页面。其 过程如下图2 3 所示： 9 l l i 东大学硕士学位论文 匿斟圈砩，圆进慧愁磬习邕翌弓7 邈氅 匿函荆区圜掣锢 吣痧沙 图2 - 3 资源同步关联的自动实现过程 作为多媒体技术中研究的热点之一，国际国内还有不少研究机构和个人在从 事基于内容的视频分析方面的研究，在镜头切换、场景检测、关键帧提取等方面 有比较成熟的算法。例如：h j z h a n g ，e t c 1 5 1 1 6 1 7 1 提出用多遍策略检测镜头切换， 用两个阂值来检测镜头渐变，其中包括镜头检测、代表帧选取、镜头间相似性计 算等；i b m 拘q b i c t 8 1 ，把基于统计直方图和基于灰度差的方法结合起来做镜头 检测，对镜头内容的表示采用基于图像拼接技术的方法；b l y e o ，e t c 【9 1 【1 0 1 较早 研究了直接对m p e g 压缩视频流进行处理的方法，引入d c 图的概念，用m p e g 压 缩数据流中离散余弦变换的直流分量( d c 系数) 组成微缩图( 称为d c 图) 来代 表原图，提出了视频时域中的场景等高层结构的概念；s ec h a n g ，e t c 【l i l 提出 基于运动向量来检测突变，基于渐变的数学模型来检测渐变，提出面向目标的视 频表示方法；c m u 的i n f o r m e d i a 【l3 1 ，建立数字视频图书馆，它提出了通过v i d e o s k i m m i n g 技术得到视频摘要的方法，主要特点是结合了语音和文字识别技术。 图像匹配主要是利用图像的主要特征查找最为相似的图像，这里利用该技术 实现视频中讲稿与原始讲稿的关联。它们主要是依靠图像的颜色、空间、形状等 特征作为匹配依据。颜色作为图像的重要特征之一，常用的图像匹配方法有颜色 直方图相交方法【1 4 1 、改进后的累加直方图方法 1 5 , 1 6 1 、主颜色方法【1 7 1 、颜色相关 矢量( c o l o rc o h e r e n c ev e c t o r ，c c v ) t 1 8 l 和类似纹理共生矩阵的c o l o r c o r r e l o g r a m s 1 9 1 方法、基于颜色。空间特征的查找方法【2 0 , 2 1 , 2 2 等。形状作为图像特 征的另一个重要特征，它的描述主要有基于边界和基于区域两大类，前者只利用 形状的外部边缘，而后者利用形状的全部区域。基于边界的形状特征查找算法的 关键在于边缘检测，在提取边缘的基础上，定义边缘的特征描述。基于这种思想 的算法常见的有几何参数法、多边形项点数、眭率、f o u r i e r 描述子 2 3 , 2 4 , 2 5 , 2 6 , 2 7 , 2 8 ， 小波描述子等。基于区域的特征查找算法的关键在于图像分割，利用整个已经被 分割出来的区域块，提取其相应特征向量并进行特征向量的相似匹配得到查找结 l o b 零 【l i 东大学硕士学位论文 果，常见的描述方法有形状参数，偏心率、球状性、区域的矩等。 本文的研究思路是利用基于边缘的帧间差方法检测视频的场景，采用灰度直 方图平均法提取关键帧，提出了一种基于h o u g h 变换的矩形检测方法检测讲稿 区域，并提出了一种基于滑动窗口的匹配方法得到场景关联的原始讲稿。这个过 程会在后面进行详细的论述。 2 2 2 流媒体解决方案的设计 流媒体技术是近年来发展起来的新型音视频多媒体信息技术，非常适宜网络 在线教育3 0 1 。流媒体音视频文件经过特殊的压缩处理，用户端系统缓存的容量 大大降低，用户启动延时大幅度缩短。它采用边接收边播放的方式，突破了时间、 空间的限制，实现了随时随地网络授课的教学方式。此外，流媒体课件可实现文 字讲稿、音频、视频等多种媒体同步播放，以丰富的多媒体手段来表现课程内容， 同时学生可自主控制学习进度，选择学习时间和学习内容，真正实现个性化学习。 构建怎样的流媒体方案关系到流数据的传输速度和质量，以及课件的易用性和可 扩展性。 一个完整的流媒体解决方案应是流媒体相关的软硬件的集成，它大致包括下 面几个方面的内容：内容采集、视音频捕获和压缩编码、内容编辑、内容存储和 播放。应用服务器内容管理发布及用户管理等。目前i n t e m e t 上主流的流媒体解 决方案主要有r e a ln e t w o r k s 公司的r e a ls y s t e m ，m i c r o s o f t 公司的w i n d o w sm e d i a t e c h n o l o g y 乘 a p p l e 公司的q u i c k t i m e ，它们是网上流媒体传输系统的三大主流 【4 3 】【5 4 】【4 5 1 。 ( 1 ) r e a ln e t w o r k s 公司的r e a ls y s t e m r e a ln e t w o r k s 公司是网上流式视音频解决方案的提供商，提供从制作端、 服务器端到客户端的所有产品。r e a ls y s t e m 采用s u r es t r e a m 自适应流媒体技术， 自动地并持续地调整数据流的流量以适应实际应用中的各种不同网络带宽需求。 r e a ls y s t e m 采用的是r e a l 专用压缩算法，最近又增加了r a s 压缩算法。r e a l s y s t e m 提供了一套功能强大、操作简便的制作工具，能够方便地将实时采集的音 视频信号、录像带、计算机文件等转换为r e a l 格式的数据流文件；r e a lm e d i a 通过基于同步多媒体集成语言( s y n c h r o n i z e dm u l t i m e d i ai n t e g r a t i o nl a n g u a g e ，s m i l ) ， 【i f 东大学硕士学位论文 并结合自己的r e a l p i x 和r e a l t e x t 技术，达到一定的交互和媒体控制能力。 ( 2 ) 微软公司的w i n d o w sm e d i a 随着流媒体的广泛应用，微软推出了整套的流媒体制作、发布和播放产品， 其服务器端的w i n d o w sm e d i as e r v e r 产品集成在w i n d o w s 2 0 0 0 2 0 0 3s e r v e r 中， 称为w i n d o w sm e d i as e r v i c e s 。w i n d o w sm e d i a 是w i n d o w s 平台下的一种较理想 的流媒体解决方案，它采用先进的视频、音频压缩编码方式，支持智能流技术， 支持通过从低带宽、拨号i n t e m e t 连接到高带宽、局域网的各类网络传送流式多 媒体内容。w i n d o w sm e d i a 具有极强的伸缩性，从具有数百个连接请求的小型 i n t e m e t 电台到生成数百万个请求的大规模的流式媒体网络，都可以使用它。目 前，w i n d o w sm e d i a 在交互能力方面比较弱，其a s f 流重定向文件a s x 交互性 不强，s m i l 也需要通过正来支持。 ( 3 ) a p p l e 公司的q u i c k t i m e a p p l e 公司的q u i c k t i m e 是a p p l e 公司面向专业视频编辑、w e b 网站创建和 c d r o m 内容制作领域开发的多媒体技术平台。q u i c k t i m e 支持几乎所有主流的 个人计算平台，是数字媒体领域事实上的工业标准，是创建3 d 动画、实时效果、 虚拟现实和其他数字流媒体的重要基础。q u i c k t i m e 能很好地支持开放标准r t p 、 r t s p 协议及h r t p 流。它的一个显著特点是支持转播功能和模块化a p i ，用户 可以方便地通过这些接口为服务器添加新的功能 本文基于微软公司的w i n d o w sm e d i a t e c h n o l o g y 设计了流媒体的解决方案。 w i n d o w sm e d i a 由m e d i at o o l s 、m e d i as e r v e r 和m e d i ap l a y e r 组成。其中m e d i a t o o l s 是整个方案的重要组成部分，他提供了一系列的工具帮助用户生成a s f 格 式的多媒体流，主要包括w i n d o w sm e d i ae n c o d e r 、w i n d o w sm e d i a 流编辑器、 晰n d o w sm e d i a 配置文件编辑器、w i n d o w sm e d i a 文件编辑器和w i n d o w sm e d i a 编码脚本等；m e d i as e r v e r 可以保证文件的保密性，不被下载，并使每个使用者 都能以最佳的影片品质浏览网页，同时具有多种文件发布方式和监控管理功能； m e d i ap l a y e r 具有强大的流信息播放功能。由于系统中要实现视频、讲稿和索引 标题同步的流媒体课件，故这里选择m e d i as e r v e r 作为流媒体服务器，选择m e d i a p l a y e r 作为w e b 客户端的播放工具，用本文提出的流媒体课件制作工具代替了 w i n d o v g sm e d i a 中需手动编辑的m e d i a t o o l s ，形成流媒体解决方案如下图2 4 ： 1 2 邕奎盔兰鎏圭兰兰鲨三 圈2 4 课件的流媒体解决方案 2 23 资源的8 c o r m 标准化 e - l e a r n i n g 作为一种全新的学习形式，必然是以学习资源为基础的。虽然现 在网络上拥有非常丰富的学习资源，但彼此之间在资源的格式和组织方面却太相 径庭。如果对学习资源制定一系列的技术规范，来规定学习资源的格式、使用方 法，将大大提高其质量，达到最大程度的共享和复用，这就是资源的标准化。这 种标准化非常关键，它不仅要求存储格式的标准化，还要保证传输和交换信息的 标准化。只有把这些内窖的通用特性通过非常通用的标准语言进行描述，才能够 真正保