已阅读5页,还剩69页未读, 继续免费阅读
(计算机应用技术专业论文)多媒体网络实时录播系统的设计与实现.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要摘要随着i n t e r n e t 技术的发展阻及音视频压缩技术的进步,基于i n t e r n e t 的多媒体交互平台受到了越来越广泛的重视。本文以构建一个实用的交互式多媒体实时教学系统为目标,对其中若干关键问题进行了研究和探讨。本系统采用c s 架构,由服务器、教师机、学生机三个主要的功能模块组成。教师机负责采集视频、音频、屏幕三路信息并传送至服务器:学生机可以接收服务器发送的三路多媒体数据,并显示在屏幕上。关于多媒体信息采集,阐述了多媒体信息采集平台j m f 的构成,对音视频编解码原理和常见标准进行了概括说明,并给出了音视频采集和处理的具体流程。在屏幕信息采集时,介绍了怎样使用基于时间和基于事件的两种不同方式来记录屏幕视频,以适应不同的教学要求。多媒体数据的传输与同步是实时多媒体系统中的研究热点。本文对多媒体数据网络传输中的传输协议、缓冲策略、同步方法等迸行了探讨,并给出了接收端静态缓冲区大小的计算方法。本文就j a v as o c k e t 作了简要的介绍,并着重介绍了j a v a 的多线程机制在网络实时录播系统中的应用。本文还就实现录播系统的关键技术作了探讨。在学生端显示三路多媒体数据中的屏幕信息时,本系统采用了a c t i v e x 技术,以控件的形式将屏幕图像显示模块嵌入显示界面。这样既增加了程序的灵活性,也增强了程序的可移植性。关键词:j m fa c t i v e x 多媒体同步音视频编码缓冲区a b s t r a c ta b s t r a c tw i t ht h er a p i dp r o g r e s so fi n t e r a c tt e c h n o l o g ya n dm u l t i m e d i ac o m p r e s s i o nc o d i n g ,m u l t i m e d i ac o m m u n i c a t i o ns y s t e m sb a s e do ni n t e r n e th a v eb e c o m em o r ea n dm o r ei m p o r t a n t i nt h i sp a p e r , o u rr e s e a r c hf o c u s e do ns o m ek e yt h e m e so ni n t e r a c t i v em u l t i m e d i ar e a l - t i m et e a c h i n gi no r d e rt oc o n s t r u c ta na v a i l a b l ep r o t o t y p es y s t e m t h en e t w o r kt o p o l o g yo fo u rt e a c h i n gs y s t e mi sb a s e do ne sm o d ei n c l u d i n gt h r e es e g m e n t s :s e r v e r , c l i e n tf o rt e a c h e r , c l i e n tf o rs t u d e n t b yt h ew a y , t h er e c o r da n dp l a y b a c kp a r ta l s oc a nb eu s e da sa ni n d e p e n d e n ts y s t e mf o rl e s s o n so ff a m o u st u t o r , r e m o t et e a c h i n ga n ds oo n a st og a t h e r i n gm u l t i m e d i ai n f o r m a t i o n ,w ed i s c u s s e dt h ef o l l o w i n gq u e s t i o n s :t h es t r u c t u r eo fj m f , t h ep r i n c i p l ea n ds t a n d a r d so fa u d i oa n dv i d e oe n c o d i n g ,a n dag e n e r a lp r o c e s so f g a t h e r i n gm u l t i m e d i ai n f o r m a t i o n t h et r a n s m i s s i o na n ds y n c h r o n i z a t i o no fm u l t i m e d i as t r e a m si st h ek e yp r o b l e m si nr e a l t i m em u l t i m e d i as y s t e m w er e s e a r c h e di n t ot h et r a n s m i s s i o np r o t o c o l s ,d e l a ym o d e l sa n ds y n c h r o n i z a t i o nm e t h o d si nt r a n s m i s s i o no fm u l t i m e d i as t r e a m sa n dc a l c u l a t e dt h eb u f f e rs i z eo fc l i c mf o rs t u d e n ti ns t a t i cs t a t e t h i sp a p e rr c t u r o st om a d et h ei n t r o d u c t i o no ft h es y n o p s i sf o rt h ej a v as o c k e t ,a n de m p h a s i z e dt oi n t r o d u c et h eu s i n go f j a v am u l t i - t h r e a d i n gm e c h a n i s m t h i st e x te m p h a s i z e dt oi n q u i r yi n t ot h ek e yt e c h n i q u eo ft h es y s t e m a tt h ec l i e n tf o rs t u d e n tt os h o wt h r e et h er o a d ss c r e e ni n f o r m a t i o nw i t h i nm u l t i m e d i ad a t a ,t h i ss y s t e ma d o p t e dt h et e c h n i q u eo fa c t i v e x ,i m b e dt h es c r e e np i c t u r et ot h ei n t e r f a c ew i t ht h ef o r i l lo f c o n t r o l l e r t h u sa l s oi n c r e a s e dt h ev i v i do f t h ep r o c e d u r e k e yw o r d s :j m fa c t i v e xm u l t i m e d i as y n c h r o n i z a t i o na u d i oa n dv i d e oe n c o d i n gc o m p e n s a t i o nb u f f e r目录图表目录图l - l 多媒体网络教学系统所涉领域的相互关系图1 - 2 系统功能模块示意图图1 3 系统物理结构图图1 - 4 学生端显示界面图2 1j m f 媒体处理模型图2 2j m fr t p a p i 网络媒体传送模型图2 3j m f r t p a p i 网络媒体接收模型图2 - 4r t p 协议头结构图2 5r t p 协议层次结构图2 - 6r e a ls e r v e r 系统中r t p 的实现模式图2 7 细粒度同步控制影像文件格式图2 8 视频流的媒体单元时间关系图图2 - 9 音频流的媒体单元时间关系图图3 - 1 多媒体采集播放流程图3 2 多媒体信息采集流程图3 3 线程结构与缓冲区图3 - 4 音视频数据的同步处理图4 一l 客户端n 务器s c o k e t 通讯工作模式图5 1 使用c g i 的客户,服务器模型图5 2m i c r o s o f t a c t i v e x i n t e m e t 模型:,。一mmm筋”勰如剪钙卯箸!岗彤兰罴罴羔三一南开大学学位论文版权使用授权书本人完全了解南开大学关于收集、保存、使用学位论文的规定,同意如下各项内容:按照学校要求提交学位论文的印刷本和电子版本;学校有权保存学位论文的印刷本和电子版,并采用影印、缩印、扫描、数字化或其它手段保存论文;学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务;学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版;在不以赢利为目的的前提下,学校可以适当复制论文的部分或全部内容用于学术活动。学位论文作者签名:2 0 0 5 年5 月2 0 日经指导教师同意,本学位论文属于保密,在1 0 年解密后适用本授权书。指导教师签名:学位论文作者签名:t 疬缎髫解密时间:2 0 1 5 年5 月2 0日各密级的最长保密年限及书写格式规定如下内部5 年( 最长5 年,可少于5 年)秘密1 0 年( 最长1 0 年,可少于1 0 年)机密2 0 年( 最长2 0 年,可少于2 0 年)南开大学学位论文原创性声明本人郑重声明:所呈交的学位论文,是本人在导师指导下,进行研究工作所取得的成果。除文中已经注明引用的内容外,本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体,均己在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。学位论文作者签名:荡峻奴2 0 0 5 年5 月2 0 日第一章绪论1 1 课题的背景和意义第一章绪论当今的时代是一个计算机技术飞速发展的时代。自从上世纪八十年代开始,计算机的软件、硬件技术进入了一个高速发展的时期。这两者共同提升了计算机的性能,从而使计算机技术愈加深入到社会生产生活的各个领域,进而大大改变了人们的生活。i n t e m e t 作为一个通用的,最广泛的共享信息平台,在世界范围内得到了长足的发展,日益成为社会文化和生活方式的重要组成部分。当早期的新闻组、电子邮件这些非实时性的交互方式已经不能满足人们即时沟通的愿望时,一系列实时技术得到了广泛的应用,例如共享白板、w e b 聊天室、以及简单的协同编辑系统等等。然而,由于缺乏更为直观便捷的语音和图像交互的途径,这些技术仍然显得苍白和使用不便。进入九十年代中后期之后,随着计算机硬件软件技术的发展,p c 机的多媒体性能进一步得到提高,已经可以进行视频、音频的实时采集、解压工作。同时,i s p 也越来越多地提供诸如a d s l 、i s d n 、1 0 m 1 0 0 ml a n 等高速的i n t e m e t终端接入手段,并且主干网吞吐率得到大幅度提升,这使得i n t e m e t 不再仅仅是一个窄带的、简单数据报业务的网络。同时,视频音频压缩编码技术获得了重大的进展,出现了诸如m p e g i 、m p e g 2 、m p e g 4 等标准所涉及的各种高效数据压缩技术。这些压缩技术极大地减少了视频、音频数据对网络带宽的占用,使得在普通的软、硬件平台上实现实时的视频音频处理和传输具备了可能性。因此,近些年以来,基于i n t e m e t 的多媒体技术成为学术研究和商用开发中一个非常活跃的领域。随着通信、网络、多媒体等计算机新技术的出现与发展,教育方式正面临着一场巨大变革。基于网络的多媒体远程教育凭借网络的开放性、广泛性和灵活性,给学校的教学、工作方式带来了巨大的变化。网络多媒体远程教育就是利用计算机网络技术和计算机多媒体技术,在网络上通过电子教室、电子白扳第一苹绪论等手段,使学生和教师在异地进行的新型教学模式,是现代多媒体教学与网络技术相结合的产物。本课题涉及的多媒体网络实时录播系统是在计算机网络环境下,借助现代化的多媒体技术进行教学的计算机辅助教学系统。在网络多媒体教学系统中,允许不同时空上的学生们共享学习资源,实时收看远程教室的授课实况;或者登陆服务器随时点播回放授课过程,还可以通过网络协同工作,互动学习。与传统教学方式相比,多媒体网络教学具有无可比拟的优势:l 、资源的共享。利用计算机的海量存储,集中了大量而丰富的教学信息,为教学服务。2 、教学和学习方式的多样性,适合学生的个性发展。网上可以传输声音、图像、视频、文本、动画等,真正做到声情并茂,使得学习更加生动。3 、突破了时间和空间的限制。学生可根据自己的实际情况确定学习内容、安排学习进度,从而满足了社会普通性和个体独立性学习的需要,实现持续教育和终身教育。基于网络的多媒体教学系统可以认为是三个领域技术共同支持和相互渗透的成果即由网络可视通讯系统、简单c s c w ( 计算机支持的协同工作) 系统、多媒体点播系统从不同的角度演化而来的,详细关系请见图卜l 。图卜l多媒体网络教学系统所涉领域的相互关系2第一章绪论它综合了以前各种系统的优势和技术成果。由于其使用i n t e m e t 公众网和通用的硬件平台,较之使用专门网络和硬件的可视通讯系统,成本大大降低。又因为其功能基本靠软件实现,所以便于修改、易于升级、利于维护。而在对协同工作的支持方面,又实现了“见其人,闻其声”,使得交流的效率大大提高。这样的平台在远程教学、视频会议、协同设计等领域,将有着广泛的应用前景。【1 5 】1 2 多媒体网络实时录播系统的架构1 。系统的功能结构多媒体网络实时录播系统工作在c s 模式下,主要分为教师机、服务器、学生机等三个大的功能模块,结构如图1 2 所示:服务器模块图卜2 系统功能模块示意图;。一一* 一一一一一一! i 屏幕播放i一一一一一一一一。1一一一- - 一学生机模块第章绪论教师机模块主要功能是采集三路数据,包括教师授课的音频、授课视频、教师机屏幕图像;以及与服务器进行通讯,发送这三路数据。具体分为爵视频发送、接收,和屏幕发送、接收四个线程。服务器模块主要功能是发送控制信息并接收反馈:接收教师机发送的数据;发送数据到学生机;并集成音频、视频、屏幕图像三路数据,完成录制。具体分为数据发送、数据接收、录制三个线程。学生机模块主要功能是接收服务器发送的三路数据;集成并显示多媒体信息;以及与服务器进行通 贰具体分为音视频接收、播放,和屏幕接收、播放四个线程。系统开始工作时,教师端和学生端需要与服务器建立连接。然后,教师端可通过摄像头捕获视频信息,通过麦克风捕捉音频信息,并捕获教师机的屏幕图像这三路数据,然后响应服务器的请求,将三路数据一同发送至服务器。学生机程序可以接收服务器发送的三路多媒体数据,并显示在学生端。服务器程序负责采集教师机发送的三路信息,并通过i n t e r n e t 以单播或多播的方式发送至学生机,完成三路数据传递。此外,在线实时授课的同时,服务器还将三路信息录制集成,以待学生课后点播回放。需要指出的是,授课信息的录制与回放模块与实时授课模块是相互独立的,录制与回放模块既是网络教学系统的重要组成部分,又可以作为单独的系统来使用。它所记录的信息就是实时收看时学生端播放过程的完整再现,既有网络教学系统中的音视频,又包括教师端桌面信息的变化情况,即总的记录为一路视频、一路音频和一路屏幕图像信息。作为一个独立的系统,它可以被用于普通的多媒体教学和异地授课、视频会议等环境中。本文主要介绍实时传输部分,对录制回放部分不做过多赘述。系统开发的软件环境:教师机模块全部采取j a v a 语言编写,开发环境采用j b u i l d e r9 0 。服务器模块主要采取c + + 语言编写,开发环境采用v i s u a ls t u d i o n e t 。学生机模块的音视频处理采用j a v a 语言编写:屏幕图像处理采取c + +语言编写,开发环境也分别是j b u i l d e r9 0 和v i s u a ls t u d i on e t 。2 系统的物理结构图1 3 表现的是系统的物理结构,具体配置如下:教师机、服务器、学生机都是连接网络的p c 机4第一章绪论三者都采用w i n d o w sx p 操作系统教师机需配备u s b 摄像头,全双工声卡,麦克风学生机需配备显示卡和音箱广气显露薹。襄-名频l栽i _ 。i窒i最-教师机图1 - 3 系统物理结构图学生机3 系统的运行效果只要保证教师机上连接的摄像头、声卡等硬件设备工作正常,启动教师机程序模块,教师就可以正常授课了,教师机模块运行在后台。同样,服务器上运行的服务器程序运行正常的前提是网络通畅,程序同样可以运行在后台。系统运行时,学生机上的显示界面如图1 - 4 所示。窗口分左右两栏,右面显示的是教师机桌面的实时变化情况:左面上部分是教师机摄像头采集的视频:下部分是两组“开始”、“停止”按钮,分别用来控制桌面和视频信息的接收与断开。屏幕和视频两组信息是采用a c t i v ex 控件嵌入窗口的方式显示的。本例采用网页作为主窗口,只要支持a c t i v ex ,也可以采用其他窗口形式作为主界面。第一章绪论圈1 _ 4 学生端显示界面6第二章多媒体信息处理技术第二章多媒体信息处理技术本章将介绍多媒体技术、多媒体信息开发平台、屏幕捕获方式、音视频的编解码技术以及网络传输协议的选择【6 】。多媒体信息的采集、压缩解压缩是整个交互式多媒体网络教学系统中非常重要的部分。多媒体信息的编码情况将会决定信息流的质量、大小,因此会影响整个系统的音视频效果,捕获屏幕图像的文件格式也直接决定屏幕图像的数据量大小。针对当前网络带宽成为瓶颈的特定情况,采用高压缩比的编解码器、合适的屏幕文件格式以及恰当的网络传输协议都显得尤为重要。本章节就将针对这些问题一一进行分析。2 1 多媒体技术概述多媒体技术【7 8 】是指使用计算机对音频、视频、文本、图形、图像等媒体信息进行综合处理,使多种信息建立逻辑连接,进而集成为一种交互式系统的技术。多媒体技术并非简单地把多个单一媒体集中在一起,也不是它们的总称,而是多种技术的有机集成而形成的一个新的多媒体系统,它主要涉及到计算机技术、网络通信技术等。多媒体技术的特点为:数字化、多样化、集成化和交互性。多媒体可以划分为连续媒体( e o n t i n u o u sm e d i a ) 与离散媒体( d i s c r e t em e d i a )两种类型。文本、图形、图像都被称为离散媒体,这些媒体是时间无关的。实际上,它们也可以按照各种计时方式或者按照各种顺序显示,但是含义不变。时间不属于离散媒体语义部分。连续媒体是指具有时间维的媒体,如音频和视频。根据h e r r t w i e h 的定义,连续媒体是指能在时间上连续播放的离散数据单元序列。在连续媒体里,信息的表达不但要依赖于它自身的表示值,而且还与它所发生的时间有关,所以连续媒体也称为时间依赖媒体( t i m e d e p e n d e n tm e d i a ) 。第二章多媒体信息处理技术2 2 j m f 开发平台2 2 1j m f 开发平台的构成随着网络应用的发展,网络视频传输和网络实时监控日益得到广泛应用。在工业现场,生产现场的图像和数据可以通过互联网传送给管理者。同样,网络视频传输是网络视频会议的基石。在网络教学中,网络视频可以将教室的现场图像实时传送给学生,使学生对教学有形象的认识。当前,视频音频应用支撑平台包括j m f ( j a v am e d i af r a m e w o r k ) ,v f w( v i d e of o rw i n d o w s ) ,以及d i r e c t s h o w 等。其中s u n 公司推出的基于j a v a 的j m f ( j a v a m e d i a f r a m e w o r k ) a p l 9 1 0 】,是面向j a v aa p p l i c a t i o n 和j a v aa p p l e t 的集成媒体数据类型的应用程序接1 2 1( a p d 。j m f 是一个功能齐全的视频、图像和音频数据的采集、编辑、控制和处理的工作平台,也是目前在多媒体p c 中较为流行的多媒体处理手段。它是特为利用j a v a 平台的特性而设计豹,使多媒体p c 具有播放和处理数字视频的能力,而无需增加专门的硬件设备。j m f 为媒体播放器、媒体的获取以及媒体会议定义了统一的体系结构、消息处理协议和程序设计接口。在j m f 、v f w 及d i r e c t s h o w 这三者中,j m f 在成熟性,兼容性和运行效率等方面达到了较好的统一,自正式发布以来,在视频音频等产品中得到广泛应用。并且还在不断的发展完善。j m f 包括两个部分:j m f a p i 和j m fr t p a p i 。前者的主要功能是捕捉、处理、存储和播放媒体;后者主要是在网络上传输和接收媒体流。1 j m f a p i 的特点与结构j m f a p l 支持媒体捕捉并能够满足应用程序开发人员对j m f a p i 媒体处理和控制的需要。其特点有:易于编程:支持捕捉媒体数据;支持媒体传输和媒体会议等j a v a 应用;使得高级开发人员和技术供应商能够在己存在的a p i 基础上实现自定义解决方案,并能够方便地在己存在的框架中集成新的特征;提供对原始的媒体数据的存取等。通过利用j a v a 平台的优势,j m f 保持了“w r i t e o n c e ,r u n a n y w h e r e ”( 一次编写,随处运行) 的承诺,为访问底层的媒体框架提供了一个通用的跨平台j a v a a p i 。j m f 为基于时间的媒体数据的获取、处理和传送提供了一个统一的框架和消息协议如图2 一l 所示:第二章多媒体信息处理技术图2 - 1j m f 媒体处理模型从图2 1 中我们可以看到:媒体数据的获取( i n p u t ) 一般有三种方式:本地媒体设备( 如摄像头和麦克风) 、本地媒体文件和接收网络数据。媒体数据的处理通常也整合了三种方式;提供效果过滤器、数据的压缩解压缩和格式转换。媒体数据的发送一般也有三种方式:媒体播放、保存到文件和通过网络传送。2 j m fr t p a p i 的结构j m fr t p a p i 提供了对实时传送协议r t p 的支持。r t p 是实时传送协议( r e a l函m et r a n s p o r tp r o t c 0 1 ) ,用于网上接收和传送媒体流。它能够用于媒体点播服务和交互式服务,比如视频会议、视频点播、可视电话等,使应用开发者可以实现媒体流实时传输等应用。用会话管理器在发送端和接收端建立j m fr t p 会话连接。使用一个会话管理器( j m fs e s s i o n m a n a g e r ) 来协调r t p 会话。会话管理器跟踪会话的参与者和被传输的流,从本地参与者的角度维护会话状态。利用r t p a p i 进行媒体流的传送与接收模型如图2 2 和图2 3 所示:9第二章多媒体信息处理技术图2 - 2j m f r t p a p i 网络媒体传送模型图2 - 3j m fr t p a p i 网络媒体接收模型2 2 2j m f 开发平台主要功能j a v a 媒体框架( j m f ) 能够编写出功能强大的多媒体程序,却不用关心底层复杂的实现细节。j m fa p i 的使用相对比较简单,但是能够满足几乎所有多媒体编程的需求。j m f 目前的最新版本是2 1 ,s u n 通过它i 古l j a v a 中引入处理多媒体的能力。下面是j m f 所支持的功能的一个概述:可以在j a v aa p p l c t 和应用程序中播放各种媒体文件,例如a u 、a v i 、m i d i 、m p e g 、q u i c k t i m e 和w a v 等文件。可以播放从互联网上下载的媒体流。1 0第二章多媒体信息处理技术可以利用麦克风和摄像机一类的设备截取音频和视频,并保存成多媒体文件。处理多媒体文件,转换文件格式。向互联网上传音频和视频数据流。在互联网上广播音频和视频数据。为了更好地说明j m f 的功能【1 l 】,让我们用立体声音响做一个简单的比喻。当c d 机播放c d 唱片的时候,c d 唱片向系统提供音乐信号。这些数据是在录音棚中用麦克风和其他类似的设备记录下来的。c d 播放机将音乐信号传送到系统的音箱上。在这个例子中,麦克风就是一个音频截取设备,c d 唱片是数据源,而音箱是输出设备。j m f 的功能结构和立体声音响系统非常相似,其功能模块大致如下:数据源( d a t as o u r c c e )截取设备( c a p t u r ed e v i c e ,包括视频和音频截取设备)播放器( p l a y e r )处理器( p r o c e s s o r )数据格式( f o r m a t )管理器( m a n a g e r )1 数据源就像c d 中保存了歌曲一样,数据源中包含了媒体数据流。在j m f 中,d a t a s o u r c e 对象就是数据源,它可以是一个多媒体文件,也可以是从互联网上下载的数据流。对于d a t a s o u r c e 对象,一旦确定了它的位置和类型,对象中就包含了多媒体的位置信息和能够播放该多媒体的软件信息。当创建了d a t a s o u r c e对象后,可以将它送入p l a y e r 对象中,而p l a y e r 对象不需要关心d a t a s o u r c e 中的多媒体是如何获得的,以及格式是什么。在某些情况下,需要将多个数据源合并成一个数据源。例如在制作一段录像时,需要将音频数据源和视频数据源合并在一起。j m f 支持数据源合并。2 截取设备截取设备指的是可以截取到音频或视频数据的硬件,如麦克风、摄像机等。截取到的数据可以被送入p l a y e r 对象中进行处理。3 播放器在j m f 中对应播放器的接口是p l a y e r 。p l a y e r 对象将音频视频数据流作为第二苹多媒体信息处理技术输入,然后将数据流输出到音箱或屏幕上,就像c d 播放机读取c d 唱片中的歌曲,然后将信号送到音箱上一样。p l a y e r 对象有多种状态,j m f 中定义了j m f的六种状态,在正常情况下p l a y e r 对象需要经历每个状态,然后才能播放多媒体。下面是对这些状态的说明。u n r e a l i z e d :在这种状态下,p l a y e r 对象已经被实例化,但是并不知道它需要播放的多媒体的任何信息。r e a l i z i n g :当调用r e a l i z e ( ) 方法时,p l a y e r 对象的状态从u n r e a l i z e d 转变为r e a l i z i n g 。在这种状态下,p l a y e r 对象正在确定它需要占用哪些资源。r e a l i z e d :在这种状态下p l a y e r 对象已经确定了它需要哪些资源,并且也知道需要播放的多媒体的类型。p r e f e t c h i n g :当调用p r e f e c t c h ( ) 方法时,p l a y e r 对象的状态从r e a l i z e d 变为p r e f e t c h i n g 。在该状态下的p l a y e r 对象正在为播放多媒体做一些准备工作,其中包括加载多媒体数据,获得需要独占的资源等。这个过程被称为预取( p r e f e t c h ) 。p r e f e t c h e d :当p l a y e r 对象完成了预取操作后就到达了该状态。s t a r t e d :当调用s t a r t ( ) 方法后,p l a y e r 对象就进入了该状态并播放多媒体。4 处理器处理器对应的接口是p r o c e s s o r ,它一种播放器。在j m fa p i 中,p r o c e s s o r接口继承了p l a y e r 接口。p r o c e s s o r 对象除了支持p l a y e r 对象支持的所有功能外,还可以控制对输入的多媒体数据流进行何种处理以及通过数据源向其他的p l a y e r 对象或p r o c e s s o r 对象输出数据。除了在播放器中提到了六种状态外,p r o c e s s o r 对象还包括两种新的状态,这两种状态是在u n r e a l i z e d 状态之后,但是在r e a l i z i n g 状态之前。c o n f i g u r i n g :当调用c o n f i g u r e ( ) 方法后,p r o c e s s o r 对象进入该状态。在该状态下,p r o c e s s o r 对象连接到数据源并获取输入数据的格式信息。c o n f i g u r e d :当完成数据源连接,获得输入数据格式的信息后,p r o c e s s o r 对象就处于c o n f i g u r e d 状态。5 数据格式f o r m a t 对象中保存了多媒体的格式信息。该对象中本身没有记录多媒体编码的相关信息,但是它保存了编码的名称。f o r m a t 的子类包括a u d i o f o m m t 和v i d e o f o r m a t 类,v i e d e o f o m a t 又有六个子类:h 2 6 1 f o r m a t 、h 2 6 3 f o r m m 、第二章多媒体信息处理技术i n d e x e d c o l o r f o r m a t 、j p e g f o r m a t 、r g b f o r m a t 和y u v f o r m a t 类。6 管理器j m f 提供了下面四种管理器:m a n a g e r :m a n a g e r 相当于两个类之间的接口。例如需要播放一个d a t a s o u r c e对象,可以通过使用m a n a g e r 对象创建一个p l a y e r 对象来播放它。使用m a n a g e r对象可以创建p l a y e r 、p r o c e s s o r 、d a t a s o u r c e 和d a t a s i n k 对象。p a c k a g e m a n a g e r 该管理器中保存了j m f 类注册信息。c a p t u r e d e v i c e m a n a g e r :该管理器中保存了截取设备的注册信息。p l u g l n m a n a g e r :该管理器中保存了j m f 插件的注册信息。在j m f 编程中,最常见的工作就是创建一个p l a y e r 对象。可以通过m a n a g e r类的c r e a t e p l a y e r ( ) 方法创建p l a y e r 对象。m a n a g e r 对象使用多媒体的u r l 或m e d i a l o c a t o r 对象来创建p l a y e r 对象。当获得了一个p l a y e r 对象后,可以通过调用g e t v i s u a l c o m p o n e n t ( ) 方法得到p l a y e r 对象的图像部件( v i s u a lc o m p o n e n t ,在图像部件上可以播放多媒体的图像) 。然后将图像部件加入到应用程序或a p p l e t 的界面上。p l a y e r 对象还包含一个控制面板,在上面可以控制媒体的播放、停止和暂停等。p l a y e r 类中的很多方法只有在p l a y e r 对象处于r e a l i z e d 的状态下才会被调用。为了保证p l a y e r 对象已经到达了该状态,需要使用m a n a g e r 的c r e a t e r e a l i z e p l a y e r ( ) 方法来获得p l a y e r 对象。但是对于$ 1 a l t ( ) 方法来说,可以在p l a y e r 对象到达p r e f e t e h e d 状态之前调用它,它可以自动将p l a y e r 的状态转换到s t a r t e d 状态。2 3 屏幕信息的存储方式2 3 1 基于事件的存储方式钩子教师的电子讲稿一般为网页文件或者幻灯片,且一节课的授课容量是有限的,也就是说,教师及的屏幕在一节课中变化的频率是很低的,平均1 分钟左右才变化一次。这样,就无需记录过多的屏幕信息,只需在每次屏幕图像发生变化时捕获一次屏幕,即基于对屏幕操作的事件来进行屏幕存储。基于事件的屏幕存储方式是通过为鼠标和键盘设置钩子函数【1 2 1 来实现的。第二章多媒体信息处理技术1 钩子函数简介钩子的本质是一段用以处理系统消息的程序,通过系统调用,将其挂入到系统。钩子的种类有很多每一种钩子负责截获并处理相应的消息。钩子机制允许应用程序截获并处理发往指定窗口的消息或特定事件,其监视的窗口即可以是本进程内的也可以是由其他进程所创建的。在特定的消息发出,并在到达目的窗口之前,钩子程序先行截获此消息并得到对其的控制权。此时在钩子函数中就可以对截获的消息进行各种修改处理,甚至强行终止该消息的继续传递。任何一个钩子都由系统来维护一个指针列表( 钩子链表) ,其指针指向钩子的各个处理函数。最近安装的钩子放在链的开始,最早安装的钩子则放在最后,当钩子监视的消息出现时,操作系统调用链表开始处的第一个钩子处理函数进行处理,也就是说最后加入的钩子优先获得控制权。在这里提到的钩子处理函数必须是一个回调函数( c a l l b a c kf u n c t i o n ) ,而且不能定义为类成员函数,必须定义为普通的c 函数。在使用钩子时可以根据其监视范围的不同将其分为全局钩子和线程钩子两大类,其中线程钩子只能监视某个线程,而全局钩子则可对在当前系统下运行的所有线程进行监视。显然,线程钩子可以看作是全局钩子的一个子集,全局钩子虽然功能强大但同时实现起来也比较烦琐:其钩子函数的实现必须封装在动态链接库中才可以使用【1 3 】。常见的钩子函数有以下1 3 种:w hc a l l l n d p r o c 系统将消息发送到指定窗口之前的“钩子”w hc a l l w n d p r o c r e t 消息已经在窗口中处理的“钩子”w hc b t 基于计算机培训的“钩子”w hd e b u g 差错“钩子”w hf o r e g r o u l q d i d l e 前台空闲窗口“钩子”w hg e t m e s s a g e 接收消息投递的“钩子”w hj o u 砌q a l p l a y b a c k 回放以前通过w hj o u r n a l r e c o r d “钩子”记录的输入消息w hj o u r n a l r e c o r d 输入消息记录“钩子”w hk e y b o a r d 键盘消息“钩子”w hm o u s e 鼠标消息“钩子”w hm s g f i l t e r 对话框、消息框、菜单或滚动条输入消息“钩子”w hs h e l l 外壳“钩子”第二苹多媒体信思处理技术w hs y s m s g f i l t e r 系统消息“钩子”2 钩子函数的使用编写钩子程序的步骤分为三步:定义钩子函数、安装钩子和卸载钩子【1 4 】。定义钩子函数钩子函数是一种特殊的回调函数,它不能定义为类成员函数,只能是普通的c 函数。钩子监视的特定事件发生后,系统会调用钩子函数进行处理。钩子函数的原型如下:l r e s u l tc a l l b a c kh o o k p r o c ( i n tn c o d e ,w p a r a mw p a r a m ,l p a r a mi p a r a m )参数w p a r a m 和1 p a r a m 包含所钩消息的信息,n c o d e 包含有关消息本身的信息。另外,我们可以调用函数c a l l n e x t h o o k e x 把钩子信息传递给钩子链的下一个钩子函数,其函数原型如下:l r e s u l tc a l l n e x t h o o k e x ( h h o o kh h k ,i n tn c o d e ,w p a r a mw p a r a m ,l p a r a m1 p a r a m )安装钩子在程序初始化的时候,调用函数s e t w i n d o w s h o o k e x 安装钩子。其函数原型为:h h o o ks e t w i n d o w s h o o k e x ( i mi d h o o k ,h o o k p r o cl p f n ,i n s t a n c eh m o d ,d w o r dd w t h r e a d l d )参数i d h o o k 表示钩子类型,它是和钩子函数类型一一对应的;l p f n 是钩子函数的地址:h m o d 是钩子函数所在的实例的句柄,对于线程钩子,该参数为n u l l ,对于系统钩子,该参数为钩子函数所在的d l l 句柄;d w t | l r c a d l d 指定钩子所监视的线程的线程号,对于全局钩子,该参数为n u l l 。s e t w i n d o w s h o o k e x 函数最终将返回所安装的钩子句柄。在网络实时录播系统中,教师机屏幕的变化大多是通过点击鼠标或对应的键盘按键来实现的,所以只需安装键盘和鼠标钩子来捕获对应的消息,就能完成基于事件的屏幕捕获了。卸载钩子由于安装钩子对系统的性能有一定的影响,所以在钩子使用完毕后应及时将其卸载以释放其所占资源,调用函数b o o lu n h o o k w i n d o w s h o o k e x( h h o o kh h k ) 来完成此操作。第二章多媒体信息处理技术2 3 2 基于时间的屏幕存储方式基于事件的屏幕存储方式可以有效的减小录制文件的体积,满足大多数情况下多媒体教学的需求,但遇到屏幕变化剧烈的情况就不能取得理想的效果了。例如教师使用的幻灯片中存在较多的动画或教师用电脑来演示某种软件的使用等等。在这种情况下,基于事件的屏幕存储方式将进行频繁的屏幕捕获,从而导致生成的文件体积过大,系统处理困难等状况。因此,使用基于时间的屏幕存储方式加以补充,即以恒定的速率进行屏幕捕获。2 4 音视频压缩编码技术2 4 1 多媒体数据冗余音视频数据的数据量是庞大的,但音视频数据往往又是高度相关的。数据的相关性带来了信息的冗余,使信息量小于数据量,它们之间的差值就是冗余量。i = d d u ( i 为信息量,d 为数据量,d u 为冗余量)公式( 2 1 )音视频数据的冗余包括以下几种类型【1 5 】:空间冗余:在一幅图像的背景及其景物中,在某点自身与其相邻的一些区域内,常存在有规则的相关性。这种相关性的图像部分,在数据中就表现为冗余,空间冗余是视频图像中常见的一种冗余。时间冗余:对于电视动画类的图像,在其序列的各前后相邻的两幅图像中,其图像呈现较强的相关性,这就反映为时间冗余。如某一帧图像经过t 时间后,在某下一帧图像中带有较强的相关性( 即画面像素棚似) 。信息熵冗余( 编码冗余) :信息熵是指一团数据所携带的信息量,根据信息论的有关原理,信息量一般被定义为:e = 一p ,l o g2 p 公式( 2 2 )其中,k 为数据类数和码元的个数,p i 为y i 的发生率。为使单位数据量d 接近于或等于e ,应设:第二章多媒体信息处理技术d = p ,b ( y ,)公式( 2 3 )其中,b ( y o 为分配给码元类y i 的比特数,理论上应取一l 0 9 2 p i 。但是,在实际应用中,我们很难准确地估计出p 的值,实际计算的d 必然大于理论上的e ,因而带来信息熵冗余或编码冗余。结构冗余:有些图像部分区域内存在着非常强的纹理结构,或者图像各个部分之间存在某种关系,例如自相似性等。这些都是结构冗余的表现。知觉冗余:是指那些处于人们听觉和视觉分辨力以下的音视频信号。若在编码时舍去这种在感知门限以下的信号,虽然会使恢复原信号产生一定的失真,但并不能为人们所感知,为此,此种超出人们感知能力部分的编码就称为知觉冗余。例如:一般的视频图像采用2 8 的灰度等级,而人们的视觉分辨力仅达2 0的等级,此差额即为视觉冗余。以上这些形式的冗余就是视频压缩编码的出发点,编码算法要尽可能地消除这些冗余,以降低表示视频所需的数据量。2 4 2 数宇音频压缩标准1 m p 3 标准m p 3 是目前使用用户最多的有损压缩数字音频格式。它的全称是m p e ga u d i ol a y e r - 3 ,它所使用的技术是在v c d ( m p e g - 1 ) 的音频压缩技术上发展出的第三代,而不是m p e g 3 。m p 3 的编码方式有c b r ( 固定编码率) 、v b r ( 可变编码率) 和a b r ( 平均比特率) 三种。v b r 是目前最常用的编码方式,它采样的压缩比率依声音中信息多寡,并利用人耳的掩蔽效应来减少冗余数据,压缩比率可达1 :1 0 1 :1 2 ,而拥有近似c d 的音质。2 w m a 标准w m a 是w i n d o w sm e d i a a u d i o 的缩写,是微软力推的数字音频格式。微软官方宣布的资料中称w m a 格式的可保护性极强,甚至可以限定播放机器、播放时间及播放次数,具有相当的版权保护能力。3 ,a d p c m 标准这种格式常用于声音录制,尤其是采访和课堂录音等场合。它的体积与m p 3第二章多媒体信息处理技术和w m a 相比更小,但音质较差。比如作为采访时的录音,3 2 m 的闪存,用这种格式录制,可以存储大约2 个小时的录音。从音质和文件大小的统一性来说,应该是目前一个较好的解决方案。
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年电商行业发展趋势报告及新零售市场分析
- 2026年养老服务行业报告:市场需求与产业发展
- 2026年眼科医疗服务市场供需分析与专科连锁发展策略报告
- 2026年环保产业报告:绿色发展与循环经济模式探索
- 2026年汽车行业盈利策略与壁垒研究
- 2026年互联网企业员工心理健康报告:关注年轻一代的心理需求
- 2026年能源行业环保合规与风险评估报告
- 《乐游原》李商隐
- 结直肠肿瘤经自然腔道取标本手术专家共识(2019版)
- 高中物理力学系统平衡条件应用技巧训练试题及答案
- 义工考核管理制度
- 言语治疗共鸣障碍课件
- 福建莆田市拔尖人才选拔考试六年级试卷及答案
- 电力行业技术服务合同
- JGJ52-2006 普通混凝土用砂、石质量及检验方法标准
- 四川省民族地区旅游产业发展综合规划
- 11G521-1钢檩条标准完整版
- 主题班会调整心态缓解压力省公开课一等奖全国示范课微课金奖课件
- 病毒基因组课件
- 中裕能源项目短视频运营方案
- 三年级英语课标解读课件
评论
0/150
提交评论