（电气工程专业论文）网络多媒体数据处理方法研究.pdf

重庆大学硕士学位论文 中文摘要 i 摘要 多媒体网络教学技术是一种新的教学手段它的出现改变了传统的教学模式 它因其课堂信息含量大教学形式生动活泼而受到师生们的广泛欢迎从而成为现 代教育技术发展的一个新方向 目前多媒体网络教学系统如语音教室的一般做法是采用一台计算机服 务器和数台特制数字终端构成一个多媒体教学网络这种系统由于采用的是非标准 网络终端设备其缺点是价格昂贵维护困难不便于产品的升级换代 针对这种情况本文提出了基于标准网络设备以及标准计算机配件采用纯软 件方式建立多媒体网络教学系统的全新思路 即标准多媒体网络教学系统分析 了系统的功能需求进行了系统的方案设计这种标准多媒体网络教学系统具有成 本低维护方便配件互换性好便于升级等优点将成为未来多媒体教育技术发 展的新方向 解决多媒体数据网络实时发送传输接收和播放等问题是有效实现多媒体网 络教学的技术基础也是本文采用纯软件方式实现系统方案的技术难点本文研究 了在标准配置的网络设备下音频视频数据流的实时传输技术和方法利用 directshow 流媒体技术结合先进的 mpeg- 4 编码压缩技术采用用户数据报协议 udp以及 ip 组播技术在 vc 平台上设计并实现了能满足多媒体网络教学要求 的音频视频采集编码压缩网络传输解码还原和实时播放等功能 本文的研究结果为标准多媒体网络教学系统的实现奠定了良好的基础 关键词网络音频视频mpeg- 4ip 组播 重庆大学硕士学位论文 英文摘要 ii abstract multimedia network teaching technique is a new kind of teaching tool and has been changing the traditional teaching mode due to its abundant information and vivid form, it has aroused the extensive attentions and interests of teachers and studentsit is becoming a new developing direction of the modern education technique at present, the general method of composing a multimedia network teaching system, such as a voice classroom, is formed by a computer and several digital terminals which were specially madebecause of the nonstandard network terminal device, this kind of system has many disadvantages such as high price, difficult maintenance and inconvenient updating to solve the problems mentioned above, a new method and a new system to realize the multimedia network teaching are proposed by the paperit is based on the standard network equipment as well as standard computer fittings and adopts pure software way to establish the system, namely “standard multimedia network teaching system”the paper analyzed the functional requirement and carried out scheme design of the new systemcharacterized by its advantages such as low price, easy maintenance and convenient updating, it is believed that this kind of standard multimedia network teaching system will become the new developing direction of the multimedia education technique the methods of solving the real- time sending, transmitting, receiving and broadcasting multimedia data are the technological foundation of realizing the multimedia network teaching systemand it is also a technological bottleneck of applying the pure software way to build up the systemthe paper researched the real- time transmission technology and method of the video and audio data stream based on the standard network equipment then, by utilizing the directshow streaming media technique, combining the advanced compressing technique mpeg- 4, adopting the udp (user datagram protocols) and ip multicast technique, multimedia processing functions such as audio and video collecting, coding and compressing, network transmitting, encoding and real- time playing are studied and realized on the platform of vc the research results of the paper established a good foundation for the realization of standard multimedia network teaching system in the future keywordnetwork, audio, video, mpeg- 4, ip multicast 重庆大学硕士学位论文 1 绪论 1 1 绪论绪论 1.1 引言 近十年来科学技术的突飞猛进为人类社会带来了一系列的深刻变革知识经 济初露端倪信息化浪潮波及到世界的每一个角落 社会经济的发展对人的素质提出了更高的要求同时也对教育的发展产生了深 远的影响 培养掌握高新技术的创新人才 建设终身学习体系是 21 世纪教育发展的 方向在信息化社会中利用信息技术手段来提高教育机构的运行效率扩大受教 育人群范围 探索新的教学模式 已成为世界各国教育改革与发展的重要组成部分 调查显示1在日本教育多媒体化主要目的在于以下几点1提高教学效果 可以激励学生更好地学习和采用最新技术教学很多人认为采用最新技术可以吸 引学生提高学生学习兴趣从而提高学习效果2宣传作用提高学校的知名 度3进行课程改革培养适合社会发展需要的新型人才 香港大学在教育多媒体化方面做了大量的工作1997 年开始香港大学与 ibm 合作开展了校园笔记本计划这项计划的主要内容是为新生提供优惠的笔记本 计算机大约有 9000 名新生购买了 ibm 笔记本计算机香港大学计算中心建设了 acenet 即插即用的网络 在学校设立了 10000 个接口 并将这些接口分布在学校的 各处参加校园笔记本计划的学生可以随时随地使用笔记本计算机进行学习 其次香港大学对毕业生提出了多媒体技术技能方面的要求所有的毕业生都必 须达到一定水平的多媒体技术水平多媒体技术培训由学校计算中心计算机科学 和多媒体系统系等部门负责同时很多系的教师也开设了与专业相结合的计算机课 程除此香港大学教学发展基金的 70是用来资助包含多媒体技术内容的项目 结果开发出了很多可以用于教学的电子学习资源 随着多媒体技术的迅速发展其应用已遍及国民经济和社会生活的各个领域 正深刻地改变着人们的生产方式工作方式乃至生活方式当今各国都越来越多 的认识到 为了提高一个地区乃至一个国家的整体教育水平 需要融入多媒体技术 1.2 多媒体教学系统研究的意义 多媒体具有集图片文字声音和活动影像等于一体的特点多媒体教学系统 能提供理想的教学环境使师生学习交流更为便利从而有利于提高学习和教学效 率多媒体技术已经并必将进一步对教育教学过程产生深刻的影响这种深刻影 响可以用一句话来概括多媒体技术将会改变教学模式教学内容教学方法和教 重庆大学硕士学位论文 1 绪论 2 学手段最终可能导致整个教育思想教学理论甚至教学体制的根本改变 多媒体技术对教育领域有如此重大的意义主要在于多媒体技术本身拥有许多 特别适用于教育教学过程的特性和功能以往对多种形式媒体的组合只是通过计 算机把几种处理不同媒体信息的技术简单的堆积起来今天的多媒体技术则是 以计算机为中心综合了语音处理图像处理等技术它先将语音信号图像信号 通过模数转换变成统一的数字信号然后就可以让计算机进行存储加工控制 编辑交换还可以查询和检索为了便于加工和传输有时还要进行数据压缩 传到指定地点以后再解压还原2 多媒体技术网络技术数据库技术虚拟现实技术等现代教育技术的飞速发 展给课堂教学模式的改革提供了重要的技术支持 多媒体教学系统的出现给课堂教学形式带来许多变化34 1优化教学设计教师可以方便地对教学过程与资源进行优化设计教师在 教学设计 教学准备的整个过程中可充分利用教学信息资源库 在系统中进行检索 开发整理采集和制作教学多媒体课件进行教学优化设计 2创建授课平台优化教学环境网络语音教学系统是教师在课堂上的操作 平台通过它教师可以进行视频点播使用各种教学软件多媒体课件及互联网上 的任何教学资料这样就使教师摆脱了传统的粉笔黑板的传统授课方式教 室里还省去了录像机录音机幻灯机和电视机等老式教学媒介对于小型实物 模型图片图表等均可以通过多媒体技术转换成数字图像信号并加以放大缩 小等处理快速实时直观地展示出来省去了繁琐的幻灯投影片的制作过程 对需要继续使用的幻灯投影器材多媒体教学也可以继续使用全数字语言教学 系统创造了良好的课堂多媒体教学效果 3使教学效果最优化网络教学系统在课堂上的应用可以重复利用计算机 或者网络提供的海量资源使课堂教学突破了时间与空间微观与宏观上的限制 它可以利用丰富的教学信息素材影视资料三维动画甚至数学建模把一些深奥 抽象或现实中难以感知的知识点变成一个个生动形象的声像画面或模型用富 有人情味的方式传授给学生克服了原来书本讲述单调枯燥的缺点内容丰富形 象生动的授课使教学效果达到最优 4为远程教学实践提供先进的技术平台当前远程教育赋予了新时代的使 命终身学习终身教育已在全球得到共识多媒体教学作为技术平台即可实现网 络远程课堂教学它的数字视频会议功能可使在千里之外的学习者方便迅速通过 计算机随时选择加入学校里的实时课堂学习教师的音容笑貌讲授指导近在眼 前学习效果显著 通过多媒体教学系统还可以实现跨教室跨班级跨院校跨地区的实时大 重庆大学硕士学位论文 1 绪论 3 课堂教学实现学习者的地球村学校各个教学现场的场景将被实时流畅地 交互在一起从而实现大范围内的大课堂教学实践证明经验再丰富的教师 也有不足的地方只有集中多位教师的优点互相启发互相补充让学生在一个 开放的环境中与各位师长面对面交流才能取得更良好的教学效果另外生 活在各个不同地域的学生也可通过大课堂互相交流提高他们的学习兴趣思 维灵感和创新欲望将被大大激发 1.3 数字语音教学系统的现状 数字语音教学系统是多媒体教学系统中的一个重要分支语音教室在各种学校 都已有了广泛的应用国内许多厂家已经研制成功并推出了各种各样的产品它的 发展经历了从模拟机到数字机的转变 图 1.1 数字语音教室 fig 1.1 digital voice classrooms 最早的语音教学系统是由模拟机组成的主要播放磁带等模拟信号传统型语 言教学系统的结构设计主要就是以录音机机芯为主体通过各厂家自行定义的相关 线缆来进行连接与传输由于产品连接线缆及连接方式均为厂家自行定义因此产 品连接复杂故障率高用户难以进行维护和维修受到模拟技术的限制模拟语 音教学系统的功能比较单一没有小组讨论自主学习等功能随着语音教学对音 质的要求不断提高模拟机逐渐不能满足需要而且它的开发周期长调试困难 难与计算机等数字系统直接融合目前这种语音教学系统已经逐渐被淘汰 与模拟机相比在 2000 年左右推出的数字化语音教学系统具有相对明显的优 势可以提供多种复杂的教学功能如课堂考试分组教学小组讨论等功能图 1.1 显示了一个数字语音教学室的场景2000 年国内从事数字语音教学产品开发的 企业只有兰歌卓越长海等少数几家企业而到了 2004 年如雨后春笋一样有 重庆大学硕士学位论文 1 绪论 4 众多的厂家纷纷推出了自己的数字化语音教学系统数字化系统的核心技术是基于 计算机数据传输协议的网络技术数字化技术的采用拓展了系统的功能 目前数字语音教学系统产品的总体结构是一台计算机主机和数台特制的数字终 端组成一个数字教学网络如图 1.2 所示经过 a/d 转换后的音频数据文件通过 标准的网络协议传送给终端用户这些产品的差别在于数字终端与计算机主机 之间的网络组建方式不同卓越的是采用通用的网络交换机和网卡而兰歌风华 等其他公司是采用自行研制的 pci 板卡进行数据的交换从图 1.2 (a)- (c) 来看这几 种结构都组建了网络但是其网络的末端都不是通用的计算机而是各个企业自行 研制的数字终端 (a) (b) 重庆大学硕士学位论文 1 绪论 5 (c) 图 1.2 网络语音教室的几种拓扑结构图 fig 1.2 several different topological structures of network voice classroom 这些数字终端因厂家不同而异没有统一标准的规格和型号彼此千差万别 在图 1.3 中就是部分数字语音教学系统的终端这些产品虽然比模拟机进步很多 但是也存在着很多问题 1显示的问题这些自研终端都是采用单色的液晶屏液晶屏通常只能显 示 480 个英文字符或者 240 个中文字符每屏输出的信息量极为有限 而且一般不能显示图片 2键盘的问题其键盘所提供的是非标准键盘按键数少开发难度大 使用不方便 3功能的问题交互能力差功能单一目前仅仅是声音的交互无法做 到视频的交互 4维护的问题不通用而且需要多条独立信道来传输信号需要专用电 缆施工和调试难度大 5价格的问题目前该类终端设备的售价通常在 2000 元左右和低端计 算机的价格不相上下 综上所述 目前数字语音教学系统采用的非标准终端设备 如果能够更换为 低配置的普通微机采用标准的显示屏键盘网络连接势必会有效地解决上述 问题 重庆大学硕士学位论文 1 绪论 6 图 1.3 几种数字语言教学系统的非标准终端设备 fig 1.3 several different nonstandard terminals of language teaching system 本文研究的标准多媒体网络教学系统将抛弃非标准的终端交换机等设备 在一个标准的局域网内针对课堂教学形成一套可以不断发展更新的教学系统 由于这样的系统不依赖于硬件系统的升级将变得很容易标准多媒体网络教学系 统是一种理想的具有广阔应用前景的多媒体教学系统它将有助于将多媒体网络 教学系统标准化统一化标准多媒体网络教学系统将是未来多媒体教学系统的发 展方向 1.4 多媒体网络教学系统的实现方式 目前所查阅到的多媒体网络教学系统资料表明根据其设计原理和实现方式不 同可归为三大类纯软件方式纯硬件方式软硬件结合方式5 (1) 纯软件方式 纯软件方式是一种基于网络操作系统来实现音频视频网络传输的多媒体应用 技术所有音频视频信号均以数字方式进行传输纯软件方式代表了多媒体网络 教学系统的发展方向具有较高的性价比 纯软件方式有以下显著优势投资成本低性价比高安装维护简单易升级 由于多媒体教学系统在网络传输过程中有数据传输量大 实时性要求高等特点 因此解决实时性音频视频传输速度与质量是纯软件方式实现多媒体网络教学系统 的技术难点 (2) 纯硬件方式 重庆大学硕士学位论文 1 绪论 7 纯硬件方式是在每台计算机中插装一块音频视频传输卡通过多股传输线来 实现音频视频的传输所有多媒体数据都是通过专用多媒体高速线缆传输到工作 站不依赖于原有的网络操作系统音频视频流畅性好它是目前较多采用的一 种多媒体网络教学方式 纯硬件方式主要存在以下几点不足产品投资比较大升级换代不容易另外 所有信号均以硬件方式实现系统不仅接管了音频视频信号还接管鼠标键盘 的控制信号因而安装连接比较麻烦容易出故障不易维护 (3) 软硬件结合方式 软硬件结合方式是在纯软件方式上类似于硬件方式添加音频视频传输卡专 门用于音频视频的传输而鼠标键盘的控制信号通过软件在标准网络上传输 软硬件方式综合了纯硬件和纯软件方式的一些特点是纯硬件方式向纯软件方式过 渡的一个中间性方式 目前市面上已经存在使用 netmeeting 实现的纯软件网络教学技术方案由于 netmeeting 所使用的音频视频编码标准主要针对底码率编码所以视频音频的 质量不高6而且 netmeeting 只能实现点对点的通讯模式7参与教学的单位如果 有多个则只有两点之间能进行视频和音频的交流而其他点的交流就只能通过白 板和聊天程序进行从而使得 netmeeting 的应用范围受到了限制 1.5 本文主要工作 在查阅大量相关文献资料的基础上针对目前采用非标准网络终端设备实现的 多媒体教学系统所存在的价格昂贵维护困难通用性不高等问题本文提出了完 全采用标准网络设备和标准计算机配件构建纯软件方式的标准多媒体教学系统的新 思路研究并实现了多媒体数据网络实时传输技术本文的主要工作如下 1 分析了标准多媒体网络教学系统的功能需求进行了系统总体方案的设 计并给出了系统的硬件结构以及软件实施方案 2 分析了多媒体数据网络传输的特征及其对网络的要求 3 分析比较了 tcpudp 等网络协议的优缺点研究了 ip 组播技术及其 实现方法 4 针对多媒体信息数据量大的特点应用 mpeg- 4 编码压缩技术实现了 对多媒体数据进行压缩 5 研究了 directshow 流媒体技术并在 vc 开发平台下基于 directshow 技术及 windows 网络编程技术实现了多媒体数据的采集压缩网络传输和播放 等功能 重庆大学硕士学位论文 2 多媒体网络系统方案设计 8 2 多媒体网络系统方案设计多媒体网络系统方案设计 前文曾经提到纯软件的多媒体教学方式是今后网络视频教育的发展方向与 纯硬件和软硬件结合的方式相比纯软件方式拥有更好的灵活性和扩展性因此 本文决定采用纯软件方式来实现系统的总体功能 2.1 多媒体网络教学系统的建设目标 本文研究的标准多媒体网络教学系统主要应用于学校的多媒体教室代替 那种一台计算机主机和特制的数字终端组成的数字教学网络为了介绍的方便在 后面将标准多媒体网络教学系统简称为多媒体网络教学系统 多媒体网络教学系统的最终设计目标是在网络教学系统中实现传统的教学功 能例如 对于教师要实现备课点名授课考试等功能在具体的软件功能上要能 实现对学生的分组讨论单独辅导监控学生界面实现教材同步实现视频同步 手把手辅导学生操作等功能 对于学生要能够实现签到下载课件选择学习资料参加考试进行分组 讨论向教师提问等功能 2.2 多媒体网络教学系统的功能分析 为了实现系统的建设目标经过总结归纳将系统的具体功能划分为以下几个 1直接授课与语音教学功能 所有的教学资料都能广播到学生终端包括动画电影教师的口头讲解等 教师机可以完全控制终端机的操作画面由教师播放文本声音视频学生终端 同教师机完全同步教师通过话筒直接向学生授课利用教师机播放多媒体数据资 料可以同步播送给部分学生或全部学生可以播放服务器上的视频文件作到图 文音并茂 2示范教学功能 每一个终端包括教师终端和学生终端都能将屏幕上的内容传播到其它部分 或全部终端教师可以调用任意一个学生终端将该终端上的内容向全班播放进 行示范性的解说答疑所有视图格式如 mpeg 或 avi 等均可实时广播 3电子黑板功能 重庆大学硕士学位论文 2 多媒体网络系统方案设计 9 通过写字板功能教师机可以在电子黑板上书写文字进行讲解课堂内容 学生终端可以同步看到书写过程解决过去语音室教师只能用声音而不能随意用文 字讲解的弊端真正具有电子黑板功能 4声音传输交互功能 学生与学生教师与学生之间进行分组讨论学生可以通过麦克风向教师提问 教师也可以通过服务器设置多个学生终端进行分组对话讨论 5文字交互功能 学生终端通过键盘书写一段文本进行交互支持对话形式的一对多答问突破 语音交互的限制 6电子举手功能 学生可以通过网络向教师电子举手进行提问教师可以通过网络对学生的问题 提供在线解答或帮助 7自主学习和自我测试功能 教师机可以通过授权允许学生访问服务器所在的局域网或者 internet 的资源 学 生可以自由选择适合自己的教学内容进行学习和测试学习的内容突破传统数字系 统的局限播放高质量的音频和视频文件 8无纸化考试功能 教师机可以完全控制终端机的操作界面启动学生终端的考试进程学生终端 具备了试卷答题纸软件设计试卷可以是文本可以带有图形如电路 图也可带有声音学生可以在专门的答题纸上进行答题可以同时翻阅试卷 和答题纸对于答题的信息量大可以一次浏览所有的答案而传统的数字终端上 一次仅仅看到一个答案 这样很不方便另外在答题纸上可以写短文 学生交卷后 对于客观题可以立即计算出成绩并能够统计分析电子考卷可以存档备查能够 写短文突破了传统数字教学系统的考试功能真正实现无纸化考试 9远程控制功能 教师可以通过网络远程浏览任一学生终端屏幕可以控制锁定任一个学生终 端如果任一学生终端出现系统错误教师可以通过网络重新启动该终端 2.3 多媒体数据网络传输功能的设计指标 以上分析的是整个多媒体网络教学系统的设计目标和功能需求通过分析可 以发现要实现多媒体网络教学功能多媒体数据的网络实时传输是基础 本文的主要任务是根据多媒体教学的功能需求研究并实现能满足多媒体教学 要求的多媒体数据网络传输功能为以后实现整个多媒体网络教学系统打下基础 重庆大学硕士学位论文 2 多媒体网络系统方案设计 10 下面简述一下多媒体数据网络传输功能的设计指标 1降低方案的成本 专业的视频会议系统很昂贵不适合推广到多媒体教学中来方案要求可以利 用有效的廉价的资源除了基本的 pc 机及通用的局域网连接设备外仅需要普 通的摄像头和话筒就可以了 2提高音频视频传输质量 netmeeting 实现的纯软件教学方案使用的音频视频编码标准主要针对底码率 编码所以视频音频的质量不高 这种网络视频教育系统中的低分辨率视频画面和音频音质已经不能满足用户需 要为此本文研究的方案在视频方面需要实现 320*240640*480 甚至更高分辨率 的画面在音频方面需要提供至少可以高于电话的音质 3实现音频视频实时多点传输以支持同步教学功能 由于系统主要是针对多媒体教室设计的同步教学也就是在线实时授课这是 该系统的重点这要求对教师的授课过程进行实时捕获并发送到客户端因此 系统要求音频视频的网络传输要支持多点通讯才可以同时使更多的学生能与教师 进行交流 4避免出现网络阻塞现象 在学生自主学习时以及教师教学过程中向学生发送音频视频文件时不能因 为出现网络阻塞现象而导致教学工作不能顺利完成 2.4 系统方案的总体设计 2.4.1 系统的硬件构成 图 2.1 系统硬件结构图 fig 2.1 structure of hardware system 重庆大学硕士学位论文 2 多媒体网络系统方案设计 11 整个系统由服务器教师用 pc 机客户机学生用 pc 机标准网络交换设 备实现网络数据传输摄像头采集视频数据麦克风采集音频数据等几 部分组成如图 2.1 所示这套硬件系统的特点是全部采用标准的网络设备和标准 计算机配件构成了一套基于标准网络平台的多媒体处理系统具有成本低维护 方便配件互换性好便于升级换代等优点 2.4.2 系统的软件实施 整个软件系统由两大模块组成一块是音频视频的发送模块图 2.2另一 块是音频视频的接收模块图 2.3 图 2.2 方案结构图发送端 fig 2.2 design framework - sender 图 2.3 方案结构图- 接收端 fig 2.3 design framework - receiver 在图 2.2 中左端的音频视频源分为两类一类是捕获设备如摄像头或麦克风 另一类是媒体文件视频和音频可以来自不同的文件也可以是同一文件如果媒 网络传输 编码系统 音频视频源 视频采 集设备 音频采 集设备 音频 文件 视频 编码器 音频 编码器 视频网 络发送 音频网 络发送 视频 文件 网络传输 解码系统 播放器 视频 播放 音频 播放 视频 解码器 音频 解码器 视频网 络接收 音频网 络接收 重庆大学硕士学位论文 2 多媒体网络系统方案设计 12 体文件同时包含视频和音频信息则只能是同一文件 中间的编码系统对原始多媒体数据由摄像头或麦克风采集来的媒体数据进 行压缩编码 右端为网络传输部分可以将从编码器或者媒体文件得来的媒体流数据发送到 网络网络发送有两种方式单播发送和组播发送单播发送是数据一次只发给一 个接收端组播发送是同一数据同时发送给多个接收端 当然也可以将从编码器出来的媒体数据保存为文件但在多媒体网络教学过 程中多媒体文件一般都是直接播放的所以本文没有考虑将其保存为文件 在图 2.3 中从网络获得的视频和音频数据流通过解码器解码后在播放器中 实时播放出来 在教学系统的任意一台计算机上同时存在发送端和接收端这样才可以实现 和他人的交流在授课过程中只有教师的服务器是发送状态其他都是接收状态 在分组讨论的时候每个小组中每次只允许一人发言其他成员都处于接收状态 2.4.3 系统的开发平台 多媒体数据传输系统的开发面临着以下巨大的挑战 1多媒体数据量巨大如何保证数据处理的高效性问题 2如何让音频和视频时刻保持同步的问题 3如何用简单的方法处理复杂的媒体源问题包括本地文件计算机网络 广播电视以及其他一些数码电子类产品等 4如何处理各种不同的媒体文件格式问题包括 aviasfmpegdv movmp3wav 等 5如何支持目标系统中不可预知的硬件例如声卡视频采集卡的问题 为了解决上述这些问题微软公司提出了 directshowdirectshow 设计的初衷 就是要尽量让应用程序开发者从复杂的解决数据传输硬件差异同步性等问题的 工作中解脱出来总体的应用框架和底层技术由 directshow 来完成让基于 directshow 框架开发多媒体应用程序变得简单可行8 所以本系统方案决定采用 directshow 软件工具来开发由于 directshow 最初 就是为 vc 开发者设计的 选择使用 visual c+(简称 vc 或 vc+)平台来开发本系 统 vc 提供了多媒体系统开发平台充分利用 vc 的各项优势可以开发出专业的 多媒体应用系统选择 vc 平台来开发多媒体应用系统有以下优势9 1visual c+是面向对象的程序设计方法与传统的结构化程序设计方法相 比它可以缩短软件的研制时间提高软件开发效率 2微软基础类库microsoft foundation classmfc以 c+形式封装了大 重庆大学硕士学位论文 2 多媒体网络系统方案设计 13 部分的 windows api 来表示框架 窗口 对话框 设备上下文和其他标准的 windows 部件 mfc 中各种对象所提供的强大功能可以完成程序中的绝大部分功能 这样程 序员需要编写的代码大为减少保证了程序具有良好的可调试性另外 mfc 可靠 性很高可以更好地保证开发程序的可靠性和正确性 3vc 中集成了 activex微软倡导的网络化多媒体对象技术com component object model 组件对象模型等技术程序开发人员可以紧紧把握住 软件开发技术发展的方向开发出功能强大的应用程序 4vc 还提供了丰富的技术资源msdnmicrosoft develop network提供 了强大的联机帮助支持同时通过访问 microsoft 的网站还可以获得最新的技术文 档 2.5 小结 1分析了标准多媒体网络教学系统的建设目标和功能需求 2提出了多媒体数据网络传输功能的设计指标 3提出了系统发送端和接收端的软硬件设计方案结构并根据软件方案结构 图介绍标准多媒体网络教学系统的工作原理 4介绍了系统的软件开发平台 重庆大学硕士学位论文 3 多媒体网络通信技术介绍 14 3 多媒体网络通信技术介绍 3.1 引言 多媒体通信属于一种分布式多媒体应用系统10需要具有高传输速率的网络 需要实时传输连续媒体的信息如音频和视频信息因此需要信息传输端到端延时 小多媒体通信要交换的数据量特别大媒体信息需要压缩编码因此在多媒体通 信应用中音频视频的压缩编码必不可少11 目前所有的媒体类型包括音频和视频都可以通过两种传输模式来传输用 于同步显示的实时传输模式和用于异步显示的下载模式下载是一个异步过程在 网络上下载的无论是多媒体信息还是其他数据类型对网络的要求相同差别仅在 于数据量的大小但是在实现多媒体通信的应用系统中多媒体数据的传输是采 用实时传输方式 而这种依赖于时间的媒体实时传输对网络的性能提出了新的要求 对于多媒体网络通信应用来说主要有 4 个需要考虑的性能指标波特率传 输延时延时抖动和差错率 比特率指网络在单位时间内能接收和发送的二进制数据的数量并非所有的 网络都能以网络所提供的访问速度来传送待发送的数据实际上基于分组交换的 网络一般均不能支持与接口存取速度完全相等的持续比特率相对来说基于电路 交换的网络可以提供比特率与存取速度相等且持续的端到端的传输 传输延时由发送端系统发送的一个数据块的第 1 比特到接收端系统接收到该 数据比特之间的时间差这个网络参数对远程的同步应用是一个十分重要的衡量标 准 延时抖动指一段时间内最长和最短传输延时之间的差值 差错率是对数据发送中改动丢失复制或失序这些行为的度量也是网络 对错误恢复能力的度量 3.2 多媒体通信系统对网络的要求 3.2.1 系统的总体特征 系统对网络的要求11- 13 在多媒体通信系统中通过网络实时传输音频视频可能存在两种不同的情况 一种是在发送端传送实况音频视频另一种情况是传送存储下来的音频视频文件 实况传输与存储传输对网络的要求并不存在差别网络传输过程中这两种数据流具 有相同的特性传输实况信息并不意味着网络必须反应更快或者必须在数据流内或 重庆大学硕士学位论文 3 多媒体网络通信技术介绍 15 数据流之间可以减少对时间的依赖性对网络要求真正不同的是接收端系统对接收 的信息是实时播放还是记录存储这两种情况的差别主要体现在对传输延时的忍受 程度不同如果多媒体通信系统的接收端是一个记录存储系统则对网络传输的延 时不敏感而且对延时抖动也不敏感对于交互式实时播放应用必须减少传输延 时和延时抖动 人对音频和图像的感知差异 人们对音频的变化比对视频的变化要敏感也就是说人们对影响音频流传输 错误的容忍程度比对影响运动视频流错误的容忍程度要低 人们对音频序列中的瞬间中断即使只有 50ms也能被检测到特别是对一些比 较熟悉音频信号如一段很熟悉的音乐甚至出现 10ms 以下的瞬间中断和瞬间频 率失真人耳也能感觉出来相反即使是一部很熟悉的电影带并且经常看这部 片子如果在无声的序列中几秒钟长的图像空缺或临时频率变化通常也不会引起 人们的注意 在很多多媒体通信应用中音频和视频同时传输有些网络为每个流分配独立 的信道而有些网络则将两者混在一起结果在大多数分组交换网中两种数据流 竞争同一资源而竞争可能导致数据丢失在这种情况下音频数据流必须有比视 频数据流更高的优先级 3.2.2 传输延时的问题 多媒体数据的实时传输对传输延时的要求高度依赖于多媒体应用在纯媒体发 送类应用中 只要技术允许 延时可以很长 单方向传输而在交互式通信应用中 延时的大小有一个限定值 端对端延时是指信息通过网络传输的所有延时包括在发送系统中等待媒体或 网络准备好所花费的时间延时是支持多媒体数据实时传输的一个主要性能参数 在各种信息类型中音频信息对网络传输延时最敏感 在多媒体通信系统中除了出现端对端的延时外还会出现延时抖动即不同 的多媒体数据包之间的传输延时不同解决延时抖动的方法是让接收系统在播放这 些信息块之前等待足够长的时间这样大多数被延时的信息块都能及时送到以实 现多媒体信息播放的连续性到达接收端的信息块被存储在称为缓冲区的内存中 在延时一定时间后再播放出来这个过程有时被称为延时抖动的平滑技术 音频通过网络的实时传输对延时抖动尤其敏感为了克服延时抖动必须在接 收端采用缓冲区来平滑抖动但该延时抖动平滑技术会造成音频传输的整个端到端 延时在很大程度上增加于是就带来这样一对矛盾要能较好地平滑延时抖动就 需要设立具有较大容量的缓冲区但是如果缓冲区太大所引入的附加延时就相 应增大这要求多媒体通信系统能在两者之间找出一个平衡点 重庆大学硕士学位论文 3 多媒体网络通信技术介绍 16 研究资料表明音频信号延时如果大于 50ms人们就会感到声音有断续11 在视频中只有每秒传输速率大于 24 帧才使人感觉到动态图像是连续的如 果某一帧的延时过大人们就会感觉到有跳动这在视频传输过程中要求每一帧的 采集 编码 压缩传输 解码 解压缩播放整个过程必须在 42ms 1000ms/24 以内完成为了消除延时抖动要求视频数据以常数时间间隔播放每一帧11 3.3 directshow 技术 目前在网络上传输音频视频等多媒体数据主要有下载和流式传输两种方案由 于多媒体文件很大需要的存储容量也很大同时由于网络带宽的限制下载常常 要花数分钟甚至数小时所以这种处理方法时延也很大流媒体技术的出现使流式 传输成为现实13- 15 流媒体(streaming media)技术是当前十分流行的一种多媒体技术 其基础就是多 媒体通信技术 流媒体技术是指通过 ip 网络传送多媒体数据的技术 它将多媒体文 件经过压缩处理以后放在网络服务器上进行分段传输客户端计算机不用将整个 多媒体文件下载下来便可以即时收听收看13 流媒体的处理以其复杂性和技术性而闻名一向广受业界关注特别是伴随着 因特网的普及流媒体在网络上广泛应用怎样使流媒体的处理变得简单而富有成 效逐渐成为研究的焦点问题选择一种合适的方案将会事半功倍 directshow 是本文所采用实现的标准网络多媒体教学方案的基础它是微软公 司提供的一套在 windows 操作平台上开发高性能图形声音输入输出的流媒体 处理开发包directshow 是 directx 家族的一个成员它与 directx 一起发布 3.3.1 directx8 directx 软件开发包是微软公司提供的一套在 windows 操作平台上开发高性能 图形声音输入输出和网络游戏的编程接口微软将 directx 定义为硬件设 备无关性即使用 directx 可以用与设备无关的方法为设备提供相关的高性能 事实上directx 已经成为一种标准它可以为应用程序特别是游戏开发人 员和硬件厂商之间的关系解耦directx 标准的建立可以为硬件开发提供策略 硬件厂商不得不按照这一标准进行产品改进同时通过使用 directx 所提供的接 口软件开发人员可以尽情地利用硬件可能带来的高性能而无需关心硬件的具体 执行细节 另外directx 采用了组件模型对象com标准因此不同对象的版本可以 有不同的接口这使得用 directx 开发的程序即使在未来也能得到完全的兼容和支 持 从windows 95开始 几乎每一代windows操作系统都集成了一定版本的directx 运行时库runtime library事实上directx 已经成为 windows 家族操作系统中 重庆大学硕士学位论文 3 多媒体网络通信技术介绍 17 不可或缺的核心组件之一这些组件可以不断地升级到最新版本目前directx 的 最新版本是 9.0 3.3.2 directshow 体系结构16 directshow 是一个开放性的应用框架也是一套基于 com 的编程接口事实 上计算机应用领域中的很多模块都可以和 directshow 系统交互也就是说 directshow 的应用范畴很广单纯从本地系统来说directshow 可以实现不同格式 媒体文件的解码播放或格式之间的相互转换可以利用本地机器中的采集设备采集 音频视频数据并保存为文件可以接收观看模拟电视等而从网络应用的角度来 说directshow 更可用于视频点播视频会议视频监控等领域其实广义上来 说directshow 系统适合于一切流式数据的处理这些数据可以是音频视频这样 的多媒体数据但又不局限于多媒体数据 directshow 的设计初衷就是尽量要让应用程序开发人员从复杂的数据传输硬 件差异 同步性等工作中解脱出来 总体应用框架和底层工作由 directshow 来完成 这样基于 directshow 框架开发多媒体应用程序就会变得简单 directshow 的核心是被称为 filter过滤器的插件式模块系统该系统配置在 filter graph过滤器图表中filter graph manager过滤器图表管理器组件负 责检查这些 filter 的连接和控制 filter 间的数据流动如图 3.1 所示 directshow 自身是一种通过自定义或内置的 filter 过滤器 来控制和处理多媒 体数据的体系结构该体系结构定义了如何控制和处理 filter 内部和相互间的多媒 体数据流每个 filter 都拥有输入 pin 或输出 pin过滤器之间通过过滤器图表结构 相互连接起来应用程序通过过滤器图表管理器对象装配过滤器图表, 并且在其中 移动数据默认情况下过滤器图表管理器将自动处理数据流例如, 它在需要时 自动插入正确的编解码器并且自动将转换过滤器的输出针连接到默认的实施过滤 器(rendering filter)用户也可以自定义过滤器而不使用directshow 提供的默认连接 directshow 过滤器容器 过滤器图表管理器 音频视频采集 源过滤器 转换过滤器 实施过滤器 音频视频发送 应用程序 图 3.1 directshow 体系结构 fig 3.1 hiberarchy of directshow 重庆大学硕士学位论文 3 多媒体网络通信技术介绍 18 如图 3.1 所示应用程序通过过滤器图表管理器所提供一组组件对象模型 com接口来访问 filter graph可以直接调用 filter graph manager 接口来控制 媒体流获得过滤器事件 3.4 过滤器的应用 filter过滤器是 directshow 中最基本的也是最重要的概念17directshow 使 用 filter graph 来管理整个数据流的处理过程参与数据处理的各个功能模块叫做 filter各个 filter 在 filter graph 中按一定的顺序连接成一条流水线协同工作 filter graph是filter的 容器而filter是filter graph中的最小功能模块 directshow 对硬件的支持是通过特定的包装 filter 来实现的 按照功能来分 filter 大致分为三类 source filters transform filters 和 rendering filterssource filters 主要负责数据的获取数据源可以是文件因特网或者计算 机里的采集卡数字摄像机等然后将数据往下传输transform filter 主要负责数 据的格式转换传输rendering filter 主要负责数据的最终去向可以将数据送给 声卡显卡进行多媒体的演示也可以输出到文件进行存储 值得注意的是三个部分并不是都只有一个 filter 去完成功能恰恰相反每个 部分往往有几个 filter 协同工作比如transform filters 可能包含了一个 mpeg 的 解码 filter视频色彩空间的转换 filter 以及音频采样频率的转换 filter 等等除了 系统提供的大量 filter 外可以定制自己的 filter以完成需要的功能 filter 一般由一个或者多个 pin 组成filter 之间通过 pin 相互连接构成一条顺 序的链路 一种实用的判别方法就是根据 filter 包含的输入 pin 或者输出 pin 的数量来判断 filter 的类型 视频源 mpeg- 4 解码器 视频显示 输出 pin 输入 pin 输出 pin 输入 pin source filter transform filter rendering filter 图 3.2 filter 的三种类型 fig 3.2 three types of filter 如图 3.2 所示仅含有输出 pin 的 filter 为 source filter既有输入 pin 又有输出 pin 的 filter 为 transform filter仅有输入 pi