多媒体技术论文.doc

多媒体技术论文 学号： 姓名： 班级： 专业： 教师： 2010 年年 多媒体技术论文 II 目目 录录 1 前 言 1 2 数据压缩 3 2.1 压缩原理 4 2.1.1 子带编码4 心得体会9 参考文献 10 教师评语 11 多媒体技术论文 0 1 1 前前 言言 具有多媒体功能的计算机被称为多媒体计算机,其中最广泛、最基本的是多 媒体个人计算机(Multimedia Personal Computer,简称 MPC)。具备多媒体功能 的计算机系统即是多媒体计算机系统。 普通的计算机只能处理可看见的媒体,所以多媒体技术的重点是要使计 算机能很好地处理可听见的信息,如声音,所以声音是多媒体最基本、最重要的 要素。而同时具有视(动态)、听特性的媒体、如视频、全活动影像(Full- motion Movie)等,就是多媒体的核心要素,要使计算机能处理声音、视频等媒 体信息,就需要在计算机上增加一些能处理它们的硬件设备,如声音卡、视频卡 等。处理音频和视频媒体的软硬件技术就是多媒体技术的关键技术,主要包括 数据压缩技术、处理音频和视频的专用芯片和多媒体核心软件技术。 数据压 缩和解压缩技术 数字化的声音、图像和视频的数据量是非常巨大的,如以 CD 音质声音(44.1KHz,16Bit 采样的立体声)每秒所占的数据量就为 176KB;一幅 640480 的 256 色彩色图像所占的数据量约为 300KB,而同样大小的 24Bit 真 彩色图像所占的数据量将达 900KB!巨大的数据量不但要求大容量的存储设备, 更主要的是影响了数据的传输和运行。如动态视频要求每秒播放 25/30 帧图像,这 样为在 640480 的窗口中播放 256 色、具 CD 音质的全动视频。就要求每秒处 理 9MB 的数据。而计算机的数据处理能力是有限的,如 IBM PC/AT 机的 ISA 总 线的数据传输率最高只有 5MB/秒。因此,在多媒体计算机技术要求能实时地综 合处理文、图、音、视等媒体数据与多媒体涉及的巨大数据流量和计算机数据 处理和传输能力的局限之间存在巨大的矛盾。解决这一矛的唯一有效方法就是 采用一定的数据压缩编码算法对巨量的音、视频数据进行数据压缩。常用的压 缩编码算法有 PCM(Pulse Code Modulation)、统计编码(哈夫曼、算术、香农- 弗诺)、变换编码(K-L、DCT、FFT、FWT 变换等)、插值和外推编码、游程编码 等。一些国际学术组织已制定了一些压缩编码标准,主要有 JPEG(Joint Photographic Experts Group)标准、电视电话/会议电话 P64bit/s(CCITT H.281)标准以及 MPEG(Moving Picture Experts Group)标准等。 音频/视频处 理专用芯片 专用芯片不仅集成度高、大大提高处理速度,而且有利于产品的标 准化。对于需要大量的快速、实时进行音/视频数据的压缩/解压缩、图像处理 (缩放、淡入/淡出、划像等)、音频处理(滤波、去噪等)等处理的多媒体计算 机技术来说,音频/视频处理的专用芯片显得尤为重要。多媒体计算机专用芯片 主要有两类,即固定功能的芯片和可编程的处理器。前者功能单一,主要用于图 像数据的压缩处理;后者功能灵活,可进行编程设计,是发展的主流。此外, VRAM、A/D、D/A 转换芯片、数字声音处理器(Digital Sound Processor)等也 是多媒体计算机技术所必不可少的。 多媒体计算机软件核心 多媒体应用系统 能否充分调度多媒体硬件,发挥其功能,真正达到多种媒体的同步协调,主要取 决于多媒体计算机软件核心,即视频/音频支撑系统 AVSS(Audio/Video Support System)和视频/音频核心 AVK(Audio/Video Kernel)。对 MPC 而言,AVSS 就是 多媒体技术论文 1 多媒体操作系统,如 Windows3.1;AVK 就是多媒体视频工作平台,如 Microsoft Video for Windows、Quick Time 等。 多媒体涉及的数据量是非常庞大的,而多媒体信息表现的生动性和实时 性有要求计算机能迅速,甚至是实时地处理这些庞大的媒体数据,所以多媒体技 术对计算机平台的要求是很高的,这包括要求高档次的 CPU,足够的内存,快速的 大容量存储设备,显示性能好而快的显示设备等,这种要求的结果是多媒体系统 的价格昂贵,另一方面,如果不是专业领域的应用,人们在使用多媒体时往往并 不一定要求十全十美的效果,比如游戏娱乐、商业展示、普通教育培训等,这时 候人们注意的是多媒体的价格。所以,对多媒体计算机平台的要求有两种发展 方向,一种是应用于专业领域的高档计算机平台,至少是高档工作站;另一种是 应用于普通型的个人计算机,MPC 标准是一种普及型的多媒体标准,主要使用于 家庭或办公室多媒体用户,它所要求的计算机平台是 PC 机的主流机型。 1993 年美国克林顿政府提出了国家信息基础结构(National Information Infrastructure)行动纲要的政府报告,并形象地称之为信息高 速公路(Information Highway)。信息高速公路的设想和其诱人的前景在世界 上引起了广泛的反响,各国纷纷提出自己的信息高速公路计划构想。专家预测 信息高速公路将给人们的工作、学习、教育、卫生保健、商业、娱乐方式等带 来一场革命,将改变人类的生活方式。 国家信息基础结构或信息高速公路是即 将来临的高级信息时代的高速信息传输网,即在全国乃至全世界范围内,以光纤 和高速数字交换设备构成的高速宽带信息网络。在网络中连接有大量专用和公 用数据库,各种用户通过多媒体终端享受商务、金融、教育、卫生、文化、娱 乐等广泛的服务。信息高速公路的主要目标是: 1)在企业、国家实验室和大学之间通过个人计算机进行技术信息交换, 以提高经济效益、改善科研条件。 2)通过以通信方式推销药品和电信传送医学图像(X 光片等),提高以医疗 诊断为重点的医疗服务水平、改善医疗条件。 3)把教育方式从研究人员进行讲演和学校授课的集中式教育发展为使用 PC 机的分散教育,为人民创造学习机会。 4)快速及时地提供地震等灾害信息。 5)传输电子出版物,提供家庭电脑金融服务和家庭电脑购物。 6)利用双向高速信息网络,提高产业竞争力和政府的工作效率。 信息高速公路以光纤作为主要的传输介质,可以快速传输数据、文字、声 音、图像和电视节目等内容,具有如下四大特征: 双向传输 信息高速公路中的信息是双向交流传输的,信息消费者同时也 是信息提供者。 高精度、快速数字化传送 信息高速公路以数字形式传输数据、文字、 声音、图像和电视节目等内容,在对数据进行高效压缩后,传输效率将比现有水 平高出数千倍。这将使第三产业、广播电视业、娱乐业和超级市场等发生根本 性变化。 多媒体技术论文 2 2 2 数据压缩数据压缩 数据压缩的好处: 时间域压缩迅速传输媒体信源 频率域压缩并行开通更多业务 空间域压缩降低存储费用 能量域压缩降低发射功率 多媒体输入输出技术包括媒体变换技术、媒体识别技术、媒体理解技术和 媒体综合技术。 综合地利用这些输入输出技术实现用户和计算机之间更加自然的交互是人 机界面设计的目标。 所谓虚拟现实，就是采用计算机技术生成一个逼真的视觉、听觉、触觉及 嗅觉的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考 察。这个概念包含三层含义： - 虚拟实体用计算机来生成的一个逼真的实体； - 用户可以通过人的自然技能(人的头部转动、眼动、手势或其它的身体动作)与 这个环境交互； - 要借助于一些三维传感设备来完成交互动作，常用的如头盔立体显示器、 数据手套、数据服装、三维鼠标等。 网卡是局域网中最基本的部件之一，又称为网络卡或网络接口卡，英文简称 NIC(Network Interface Card)。它的主要工作原理为整理计算机上发往网线 上的数据并将数据分解为适当大小的数据包之后向网络上发送出去。当然它还 负责网线上传过来的数据。 调制解调器其作用是利用模拟信号传输线路传输数字信号 存储技术 .NAS（Network Attached Storage，网络附加存储）被定义为一种特 1 殊的专用数据存储服务器，内嵌系统软件，可提供跨平台文件共享功能。 NAS 设备完全以数据为中心，将存储设备与服务器彻底分离，集中管理数据， 从而有效释放带宽，大大提高了网络整体性能，也可有效降低总拥有成本， 保护用户投资。 .SAN（Storage Area Network，存储局域网）可以定义为以数据存储 2 为中心，采用可伸缩的网络拓扑结构，通过具有高传输速率的光通道的直 接连接方式，提供 SAN 内部任意节点之间的多路可选择的数据交换，并且 将数据存储管理集中在相对独立的存储区域网内 .DAS 采用 DAS（Direct-Attached Storage，直接附加存储）存储方案 3 的服务器结构如同 PC 架构，外部数据存储设备采用 SCSI 技术或者 FC 技术、 直接挂接在内部总线上的方式，数据存储是整个服务器结构的一部分。 .IP 存储 IP 存储就是使用 IP 把服务器与存储设备连接起来的技术。 4 .光存储 5 .虚拟存储 6 多媒体技术论文 3 2.12.1 压缩原理压缩原理 由于图像数据之间存在着一定的冗余，所以使得数据的压缩成为可能。信 息论的创始人 Shannon 提出把数据看作是信息和冗余度（redundancy）的组合。 所谓冗余度，是由于一副图像的各像素之间存在着很大的相关性，可利用一些 编码的方法删去它们，从而达到减少冗余压缩数据的目的。为了去掉数据中的 冗余，常常要考虑信号源的统计特性，或建立信号源的统计模型。图像的冗余 包括以下几种： (1) 空间冗余：像素点之间的相关性。 (2) 时间冗余：活动图像的两个连续帧之间的冗余。 (3) 信息熵冗余：单位信息量大于其熵。 (4) 结构冗余：图像的区域上存在非常强的纹理结构。 (5) 知识冗余：有固定的结构，如人的头像。 (6) 视觉冗余：某些图像的失真是人眼不易觉察的。 2.1.1 子带编码 子带编码 SBC(subband coding)的基本思想是，首先使用一组带通滤波器 BPF(band-pass filter)把输入音频信号的频带分成若干个连续的频段，每个 频段称为子带。对每个子带中的音频信号采用单独的编码方案去编码。在信道 上传送时，将每个子带的代码复合起来。在接收端译码时，将每个子带的代码 单独译码，然后把它们组合起来，还原成原来的音频信号. 音频编码标准比较，如表 2-1 所示 表 2-1 音频编码标准比较 多媒体技术论文 4 语音识别技术主要包括特征提取技术、模式匹配准则及模型训练技术三个方 面。 如图 2-1-1 根据对说话人的依赖程度可以分为特定人和非特定人语音识别系统 根据对说话人说话方式的要求，可以分为孤立字（词）语音识别系统，连接 词语音识别系统以及连续语音识别系统 根据词汇量大小，可以分为小词汇量、中等词汇量、大词汇量以及无限词汇 量语音识别系统 孤立词(语音)识别系统，一次只提供一个单一词的识别 连接词的语音由所 说的短语组成，而短语又是由词序列组成 连续语音由在听写中形成段落的完整句子组成 连续语音识别系统可以分成下 列三部分： 第一部分包括数字化、幅度归一化、时间归一化和参数表示 另一部分包括分割并把语音段标记成在基于知识或基于规则系统 上的符号串 最后一部分是设计用于识别词序列而进行语音段匹配 语音合成是以言语产生模型为基础,分析抽取激励源,声道的特征参数；再 利用这些特征参数重新综合出语音信号的过程。 TTS 即文本语音转换技术 实现把计算机中任意出现的文字转换成自然流畅的语音输出。 视觉语音是指人们在用语言交流时所表达出的面部表情和动作，它能在一定 程度上传达人们想要表达的意思，并能帮助人们加深对语言的理解。 JPEG 是国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)关于静止 图像编码的联合专家组(Joint Photographic Experts Group)名称的缩写 该 标准规定了两种工作方式，即顺序方式和渐进方式；还规定了三种级别的编码 算法，即基本系统(Baseline system)、扩展系统(Extended system)和无失真 系统. 多媒体技术论文 5 JPEG2000 的优势 高压缩率,无损压缩,渐进传输,感兴趣区域,压缩动态图像的特点: （1）连续性 在时间轴上以帧为运动单位，属于离散型媒体类。动态图像 比静态图像表示的范围广、表现力强。 （2)时延性 动态图像数据量大，必须被压缩后才能在计算机中应用。计算 机的容量和速度直接影响图像质量。 (3)相关性 帧之间的关联是动态图像连续动作形成的基础，也是进行压缩 和其他处理的条件。但对错误的敏感性较低。 多媒体系统中直接和硬件打交道的软件称为设备驱动程序 多媒体数据准备软件是指用于采集多种多媒体数据的软件 计算机包括了三个主要部分：人机信息交互、信息处理和存储以及信息显示 人机界面指人类用户与计算机系统之间的通信媒体或手段，它是人机双向信息 交换的支持软件和硬件。这里“界面”定义为通信的媒体或手段，它的物化体 现是有关的支持软件和硬件 人机界面和人机对话(Human Computer Dialogue)是两个不同的概念：人机对 话是指用户与计算机系统之间的通信，它是人与计算机之间各种符号和动作的 双向信息交换 多通道概念 通道：指传送或获得信息的通信通道的类型，它包含了信息表达、感知 以及动作执行的方式，定义了交换数据的类型 模式：指一种状态或上下文信息，它决定了如何对信息解释以获取意义 1 通道整合：指用户在与计算机系统交互时，多个交互通道之间相互作用 2 形成交互意图的过程 多通道、多媒体与虚拟现实 多通道系统力求对语义的理解它对用户的原始输入在较高的层次上(如 3 任务领域)进行解释、分析和综合，提取语义内容，达到对用户的某种理解， 然后，从较高的表现层次上传达给用户最恰当的反馈，它侧重于信息的理 解和解释 多媒体侧重于信息的表现 4 虚拟现实依靠三维立体视觉、头盔式显示器、身体跟踪和立体音响等技 5 术来模拟现实世界，旨在使用户获得一种沉浸式的多种感知通道的灵境体 验 传统的数据处理中所处理的数据类型主要是整型、实型、布尔型和字符型,而 多媒体数据处理中的数据类型除了上述常规数据类型外,还要处理图形、图像、 声音、文字及动画等复杂数据类型。 多媒体数据与常规数据有许多差别,主要表现在以下几方面:数据量 、数据长 度 、数据模型 、数据定义及操作 、数据的时间特性和版本概念 、数据传送、 数据模型是数据库管理系统中用于提供信息数据表示和操作手段的形式构 架，数据模型通常由数据结构、数据操作和完整性约束三部分组成。 多媒体技术论文 6 数据结构是对数据库系统静态特性的描述，是所研究的对象类型的集合，这 些对象是数据库的组成成份。 数据操作是对数据库系统动态特性的描述，如数据库中各种对象的实例、允 许执行的操作集合。 数据的约束条件是实现数据库完整性规则的集合 现有的多媒体数据模型可以分为三类：关系数据模型、面向对象的数据 模型和超文本数据模型。 多媒体数据库的三种查询方法：关键字查询、可视化查询、语义查询 所谓全文检索就是给定一个字符串或字符串的逻辑表达式，在全文数据库中进 行相应的检索，查出与指定表达式相匹配的出现并将这些出现的原文件作为检 索结果返回给用户。 结构化查询语言 SQL 1986 年 10 月，美国国家标准局(ANSI)颁布了 SQL 语言的美国标准，这 就是 SQL86。SQL86 主要包括四个组成部分： 模块定义语言(DDL)：用于描述关系数据库表、视图的结构和授 权规则； 数据操纵语言(DML)：用于数据库数据的查询和更新； 模块语言(Module Language)：用于说明数据库和用宿主语言编 写的应用程序之间的调用界面； 嵌入式(Embedded)语法：在宿主语言编写的应用程序中，作为 SQL 语句的使用规则。 DSL（数字用户线，Digital Subscriber Line）是以铜质电话线为传输介质的 传输技术组合，它包括 HDSL、SDSL、VDSL、ADSL 和 RADSL 等，一般称之为 xDSL。它们主要的区别体现在信号传输速度和距离的不同以及上行速率和下行 速率对称性的不同两个方面。其中 ADSL（非对称数字用户环路） ATM 是一种传输模式，在这一模式中，信息被组织成信元，因包含来自某用户 信息的各个信元不需要周期性出现，因此这种传输模式是异步的 P2P 网络的特点 分散化 可扩展性 鲁棒性 高性能 流媒体技术（或称为流式媒体技术）就是把连续的影像和声音信息经过压缩处 理后放到网络服务器上，让浏览者一边下载一边观看、收听，而不需要等到整 个多媒体文件下载完成就可以即时观看的技术。 实时流式传输指保证媒体信号带宽与网络连接配匹，使媒体可被实时观看到 网守是 H.323 中最重要的部件，是它管辖区域里的所有呼叫的中心控制 点，并且为注册的端点提供呼叫控制服务。 IP 电话(IP Telephony)、因特网电话(Internet telephony)和 VoIP(Voice over IP)都是在 IP 网络即信息包交换网络上进行的呼叫和通话，而不是在传 统的公众交换电话网络上进行的呼叫和通话 IP 电话和 PSTN 电话之间在技术上的主要差别是它们的交换结构。因特 多媒体技术论文 7 网使用的是动态路由技术，而 PSTN 使用的是静态交换技术。 PSTN 电话是在线路交换网络上进行，对每对通话都分配一个固定的带宽 IP 电话网关把声音数据装配成 IP 信息包，然后按照 TCP/IP 网络上查找到的路 径把 IP 信息包发送出去。 IP 电话的三种类型 第一类：PC 到 PC 通话双方同时利用计算机和 Modem 拨号上 Internet， 然后利用电脑中多媒体技术，实现通话的声音传送 第二类：PC 到电话 通话时一方利用 PC 连上因特网，然后通过商业公司 提供的 IP 电话服务器(网关)将电话拨叫到对方普通电话机上。 第三类：电话到电话 这种类型又分为三种不同的应用形式: 1.通话双方都由 PC 与电话直接连接 2.通话双方都不须要使用计算机，只 须各自配备上网账号和专用的 IP 电话设备 3.IP 电话服务器支持下的“电 话到电话”方式，由服务提供商提供全套服务 即时通信系统是指使用因特网技术，允许人们实时地传送文本、语音、视 频和数据文件等信息软硬件系统 其特点是能让用户可以选择性地接受或拒 绝某人的信息，也可以同一时间与多人进行交流 即时通信系统的设计要求 数据通信完整与可靠性 通信安全性 通信效率和公平性 系统可控性 系统稳定性能 4 种协议 即时信息和出席协议 IMPP 出席和即时信息协议 PRIM 针对即时消息和出席平衡扩展的会话初始化协议 SIP/SIMPLE 扩展的消息和出席协议 XMPP 即时通信系统主要分为三大部分：服务器端、客户端端和注册数据库 VOD(Video On Demand，视频点播)系统是用来按用户需求将视频信息通过宽带 发布的一种方式。 多媒体技术论文 8 心得体会心得体会 转眼间,我不知不觉学习多媒体技术这门课已用几个星期了,在这段时间里, 我在老师的引导下,学习了做网页,建起了自己的网站,学会了很多 flash 的知 识 ,做了不少作品,这些知识对我来讲是非常新鲜,非常感兴趣,所以我也了不 少苦工.最重要的是我在学习的过程中得到很多学习经验,学习方法,这是我在 课本从来都学不到的! 这期间,我也学会了 Photoshop 和一些网页制造软件.但我看到别人的网能 插入 flash ,文字可以飘动.我很羡慕,为什么我的网不能呢,我就上网找 资料,问同学,这我的网有了动感.在上传网站时,我也吃了不少苦头,我先在书 里看到上传的方法,但看来看去都看不明,直到看到老师写的上传方法,我才成 功发布网站,上网能看到我的网站那多开心啊!但由于上传速度很慢,浪费很多 时间.老师后来介绍我们用上传软件上传,才有所改善.上传了,有些图片看不到,超 连接接不上,这些困难,使我也学到不少知识! 学习这一课,不但使我学到新知识外,还因为老师的教学方法不同,让我的学 习方法改变了很多,使我在学习上更主动,更有效率!这门课上完,真是获益不浅.我 总结了一下,有如下收获.在科学日新月异和社会飞速发展的时代,到处充满竞 争和机遇,怎样能在任何时间,任何环境都处于有利的地位,那我们就要学会学 习,随时随地对学习进行自我调节,适应社会发展的需要.我们是将来是社会的 一份子,在现阶段,我们的主任务是学习,但我们很多学生都不会学习,存在学习 没有计划,缺乏学习动力,有些只会啃书本,死记更背,没有创新思维.以上原因 使我们很多大学生处于不利处境.所以我们为了适应社会发展,我们应该改变我 们的学习方法.新的学习方法就是学会自主学习,学会协作学习.事实表明在大 学期间,一个人的自主学习能力越强,水平越高,意味着走入社会时自觉独立自 主学习的起点越高,社会适应能力性越高.而现在是一个全球一体化的年代,需 要的知识是各方各面,单靠自己奋斗不行的.所