多媒体应用设计基础知识

1、多媒体应用设计基础知识：多媒体计算机技术的发展和应用1 .多媒体数据库多媒体数据库的研究途径目前多媒体数据库的研究主要有以下三条途径：A.在现有商用数据库管理系统的基础上增加接口，以满足多媒体应用的需要；B.建立基于一种或几种应用的专用多媒体信息管理系统；C.从数据模型入手，研究全新的通用多媒体数据库管理系统。多媒体数据库要解决的关键技术问题：A.多媒体数据模型多媒体数据模型主要采用关系数据模型的扩充和采用面向对象的设计方法。由于用传统的关系模型难以 描述多媒体信息和定义对多媒体数据对象的操作，目前在关系模型扩充方面除了引入抽象数据类型外，较多 的采用语义模型的方法。关系模型主要描述数据的结构

2、，而语义模型则主要表达数据的语义，语义模型的层 次高于关系模型，后者可以作为前者的基础。目前的研究表明，采用面向对象的方法来描述和建立多媒体数 据模型是较好的方法，面向对象的主要概念包括对象、类、方法、消息、封装和继承等，可以方便地描述复 杂的多媒体信息。B.数据的压缩和解压缩由于多媒体数据，如声音、图像及视频等数据量大，存贮和传输需要很大的空间和时间，因此必须考虑 对数据进行压缩编码，压缩方法要考虑到复杂性，实现速度及压缩质量等问题。C.多媒体数据的存贮管理和存取方法目前常用的有分页管理、B+树和Hash方法等。在多媒体数据库中还要引入基于内容的检索方法、矢量空间模型信息索引检索技术、超位检

3、索技术及智能索引技术等。D.多媒体信息的再现及良好的用户界面.一在多媒体数据库中应提供多媒体宿主语言调用，还应提供对声音、图像、图形和动态视频的各种编辑和 变换功能。E.分布式技术多媒体数据通信对网络带宽有较高的要求，需要相应的高速网络，此外还要解决数据集成、异构多媒体 数据语言查询、调度和共享等问题。多媒体数据库不只是具有存贮管理多媒体信息的能力，而应该能把多种媒体统一起来，支持对各种媒体 信息的语义查询和检索2 .多媒体通信（1）多媒体通信作者认为可以把它分成两类：一类是对称的全双工的多媒体通信，如分布式多媒体信息系统、视频会议系统及计算机支持的协同工作系统；另一类是非对称全双工的多媒体通

4、信系统，如交互式电视系统（ ITV ）、点播电视系统（VOD ）、远程教 育系统、远程医疗诊断系统及远程图书馆。（2）对于多媒体通信要解决两个关键技术：多媒体数据压缩和高速数据通信问题。尤其是实用化效果较好， 应用比较广泛的视频会议系统要解决视频会议系统的国际标准问题。标准化是产业化成功的前提，这样用户 可以把不同厂家的不同产品连接在一起，彼此间相互通信。（3）视频会议系统可分为两类：点对点视频会议系统和多点视频会议系统。（4）点对点视频会议系统有：可视电话、台式机-台式机视频会议及会议室-会议室视频会议。多点视频会议系统，允许三个或三个以下不同地点的参加者一起参加讨论，多点会议系统的关键技术

5、是多点控制器（MCU）,它能自动地交换数据，把正确音频和视频信号发送给每个与会者，多点控制器可以被放置在视频会议 网络的任何一个点上，它通过编码和解码器接收所有的数字信号，并自动地把数据发送到合适的地点。3 .多媒体创作工具及其应用多媒体创作工具可以分成：基于时间的创作工具；基于图符（ icon ）或流线（Line ）创作工具；基于卡 片（Card ）和页面（Page ）的创作工具；以传统程序语言为基础的创作工具4 .多媒体计算机的发展趋势（1）进一步完善计算机支持的协同工作环境（CSCW-Computer Supported Collaborative Work ）。（2）智多媒体技术能（3

6、）把多媒体信息实时处理和压缩编码算法作到CPU芯片中多媒体应用设计基础知识：目前的HDTV寺点目前研制的HDTV有下述几个特点：O 采用国际标准的压缩编码算法 MPEG- II ,这意味着它能以 MPEG , JPEG压缩编码算法为基础的多媒体计算机兼容，并与其互连通信；O 采用打包数据结构，当电视信号在视频通道传输时，图像和声音数据分成不同分量，在大多数情况下，这些分量要遵循大小和次序的限制。HDTV将图像和声音信息以及用于多媒体服务的附加数据以包的方式传送。这些数据可任意大小，只要它们符合频道特性，能以随机次序传送，这些数据包能够动态分配，使HDTV能与计算机、多媒体娱乐、教育系统及录像机

7、通信，打开了将电视机、计算机和通信融为一体，通向更灵活服务领域的大门。O 采用双层传输技术，双层传输技术保证HDTV的可靠性和抗于扰性。它将信息分开传送，最重要的数据放到具有高优先级的载波上传输，其它数据则放到具有标准优先级的载波上传输。多媒体应用设计基础知识：多媒体计算机的分类从开发和生产厂商以及应用的角度出发可以分成两大类：一类是家电制造厂商研制的电视计算机Teleputer ,是把CPU放到家电中，通过编程控制管理电视机、音响，有人称它为"灵巧"电视。Smart TV ;另一类是计算机制造厂商研制的计算机电视（Compuvision ,采用微处理器（80X86、68X

8、XX）作为CPU ,其它设备还有 VGA卡、CD-ROM、音响设备以及扩展的多窗口系统，有人说它的发展方向是 TV-K iller 。多媒体应用设计基础知识：多媒体计算机的定义及关键技术一、多媒体计算机的定义及关键技术1 .多媒体计算机的定义：多媒体计算机技术（Multimedia Computing ）的定义是：计算机综合处理多种媒体信息（包括：文本、图 形、图像、音频和视频），使多种信息建立逻辑连接，集成为一个系统并具有交互性。简单地说：（1）计算机综合处理声、文、图信息；（2）具有集成性和交互性；（3）总之，多媒体计算机具有信息载体多样性、集成性和交互性。分析提示：多媒体最显著的特点是，

9、它具有媒体的多样性、交互性和集成性。判断是否是“多媒体”，从这个角度 就可以判断。目前的家用电视不是多媒体，因为在人与电视之间，人是被动者而电视是主动者，电视不 具备像计算机一样的交互性。从这一点来看，各种家电的组合也就不算是多媒体了。而那些采用计算机 集成处理多种媒体的系统，如多媒体咨询台、交互式电视、交互式视频游戏、计算机支持的多媒体会议 系统、多媒体课件及展示系统等都属于多媒体的范畴。2 .要把一台普通的计算机变成多媒体计算机要解决的关键技术是:(1)视频音频信号获取技术；(2)多媒体数据压缩编码和解码技术；(3)视频音频数据的实时处理和特技；(4)视频音频数据的输出技术。分析提示：要把

10、一台普通的计算机变成多媒体计算机要解决的第一个关键技术：视频音频信号获取技术过去计算机只能处理数和文字，现在要综合处理声、文、图。多媒体计算机要解决的第一个关键技术视频音频信号获取问题。只有将视频音频信号获取到计算机中，才能谈到综合处理。可以自己设计声音和视频信号获取器，也可以使用声霸卡、视频卡等解决视频音频信号的获取问题。要把一台普通的计算机变成多媒体计算机要解决的第二个关键技术：多媒体数据压缩编码和解码技术过去计算机企图综合处理声、文、图，但是不可以原因在于：文件量过大。21世纪的人类社会将是信息化社会，数字化后的信息，尤其是数字化后的视频和音频信息具有数据海量性，它给信息的存储和传输造成

11、较大的困难，成为阻碍人类有效地获取和使用信息的瓶颈问题之一。因此，研究和开发新型有效的多媒体数据压缩编码方法，以压缩的形式存储和传输这些数据将是最好的选择。我们可以举一个简单的例子来加以说明。以一幅彩色静态图像(RGB)为例：设分辨率为512 X 512每一种颜色用8bit 表示即R用8bit 256级别表示G用8bit 256级别表示B用8bit 256级别表示则一幅彩色静态图像的数据量为512 X 512 X 3 X 8 bitPAL 制式 25 帧 /秒NTSC制式30帧/秒 以PAL制25帧/秒为例，视频每秒钟的数据量512 X 512 X 3 X 8 X 25=180Mbps过去计算

12、机的总线为ISA , ISA总线的数据传输率为 150KB/S ，变成bit 为150 X 8=1.2Mbps ,我们可以想象到，把 180Mbps的视频流经过传输率为1.2Mbps (150KB/ s )的ISA 总线送到计算机的硬盘几乎是不可能的。差不多要压缩近似 200倍才行。现在VCD的标准MPEG-1的固定传输率为1.5Mbps ,通过MPEG-1压缩后，可以把这个视频流传输到计算机并存储。如何压缩数据？可以采取帧内压缩和帧间压缩的方法。陆地卫星(Land sat-3 )的例子，其水平、垂直分辨率分别为2340和3240 ,四波段采样精度7位，它的一幅图像的数据量为2340 X 32

13、40 X 7 X 4=212Mbit , 按每天30幅计每天数据为212 X 30=6.36Gbit ,每年的数据量高达2300Gbit 。这么大的数据量无疑给存储器的存储容量、通信干线的信道传输率以及计算机的运算速度都增加了极大的压力。单纯用扩大存储容量，增加通信干线的传输率是不现实的，数据压缩是行之有效的方法。例如 1988年Barnsley 采用分形(Fractor )的迭代函数系统IFS和递归迭代函数系统 RIFS方法，对几幅图像进行压缩编码，获得了高达10000:1的压缩比。以压缩形式存储和传输信息，既节省了压缩空间，又提高了通信干线的传输率，同时也便于计算机实时处理视频和音频，高质

14、量播放视频和音频节目成为可能。运动图像的压缩编码技术也是多媒体计算机、多媒体数据库、多媒体通信、常规电视数字化、高清晰度电视(HDTV )以及交互电视(Interactive TV )系统中的关键技术。 目前正在开展的应用项目有： 家庭用卫星广播业务( BSS-Broadcasting Satellite Service to The Home)； 地面数字电视广播( Digital Terrestrial Television Broadcast)；电子影院(EC-Electronic Cinema )； 电子新闻采集系统( ENG-Electronic News Gathering )；

15、个人通信(IPC-Inter Personal Communication )； 多媒体邮件(MMM-MultiMedia Mailing ); 网络数据库(NDBS-Networked Database Service )； 家庭电视剧场( HTT-Home Television Theatre )； 遥控监视(RVS-Remote Video Surveillance )；电视点播系统( VOD-Video On Demand )等。要把一台普通的计算机变成多媒体计算机要解决的第三个关键技术：视频音频数据的实时处理和特技；实时处理-Real time电视信号的扫描光栅扫描一行的时间为64m

16、s其中正程为52.2 ms逆程为11.8 ms如果分辨率为 512 X 512则处理每个像素的时间近似为 0.1ms。实时的概念是：512 X 512处理一个像素的时间为0.1ms256 X 25 6处理一个像素的时间为 0.2ms经过大量的实验分析，多媒体信息的实时处理，大量运行的是8位和16位定点矩阵运算。例如抽取某图像(512 X 512 )的边缘时，我们常用到抽边算子。实时：要求在0.1 ms内做9个加法和9个乘法运算，将运算结果再放到中间的点上。解决的方法：O DSP数字信号处理器Q LUT ( Look Up Table )查找表具体内容将在后面的章节中介绍。要把一台普通的计算机变

17、成多媒体计算机要解决的第四个关键技术：视频音频数据的输出技术视频数据的输出问题：要解决视频会议中同时开多个视频窗口、画中画电视等问题音频数据的输出问题：从过去的单声道、到环绕立体声、Dolby Ac-3 ,要解决音频数据的输出问题。13软考多媒体应用设计师考试大纲一、考试说明1.考试要求(1)掌握计算机系统组成及各主要部件的性能和基本工作原理；(2)掌握计算机软件、程序设计语言的基础知识及一种通用的C语言程序设计；(3)掌握计算机网络与通信基本知识( G Java或Visual Basic 任选一种)；(4)掌握多媒体的定义、分类和关键技术；(5)熟悉多媒体数据(视频、音频)获取、传输、处理及

18、输出技术；(6)熟悉多媒体数据压缩编码、常用格式及其适用的国际标准；(7)掌握多媒体应用系统的创作过程，包括数字音频编辑、图形绘制、动画和视频的制作、多媒体著作 工具使用等；(8)熟悉多媒体课件、电子出版物及其他多媒体应用系统的设计和实施过程；(9) 了解信息化、标准化、安全知识以及与知识产权相关的法律、法规要点；(10)正确阅读并理解计算机和多媒体应用领域的相关领域的英文资料。2 .通过本考试的合格人员能根据多媒体应用工程项目的要求，参与多媒体应用系统的规划和分析设计工 作；能按照系统总体设计规格说明书，进行多媒体应用系统的设计、制作、集成、调试和改进，并指导多媒 体应用制作技术员实施多媒体

19、应用制作；能从事多媒体电子出版物、多媒体课件、商业简报、平面广告及其 他多媒体应用领域的媒体集成及系统设计等工作；具有工程师的实际工作能力和业务水平。3 .本考试设置的科目包括：(1)计算机与多媒体应用基础知识，考试时间为 150分钟，笔试；(2)多媒体应用设计技术，考试时间为150分钟，笔试；(3)多媒体设计操作，考试时间为150分钟，上机考试。二、考试范围 考试科目1:计算机与多媒体应用基础知识1 .计算机基础知识 计算机的发展 计算机的分类及特点 计算机在信息社会的应用2 .计算机硬件及系统组成2.1 计算机的基本组成原理2.2 中央处理器CPU工作原理主要性能指标3.2 操作系统的原理

20、及使用3.3 程序设计语言基础知识(C、Java或Visual Basic 任何一种)- C语言 基本语法及编程方法应用程序设计多媒体及Web应用编程基础4 .计算机网络与通信基本知识 网络参与模型与网络协议 局域网、广域网基本概念及其功能 Internet基本概念及其应用 宽带网络及其接入技术 无线通信技术5 .多媒体技术及其应用5.1 多媒体的定义和关键技术5.2 多媒体计算机系统结构5.3 多媒体传输协议5.4 多媒体技术的应用 多媒体技术与电视数字化 DV硼作 视频点播 多媒体创作工具及电子出版物 多媒体数据库 多媒体信息检索 多媒体通信流媒体、视频会议5.5 多媒体技术的发展趋势6

21、.多媒体数据处理技术6.1 视频信息获取和图像文件格式的转换6.1.1 彩色全电视信号彩色空间的表示及其转换,彩色全电视信号6.1.2 视频数据获取技术 视频信号获取器的工作原理 彩色全电视信号的数字锁相和数字解码 视频信号获取器的软件系统6.1.3 图像文件格式及其转换静态图像文件格式动态图像文件格式6.2 音频信息获取和处理6.2.1 数字音频基础 模拟音频和数字音频 音频数字化过程 数字音频的文件格式 音频信号的特点6.2.2 音频编码基础和标准音频编码基础6.2.3 音乐合成和MIDI 接口规范 音乐合成 MIDI及接口规范6.2.4 声卡的工作原理及应用6.3 多媒体数据压缩编码技术

22、基础6.3.1 多媒体数据压缩的重要性和分类6.3.2 预测编码 预测编码的基本原理 差值脉冲编码调制（DPCM 帧间预测编码6.3.3 变换编码 变换编码的基本原理 最佳正交交换K-L变换 次最优的正交交换离散余弦变换（DCD6.3.4 统计编码统计编码的原理哈夫曼（Huffman）编码,算术编码6.3.5 多媒体数据压缩编码的国家标准,音频编码标准, JPEG标准- H.261 和 H.263 标准 MPEG准（MPEG-1 MPEG-邪 MPEG-47 .信息安全性知识7.1 信息安全性基本概念7.2 计算机病毒防范计算机病毒的分类与识别计算机病毒的防范措施与消除方法7.3 入侵检测与防

23、范措施7.4 加密解密机制与信息加密策略7.5 身份验证和访问控制策略8 .标准化知识国际标准、国家标准、行业标准、企业标准基本知识编码标准、多媒体有关的技术标准标准化机构9 .信息化基本知识信息化基本概念国民经济与社会信息化战略,保护10 .知识产权的有关法律、法规11 .专业英语正确阅读并理解相关领域的英文资料考试科目2:多媒体应用设计技术1 .多媒体应用的策划与设计1.1 多媒体应用开发各阶段的目标与任务,需求分析 应用系统结构设计 建立设计标准和细则 系统开发工具的选择,系统制作的任务 系统的测试与运行1.2 多媒体应用设计的基本原则 多媒体应用设计的选题与分析报告（总体规格设计说明书

24、） 多媒体脚本设计 创意设计 人机界面设计原则2 .多媒体素材的制作和集成2.1 数字音频编辑 录制解说词 录制背景音乐 进行混音处理 添加音效2.2 图像处理 图像处理软件 图像特殊效果的主要制作方法 图像处理及存储的制作过程2.3 动画和视频制作2.3.1 三维动画制作三维动画制作软件三维动画的制作2.3.2 视频处理与编辑 视频制作软件 视频信号的采集 制作电影2.4多媒体系统创作工具2.4.1 动画创作工具动画创作软件用动画创作工具制作多媒体作品2.4.2多媒体著作工具利用多媒体著作工具制作多媒体应用软件利用多媒体著作工具制作交互式网页3.多媒体应用系统的设计和实现示例3.1 多媒体课

25、件的设计与实现3.1.1 多媒体课件的特点和模式多媒体课件特点和编制原则多媒体课件基本模式3.1.2 多媒体课件开发过程 课件的需求分析（课件的选题、课件的类型） 课件的设计（教学设计、课件的表现技巧设计、课件的开发计划） 课件的制作（课件素材的选取、课件的脚本编写、课件的编辑合成、编码调试、课件的测试和评价、课 件的维护和改进）3.2 多媒体电子出版物的设计与实现3.2.1 多媒体电子出版物的特点与应用多媒体电子出版物与其他多媒体软件的区别媒体电子出版物的应用类型3.2.2 多媒体电子出版物的基本要素多媒体电子出版物的基本构件多媒体电子出版物的开发人员构成3.2.3 多媒体电子出版物的开发过程,选