多媒体技术课程简介-多媒体技术.doc

多媒体技术课程简介l 课程性质：专业任选课l 学分：3 l 学时数：54l 开设时间：三年级上学期l 先修课程：Windows编程技术多媒体技术（multimedia technology）是利用计算机将文本、图形、图像、声音、动画、视频等多种媒体信息，进行处理和集成，以供人机交互使用的一个计算机应用分支。随着科学技术的进步和人机界面技术的引入，计算机变得越来越友好和人性化。视听娱乐的普及、万维网的兴盛和计算机游戏的火爆，大大促进了多媒体技术的应用和发展。1多媒体操作系统： 无OS DOS / Unix MacOS / X-Window / Windows编程语言： Fortran COBOL Basic/C C+/Java/C#处理数据： 数字 文字 图形 多媒体适用对象： 专家 商用 通用 人性化早期的计算机主要进行数字计算（这也是计算机这一名称的由来），只供极少数科学家使用；后来用于商业领域，开始处理字符和文字；随着微机和工作站的普及，计算机有了图形用户界面（GUI = Graphical User Interfaces）；而多媒体技术的发展，则使计算机日趋友好和人性化（参见图1）。感觉（感官）百分比视觉（眼）80%听觉（耳）10%嗅觉（鼻）味觉（舌）触觉（皮肤）10%表1 人类接受外部信息的途径与所占的百分比图1 计算机技术的发展枯燥的文字和数字并不适合于人的心理特点和欣赏习惯，人类主要通过眼睛和耳朵来接受外部的视觉与声音信息（参见表1）。多媒体专家Ted Nelson曾说：“我们居身在媒体世界里就像鱼生活在水中”。感觉媒体的种类很多，由于技术和设备的限制，目前的计算机主要处理文本、图形、图像、声音、动画、视频等6种视觉和听觉媒体。气味（嗅觉）和压力（触觉）媒体也有少量应用（如仿真影院、游戏操纵杆、虚拟现实等），但不太普及；味道（味觉）媒体至今仍未见应用；所以本课程对气味、压力和味道等媒体将不予讨论。2特点之所以将多媒体称为“多媒体技术”，而不是叫“多媒体学”或“多媒体论”，是因为多媒体处于技术层面，属于工程应用。目前，多媒体技术还没有形成自己的理论体系，只是各种相关方法的综合应用，属于计算机应用的一个分支。有时也将“多媒体技术”简称为“多媒体”。多媒体技术的主要特点：(1)多样性、(2)集成性、(3)交互性、(4)实时性（仅对流式媒体）。例如：模拟电视符合(1)(2)(4)，但不符合(3)，所以不是多媒体系统；而数字电视符合所有4个要求，是多媒体系统。移动通信和家庭影院是典型的多媒体系统；万维网（Web）和电子（计算机/网络）游戏则是应用最广泛的多媒体技术。除了上面这些主要特点外，多媒体还有其它一些特点。例如：计算机所处理的都是数字化媒体、媒体（特别是流式媒体）的数据量巨大（因此数据压缩是多媒体的核心技术）、多媒体信息一般表示为非结构化或半结构化的不等长数据（所以多媒体对数据的存储、处理、查询和检索等，都有许多新的技术和要求）。3意义多媒体技术目前已经得到了迅速普及和广泛应用，多媒体现在已经渗透到人们生活的方方面面，其重要性和使用价值是不言而喻的。我们可从如下几个方面来认识多媒体技术的意义：l 人类最重要的三大资源材料（物质）、能源（动力）、信息（数据）；l 信息技术的四次飞跃印刷术、广播电视、计算机、多媒体与网络；l 多媒体与信息环境信息质能公式E = mc2：信息环境E = 多媒体m * 计算机c * 通信cInformation Enviroment = multimedia * computer * comunicationl 计算机技术发展方向：智能化（更聪明/人工智能）+ 人性化（更友好/多媒体）+ 网络化（更方便/无线移动）例如，视频点播、网络游戏、虚拟现实、普适计算（pervasive computing）、穿戴电脑、智能家居、全能机器人等等；l 微软亚洲研究院的三个主要研究方向：人机界面、自然语言理解、多媒体技术，它们都与多媒体有关。4内容多媒体技术的内容十分广泛，涉及多种学科和领域。多媒体技术的课程和教材的内容选取和编排也各不相同，主要分为两类：l 应用型简单介绍媒体的基本属性，重点讲解各种用户级的多媒体素材和著作工具软件的使用，如Cool Edit、Cakewalk、Corel Draw、Photoshop、Flash、3DS、MediaStudio、Premiere、Frontpage、Dreamwave、Fireworks、PowerPoint、Director、Authorware等；l 原理型也介绍各类媒体的基本属性和多媒体的主要应用，但重点放在压缩算法、编码标准、设备系统和编程开发上，不介绍应用软件的具体使用方法。本课程属于后者原理型。原理型的多媒体技术课程的取材也是千差万别，但基本内容大体一致，主要包括：l 媒体与表示媒体（声、图形、图像、动画、视频）、编码/压缩/标准、超文本与超媒体、存储（媒体文件、光存储）；l 开发与应用多媒体编程与开发、标记语言与网页设计、多媒体应用；l 系统与网络多媒体硬件、多媒体操作系统、多媒体数据库、多媒体网络传输。5目录本课程具体内容的主要目录如下：第1章 引论1.1 基本概念、1.2 意义与简史、1.3 内容与相关学科第一篇 媒体第2章 文字2.1 文字输入、2.2 字符编码、2.3 文字输出第3章 音频3.1 声音、3.2 音频信号的数字化、3.3 数字音频技术与格式、3.4 MIDI、3.5 声卡、3.6 话音编码、3.7 语音处理简介第4章 图形与图像4.1 眼睛与视觉、4.2 颜色、4.3 颜色系统与空间、4.4 图的种类、4.5 图像基本属性、4.6 图文件格式、4.7 二维和三维图形、4.8 显卡第5章 动画5.1 概述、5.2 传统动画、5.3 计算机动画、5.4 动画制作的软件、语言和接口、5.5 VRML、5.6 X3D、5.7 SVG、5.8 位图动画编程、5.9 OpenGL编程第6章 视频与编码标准6.1 电视、6.2 视频及其数字化、6.3 视频编码标准第二篇 压缩与编码第7章 压缩与熵编码7.1 压缩概论、7.2 熵编码第8章 JPEG编码8.1 DCT、8.2 JPEG编码、8.3 JPEG文件格式、8.4 JPEG 2000简介第9章 MPEG编码方法9.1 MPEG-1&2的视频压缩算法、9.2 MPEG-4视频编码、9.3 MPEG音频编码第10章 H.264-AVC与AVS编码10.1 AVC的特点与结构、10.2 AVC的预测编码、10.3 AVC的块编码、10.4 AVS编码标准与方法简介第三篇 多媒体开发第11章 多媒体开发与与音视频播放11.1 多媒体开发概述、11.2 播放波形音频文件、11.3 播放流媒体文件第12章 MCI和MMAPI编程12.1 MCI编程、12.2 MMAPI简介、12.3 MIDI编程、12.4 MMIO编程第13章 DirectX编程入门13.1 DirectX概述、13.2 Direct3D编程简介、13.3 DirectSound编程简介第四篇 标记语言第14章 超文本与标记语言14.1 超文本、14.2 标记语言第15章 HTML15.1 基础、15.2 常用元素、15.3 其他元素第16章 JavaScript16.1 概述、16.2 基础语法、16.3 对象、16.4 事件处理第17章 XML入门17.1 XML概述、17.2 DTD、17.3 命名空间、17.4 Schema第五篇 光存、网络、系统和应用第18章 光存储18.1 光盘存概述、18.2 光盘存原理、18.3 光盘存储格式第19章 网络与多媒体19.1 流媒体、19.2 IP网络、19.3 IP网络的改进第20章 多媒体系统与应用20.1 多媒体硬件、20.2 多媒体软件、20.3 多媒体系统、20.4 多媒体应用6课程目的与教学要求多媒体技术的内容丰富且应用广泛。通过本课程的学习，掌握各种媒体(文、声、图、像、动画、视频)的性质及其数据的处理、存储和传输；掌握多媒体数据的压缩算法、编码标准与存储格式；了解超文本的概念与模型，掌握基本的网页编程和XML基本概念；了解光存储的原理和格式；了解多媒体网络通信的特点与协议；了解多媒体系统及相关的计算机软硬件技术；了解多媒体技术的主要应用。重点掌握数据压缩、编码标准、标记语言与开发编程等主要内容。7课程特色强调基本概念的了解、具体方法的掌握和实际动手能力的培养。采用多媒体教学手段，通过课堂讲解、平时练习和大作业，使学生掌握多媒体技术的基本内容和主要方法。注重多媒体技术的最新发展及与实际应用的紧密结合。特别强调学生自己动手上机实习。通过Windows的MFC编程，实现主要的压缩算法和常见图像、音频、视频文件的读写、显示或播放，加深对各种媒体的特性、数据压缩、编码标准及文件格式等内容的理解。并通过网页设计以掌握超文本概念与标记语言的运用。8教材与主要参考书教材：本课程主讲老师李才伟自编的电子课件主要参考书：林福宗. 多媒体技术基础（第2版）. 清华大学出版社，2002.9.（16开/473页/37元）Ze-Nian Li, Mark S. Drew. 多媒体技术教程. 机械工业出版社，2007.1.（16开/402页/42元）Tay Vaughan. 多媒体技术及应用. 清华大学出版社，2004.11.（16开/460页/56元）Ralf Steinmetz & Klara Nahrstedt. 多媒体原理（第一册）媒体编码及内容分析. 电子工业出版社，2003.8.（16开/215页/26元）Ralf Steinmetz & Klara Nahrstedt. 多媒体系统. 清华大学出版社，2006.4.（多媒体原理第二卷）（16开/281页/36元）陈启祥等. 多媒体技术与应用. 电子工业出版社，2005.6.（16开/287页/24.8元）杨学良等. 多媒体计算机技术及其应用（修订版）. 电子工业出版社，2004.9. （16开/340页/29元）鄂大伟. 多媒体技术基础与应用（第二版）. 高等教育出版社，2003.9.（16开/388页/28.9元）吴玲达等. 多媒体技术. 电子工业出版社，2003.5.（16开/354页/29元）钟玉琢等. 多媒体计算机技术基础及应用. 高等教育出版社，1999.6.（16开/715页/46.6元）马华东. 多媒体技术原理及应用. 清华大学出版社，2002.8.（16开/326页/24.8元）胡晓峰. 多媒体技术教程. 人民邮电出版社，2002.1.（16开/343页/29元）9实验作业实验性质：软件实验实验平台：PC机/Windows操作系统实验工具：Visual C+ 2005（MFC）实验内容：（21个必做、7个选做，共30个作业。其中只有3个为非编程题）1. 设置字体并输出文字。2. （选做）编写宽字符串（UTF-16）与普通字符串（GB 2312 / ASCII）的相互转换函数。3. 读入WAV文件，绘制波形图并播放声音。4. 利用RGB与HLS之间的转换关系，编写颜色调色板程序。5. 编写直接读写并显示BMP图像文件的二进制数据的程序，并将彩图转换为灰度图。6. （选做）实现VRML、X3D和SVG例子。7. 实现公爵位图动画。8. （选做）编制一个OpenGL程序。9. （选做）实现无压缩AVI文件的手工解码和播放。10. 对一符号串进行Huffman编码，并计算压缩比。（非编程题）11. 写出串“good night”之算术编码的编解码过程。（非编程题）12. 对字符串“ababcbababaaaaaaa”进行手工LZW编解码。（非编程题）13. 实现BMP文件中RLE压缩算法（读写/显示）。14. （选做）：实现LZW算法，读写并显示GIF（图片或动画）文件。15. 编写一段程序，实现JPEG算法中的8*8的二维DCT变换、量化、逆量化和逆二维DCT变换。16. （选做）试验三种播放波形音频的函数。17. 实现基于ActiveX的媒体播放器程序。18. 使用MCI的命令串或命令消息方式，编写CD、WAV和MIDI播放器。19. 实现虚拟电子琴。20. （选做）利用MMIO实现WAV文件和资源的读取。21. 实现旋转圆筒的Direct3D例子（材质与光照和纹理）。22. 实现战争声效程序War。23. 实现课件中的HTML和XML例子。24. 使用C+等语言工具编写一个程序，自动生成一个用表格分区显示GB2312编码网页的HTML文件（不显示汉字的空白区）。25. 手工编写个性化网页，尽可能多地利用已经讲过的HTML元素和功能。26. 编