数字媒体及应用1课件

第5章数字媒体及应用5.1文本与文本处理5.2图像与图形5.3数字声音及应用5.4数字视频及应用计算机应用的基础计算机应用：使用计算机进行信息处理其中，文字信息的处理是各种计算机应用的基础文字数值语言音乐图像···信息的形态有多种5.1文本与文本处理

5.1.1字符的编码5.1.2文本准备5.1.3文本编辑、排版与处理5.1.4文本的展现5.1.5文本的分类与表示5.1.1

字符在计算机中的表示字符、字符集及其码表“字符”(character)字符集：一组特定字符的集合如：中文字符集、西文字符集、日文字符集等字符的编码：不同的字符其编码各不相同字符集中所有字符的编码的一览表，称为该字符集的码表西文字符的编码——ASCII码采用7个二进位进行编码西文字符集：由拉丁字母、数字、标点符号以及一些特殊符号所组成美国标准信息交换码(简称ASCII码)：能表示的字符数目是多少？在计算机中有多大存储空间存放一个字符？扩充ASCII码字符集

汉字如何编码？汉字是记录汉语（国语，华语）的文字，属于表意文字，它用符号直接表达词或词素汉字的特点数量大；多个国家和地区使用；字形复杂，同音字多，异体字多如何编码？确定收入多少字、哪些字？汉字在字符集中的排序方式确定使用的代码结构和代码空间常用的汉字编码字符集国家标准GB2312…汉字扩充规范GBK国家标准GB18030台湾地区的标准汉字字符集CNS11643(BIG5，俗称“大五码”)日本工业标准汉字字符集JISX0208-90韩国国家标准汉字字符集KSC5601-87一级汉字（3755个）二级汉字（3008个）（扩充使用）字母、数字和各种符号 ………………19423位号…………191655568794区号(按汉语拼音排列)(按偏旁部首排列)GB2312汉字编码字符集1980年颁布《信息交换用汉字编码字符集·基本集》——GB2312GB2312字符集由三个部分构成：拉丁字母、俄文、日文平假名与片假名、希腊字母、汉语拼音等共682个所有符号分布在一个94行×94列的二维平面，每个汉字或符号都有一个确定位置，该位置的区号和位号就是这个汉字的“区位码”国标交换码规定每个汉字的区号和位号必须分别加上32（即二进制00100000）。经过这样处理得到的代码称为汉字的“国标交换码”（简称交换码）。如:“大”字的交换码是0001010001010011

00100+0011010001110011机内码问题：汉字与西文字符如何存储?解决方法：把一个汉字看作两个扩展ASCII码，使汉字的两个字节的最高位(b7)都为“1”。------“机内码”，又称内码。如：“大”字的内码是:交换码:

00110100011100111011010011110011（B4F3）举例例如：“啊”区位码：1601<=>1001H<=>00010+3232＋2020H+00100国标码：4833<=>3021H<=>00110+128128＋8080H+10000机内码：176161<=>B0A1H<=>10110几种汉字编码的对比GB2312GBKGB18030UCS-2(Unicode)6763个汉字(简体字)21003个汉字（包括GB2312汉字在内）27000多汉字(包括GBK汉字和CJK及其扩充中的汉字)2万多汉字双字节存储和表示，每个字节的最高位均为“1”双字节存储和表示，第1个字节的最高位必为“1”部分双字节、部分4字节表示(UTF-8编码)1字节、2字节、3字节等不等长编码编码不兼容！保持向下兼容GBK00FF00FF20902汉字00FF00FF6763汉字GB231200FF00FF27484汉字GB180305.1.2文本准备

——文稿如何输入计算机

文字符号输入计算机的方法键盘输入自动识别输入字符信息的输入人工输入(1)数字编码,如电报码、区位码等,(2)字音编码,如智能ABC等(3)字形编码，如五笔字形和表形码等,(4)形音编码发展趋势：基于统计和学习功能的以词语(短语)或句子作为输入单位的输入方法文字符号输入计算机的方法语音输入优点：自然，方便，适合移动计算不足：对说话人、说话方式、说话内容的适应能力要大大增强识别速度和正确性还需大大提高联机手写输入键盘输入自动识别输入字符信息的输入人工输入文字符号输入计算机的方法印刷体识别扫描仪OCR数字文本纸介质文本文本的映象(image)语音输入联机手写输入键盘输入自动识别输入字符信息的输入人工输入识别率已达到98%功能:简、繁体字混合识别中文、西文混合识别文字、表格混合识别智能校对功能文字符号输入计算机的方法手写体识别语音输入联机手写输入键盘输入自动识别输入字符信息的输入人工输入印刷体识别复习：使用Word的操作流程创建新文档或打开老文档文稿输入编辑排版文档存盘、打印或发送输入中西文字、符号和图表进行增、删、改操作，保证文本的正确性满足清晰、美观、便于使用等要求skip文本编辑和文本排版(格式化)1、编辑：对字、词、句和段落进行添加、删除、修改等操作。2、文本排版：对文本中的字符、段落乃至整篇文章的格式进行设计和调整，分成3个层次。附：输出过程中字形的生成

过程：先根据字符的字体确定相应的字库（font）再按照该字符的代码从字库中取出该字符的形状描述信息然后按形状描述信息生成字形，并按照字号大小及有关属性（粗体、斜体、下横线）将字形作必要的变换最后将变换得到的字形放置在页面的指定位置处。2种不同的字库点阵描述轮廓描述轮廓点直线二次曲线5.1.5文本的分类与表示简单文本(纯文本)

本书由南京大学出

B1BECAE9D3C9C4CFBEA9B4F3D1A7B3F6

版社(Publishing

B0E6C9E7285075626C697368696E67

HouseofNanjin

20486F757365206F66204E616E6A696E

gUniversity)出版

6720556E697665727369747929B3F6B0E6

文本的内容文本在计算机中的表示由一串用于表达正文内容的字符编码所组成，几乎不包含任何其他的格式信息和结构信息。举例：丰富格式文本本书由南京大学出版社(PublishingHouseofNanjingUniversity)出版有字体字号等属性变化、设置了段落和页面排版格式的文本称为“丰富格式文本”举例：使用HTML语言描述为：<palign="center"><fontface="黑体">本书由南京大学出版社</font><fontface="ArialBlack">(PublishingHouseofNanjingUniversity)</font><fontface="黑体">出版</font></p>用一对<>指出的是标记，如<fontface=“黑体”>和</font>等，用于说明排版的格式和文字属性，它们不属于正文内容正文内容超文本若干文本或文本中的各个部分可按照其内容的关系互相链接起来，从而形成“超文本”ABCDEFGHa1a2b2c2f1d1c1b1e1g1h1a3“超链”实际上就是一个指针，用于指向其他文本块，也可以指向同一文本块中的其他部分

超链是有向的，起点位置称为链源，它可以是文本块中的一个标题、一句句子、一个关键词、一幅画、一个图标等文本块可以是一个网页，一个文档，一段文字，也可以是一张图片，甚至一段声音或视频

文本的分类用途简单文本：网上聊天、短信、文字录入、OCR输入丰富格式文本(线性文本)：公文、论文、书稿、网页丰富格式文本(超文本)：网页、软件的联机文档(帮助文件)等思考题英文字母“C”的十进制ASCII码值为67，则英文字母“G”的十六进制ASCII码值为__________输入码与机内码的关系是非题使用不同的输入编码方法向计算机输入的同一个汉字时,它们的编码不同,所以内码也不一样。5.2图像与图形5.2.1数字图像的获取5.2.2图像的表示与压缩编码5.2.3数字图像处理与应用5.2.4计算机图形5.2.1数字图像的获取图像的获取过程扫描模拟图像取样取样取样数字图像分色量化量化量化从现实世界中获得数字图像的过程称为图像的“获取”常用的图像获取设备：扫描仪、数码相机、摄像头、摄像机等图像获取过程：将画面划分为M×N个网格，每个网格称为一个取样点将彩色图像取样点的颜色分解成R，G，B三个基色测量每个取样点的每个分量（基色）的亮度值对取样点每个分量的亮度值进行A/D转换，使用数字整型量表示

5.2.2图像的表示与压缩编码数字(取样)图像的组成数字取样图像由M(列)×N(行)个取样点组成取样点是组成数字取样图像的基本单位，称为“像素”彩色图像的像素通常由3个彩色分量组成灰度图像和黑白图像的像素只包含1个亮度分量Red分量Green分量Blue分量例1：黑白图像的表示黑白图像黑白图像的每个像素只有一个分量，且只用1个二进位表示，其取值仅“0”(黑)和“1”(白)两种例2：灰度图像的表示灰度图像灰度图像的每个像素也只有一个分量，一般用8～12个二进位表示，其取值范围是：0～2n-1，可表示2n个不同的亮度例3：彩色图像的表示蓝色分量绿色分量红色分量彩色图像的每个像素有三个分量，分别表示三个基色的亮度，假设3个分量分别用n,m,k个二进位表示，则可表示2n+m+k种不同的颜色数字(取样)图像的主要参数图像大小（图像分辨率）：用来表示组成该图像的行列数目，亦即图像所包含的像素数目使用水平分辨率x垂直分辨率表示对在屏幕上显示出来的大小有影响颜色空间的类型，指彩色图像所使用的颜色描述方法，如：RGB(红、绿、蓝)模型，显示器使用CMYK(青、品红、黄、黑)模型，彩色打印机使用HSB(色彩、饱和度、亮度)模型，用户界面中使用YUV(亮度、色度)模型，彩色电视信号传输时使用像素深度，即像素的所有颜色分量的二进位数目之和图像类型像素的组成像素深度(位数)颜色空间单色图像黑白图像仅1个分量1位不使用灰度图像仅1个分量2～12位不使用彩色图像彩色图像3个分量以上8～36位RGB，CMY，YUV等举例：分辨率与图像尺寸的关系520x376260x188130x94在显示比例相同时，显示在屏幕上的图像尺寸与图像分辨率成正比数字图像的数据量数字图像数据量的计算公式（以字节为单位）：

数据量=水平分辨率×垂直分辨率×像素深度／8

几种常用格式的图像的数据量：图像大小8位(256色)16位(65536色)24位(真彩色)640×480300KB600KB900KB1024×768768KB1.5MB2.25MB1280×10241.25MB2.5MB3.75MB例：数字图像传输时间的计算 假设数据传输速率为56kb/s（电话上网），则传输一幅分辨率为640×480的6.5万种颜色的未压缩图像的时间为：

(640x480x16)/56000=87.8秒数字图像的数据压缩图像数据压缩的必要性：节省存储数字图像所需要的存储器容量提高图像的传输速度，减少通信费用

图像数据压缩的可能性：数字图像中有大量的数据冗余人眼视觉有局限性，允许图像有一些失真图像数据压缩的两种类型：无损压缩：用压缩后的数据还原出来的图像没有任何误差有损压缩：用压缩后的数据还原出来的图像有一定的误差压缩编码方法的评价压缩倍数的高低重建图像的质量（有损压缩时）压缩算法的复杂程度数字图像的常用文件格式不同的图象文件格式采用了不同的数据压缩技术和数据组织方法，有不同的应用常用的图像文件格式有：名称压缩编码方法性质典型应用开发公司(组织)BMPRLE(行程长度编码)无损Windows应用程序MicrosoftTIFRLE,LZW(字典编码)无损桌面出版Aldus，MicrosoftGIFLZW无损因特网CompuServeJPEGDCT(离散余弦变换)，Huffman编码大多为有损因特网,数码相机等ISO/IECJP2小波变换，算术编码无损/有损因特网,数码相机等ISO/IEC图像文件格式例1：BMP格式BMP图像格式是Windows操作系统下使用的一种标准图像格式支持单色、16色、256色、真彩色图像一个文件一幅图像，可以进行无损压缩，也可不压缩非压缩的BMP文件是一种通用的图像文件格式，几乎所有Windows应用软件都能支持图像文件格式例2：GIF图像颜色数目不超过256色，适合用作插图、剪贴画等色彩数要求不高的场合，文件特别小，适合网络传输GIF图像格式具有累进显示功能，适合网络浏览器观看GIF图像格式能支持透明背景（JPEG不支持）GIF图像格式能支持动画GIF动画之例透明背景图像文件格式例3：JPEG图像JPEG是静止图像数据压缩编码的国际标准，采用JPEG标准的图像文件扩展名是.jpgJPEG特别适合各种连续色调的彩色或灰度图像，在计算机和数码相机中已得到广泛应用JPEG的最新标准是JPEG2000（图像文件扩展名是.jp2），它采用更先进的技术，可取得更好的效果JPEG与JPEG2000的比较之例5.2.3数字图像处理与应用数字图象处理：目的与内容目的：(1)提高图像的视觉质量(2)恢复与重建有失真和畸变的图像(3)图像分析，包括：图像的分类、识别和理解等(4)图像数据的变换、编码和数据压缩(5)图像的存储、管理与检索(6)图像内容与知识产权的保护

内容：去噪、增强、复原、分割、提取特征、压缩、存储、检索等数字图像处理的应用(1)图像通信，包括图像传输、电视电话、电视会议等。(2)遥感(3)医疗诊断(4)工业生产中的应用，如产品质量检测，生产过程自动控制等(5)机器人视觉(6)军事、公安、档案管理等其他方面的应用X光图像CT图像核磁共振图像指纹图像常用的图像编辑软件Word和PowerPoint具有基本的图像编辑功能Windows附件中的“画图”软件微软Office工具中的PictureManagerACDSystem公司的ACDSee32Adobe

PhotoShopWord和PowerPoint的图像编辑功能

使用“图片工具栏”编辑图片使用快捷菜单，屏幕上显示“图片”工具栏，进入图片编辑状态：颜色控制裁剪图片线型文字环绕设置图片格式设置透明色增加对比度降低对比度增加亮度降低亮度旋转图片压缩图片Word和PowerPoint的图像编辑功能

图片编辑举例(外形修改)缩小压扁放大拉长原始图片Word和PowerPoint的图像编辑功能

图片编辑举例(裁剪与旋转)旋转90度裁剪底部裁剪左部旋转任意角度原始图片Word和PowerPoint的图像编辑功能

图片编辑举例(图像属性修改)增加对比度降低对比度增加亮度降低亮度灰度图片黑白图片原始图片5.2.4计算机图形什么是计算机图形(graphics)通过计算机和软件对景物的结构、形状与外貌进行描述(称为“建模”)，然后根据该描述和选定的观察位置及光线状况，生成该景物的图形(称为“绘制”或“图像合成”)计算机图形也称为计算机合成图像计算机制作图形的步骤如下：建模/造型(Modeling)景物的模型(model)景物的视图绘制(Rendering)(ImageSynthesis)景物的2种描述(建模)方法几何造型技术规则形体(如工业产品)用基本的几何元素(如点、线、面、体等)及材料的表面性质等进行描述过程模型技术不规则形体(如自然现象)找出其生成规律，并使用相应的算法来描述

计算机图形的绘制过程从景物模型绘制出图形的过程，实际上也是把景物的描述(模型)转换成为点阵(像素阵列)的过程，它包括下列步骤：将各个物体的所有表面用小的多边形（三角形或四边形）进行近似表示用户选择一个观测位置，并设定一个取景范围，将景物向成像平面作透视投影；然后将景物中不在取景范围内的部分裁剪掉，同时还把景物中所有被遮挡而看不见的部分隐去根据景物表面材料的性质和环境光源的设定，计算出物体可见面上每一点(像素)的颜色及其亮度计算出物体所产生的本影和半影；根据景物表面和背景使用的材料，选择合适的纹理映射到物体的表面美国康乃尔大学SuzanneSmits和PriamosGeorgiades建模并绘制的俄罗斯茶壶例1:俄罗斯茶壶例2：计算机绘制的钢笔画和铅笔画

木桶

玻璃瓶引用自：GeorgesWinkenbach,D.Salesin(Univ.ofWashington)pp.469-476,

SIGGRAPH’96计算机图形与显卡(图形卡)图形绘制过程中，每一个像素的颜色及其亮度都要经过大量的计算才能得到，因此绘制过程的计算量很大，特别是三维图形和动画目前PC机所配置的图形卡（显卡）上安装了功能很强的专用绘图处理器，它能承担绘制过程中的大部分计算任务S-Video接口DVI接口VGA接口绘图处理器显示卡计算机图形的应用(1)计算机辅助设计和辅助制造(CAD／CAM)。(2)利用计算机生成各种地形图、交通图、天气图、海洋图、石油开采图等。(3)作战指挥和军事训练。(4)计算机动画和计算机艺术。(5)其它：电子出版、数据处理、工业监控、辅助教学、软件工程等。

矢量绘图软件专业绘图软件：

AutoCAD（机械、建筑等）MAPInfo、ARCInfo（地图、地理信息系统）办公与事务处理、平面设计、电子出版等领域：Corel公司的CorelDraw，Adobe公司的Illustrator，Macromedia公司的FreeHand，微软公司的MicrosoftVisio等内嵌的绘图软件：Word和PowerPoint中的绘图功能（简单的二维图形）小结：图像与图形的比较计算机中的图像按其生成方法可以分为两大类：通过数字化设备获取的图像，它们称为取样图像、点阵图像，或位图图像等，通常简称图像（image）通过计算机建模并绘制而成的图像，称为矢量图形，通常简称图形（graphics）；两者在外观上很难区分，但它们有许多不同的属性，一般需要使用不同的软件进行处理图像图形小结：图像与图形的对比图像图形生成途径通过图像获取设备获得景物的图像使用矢量绘图软件以交互方式制作而成表示方法将景物的映像(投影)离散化，然后使用像素表示使用计算机描述景物的结构、形状与外貌表现能力能准确地表示出实际存在的任何景物与形体的外貌，但丢失了部分三维信息规则的形体(实际的或假想的)能准确表示，自然景物只能近似表示相应的编辑处理软件典型的图像处理软件,如PhotoShop典型的矢量绘图软件，如AutoCAD文件的扩展名.bmp.gif.tif.jpg.jp2等.dwg.dxf.wmf等数据量大小小结文本与文本处理：字符的编码文本准备文本编辑与排版文本展现图像与图形图像的数字化图像的压缩编码计算机合成图形作业P2211、3P2281、45.3数字声音及应用5.3.1波形声音的获取与播放5.3.2波形声音的表示与压缩编码5.3.3计算机合成声音5.3.1波形声音的获取与播放声音的特性声音由振动产生，通过空气进行传播声音是一种波，它由许多不同频率的谐波组成谐波的频率范围称为声音的“带宽”声音的类型计算机处理的声音类型：话音或语音(speech)，专指人的说话声音，带宽仅为300～3400Hz全频带声音(如音乐声、风雨声、汽车声等)，其带宽可达到20Hz～20kHz人耳可听到的声音统称“可听声”(audio)，20Hz～20kHz数字波形声音的获取取样模拟声音信号取样的目的是把时间上连续的信号转换成时间上离散的信号量化量化是把每个样本从模拟量转换成为数字量数字声音···编码将所有样本的二进制代码组织在一起，并进行数据压缩数字波形声音的获取2.量化（quantization，模数转换）3.编码（encoding）1.取样（sampling）取样频率不应低于声音信号最高频率的两倍如：语音的取样频率？音乐的取样频率？量化精度与保真度关系目的：便于存储、处理以及传输数字波形声音的获取设备声音的联机获取设备麦克风（microphone）声音卡（soundcard）声波转换为电信号取样、量化、压缩和编码模拟声音数字声音声音的脱机获取设备：数码录音笔声卡的功能与组成波形声音的获取与编码波形声音的重建与播放MIDI消息的输入MIDI音乐的合成DSPDMA接口PCI总线取样，量化D/A重建，滤波声音输出声音输入音乐合成器mixerMIDI接口声卡的主要功能注：当前PC机的声卡已经与主板芯片组集成在一起，不再做成独立的插卡声音的重建与播放计算机输出声音分为两步：1声音的重建：把声音从数字形式转换成模拟信号形式，由声卡完成2声音播放：将模拟声音信号经处理和放大后送到音箱(扬声器)关于音箱：普通音箱接收的是重建的模拟声音信号数字音箱可直接接收数字声音信号，声音失真更小声音的重建与播放重建的模拟声音信号数字声音1…插值数模转换解码把压缩编码的数字声音恢复为压缩编码前的状态把声音样本从数字量转换为模拟量把时间上离散的一组样本转换成在时间上连续的模拟声音信号5.3.2波形声音的表示

与压缩编码数字波形声音的表示及参数数字波形声音是使用二进位表示的一种串行比特流，其数据按时间顺序进行组织，文件扩展名为“.wav”数字波形声音的主要参数有：取样频率：语音的取样频率低，一般为8kHz全频带声音（如音乐）的取样频率高，一般为44.1kHz量化位数：通常为8位、12位或16位声道数目：单声道为1，双声道为2码率(比特率)，每秒钟的数据量数字波形声音码率的计算未压缩时数字波形声音的码率计算公式码率=取样频率

×

量化位数

×

声道数

例：声音类型声音信号带宽(Hz)取样频率(kHz)量化位数(bits)声道数未压缩时的码率数字语音300～340088164kb/sCD立体声20～2000044.1162说明:数字波形声音的数据量很大?例如：数字语音1小时的数据量大约是30MBCD立体声高保真的数字音乐1小时的数据量大约是多少MB?数字波形声音码率的计算存在问题：占用存储空间大下载花费的时间长44.1×16×2×36001000×8=635MB数字波形声音的数据压缩压缩编码之后数字波形声音的码率为：压缩后的码率=未压缩时的码率/压缩倍数

例：上面CD唱片的立体声音乐压缩为MP3后，若压缩倍数是10倍，则该MP3音乐的码率是多少?1411.2÷10=141.1kb/s数据压缩的可能性：声音中包含了大量冗余信息；人耳的灵敏度有限，允许有一定失真。全频带数字音频编码的标准全频带声音：国际标准MPEG；工业标准DolbyAC-3标准名称压缩后的码率(每个声道)声道数目主要应用MPEG-1audio层1192kbps（压缩4倍）2数字盒式录音带MPEG-1audio层2128kbps（压缩6倍）2DAB,VCD,MPEG-1audio层364kbps（压缩12倍）2Internet，MP3音乐MPEG-2audio与MPEG-1层1,层2,层3相同5.1,7.1同MPEG-1DolbyAC-364kbp5.1,7.1DVD,DTV，家庭影院数字语音：固定电话使用ADPCM编码移动电话使用高效率的混合编码技术全频带数字音频编码的标准所谓“MP3音乐”就是一种采用MPEG-1层3编码的高质量数字声音,它能以10倍左右的压缩比降低高保真数字声音的存储量，使一张普通CD光盘上可以存储大约100首MP3歌曲附：MP3播放器的结构与原理程序存储器闪烁存储器液晶显示D/A转换嵌入式处理器及DSP声音输出控制按键USB接口嵌入式处理器用于运行控制程序，控制各个部件协调工作：它接收控制按键的操作命令，从闪烁存储器读取MP3音乐数据送到DSP去解码；显示播放器的工作状态；负责与主机连接并交换数据等等数字信号处理器DSP完成MP3数据流的解码操作，并输出波形格式的数字音频信号，经数模转换和功率放大之后，用户即可听到声音存放MP3音乐数据，容量越大，可存放的歌曲数目就越多

存放MP3播放器的控制程序显示MP3播放器的工作状态和歌曲的歌词数字波形声音的主要文件格式.wav——波形声音文件.pcm——使用PCM编码的声音文件.mp2——MPEG层1或层2编码的声音文件.mp3——MPEG层3编码的声音文件春光美.rm，.ra(RealAudio)——RealNetworks的流式声音文件.wma——微软公司的流式声音文件.aif(AudioInterchangeable)——苹果公司的声音文件什么是流媒体？特点：在线音频广播、实时音乐点播连续接收数据、数据量小连续播放2种访问方式：下载存储方式流式传输方式5.3.3计算机合成声音什么是计算机合成声音？计算机合成声音就是计算机模仿人说话或演奏音乐计算机合成声音有两类：计算机合成语音：计算机模仿人把一段文字朗读出来，即把文字转换为语音（简称为TTS）应用：有声查询、文稿校对、语言学习、语音秘书、自动报警、残疾人服务等计算机合成音乐：计算机模拟各种乐器发声并按照乐谱演奏音乐应用：计算机作曲、配器等例：计算机合成的语音Hello，everybody（1）你好，我是贝尔实验室的中文语音合成系统（BellTTS1）南京大学计算机系2002年招收了202名本科生，15/22名博士生，130多名硕士生。（中科大讯飞公司）

（Bell）安徽中科大讯飞信息科技有限公司是专门从事中文语音及语言技术软件（讯飞）我们都是同行，我们一路同行，去参加人参培植研讨会（讯飞）

（Bell）计算机合成音乐（MIDI）音乐合成器音乐MIDI文件媒体播放器MIDI消息计算机合成音乐需要三个要素：乐器、乐谱和“演奏员”

声卡上的音乐合成器能像电子琴一样模仿几十种不同的乐器发出声音，它按照MIDI消息合成出不同音色和音调的音符，通过扬声器播放出音乐来

乐谱在计算机中使用一种叫做MIDI的音乐描述语言来表示。使用MIDI描述的音乐称为MIDI音乐。一首乐曲对应一个MIDI文件，其文件扩展名为.MID或.MIDI媒体播放器软件相当于“演奏员”。播放MIDI音乐时，它先从磁盘上读入.MID文件，解释其内容，然后以MIDI消息的形式向声卡上的音乐合成器发出各种指令例：计算机合成的MIDI音乐例1音乐之声（6KB）例2军港之夜（7KB）MIDI的优点：数据量极小易于制作和编辑修改可以与波形声音同时播放MIDI的不足：只能合成音乐，不能合成歌曲和语言音质与硬件设备相关5.4数字视频及应用5.4.1数字视频基础5.4.2数字视频的压缩编码5.4.3合成视频——计算机动画5.4.4数字视频的应用视频类型视频内容随时间变化的一个图像序列电视能传输和再现真实世界的图像与声音计算机动画计算机制作的图像序列,是一种计算机合成的视频.爱吃的猫5.4.1数字视频基础电视基本知识电视画面：光栅图像,奇数场和偶数场两部分组成.PAL彩色电视信号:每个像素的颜色使用三个信号Y:亮度信号U，V:色度使用Y、U，V彩色空间的原因：①与黑白电视保持兼容②利用人的视觉特性来节省电视信号的带宽和发射功率彩色电视信号的发送与接收PAL制彩色电视信号的颜色不使用RGB表示，而是使用亮度信号Y和两个色度信号U、V来表示为进行远距离传输必须进行调制RGBRGBYUV复合调制摄像机话筒发射天线RGBYUV分路解调接收天线RGB将Y、U、V信号转换成为R、G、B信号，然后再进行显示数字视频信号的获取视频信号的数字化过程:

与图像、声音的数字化过程相仿，但更复杂一些(8-10bits)滤波取样量化编码数字视频信息模拟视频信号VUYUVY数字视频信号的获取数字视频的获取设备：

视频采集卡（简称视频卡）数字摄像头，通过光学镜头和CCD器件采集动态图像，转换成数字信号并输入PC机脱机获取设备：数码摄像机视频捕获(采集)卡的功能从多种视频源中选择一种作为视频输入;支持不同的电视制式;能同时处理图像信号的伴音;可在显示器上监看输入的视频信号,其位置及大小可调;能将计算机生成的图像/图形/文本与视频图像迭加处理;可随时冻结(定格)一幅画面,并按指定格式保存;可实时压缩与存储视频及其伴音信息;可实时解压缩并播放视频及其伴音信息,输出设备可选(VGA监视器、电视机、录相机等)视频卡、显卡与主机的关系视频捕获器视频缓冲器叠加/转换器TV编码器图形控制器显示存储器内存CPUDSP处理器PCI总线视频信号显示器TV机硬盘硬盘（视频卡和显示卡）（主机）视频信号数字化并存入硬盘在屏幕上监看视频信号计算机图形文字输出在电脑上播放视频在电视机上播放视频数字摄像头最高分辨率为640×480，一般都是352×288，速度一般在30fps（每秒30帧）以下，镜头的视角可达到45-60度,支持USB接口或IEEE1394（火线）接口。数码摄像机提供480线以上的分辨率，清晰度高自动对焦，自动曝光使用MPEG-2进行压缩编码，然后记录在硬盘上具有录音功能数据量很大，采用USB接口或IEEE1394接口5.4.2数字视频的压缩编码数字视频的压缩编码视频数据特点：数字视频的数据量大得惊人，1分钟的数字电视图像未压缩时其数据量约为1G字节。视频数据压缩的可能性：视频信息的每个画面内部有很多信息冗余相邻画面的内容有高度的连贯性人眼的视觉灵敏度有限，允许画面有一定失真数字视频压缩编码的国际标准名称图像格式压缩后的码率主要应用MPEG-1360×288大约1.2Mb/s~1.5Mb/s适用于VCD、数码相机、数字摄像机等H.261360×288或180×144Px64kb/s应用于视频通信，如可视电话、会议电视等MPEG-2(MP@ML)720×5765Mb/s~15Mb/s用途最广,如DVD、卫星电视直播、数字有线电视等MPEG-2高清格式1440×11521920×115280Mb/s~100Mb/s高清晰度电视（HDTV）领域MPEG-4(H.26L)多种不同的视频格式与MPEG-1，MPEG-2相当，但最低可达到64kb/s适合于交互式和移动多媒体应用，包括虚拟现实、远程教学、手机、MP4播放器等数字视频的常用文件格式.mpeg（.mpg，.dat）——使用MPEG编码的电影文件.mp2——MPEG-2编码的电影文件.mp4——MPEG-4编码的电影文件.avi（.navi）——微软公司的视频剪辑文件

.wmv——微软公司的流式视频文件.asf——微软公司的流式视频文件.rm(RealAudio)——RealNetworks的流式视频文件.mov(.qt)——苹果公司的流式视频文件DivX格式——MPEG-4v3改进后的一种格式，在MP4播放器上使用附：什么是MP4？MP4播放器是一种能够播放视频的便携式设备，也叫做PVP（个人视频播放器）或PMP（便携式媒体播放器）功能：看录像（电影）播放音乐浏览文本和图片甚至还可以上网5.4.3合成视频——

计算机动画什么是计算机动画？计算机动画——使用计算机生成一系列内容连续的画面供实时演播的一种技术上世纪九十年代开始，计算机动画技术应用于电影特技，如电影“侏罗纪公园”、《玩具总动员》、《泰坦尼克》等，取得轰动效应。应用领域：影视和广告领域：电影特技、动画片、电视广告制作等教育和培训领域：辅助教学、驾驶员训练等科技领域：科学计算可视化，复杂系统的动态模拟军事领域：军事训练、作战模拟等游戏计算机动画的制作过程计算机动画制作包括：在计算机中建立景物的模型、描述它们的运动、生成一系列逼真的图像。三维计算机动画制作过程分以下几个阶段：（1）描述景物的形状与结构（建模）（2）确定景物的颜色和材质（纹理）（3）设置灯光和确定虚拟摄像机的位置（4）描述场景中物体的运动和摄像机的移动（5）绘制一系列的图像（6）输出动画结果例：三个简单动画例1例2例3例4动画制作软件著名的商品化的造型与动画制作软件:加拿大Alias公司的Poweranimator法国TDI公司的Explore荷兰ElectroGIG公司的3DGO加拿大Vertigo公司的Vertigo美国Wavefront公司的AdvancedVisualizer美国SGI公司Alias和Wavefront公司的MAYA美国Autodesk公司Discreet公司的3dsmax，AnimatorStudio互联网动画：GIF和FlashGIF动画(参见5.2节)：Macromedia公司的Flash动画画面大小可任意调节，用户可控制播放过程既可生成自动可执行文件(*.exe)，还可生成用Flash播放器播放的文件(*.SWF)；既可做成单独的动画，也可以嵌入网页文件采用流式传输方式，可以边下载边进行播放5.4.4数字视频的应用VCD与DVD可视电话与视频会议数字电视点播电视什么