南大专转本计算机(内部资料)计算机第5章

1、1第5章 数字媒体南大南大“专转本专转本”辅导辅导第第5章章 数字媒体及应用数字媒体及应用5.1 文本与文本处理文本与文本处理 5.2 图像与图形图像与图形 5.3 数字声音及应用数字声音及应用5.4 数字视频及应用数字视频及应用3第5章 数字媒体5.1 文本与文本处理文本与文本处理 5.1.1 字符的编码字符的编码5.1.2 文本准备文本准备5.1.4 文本编辑、排版与处理文本编辑、排版与处理5.1.3 文本的分类文本的分类5.1.5 文本的展现文本的展现 4第5章 数字媒体5.1.1. 字符在计算机中的表示字符在计算机中的表示 5第5章 数字媒体字符、字符集及其编码表字符、字符集及其编码表

2、 n文字的基本元素是字母和符号，统称为文字的基本元素是字母和符号，统称为“字符字符” (character)，它包括：字母、数字、标点、符号等，它包括：字母、数字、标点、符号等n字符集：一组特定字符的集合字符集：一组特定字符的集合n不同的字符集包含的字符数目与内容不同，如：不同的字符集包含的字符数目与内容不同，如：中文字符集、西文字符集、日文字符集等中文字符集、西文字符集、日文字符集等n字符的编码：字符的编码：n字符集中每个字符的二进位表示，称为该字符的编码或代码字符集中每个字符的二进位表示，称为该字符的编码或代码(code) n不同的字符其编码各不相同不同的字符其编码各不相同n字符集中所有字

3、符的编码的一览表，称为该字符集的码表字符集中所有字符的编码的一览表，称为该字符集的码表6第5章 数字媒体复习：西文字符的编码复习：西文字符的编码ASCII码码n西文是表音文字西文是表音文字(拼音文字拼音文字)，它由拉丁字母、数字、标点符号，它由拉丁字母、数字、标点符号以及一些特殊符号所组成以及一些特殊符号所组成n美国标准信息交换码美国标准信息交换码(ASCII码码)：nASCII字符集包含字符集包含96个可打印字符和个可打印字符和32个控制字符个控制字符n采用采用7个二进位进行编码个二进位进行编码n计算机中使用计算机中使用1个字节存储个字节存储1个个ASCII 字符字符n存在问题：存在问题：n

4、字符集太小（只有字符集太小（只有128个字符）个字符）n不同国家和地区使用不同的字符集及其编码，互不兼容不同国家和地区使用不同的字符集及其编码，互不兼容n东亚地区使用的大字符集无法编码东亚地区使用的大字符集无法编码0X X X X X X X7第5章 数字媒体汉字如何编码？汉字如何编码？n汉字是记录汉语（国语，华语）的文字，属于表意汉字是记录汉语（国语，华语）的文字，属于表意文字，它用符号直接表达词或词素，有多个国家和文字，它用符号直接表达词或词素，有多个国家和地区使用（中、日、韩、新、马地区使用（中、日、韩、新、马）n汉字的特点汉字的特点n数量大；字形复杂，同音字多，异体字多数量大；字形复杂

5、，同音字多，异体字多n如何编码？如何编码？n确定收入多少字、哪些字？确定收入多少字、哪些字？n在字符集中如何排列？在字符集中如何排列？n使用多少个二进位进行编码？使用多少个二进位进行编码？8第5章 数字媒体常用的汉字编码字符集常用的汉字编码字符集n国家标准国家标准GB2312-1980n汉字扩充规范汉字扩充规范 GBKn国家标准国家标准GB18030-2005n台湾地区的标准汉字字符集台湾地区的标准汉字字符集CNS 11643 (BIG 5，俗称俗称“大五码大五码”)n日本工业标准汉字字符集日本工业标准汉字字符集JIS X 0208-90n韩国国家标准汉字字符集韩国国家标准汉字字符集KSC 5

6、601-87nUCS/Unicode多文种大字符集多文种大字符集9第5章 数字媒体一级汉字一级汉字（3755个）个）二级汉字二级汉字（3008个）个）（扩充使用）（扩充使用）字母、数字和各种符号字母、数字和各种符号 19423位号位号 191655568794区区 号号(按汉语拼音排列按汉语拼音排列)(按偏旁部首排列按偏旁部首排列)GB2312汉字编码字符集汉字编码字符集n1980年颁布年颁布信息交换用汉字编码字符集信息交换用汉字编码字符集基本基本集集GB2312-1980nGB2312字符集由三个部分构成：字符集由三个部分构成：拉丁字母、俄拉丁字母、俄文、日文平假文、日文平假名与片假名、名与

7、片假名、希腊字母、汉希腊字母、汉语拼音等共语拼音等共682个个共共6763个汉字和个汉字和682个符号，个符号，每个每个汉字和符号都有一汉字和符号都有一个确定位置个确定位置10第5章 数字媒体GB2312汉字的编码汉字的编码n每一个每一个GB2312汉字使用汉字使用16位位(2个字节个字节)表示表示n为了与为了与ASCII字符相区别，每个字节的最高位均为字符相区别，每个字节的最高位均为“1”n例如：例如：“南南”字的代码是字的代码是11000100 11001111（用十六进制表示为（用十六进制表示为C4CF） 11第第1字节字节第第2字节字节X X X X X X XX X X X X X

8、X11第5章 数字媒体GBK汉字汉字内码扩充规范内码扩充规范 nGB2312的不足：的不足：n汉字字数太少，缺少繁体字汉字字数太少，缺少繁体字,无法满足无法满足人名、地名、古籍整理、人名、地名、古籍整理、古典文献研究古典文献研究等应用的需要；与等应用的需要；与ASCII码不兼容码不兼容nGBK汉字汉字内码扩充规范（内码扩充规范（1995）：）：n在在GB2312基础上，增加了基础上，增加了1万多汉字万多汉字(包括繁体字包括繁体字)和符号和符号n共有共有21003个汉字和个汉字和883个图形符号，如个图形符号，如“計計算算機機”、冃冃、冄冄、円円、冇冇等繁体字和生僻字等繁体字和生僻字 n与与GB

9、8312保持向下兼容，也使用双字节表示，第保持向下兼容，也使用双字节表示，第1字节最高位必字节最高位必须为须为“1”：1 X第第1字节字节第第2字节字节X X X X X X XX X X X X X X12第5章 数字媒体标准名称标准名称GB2312GBKGB18030UCS-2(Unicode)字符集字符集6763个汉字个汉字(简体字简体字)21003个汉字个汉字（包括（包括GB2312汉字在内）汉字在内）近近3万汉字万汉字(包括包括GBK汉汉字和字和CJK及其及其扩充中的汉字扩充中的汉字)包含包含10万多字符，万多字符，其中的汉字与其中的汉字与GB18030相同相同编码方法编码方法双字节

10、存储和双字节存储和表示，每个字表示，每个字节的最高位均节的最高位均为为“1” 双字节存储和双字节存储和表示，第表示，第1个字个字节的最高位必节的最高位必为为“1”部分双字节、部分双字节、部分部分4字节表字节表示，双字节表示，双字节表示方案与示方案与GBK相同相同(1) UTF-8采用单字采用单字节可变长编码节可变长编码(2) UTF-16采用双字采用双字节可变长编码节可变长编码兼容性兼容性编码编码不兼容！不兼容！几种汉字编码的对比几种汉字编码的对比编码保持向下兼容编码保持向下兼容13第5章 数字媒体5.1.2. 文本准备文本准备 文稿如何输入计算机文稿如何输入计算机 14第5章 数字媒体文字符

11、号输入计算机的方法文字符号输入计算机的方法键盘输入键盘输入自动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入(1)数字编码数字编码, 如电报码、区位码等如电报码、区位码等, (2)字音编码字音编码, 如智能如智能ABC等等(3)字形编码，如五笔字形和表形码等字形编码，如五笔字形和表形码等, (4)形音编码形音编码发展趋势：基于统计和学习功能的以词语发展趋势：基于统计和学习功能的以词语(短语短语)或句子作为输入单或句子作为输入单位的输入方法位的输入方法15第5章 数字媒体文字符号输入计算机的方法文字符号输入计算机的方法键盘输入键盘输入联机手写输入联机手写输入自动识别输入自动识别

12、输入字符信息的输入字符信息的输入人工输入人工输入优点：优点：自然，流畅自然，流畅小型化，适合移动计算小型化，适合移动计算不足：不足：识别速度和正确性还需提高识别速度和正确性还需提高书写要求还要降低书写要求还要降低16第5章 数字媒体文字符号输入计算机的方法文字符号输入计算机的方法键盘输入键盘输入联机手写输入联机手写输入语音输入语音输入自动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入优点：优点：自然，方便，适合移动计算自然，方便，适合移动计算不足：不足：对说话人、说话方式、说话内容的对说话人、说话方式、说话内容的适应能力要大适应能力要大大增强大增强识别速度和正确性还需大大提高

13、识别速度和正确性还需大大提高17第5章 数字媒体文字符号输入计算机的方法文字符号输入计算机的方法印刷体识别印刷体识别键盘输入键盘输入联机手写输入联机手写输入语音输入语音输入自动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入扫描仪扫描仪OCR数字数字文本文本纸介质纸介质文本文本文本的文本的映象映象(image)识别率已达到识别率已达到98%功能功能: 简、繁体字简、繁体字混合识别混合识别 中文、西文混合识别中文、西文混合识别 文字、表格混合识别文字、表格混合识别 智能校对功能智能校对功能18第5章 数字媒体文字符号输入计算机的方法文字符号输入计算机的方法印刷体识别印刷体识别手写

14、体识别手写体识别键盘输入键盘输入联机手写输入联机手写输入语音输入语音输入自动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入 技术上非常困难，还无法实用技术上非常困难，还无法实用目前准备先突破工整的楷书手写体的识别目前准备先突破工整的楷书手写体的识别!19第5章 数字媒体5.1.3 文本的分类文本的分类20第5章 数字媒体简单文本简单文本(纯文本纯文本 ) 本本 书书 由由 南南 京京 大大 学学 出出 B1 BE CA E9 D3 C9 C4 CF BE A9 B4 F3 D1 A7 B3 F6 版版 社社 ( P u b l i s h i n g B0 E6 C9 E7

15、28 50 75 62 6C 69 73 68 69 6E 67 H o u s e o f N a n j i n 20 48 6F 75 73 65 20 6F 66 20 4E 61 6E 6A 69 6E g U n i v e r s i t y ) 出出 版版 67 20 55 6E 69 76 65 72 73 69 74 79 29 B3 F6 B0 E6 文文本本的的内内容容文文本本在在计计算算机机中中的的表表示示 没有字体、字号的变化，不能插入图片、表格，也不能建立超没有字体、字号的变化，不能插入图片、表格，也不能建立超链接，其文件后缀名是链接，其文件后缀名是 .txt 由

16、一串用于表达正文内容的字符编码所组成，几乎不包含任何由一串用于表达正文内容的字符编码所组成，几乎不包含任何其他的格式信息和结构信息其他的格式信息和结构信息 举例：举例：21第5章 数字媒体丰富格式文本丰富格式文本本书由南京大学出版社本书由南京大学出版社(Publishing House of Nanjing University)(Publishing House of Nanjing University)出版出版 有字体字号等属性变化、设置了段落和页面排版格式的文本称为有字体字号等属性变化、设置了段落和页面排版格式的文本称为“丰富丰富格式文本格式文本” 丰富格式文本中，除了正文内容之外，还

17、使用了许多丰富格式文本中，除了正文内容之外，还使用了许多“标记标记”来描述字来描述字符的属性和格式的设置。符的属性和格式的设置。 举例：下面标题的格式为：中文用黑体，西文用举例：下面标题的格式为：中文用黑体，西文用Arial Black体，居中体，居中 使用使用HTML语言描述为：语言描述为： 本书由南京大学出版社本书由南京大学出版社(Publishing House of Nanjing University)出版出版用一对用一对指出的是标记，如指出的是标记，如 和和 等，用于说明排版的格式和文字等，用于说明排版的格式和文字属性，它们不属于正文内容属性，它们不属于正文内容正文内容正文内容22

18、第5章 数字媒体超文本超文本n若干文本或文本中的各个部分可按照其内容的关系互相链若干文本或文本中的各个部分可按照其内容的关系互相链接起来，从而形成接起来，从而形成 “超文本超文本”ABCDEFGHa1 a2b2c2 f1d1c1 b1e1g1h1a3“超链超链”实际上就是一实际上就是一个指针，用于指向其个指针，用于指向其他文本块，也可以指他文本块，也可以指向同一文本块中的其向同一文本块中的其他部分他部分 超链是有向的，起点位置超链是有向的，起点位置称为链源，它可以是文本称为链源，它可以是文本块中的一个标题、一句句块中的一个标题、一句句子、一个关键词、一幅画、子、一个关键词、一幅画、一个图标等一

19、个图标等文本块可以是一个文本块可以是一个网页，一个文档，网页，一个文档，一段文字，也可以一段文字，也可以是一张图片，甚至是一张图片，甚至一段声音或视频一段声音或视频 23第5章 数字媒体小结：文本的分类小结：文本的分类文本文本类型类型 特点特点 在计算机内的表示在计算机内的表示 文件文件扩展名扩展名 用途用途简单简单文本文本没有字体、字号和版没有字体、字号和版面格式的变化，文本面格式的变化，文本在页面上逐行排列，在页面上逐行排列，也不含图片和表格也不含图片和表格由一连串与正文内容对应由一连串与正文内容对应的字符的编码所组成，几的字符的编码所组成，几乎不包含任何其他的格式乎不包含任何其他的格式信

20、息和结构信息信息和结构信息.txt网上聊天网上聊天短信短信文字录入文字录入OCR输入输入丰富丰富格式格式文本文本(线性线性文本文本)有字体、字号、颜色有字体、字号、颜色等变化，文本在页面等变化，文本在页面上可以自由定位和布上可以自由定位和布局，还可插入图片和局，还可插入图片和表格表格除了与正文对应的字符编除了与正文对应的字符编码之外，还使用某种码之外，还使用某种“标标记语言记语言”所规定的一些标所规定的一些标记来说明该文本的文字属记来说明该文本的文字属性和排版格式等性和排版格式等.doc.rtf.htm.html.pdf公文公文论文论文书稿书稿网页网页丰富丰富格式格式文本文本(超文超文本本)除

21、上述特征外，文本除上述特征外，文本中还含有超链，使文中还含有超链，使文本呈现为一种网状结本呈现为一种网状结构构同上，但还应包含用于指同上，但还应包含用于指出出“链源链源”和和“链宿链宿”的的标记标记.doc.rtf.htm.html.pdf.hlp同上，以同上，以及软件的及软件的联机文档联机文档(帮助文件帮助文件) 5.2 图像与图形图像与图形5.2.1 数字图像的获取数字图像的获取5.2.2 图像的表示与压缩编码图像的表示与压缩编码5.2.3 数字图像处理与应用数字图像处理与应用5.2.4 计算机图形计算机图形25第5章 数字媒体5.2.1 数字图像的获取数字图像的获取26第5章 数字媒体图

22、像的获取过程图像的获取过程扫扫 描描模模拟拟图图像像取取 样样取取 样样取取 样样数数字字图图像像分分 色色量量 化化量量 化化量量 化化n从现实世界中获得数字图像的过程称为图像的从现实世界中获得数字图像的过程称为图像的“获取获取”n常用的图像获取设备：扫描仪、数码相机、摄像头、摄像机等常用的图像获取设备：扫描仪、数码相机、摄像头、摄像机等n图像获取过程：图像获取过程： 将画面划分为将画面划分为 M N个网格，每个网格，每个网格称为个网格称为 一一个取样点个取样点 将彩色图像取样将彩色图像取样点的颜色分解成点的颜色分解成R，G，B三个三个基色基色测量每个取样点测量每个取样点的每个分量（基的每个

23、分量（基色）的亮度值色）的亮度值对取样点每个分对取样点每个分量的亮度值进行量的亮度值进行A/D转换，使用转换，使用数字整型量表示数字整型量表示 27第5章 数字媒体5.2.2 图像的表示与压缩编码图像的表示与压缩编码28第5章 数字媒体数字数字(取样取样)图像的组成图像的组成n数字取样图像由数字取样图像由M(列列) N(行行)个取样点组成个取样点组成n取样点是组成数字取样图像的基本单位，称为取样点是组成数字取样图像的基本单位，称为“像素像素”n彩色图像的像素通常由彩色图像的像素通常由3个彩色分量组成个彩色分量组成n灰度图像和黑白图像的像素只包含灰度图像和黑白图像的像素只包含1个亮度分量个亮度分

24、量 Red分量分量Green分量分量Blue分量分量像素像素29第5章 数字媒体复习：黑白图象的表示复习：黑白图象的表示黑白图像黑白图像n黑白图像的每个像素只有一个分量，且只用黑白图像的每个像素只有一个分量，且只用1个二进位表示，个二进位表示，其取值仅其取值仅“0”(黑黑)和和“1”(白白)两种两种30第5章 数字媒体例例2：彩色图象的表示：彩色图象的表示蓝蓝色色分分量量绿绿色色分分量量红红色色分分量量n彩色图像的每个像素有三个分量，分别表示三个基色的亮度，假设彩色图像的每个像素有三个分量，分别表示三个基色的亮度，假设3个分量分别用个分量分别用n,m,k个二进位表示，则可表示个二进位表示，则可

25、表示2n+m+k种不同的颜色种不同的颜色31第5章 数字媒体数字数字(取样取样)图像的主要参数图像的主要参数n图像大小（图像分辨率）：图像大小（图像分辨率）：n用来表示组成该图像的行列数目，亦即图像所包含的像素数目用来表示组成该图像的行列数目，亦即图像所包含的像素数目n使用使用 水平分辨率水平分辨率x垂直分辨率垂直分辨率 表示表示n对图像清晰度和在屏幕上显示出来的大小有影响对图像清晰度和在屏幕上显示出来的大小有影响n颜色空间的类型，指彩色图像所使用的颜色描述方法，如：颜色空间的类型，指彩色图像所使用的颜色描述方法，如：nRGB(红、绿、蓝红、绿、蓝)模型，显示器使用模型，显示器使用nCMYK(

26、青、品红、黄、黑青、品红、黄、黑)模型，彩色打印机使用模型，彩色打印机使用nHSB(色彩、饱和度、亮度色彩、饱和度、亮度)模型，用户界面中使用模型，用户界面中使用nYUV(亮度、色度亮度、色度)模型，彩色电视信号传输时使用模型，彩色电视信号传输时使用n像素深度，即像素的所有颜色分量的二进位数目之和像素深度，即像素的所有颜色分量的二进位数目之和图像类型图像类型像素的组成像素的组成像素深度像素深度(位数位数)颜色空间颜色空间单色图像单色图像黑白图像黑白图像仅仅1个分量个分量1位位不使用不使用灰度图像灰度图像仅仅1个分量个分量212位位不使用不使用彩色图像彩色图像彩色图像彩色图像3个分量以上个分量以

27、上836位位RGB，CMY，YUV等等32第5章 数字媒体举例：分辨率与图像尺寸的关系举例：分辨率与图像尺寸的关系520 x376260 x188130 x94在显示比例相同时，显示在屏幕上的图像尺寸与图像分辨率成正比在显示比例相同时，显示在屏幕上的图像尺寸与图像分辨率成正比33第5章 数字媒体数字图像的数据量数字图像的数据量n数字图像数据量的计算公式（以字节为单位）：数字图像数据量的计算公式（以字节为单位）： 数据量数据量=水平分辨率水平分辨率垂直分辨率垂直分辨率像素深度像素深度8 n几种常用格式的图像的数据量：几种常用格式的图像的数据量： 图像大小图像大小8位位(256色色)16位位(65

28、536色色)24位位(真彩色真彩色)640480300 KB600 KB900 KB1024768768 KB1.5 MB2.25 MB128010241.25 MB2.5 MB3.75 MBn例：数字图像传输时间的计算例：数字图像传输时间的计算假设数据传输速率为假设数据传输速率为56 kb/s（电话上网），则传输一幅分辨（电话上网），则传输一幅分辨率为率为640480的的6.5万种颜色的未压缩图像的万种颜色的未压缩图像的最小时间最小时间为：为： (640 x480 x16)/56000 = 87.8秒秒34第5章 数字媒体数字图像的数据压缩数字图像的数据压缩n图像数据压缩的必要性：图像数据压

29、缩的必要性：n节省存储数字图像所需要的存储器容量节省存储数字图像所需要的存储器容量n提高图像的传输速度，减少通信费用提高图像的传输速度，减少通信费用 n图像数据压缩的可能性：图像数据压缩的可能性：n数字图像中有大量的数据冗余数字图像中有大量的数据冗余n人眼视觉有局限性，允许图像有一些失真人眼视觉有局限性，允许图像有一些失真n图像数据压缩的两种类型：图像数据压缩的两种类型：n无损压缩：用压缩后的数据还原出来的图像没有任何误差无损压缩：用压缩后的数据还原出来的图像没有任何误差n有损压缩：用压缩后的数据还原出来的图像有一定的误差有损压缩：用压缩后的数据还原出来的图像有一定的误差n压缩编码方法的评价压

30、缩编码方法的评价压缩倍数的高低（压缩比大小）压缩倍数的高低（压缩比大小）重建图像的质量（有损压缩时）重建图像的质量（有损压缩时）压缩算法的复杂程度压缩算法的复杂程度35第5章 数字媒体数字数字图像的常用文件图像的常用文件格式格式n不同的图象文件格式采用了不同的数据压缩技术和不同的图象文件格式采用了不同的数据压缩技术和数据组织方法，有不同的应用数据组织方法，有不同的应用n常用的图像文件格式有：常用的图像文件格式有：名称名称压缩编码方法压缩编码方法性质性质典型应用典型应用开发公司开发公司(组织组织)BMPRLE(行程长度编行程长度编码码)无损无损Windows应用程应用程序序MicrosoftTI

31、FRLE,LZW(字典编字典编码码)无损无损桌面出版桌面出版Aldus，MicrosoftGIFLZW无损无损因特网因特网CompuServeJPEGDCT(离散余弦变离散余弦变换换)，Huffman编码编码大多数为大多数为有损有损因特网因特网,数码相机数码相机等等ISO/IECJP2小波变换，算术编小波变换，算术编码码无损无损/有有损损因特网因特网,数码相机数码相机等等ISO/IEC36第5章 数字媒体图像文件图像文件格式例格式例1：BMP格式格式nBMP图像格式是图像格式是Windows操作系统下使用的一种操作系统下使用的一种标准图像格式标准图像格式n支持单色、支持单色、16色、色、256

32、色、真彩色图像色、真彩色图像n一个文件一幅图像，可以进行无损压缩，也可不压一个文件一幅图像，可以进行无损压缩，也可不压缩缩n非压缩的非压缩的BMP文件是一种通用的图像文件格式，几文件是一种通用的图像文件格式，几乎所有乎所有Windows 应用软件都能支持应用软件都能支持37第5章 数字媒体图像文件图像文件格式例格式例2： GIF 图像图像n颜色数目不超过颜色数目不超过256色色 ，适合用作插图、剪贴画等色彩数要，适合用作插图、剪贴画等色彩数要求不高的场合，求不高的场合，文件特别小文件特别小，适合网络传输，适合网络传输nGIF图像格式具有图像格式具有累进显示累进显示功能，适合网络浏览器观看功能，

33、适合网络浏览器观看 nGIF图像格式能支持图像格式能支持透明背景透明背景（JPEG不支持）不支持）nGIF图像格式能支持图像格式能支持动画动画透透明明背背景景38第5章 数字媒体图像文件图像文件格式例格式例3：JPEG图像图像nJPEG是静止图像数据压缩编码的国际标准，采用是静止图像数据压缩编码的国际标准，采用JPEG标准的图像文件扩展名是标准的图像文件扩展名是 .jpgnJPEG特别适合各种连续色调的彩色或灰度图像，特别适合各种连续色调的彩色或灰度图像，在计算机和数码相机中已得到广泛应用在计算机和数码相机中已得到广泛应用 nJPEG的最新标准是的最新标准是JPEG2000（图像文件扩展名（图

34、像文件扩展名是是 .jp2 ），它采用更先进的技术，可取得更好的效），它采用更先进的技术，可取得更好的效果，目前在医学图像处理中使用果，目前在医学图像处理中使用39第5章 数字媒体5.2.4 计算机图形计算机图形40第5章 数字媒体什么是计算机图形什么是计算机图形(graphics)n通过计算机和软件对景物的结构、形状与外貌进行描述通过计算机和软件对景物的结构、形状与外貌进行描述(称称为为“建模建模”)，然后根据该描述和选定的观察位置及光线状，然后根据该描述和选定的观察位置及光线状况，生成该景物的图形况，生成该景物的图形(称为称为“绘制绘制”或或“图像合成图像合成”)n计算机图形也称为计算机合

35、成图像计算机图形也称为计算机合成图像n计算机制作图形的步骤如下：计算机制作图形的步骤如下： 建模建模/造型造型(Modeling)景物的景物的模型模型(model)景物景物的视图的视图 绘绘 制制(Rendering)(Image Synthesis) 5.3 数字声音及应用数字声音及应用5.3.1 波形声音的获取与播放波形声音的获取与播放5.3.2 波形声音的表示与应用波形声音的表示与应用5.3.3 波形声音的编辑波形声音的编辑5.3.4 计算机合成声音计算机合成声音42第5章 数字媒体5.3.1 波形声音的获取与播放波形声音的获取与播放43第5章 数字媒体声音的特性声音的特性和类型和类型n

36、声音由振动产生，通过空气进行传播声音由振动产生，通过空气进行传播n声音是一种波，它由许多不同频率的声音是一种波，它由许多不同频率的谐波组成谐波组成n谐波的频率范围称为声音的谐波的频率范围称为声音的“带宽带宽”n计算机处理的声音类型：计算机处理的声音类型：n话音或语音话音或语音(speech)，专指人的说话声音，带宽仅为，专指人的说话声音，带宽仅为3003400Hzn全频带声音全频带声音(如音乐声、风雨声、汽车声等如音乐声、风雨声、汽车声等)，其带宽可达到，其带宽可达到20Hz20kHz n人耳可听到的声音统称人耳可听到的声音统称“可听声可听声”(audio) ，20Hz20kHz44第5章 数

37、字媒体数字波形声音的获取数字波形声音的获取步骤：步骤：2. 量化（量化（quantization，模数转换，模数转换 )3. 编码编码（encoding）1. 取样（取样（sampling）取取 样样模拟声音信号模拟声音信号取样的目的是把时间上连取样的目的是把时间上连续的信号转换成时间上离续的信号转换成时间上离散的信号散的信号量量 化化量化是把每个样本从模拟量化是把每个样本从模拟量转换成为数字量量转换成为数字量(8位或位或16位整数表示位整数表示)数字数字声音声音01100011001编编 码码将所有样本的二进制将所有样本的二进制代码组织在一起，并代码组织在一起，并进行数据压缩进行数据压缩45

38、第5章 数字媒体数字波形声音的获取设备数字波形声音的获取设备n声音的联机获取设备声音的联机获取设备(声卡声卡)声波转换声波转换为电信号为电信号n声音的脱机获取设备：数码录音笔声音的脱机获取设备：数码录音笔麦克风麦克风（microphone）声音卡声音卡（sound card）模拟声音模拟声音数字声音数字声音取样、量取样、量化和编码化和编码46第5章 数字媒体声音的重建与播放声音的重建与播放n计算机输出声音分为两步：计算机输出声音分为两步：1 声音的重建：把声音从数字形式转换成模拟信号形式，由声声音的重建：把声音从数字形式转换成模拟信号形式，由声卡完成卡完成2 声音播放：将模拟声音信号经处理和放

39、大后送到音箱声音播放：将模拟声音信号经处理和放大后送到音箱(扬声器扬声器)n关于音箱：关于音箱：n普通音箱普通音箱接收的是重建的模拟声音信号接收的是重建的模拟声音信号n数字音箱数字音箱直接接收数字声音信号，失真更小直接接收数字声音信号，失真更小 数字数字声音声音011010011101插插 值值数模转换数模转换解解 码码把压缩编码的数字把压缩编码的数字声音恢复为压缩编声音恢复为压缩编码前的状态码前的状态把声音样本从把声音样本从数字量转换为数字量转换为模拟量模拟量把时间上离散的一组把时间上离散的一组样本转换成在时间上样本转换成在时间上连续的模拟声音信号连续的模拟声音信号重建的模拟重建的模拟 声音

40、信号声音信号47第5章 数字媒体声卡的功能与逻辑组成声卡的功能与逻辑组成波形声音的获取与编码波形声音的获取与编码波形声音的重建与播放波形声音的重建与播放MIDI消息的输入消息的输入MIDI音乐的合成音乐的合成DSPDMA接口接口PC总线总线取样，量化取样，量化D/A重建，滤波重建，滤波声音输出声音输出声音输入声音输入音乐合成器音乐合成器mixerMIDI接口接口声卡的主要功能声卡的主要功能48第5章 数字媒体5.3.2 波形声音的波形声音的 表示与应用表示与应用49第5章 数字媒体数字波形声音的表示及其参数数字波形声音的表示及其参数n数字波形声音是使用二进位表示的一种串行比特流，其数数字波形声

41、音是使用二进位表示的一种串行比特流，其数据按时间顺序进行组织，文件扩展名为据按时间顺序进行组织，文件扩展名为“.wav”n数字波形声音的主要参数有：数字波形声音的主要参数有：n取样频率：取样频率：n语音的取样频率低，一般为语音的取样频率低，一般为8k 16k Hzn全频带声音全频带声音(如音乐如音乐)取样频率高，一般为取样频率高，一般为44.1k 48k Hzn量化位数：通常为量化位数：通常为8位、位、12位或位或16位位n声道数目：单声道为声道数目：单声道为1，双声道为，双声道为2n码率码率(比特率比特率)，每秒钟的数据量，每秒钟的数据量50第5章 数字媒体数字波形声音码率的计算数字波形声音

42、码率的计算n未压缩时数字波形声音的码率计算公式未压缩时数字波形声音的码率计算公式 码率码率 = 取样频率取样频率 量化位数量化位数 声道数声道数 n例：例：声音类型声音类型声音信号带宽声音信号带宽(Hz)取样频率取样频率(kHz)量化位数量化位数(bits)声道声道数数未压缩时的未压缩时的码率码率数字语音数字语音3003 40088164 kb/sCD立体立体声声2020 00044.11621411.2(kb/s)n压缩编码之后数字波形声音的码率为：压缩编码之后数字波形声音的码率为： 压缩后的码率压缩后的码率 = 未压缩时的码率未压缩时的码率/ /压缩倍数压缩倍数 n例：上面例：上面CD唱片

43、的立体声音乐压缩为唱片的立体声音乐压缩为MP3后，若压缩倍数后，若压缩倍数是是12倍，则该倍，则该MP3音乐的码率是：音乐的码率是：118 kb/s左右左右51第5章 数字媒体数字波形声音的数据压缩数字波形声音的数据压缩n数据压缩的必要性：数据压缩的必要性：n为了降低存储成本和提高在网络上的传输效率为了降低存储成本和提高在网络上的传输效率n数据压缩的可能性：数据压缩的可能性：n声音中包含有大量冗余信息；声音中包含有大量冗余信息；n人耳灵敏度有限，允许有一定失真而不易察觉人耳灵敏度有限，允许有一定失真而不易察觉n数字波形声音压缩编码的方法：数字波形声音压缩编码的方法：n全频带声音：国际标准全频带

44、声音：国际标准MPEG；工业标准；工业标准Dolby AC-3 n数字语音：固定电话使用数字语音：固定电话使用ADPCM编码编码 手机使用高效率的混合编码技术手机使用高效率的混合编码技术所谓所谓“MP3音乐音乐”，它是一种采用，它是一种采用MPEG-1层层3编码的高编码的高质量数字声音质量数字声音, 压缩比大约压缩比大约1012倍，使一张普通倍，使一张普通CD光盘光盘上可以存储大约上可以存储大约100首首MP3歌曲，可连续播放歌曲，可连续播放10小时。小时。 52第5章 数字媒体选讲：选讲： MP3播放器的结构与原理播放器的结构与原理程序程序存储器存储器闪烁闪烁存储器存储器液晶显示液晶显示D/

45、A转换转换嵌入式处理器嵌入式处理器及及DSP声音输出声音输出控制按键控制按键USB接口接口嵌入式处理器用于运行控制程序，控制各个部件嵌入式处理器用于运行控制程序，控制各个部件协调工作：它接收控制按键的操作命令，从闪烁协调工作：它接收控制按键的操作命令，从闪烁存储器读取存储器读取MP3音乐数据送到音乐数据送到DSP去解码；显示去解码；显示播放器的工作状态；负责与主机连接并交换数据播放器的工作状态；负责与主机连接并交换数据等等等等数字信号处理器数字信号处理器DSP完成完成MP3数据流的解码操作，并数据流的解码操作，并输出波形格式的数字音频信输出波形格式的数字音频信号，经数模转换和功率放大号，经数模

46、转换和功率放大之后，用户即可听到声音之后，用户即可听到声音 存放存放MP3音乐数音乐数据，容量越大，据，容量越大，可存放的歌曲数可存放的歌曲数目就越多目就越多 固定存放固定存放MP3播放器的控制播放器的控制程序程序显示显示MP3播放器的播放器的工作状态工作状态和歌曲的和歌曲的歌词歌词53第5章 数字媒体波形声音的文件类型及其应用波形声音的文件类型及其应用 文件类型文件类型开发者开发者编码类编码类型型效果效果主要应用主要应用WAV微软公司微软公司未压缩未压缩声音达到声音达到CD品质品质支持多种采样频率和量支持多种采样频率和量化位数，获得广泛支持化位数，获得广泛支持FLACXiph.Org基金会基

47、金会无损压缩无损压缩压缩比为压缩比为2:1左右左右高品质数字音乐高品质数字音乐APEMatthew T. Ashland无损压缩无损压缩压缩比为压缩比为2:1左右左右高品质数字音乐高品质数字音乐M4A苹果公司苹果公司无损压缩无损压缩压缩比为压缩比为2:1左右左右QuickTime, iTunes, iPod，Real PlayerMP3ISO有损压缩有损压缩MPEG-1 audio层层3压缩比为压缩比为8:112:1因特网，因特网，MP3音乐音乐WMA微软公司微软公司有损压缩有损压缩压缩比高于压缩比高于MP3使用数字版权保护使用数字版权保护因特网，音乐因特网，音乐AC3、AAC美国美国Dolb

48、y公司公司有损压缩有损压缩压缩比可调，支持压缩比可调，支持5.1、7.1声道声道DVD, 数字电视，家庭数字电视，家庭影院等影院等54第5章 数字媒体什么是流媒体？什么是流媒体？n在因特网上收听在因特网上收听(看看)音音(视视)频节目的频节目的2种方式：种方式：i下载存储方式：先下载存储在计算机中，下载完毕后再播放（缺点：下载存储方式：先下载存储在计算机中，下载完毕后再播放（缺点：需要等待很长时间，并需要较大的存储容量）需要等待很长时间，并需要较大的存储容量）i流式传输方式：边下载、边播放（优点：只需要下载一部分数据之流式传输方式：边下载、边播放（优点：只需要下载一部分数据之后后, 就可以开始

49、一边播放一边下载，等待时间短、存储需求小）就可以开始一边播放一边下载，等待时间短、存储需求小）n流媒体流媒体就是一种允许在网络上让用户一边下载一边收看就是一种允许在网络上让用户一边下载一边收看(听听)音视频媒体的音视频媒体的媒体分发媒体分发(delivery)技术技术n目前流行的主要有目前流行的主要有3个公司的流媒体技术：个公司的流媒体技术：1.Real Networks公司的公司的 Real Media （RealAudio和和RealVideo）2.微软公司的微软公司的 Windows Media Services (WMA、WMV和和ASF)3.苹果公司的苹果公司的 Quick Time

50、55第5章 数字媒体选讲：选讲： 流媒体是如何工作的？流媒体是如何工作的？流媒体流媒体播放软件播放软件 Web服务器服务器Web 浏览器浏览器流媒体流媒体专用服务器专用服务器 音频音频(视频视频)流媒体文件流媒体文件 网网 页页 （客户计算机）（客户计算机）http协议3 点击点击流媒体流媒体节目，节目，启动流启动流媒体播媒体播放程序放程序RTSP/TCPRTP/UDP6 播放器播放器可以边播可以边播放边接收放边接收数据，并数据，并可以控制可以控制播放、暂播放、暂停、快进停、快进、快倒等、快倒等5 将音将音(视视)频频节目传输给客节目传输给客户计算机户计算机RTCP/UDPHTML网页1 请求

51、网页请求网页2 服务器送回网页服务器送回网页4 向流媒体服向流媒体服务器发出请求务器发出请求56第5章 数字媒体5.3.3 波形声音的编辑波形声音的编辑57第5章 数字媒体波形声音编辑软件的功能波形声音编辑软件的功能主要功能：主要功能：1 编辑声音：如声音剪编辑声音：如声音剪辑、复制、调节音量辑、复制、调节音量2 声音的效果处理：如声音的效果处理：如混响、回声、淡入、混响、回声、淡入、淡出等淡出等3 录音录音4 声音的格式转换声音的格式转换5 播放声音播放声音数字声音数字声音的参数的参数左声道左声道信号波形信号波形右声道右声道信号波形信号波形淡入淡入淡出淡出时间刻度时间刻度播放标尺播放标尺声音

52、编辑软件的声音编辑软件的典型用户界面典型用户界面58第5章 数字媒体5.3.4 计算机合成声音计算机合成声音59第5章 数字媒体什么是计算机合成声音？什么是计算机合成声音？n计算机合成声音就是计算机模仿人说话或演奏音乐计算机合成声音就是计算机模仿人说话或演奏音乐n计算机合成声音有两类：计算机合成声音有两类：n计算机合成话音（语音）：计算机合成话音（语音）：n计算机模仿人把一段文字朗读出来，即把文字转换为说话声计算机模仿人把一段文字朗读出来，即把文字转换为说话声音（简称为音（简称为 TTS）n应用：有声查询、文稿校对、语言学习、语音秘书、自动报应用：有声查询、文稿校对、语言学习、语音秘书、自动报

53、警、残疾人服务等警、残疾人服务等n计算机合成音乐：计算机合成音乐：n计算机模拟各种乐器发声并按照乐谱演奏音乐计算机模拟各种乐器发声并按照乐谱演奏音乐n应用：计算机作曲、配器等应用：计算机作曲、配器等60第5章 数字媒体例：计算机合成的语音例：计算机合成的语音nHello，everybody （1）n你好，我是贝尔实验室的中文语音合成系统你好，我是贝尔实验室的中文语音合成系统（BellTTS1）n南京大学计算机系南京大学计算机系2002年招收了年招收了202名本科生，名本科生，22名博士生，名博士生，130多名硕士生。多名硕士生。（中科大讯飞公司）（中科大讯飞公司） （Bell）n安徽中科大讯飞

54、信息科技有限公司是专门从事中文语音及语安徽中科大讯飞信息科技有限公司是专门从事中文语音及语言技术软件言技术软件 （讯飞）（讯飞）n我们都是同行，我们一路同行，去参加人参培植研讨会我们都是同行，我们一路同行，去参加人参培植研讨会 （讯飞）（讯飞） （Bell）需要进一步提高之处：发音和断句要正确，提高自然度，丰富表现力需要进一步提高之处：发音和断句要正确，提高自然度，丰富表现力61第5章 数字媒体计算机合成音乐（计算机合成音乐（MIDI）音乐音乐合成器合成器音乐音乐MIDI文件文件媒体媒体播放器播放器MIDI消息消息n计算机合成音乐需要三个要素：乐器、乐谱和计算机合成音乐需要三个要素：乐器、乐谱

55、和“演奏员演奏员” 声卡上的音乐合成声卡上的音乐合成器能像电子琴一样器能像电子琴一样模仿几十种不同的模仿几十种不同的乐器发出声音，它乐器发出声音，它按照按照MIDI消息合成消息合成出不同音色和音调出不同音色和音调的音符，通过扬声的音符，通过扬声器播放出音乐来器播放出音乐来 乐谱在计算机中使用乐谱在计算机中使用一种叫做一种叫做MIDI的音乐的音乐描述语言来表示。使描述语言来表示。使用用MIDI描述的音乐称描述的音乐称为为MIDI音乐。一首乐音乐。一首乐曲对应一个曲对应一个MIDI文件，文件，其文件扩展名其文件扩展名为为 .MID或或 .MIDI媒体播放器软件相当媒体播放器软件相当于于“演奏员演奏

56、员”。播放。播放MIDI音乐时，它先从音乐时，它先从磁盘上读入磁盘上读入.MID文件，文件，解释其内容，然后以解释其内容，然后以MIDI消息的形式向声消息的形式向声卡上的音乐合成器发卡上的音乐合成器发出各种指令出各种指令62第5章 数字媒体选讲：选讲： 音乐合成器音乐合成器nPC机声卡一般都带有机声卡一般都带有MIDI音源（音乐合成器）音源（音乐合成器）nMIDI音源有两种：音源有两种：n调频合成器调频合成器（一种受控的电子振荡器）。音色单调，效果较差，（一种受控的电子振荡器）。音色单调，效果较差，已很少使用已很少使用n波表合成器波表合成器。音色丰富，效果很好，可扩展，现广泛使用。音色丰富，效

57、果很好，可扩展，现广泛使用 n波表合成器的原理波表合成器的原理n预先将真实乐器演奏的各个音符的波形数字化，把它们组织成预先将真实乐器演奏的各个音符的波形数字化，把它们组织成一个个波表文件存放在存储器中一个个波表文件存放在存储器中n播放时合成器软件根据乐器类型和音符参数等将相应的波形数播放时合成器软件根据乐器类型和音符参数等将相应的波形数据修饰成所要求的音强和时长，然后合成、加工后播放据修饰成所要求的音强和时长，然后合成、加工后播放低通滤波低通滤波采样、量化采样、量化加工处理加工处理乐器乐器演奏演奏波表波表文件文件录音录音63第5章 数字媒体例：计算机合成的例：计算机合成的MIDI音乐音乐n例例

58、1 音乐之声音乐之声（6KB） n例例2 军港之夜军港之夜（7KB）nMIDI的优点：的优点：n数据量极小（比数据量极小（比CD立体声少立体声少3个数量级，比个数量级，比MP3少少3个数量级）个数量级）n易于制作和编辑修改易于制作和编辑修改n可以与波形声音同时播放可以与波形声音同时播放nMIDI的不足：的不足：n只能合成音乐，不能合成歌曲和语言只能合成音乐，不能合成歌曲和语言n音质与硬件设备相关音质与硬件设备相关5.4 数字视频及应用数字视频及应用5.4.1 数字视频基础数字视频基础5.4.2 数字视频的压缩编码数字视频的压缩编码5.4.3 数字视频的编辑数字视频的编辑5.4.4 合成视频合成

59、视频计算机动画计算机动画5.4.5 数字视频的应用数字视频的应用 65第5章 数字媒体5.4.1 数字视频基础数字视频基础66第5章 数字媒体彩色电视信号的发送与接收彩色电视信号的发送与接收n彩色电视信号的发送与接收：彩色电视信号的发送与接收：PAL制彩色电视信号的颜制彩色电视信号的颜色不使用色不使用RGB表示，而表示，而是使用亮度信号是使用亮度信号Y和两个和两个色度信号色度信号U、V来表示来表示 为进行远距离传为进行远距离传输必须进行调制输必须进行调制 RGBRGBYUV 复合复合 调制调制摄像机摄像机 话筒话筒发射发射天线天线RGBYUV分路分路解调解调接收接收天线天线RGB将将Y、U、V

60、信号信号转换成为转换成为R、G、B 信号，然后再信号，然后再进行显示进行显示n使用使用Y、U，V彩色空间的原因：彩色空间的原因：与黑白电视保持兼容与黑白电视保持兼容利用人的视觉特性来节省电视信号的带宽和发射功率利用人的视觉特性来节省电视信号的带宽和发射功率67第5章 数字媒体数字视频信号的获取数字视频信号的获取 视频信号的数字化过程视频信号的数字化过程: 与图像、声音的数字化过程相仿，但更复杂一些与图像、声音的数字化过程相仿，但更复杂一些(8-10 bits)滤波取样量化编码数字数字视频视频信息信息模拟模拟视频视频信号信号VUYUVY 数字视频的获取设备：数字视频的获取设备： 视频采集卡视频采