《数字媒体及应用》PPT课件.ppt

第5章数字媒体及应用,5.1文本与文本处理5.2图像与图形5.3数字声音及应用5.4数字视频及应用,5.1文本与文本处理,5.1.1字符的编码5.1.2文本准备5.1.4文本编辑、排版与处理5.1.5文本的展现5.1.3文本的分类与表示,5.1.1.字符在计算机中的表示,西文字符的编码ASCII码,西文是表音文字(拼音文字)，它由拉丁字母、数字、标点符号以及一些特殊符号所组成美国标准信息交换码(AmericanStandardCodeforInformationInterchange,简称ASCII码)：ASCII字符集包含96个可打印字符和32个控制字符采用7个二进位进行编码计算机中使用1个字节存储1个ASCII字符存在问题：7位代码空间太小（只能对128个字符编码）不同国家和地区使用不同的字符集及其编码，互不兼容东亚地区使用的大字符集无法编码,标准ASCII字符集及其码表,常用的汉字编码字符集,国家标准GB2312汉字扩充规范GBK国家标准GB18030台湾地区的标准汉字字符集CNS11643(BIG5，俗称“大五码”)日本工业标准汉字字符集JISX0208-90韩国国家标准汉字字符集KSC5601-87,GB2312汉字编码字符集,1980年颁布信息交换用汉字编码字符集基本集GB2312-1980GB2312字符集由三个部分构成：,拉丁字母、俄文、日文平假名与片假名、希腊字母、汉语拼音等共682个,（注：区位码仅用于在键盘上输入汉字）,GB2312汉字的编码,每一个GB2312汉字使用16位(2个字节)表示每个字节的最高位均为“1”在16位代码空间中的码位分布：,GB2312汉字编码的不足之处,GB2312汉字字数太少，无法满足一些特殊应用的需要：人名、地名；古籍整理、古典文献研究。没有繁体字编码效率不高:(6763+682)/65536与ASCII码不兼容,几种汉字编码的对比,例:IE浏览网页时文字编码的选择,5.1.2.文本准备文稿如何输入计算机,文字符号输入计算机的方法,键盘输入,(1)数字编码,如电报码、区位码等,(2)字音编码,如智能ABC等(3)字形编码，如五笔字形和表形码等,(4)形音编码发展趋势：基于统计和学习功能的以词语(短语)或句子作为输入单位的输入方法,文字符号输入计算机的方法,优点：自然，流畅小型化，适合移动计算不足：识别速度和正确性还需提高书写要求还要降低,文字符号输入计算机的方法,优点：自然，方便，适合移动计算不足：对说话人、说话方式、说话内容的适应能力要大大增强识别速度和正确性还需大大提高,文字符号输入计算机的方法,识别率已达到98%功能:简、繁体字混合识别中文、西文混合识别文字、表格混合识别智能校对功能,文字符号输入计算机的方法,技术上非常困难，还无法实用目前准备先突破工整的楷书手写体的识别!,汉字键盘输入方法的比较,5.1.4文本的编辑与排版,复习：使用Word的操作流程,创建新文档或打开老文档,文稿输入,编辑,排版,文档存盘、打印或发送,输入中西文字、符号和图表,进行增、删、改操作，保证文本的正确性,满足清晰、美观、便于使用等要求,5.1.5文本的展现(输出),附：输出过程中字形的生成,过程：先根据字符的字体确定相应的字库（font），再按照该字符的代码从字库中取出该字符的形状描述信息然后按形状描述信息生成字形，并按照字号大小及有关属性（粗体、斜体、下横线）将字形作必要的变换最后将变换得到的字形放置在页面的指定位置处2种不同的字库：,点阵描述,轮廓描述,5.1.3文本的分类与表示,简单文本(纯文本),没有字体、字号的变化，不能插入图片、表格，也不能建立超链接，其文件后缀名是.txt由一串用于表达正文内容的字符编码所组成，几乎不包含任何其他的格式信息和结构信息举例：,丰富格式文本,本书由南京大学出版社(PublishingHouseofNanjingUniversity)出版,有字体字号等属性变化、设置了段落和页面排版格式的文本称为“丰富格式文本”丰富格式文本中，除了正文内容之外，还使用了许多“标记”来描述字符的属性和格式的设置。举例：下面标题的格式为：中文用黑体，西文用ArialBlack体，居中,使用HTML语言描述为：,本书由南京大学出版社(PublishingHouseofNanjingUniversity)出版,用一对指出的是标记，如和等，用于说明排版的格式和文字属性，它们不属于正文内容,正文内容,超文本,若干文本或文本中的各个部分可按照其内容的关系互相链接起来，从而形成“超文本”,“超链”实际上就是一个指针，用于指向其他文本块，也可以指向同一文本块中的其他部分,超链是有向的，起点位置称为链源，它可以是文本块中的一个标题、一句句子、一个关键词、一幅画、一个图标等,文本块可以是一个网页，一个文档，一段文字，也可以是一张图片，甚至一段声音或视频,5.2图像与图形,5.2.1数字图像的获取5.2.2图像的表示与压缩编码5.2.3数字图像处理与应用5.2.4计算机图形,5.2.1数字图像的获取,图像的获取过程,从现实世界中获得数字图像的过程称为图像的“获取”常用的图像获取设备：扫描仪、数码相机、摄像头、摄像机等图像获取过程：,将画面划分为MN个网格，每个网格称为一个取样点,将彩色图像取样点的颜色分解成R，G，B三个基色,测量每个取样点的每个分量（基色）的亮度值,对取样点每个分量的亮度值进行A/D转换，使用数字整型量表示,5.2.2图像的表示与压缩编码,数字(取样)图像的组成,数字取样图像由M(列)N(行)个取样点组成取样点是组成数字取样图像的基本单位，称为“像素”彩色图像的像素通常由3个彩色分量组成灰度图像和黑白图像的像素只包含1个亮度分量,例1：黑白图象的表示,黑白图像,黑白图像的每个像素只有一个分量，且只用1个二进位表示，其取值仅“0”(黑)和“1”(白)两种,例2：灰度图象的表示,灰度图像,灰度图像的每个像素也只有一个分量，一般用812个二进位表示，其取值范围是：02n-1，可表示2n个不同的亮度,例3：彩色图象的表示,彩色图像的每个像素有三个分量，分别表示三个基色的亮度，假设3个分量分别用n,m,k个二进位表示，则可表示2n+m+k种不同的颜色,数字(取样)图像的主要参数,图像大小（图像分辨率）：用来表示组成该图像的行列数目，亦即图像所包含的像素数目使用水平分辨率x垂直分辨率表示对在屏幕上显示出来的大小有影响颜色空间的类型，指彩色图像所使用的颜色描述方法，如：RGB(红、绿、蓝)模型，显示器使用CMYK(青、品红、黄、黑)模型，彩色打印机使用HSB(色彩、饱和度、亮度)模型，用户界面中使用YUV(亮度、色度)模型，彩色电视信号传输时使用像素深度，即像素的所有颜色分量的二进位数目之和,举例：分辨率与图像尺寸的关系,520 x376,260 x188,130 x94,在显示比例相同时，显示在屏幕上的图像尺寸与图像分辨率成正比,数字图像的数据量,数字图像数据量的计算公式（以字节为单位）：数据量=水平分辨率垂直分辨率像素深度8几种常用格式的图像的数据量：,例：数字图像传输时间的计算假设数据传输速率为56kb/s（电话上网），则传输一幅分辨率为640480的6.5万种颜色的未压缩图像的时间为：(640 x480 x16)/56000=87.8秒,数字图像的数据压缩,图像数据压缩的必要性：节省存储数字图像所需要的存储器容量提高图像的传输速度，减少通信费用图像数据压缩的可能性：数字图像中有大量的数据冗余人眼视觉有局限性，允许图像有一些失真图像数据压缩的两种类型：无损压缩：用压缩后的数据还原出来的图像没有任何误差有损压缩：用压缩后的数据还原出来的图像有一定的误差压缩编码方法的评价,数字图像的常用文件格式,不同的图象文件格式采用了不同的数据压缩技术和数据组织方法，有不同的应用常用的图像文件格式有：,图像文件格式例1：BMP格式,BMP图像格式是Windows操作系统下使用的一种标准图像格式支持单色、16色、256色、真彩色图像一个文件一幅图像，可以进行无损压缩，也可不压缩非压缩的BMP文件是一种通用的图像文件格式，几乎所有Windows应用软件都能支持,图像文件格式例2：GIF图像,颜色数目不超过256色，适合用作插图、剪贴画等色彩数要求不高的场合，文件特别小，适合网络传输GIF图像格式具有累进显示功能，适合网络浏览器观看GIF图像格式能支持透明背景（JPEG不支持）GIF图像格式能支持动画,透明背景,图像文件格式例3：JPEG图像,JPEG是静止图像数据压缩编码的国际标准，采用JPEG标准的图像文件扩展名是.jpgJPEG特别适合各种连续色调的彩色或灰度图像，在计算机和数码相机中已得到广泛应用JPEG的最新标准是JPEG2000（图像文件扩展名是.jp2），它采用更先进的技术，可取得更好的效果,5.2.3数字图像处理与应用,数字图像处理的应用,(1)图像通信，包括图像传输、电视电话、电视会议等。(2)遥感(3)医疗诊断(4)工业生产中的应用，如产品质量检测，生产过程自动控制等(5)机器人视觉(6)军事、公安、档案管理等其他方面的应用,X光图像,CT图像,核磁共振图像,指纹图像,常用的图像编辑软件,Word和PowerPoint具有基本的图像编辑功能Windows附件中的“画图”软件微软Office工具中的PictureManagerACDSystem公司的ACDSee32AdobePhotoShop,5.2.4计算机图形,什么是计算机图形(graphics),通过计算机和软件对景物的结构、形状与外貌进行描述(称为“建模”)，然后根据该描述和选定的观察位置及光线状况，生成该景物的图形(称为“绘制”或“图像合成”)计算机图形也称为计算机合成图像计算机制作图形的步骤如下：,景物的2种描述(建模)方法,美国康乃尔大学SuzanneSmits和PriamosGeorgiades建模并绘制的俄罗斯茶壶,例1:俄罗斯茶壶,例2：计算机绘制的钢笔画和铅笔画,木桶,玻璃瓶,引用自：GeorgesWinkenbach,D.Salesin(Univ.ofWashington)pp.469-476,SIGGRAPH96,计算机图形与显卡(图形卡),图形绘制过程中，每一个像素的颜色及其亮度都要经过大量的计算才能得到，因此绘制过程的计算量很大，特别是三维图形和动画目前PC机所配置的图形卡（显卡）上安装了功能很强的专用绘图处理器，它能承担绘制过程中的大部分计算任务,矢量绘图软件,专业绘图软件：AutoCAD、PROTEL和CAXA电子图板（机械、建筑等）MAPInfo、ARCInfo、SuperMapGIS（地图、地理信息系统）办公与事务处理、平面设计、电子出版等使用的绘图软件：Corel公司的CorelDraw，Adobe公司的Illustrator，Macromedia公司的FreeHand，微软公司的MicrosoftVisio等内嵌的绘图软件：Word和PowerPoint中的绘图功能（简单的二维图形）,小结：图像与图形的对比,5.3数字声音及应用,5.3.1波形声音的获取与播放5.3.2波形声音的表示与压缩编码5.3.3波形声音的编辑5.3.4计算机合成声音,5.3.1波形声音的获取与播放,数字波形声音的获取,步骤：,2.量化（quantization，模数转换),3.编码（encoding）,1.取样（sampling）,数字波形声音的获取设备,声音的联机获取设备(声卡),声波转换为电信号,声音的脱机获取设备：数码录音笔,取样、量化和编码,声音的重建与播放,计算机输出声音分为两步：1声音的重建：把声音从数字形式转换成模拟信号形式，由声卡完成,2声音播放：将模拟声音信号经处理和放大后送到音箱(扬声器)关于音箱：普通音箱接收的是重建的模拟声音信号数字音箱直接接收数字声音信号，失真更小,声卡的功能与逻辑组成,波形声音的获取与编码波形声音的重建与播放MIDI消息的输入MIDI音乐的合成,5.3.2波形声音的表示与压缩编码,数字波形声音的表示及其参数,数字波形声音是使用二进位表示的一种串行比特流，其数据按时间顺序进行组织，文件扩展名为“.wav”数字波形声音的主要参数有：取样频率：语音的取样频率低，一般为8kHz全频带声音（如音乐）的取样频率高，一般为44.1kHz量化位数：通常为8位、12位或16位声道数目：单声道为1，双声道为2码率(比特率)，每秒钟的数据量,数字波形声音码率的计算,未压缩时数字波形声音的码率计算公式码率=取样频率量化位数声道数例：,压缩编码之后数字波形声音的码率为：压缩后的码率=未压缩时的码率/压缩倍数例：上面CD唱片的立体声音乐压缩为MP3后，若压缩倍数是12倍，则该MP3音乐的码率是：118kb/s左右,全频带数字音频编码的标准,所谓“MP3音乐”就是一种采用MPEG-1层3编码的高质量数字声音,它能以10倍左右的压缩比降低高保真数字声音的存储量，使一张普通CD光盘上可以存储大约100首MP3歌曲,什么是流媒体？,在因特网上收听(看)音(视)频节目的2种方式：下载存储方式：先下载存储在计算机中，下载完毕后再播放（缺点：需要等待很长时间，并需要较大的存储容量）流式传输方式：边下载、边播放（优点：只需要下载一部分数据之后,就可以开始一边播放一边下载，等待时间短、存储需求小）流媒体技术就是允许在网络上让用户一边下载一边收看(听)音视频媒体的一种技术目前主要有3个公司的流媒体产品：RealNetworks公司的RealMedia微软公司的WindowsMedia苹果公司的QuickTime,数字波形声音的主要文件格式,.wav波形声音文件.pcm使用PCM编码的声音文件.mp2MPEG层1或层2编码的声音文件.mp3MPEG层3编码的声音文件.rm，.ra(RealAudio)RealNetworks的流式声音文件.wma微软公司的流式声音文件.aif(AudioInterchangeableFileFormat)苹果公司的声音文件,5.3.3波形声音的编辑,波形声音编辑软件的功能,主要功能：1编辑声音：如声音剪辑、复制、调节音量2声音的效果处理：如混响、回声等3录音4声音的格式转换5播放声音,声音编辑软件的典型用户界面,5.3.4计算机合成声音,什么是计算机合成声音？,计算机合成声音就是计算机模仿人说话或演奏音乐计算机合成声音有两类：计算机合成语音：计算机模仿人把一段文字朗读出来，即把文字转换为语音（简称为TTS）应用：有声查询、文稿校对、语言学习、语音秘书、自动报警、残疾人服务等计算机合成音乐：计算机模拟各种乐器发声并按照乐谱演奏音乐应用：计算机作曲、配器等,计算机合成音乐（MIDI）,计算机合成音乐需要三个要素：乐器、乐谱和“演奏员”,声卡上的音乐合成器能像电子琴一样模仿几十种不同的乐器发出声音，它按照MIDI消息合成出不同音色和音调的音符，通过扬声器播放出音乐来,乐谱在计算机中使用一种叫做MIDI的音乐描述语言来表示。使用MIDI描述的音乐称为MIDI音乐。一首乐曲对应一个MIDI文件，其文件扩展名为.MID或.MIDI,媒体播放器软件相当于“演奏员”。播放MIDI音乐时，它先从磁盘上读入.MID文件，解释其内容，然后以MIDI消息的形式向声卡上的音乐合成器发出各种指令,5.4数字视频及应用,5.4.1数字视频基础5.4.2数字视频的压缩编码5.4.3数字视频的编辑5.4.4合成视频计算机动画5.4.5数字视频的应用,5.4.1数字视频基础,彩色电视信号的发送与接收,彩色电视信号的发送与接收：,PAL制彩色电视信号的颜色不使用RGB表示，而是使用亮度信号Y和两个色度信号U、V来表示,为进行远距离传输必须进行调制,将Y、U、V信号转换成为R、G、B信号，然后再进行显示,使用Y、U，V彩色空间的原因：与黑白电视保持兼容利用人的视觉特性来节省电视信号的带宽和发射功率,数字视频信号的获取,视频信号的数字化过程:与图像、声音的数字化过程相仿，但更复杂一些,数字视频的获取设备：视频采集卡（简称视频卡）数字摄像头，通过光学镜头和CCD或CMOS采集动态图像，转换成数字信号并输入PC机脱机获取设备：数码摄像机,视频捕获(采集)卡的功能,从多种视频源中选择一种作为视频输入;支持不同的电视制式;能同时处理图像信号的伴音;可在显示器上监看输入的视频信号,其位置及大小可调;能将计算机生成的图像/图形/文本与视频图像迭加处理;可随时冻结(定格)一幅画面,并按指定格式保存;可实时压缩与存储视频及其伴音信息;可实时解压缩并播放视频及其伴音信息,输出设备可选(VGA监视器、电视机、录相机等),视频卡、显卡与主机的关系,硬盘,（主机）,视频信号数字化并存入硬盘,在屏幕上监看视频信号,计算机图形文字输出,在电脑上播放视频,在电视机上播放视频,数字摄像头,分辨率为352288640480速度一般在30fps（每秒30帧）左右镜头的视角可达到45-60度支持USB接口或IEEE1394（火线）接口成像器件采用CMOS或CCD,数码摄像机,提供480线以上的分辨率，清晰度高自动对焦，自动曝光使用MPEG-2进行压缩编码，然后记录在硬盘上具有录音功能数据量很大，采用USB接口或IEEE1394接口,5.4.2数字视频的压缩编码,数字视频的压缩编码,视频数据压缩的可能性：数字视频的数据量大得惊人，1分钟的数字电视图像未压缩时其数据量可超过1GB，对存储、传输和处理都有很大的困难视频数据压缩的可能性：视频信息的每个画面内部有很多信息冗余相邻画面的内容有高度的连贯性人眼的视觉灵敏度有限，允许画面有一定失真结论：数字视频的数据量可压缩几十倍甚至几百倍,目前流行的数字视频编码标准,Codec与文件格式,经过编码处理后的信息均以数据文件的形式进行存储和传输！视频数据通常总伴随有与之同步的音频数据（称为影音文件）影音数据文件的格式往往设计成一种“容器”（container）形式，即：文件中既有视频数据，也有音频数据，甚至还有文字(字幕)等其它信息视频、音频或文字信息所采用的编码标准可以有多种举例：微软公司的.AVI格式和.ASF格式文件（后者适合流媒体应用）苹果公司的.MOV格式文件RealNetwork公司的.RM格式和.RMVB格式文件（.RMVB格式是.RM的扩充，它采用MPEG-4AVC的算法，增加了可变码率编码的功能，性能优于DivX和Xvid）,影视文件与播放器,播放器(Plaper)实际上就是一种解码器，但通常既可以解码多种类型的信息（音频、视频、图片、），还能解码多种不同类型的文件格式。PC上使用的是软件播放器，一台计算机可以安装多个不同的播放器：微软公司的“MicrosoftMediaPlayer”，苹果公司的QuickTimePlayer和iTunes，Real公司的RealPlayer(简称RealOne播放器)“全能”播放器：StormPlayer（暴风影音）、TheKMPlayer、绚彩魅影、变色龙万能播放器（PPStream）、豪杰超级解霸，等等硬件播放器（便携式）：MP3播放器：以播放MP3格式的音频信息为主，也能收听广播、观看文本和图片，功能更强一些的还能播放视频信息MP4播放器：以播放视频为主，国外叫做PVP（个人视频播放器）或PMP（便携式媒体播放器），LCD屏幕较大，价格较高,附：什么是MP4？,MP4播放器是一种能够播放视频的便携式设备，也叫做PVP（个人视频播放器）或PMP（便携式媒体播放器）功能：看录像（电影）播放音乐浏览文本和图片甚至还可以上网技术特点：自带25英寸的LCD屏存储容量达几十GB,5.4.3数字视频的编辑,例：简单的视频编辑软件WindowsMovieMaker,由微软公司开发，在WindowsXP平台上运行功能：通过摄像机、数字摄像头或其他视频源将音频和视频捕获到计算机中打开已有的音频、视频或静止图片，对音频与视频内容进行编辑（包括添加片头、使用视频过渡或特技效果等）将制作的视频保存到硬盘中，或刻录在CD或DVD光盘上，供“媒体播放器”进行播放,5.4.4合成视频计算机动画,计算机动画的制作过程,计算机动画制作包括：在计算机中建立景物的模型、描述它们的运动、生成一系列逼真的图像三维计算机动画制作过程分以下几个阶段：（1）描述景物的形状与结构（建模）（2）确定景物的颜色和材质（纹理）（3）设置灯光和确定虚拟摄像机的位置（4）描述场景中物体的运动和摄像机的移动（5）绘制一系列的图像（6）输出动画结果,互联网动画：GIF和Flash,GIF动画(参见5.