多媒体技术3_4

教学内容安排,多媒体技术概论（2学时）多媒体计算机系统（3学时）多媒体计算机辅助设备（3学时）多媒体数据压缩技术（4学时）多媒体电子出版物（3学时）多媒体著作工具（3学时）集成性设计及实现（2学时）交互性设计及实现（2学时）实验：多媒体光盘作品制作（16学时）,多媒体技术3多媒体计算机辅助设备,3多媒体计算机辅助设备,3.1图像扫描仪3.2数字投影仪3.3数字视频展示平台3.4触摸屏3.5打印机3.6数码相机3.7数字摄像仪3.8手写输入设备,多媒体技术3多媒体计算机辅助设备,3.1图像扫描仪,图像扫描仪工作原理:图像扫描仪自身携带的光源将光线照在的图稿上产生反射光或透射光,光学系统收集这些光线将其聚焦到CCD上,由CCD将光信号转换为电信号,进行模/数转换,生成数字图像信号送给计算机.CCD:实现光/电转换的电耦合器件,多媒体技术3多媒体计算机辅助设备,3.1图像扫描仪,图像扫描仪产品种类:平板式扫描仪手持式扫描仪大幅面工程图纸扫描仪,多媒体技术3多媒体计算机辅助设备,3.1图像扫描仪,图像扫描仪性能指标:分辨率:dpi(dot-per-inch)或p/i(pixel-per-inch)色彩位数:指图像扫描仪对色彩的分辨能力,即扫描仪模/数转换的位数.扫描速度:扫描仪从预览开始到图像扫描完成后,光头移动的时间.其他指标:接口形式/幅面大小/操作环境,多媒体技术3多媒体计算机辅助设备,3.1图像扫描仪,图像扫描软件:集成OCR(OpticalCharacterRecognition)字符识别功能;集成图像处理功能;集成多种扫描分辨率和色彩分辨率定义;集成多种输出格式文件.OCR识别:通过扫描等光学输入方式将各种印刷品的文字转化为图像信息,再利用文字识别技术将图像信息转化为计算机的文本.OCR技术应用广泛.,多媒体技术3多媒体计算机辅助设备,3.2数字投影仪,CRT投影机将输入信号分解成R/G/B3个阴极射线管(CRT)投射到荧光屏上,经放大汇聚显示到大屏幕.亮度受限.液晶(LCD)投影机利用液晶的光电效应,使用光源照明LCD上的影像,再使用投影镜头投射影像.分单片式(单片彩色LCD)和三片式(3片单色LCD)两种.三片式透光率和色彩饱和度较好.,多媒体技术3多媒体计算机辅助设备,3.2数字投影仪,数码(DLP)投影机DLP(DigitalLightProcessor)数字光处理器投影机,采用数字微反射器(DigitalMicrormirrorDevice).DMD由很多微镜组成,微镜将光线反射到投影镜.DMD的每个微镜对应一个像素点.用途:用于便携式产品;大型拼接墙;超高亮度投影机,如数字影院.特点:可随意变焦,分辨率高,亮度高.,多媒体技术3多媒体计算机辅助设备,3.3数字视频展示平台,工作原理应用范围:展示实物,视频会议,教育教学,多媒体技术3多媒体计算机辅助设备,3.4触摸屏,触摸是人类最重要的感知方式,也是人机交互最自然的方式.触摸屏的基本特征:复合薄膜:透明度,色彩失真度,反光性,清晰度;绝对坐标系统;检测触摸定位.,多媒体技术3多媒体计算机辅助设备,3.4触摸屏,触摸屏类型与原理红外式:检测光线的遮挡和离开电容式:利用人体电场的作用,手指与导体间形成耦合电容.电阻式:采用2层隔离的导电涂层,由触摸而接触形成电压.表面声波式:利用表面声波(SurfaceAcousticWave,SAW,沿介质(例如玻璃)表面传波的机械能量波),多媒体技术3多媒体计算机辅助设备,3.5打印机,打印机类型及应用:黑白激光打印机彩色激光打印机:青,品,黄,黑彩色喷墨打印机:青,红紫,黄,黑(CMYK);青,红紫,黄,黑,浅蓝绿,浅红紫.热转换打印:照片打印,多媒体技术3多媒体计算机辅助设备,3.6数码相机,数码相机:DigitalCamera,DC组成:镜头,感光原件(CCD),A/D转换器,MPU(微处理器),内置存储器,LCD,PC卡(移动存储器)和接口原理:外部镜像通过镜头将光线汇聚到CCD,CCD排列成取景器相对应的矩阵,CCD每个元件的电荷量取决于其所受到的光照强度.ADC完成电信号的模数转换,MPU对数字信号进行压缩和格式转化.,多媒体技术3多媒体计算机辅助设备,3.6数码相机,CCD的三层结构,多媒体技术3多媒体计算机辅助设备,3.7数码摄相机,DigitalVideo,DVCCD:电耦合器件CMOS:互补金属氧化物半导体,每个像素点由单独的放大器转换输出信号,可满足高清需求.,多媒体技术3多媒体计算机辅助设备,3.8手写输入设备,手写输入的组成:手写版和手写笔手写识别的过程:数据采集,预处理,归一化,特征提取,特征匹配,输出文字手写识别软件:连笔识别,自学习功能,联想字识别手写识别与OCR的异同:矢量图-点阵图;不规范-规范,4数据压缩技术,4.1MPEG标准简述4.2MPEG的编码与实现过程4.3基于对象的编码技术MPEG44.4基于内容的编码技术MPEG7,多媒体技术4多媒体压缩技术,4.1MPEG标准简述,视频数据统计学压缩原理:视频数字化过程在时间和空间上采用规则的采样过程.空间上的冗余:规则的像素阵列,其密集程度适于表征每点最高的空间频率;时间上的冗余:帧频能够表征场景中最快的运动.,多媒体技术4多媒体压缩技术,4.1MPEG标准简述,理想的视频压缩系统能够动态适应视频在时间和空间上的变化,数据量远低于数字化采样所产生的原始数据.视频数据心理视觉压缩原理:人类视觉在对比度带宽,空间带宽,时间带宽方面存在极限.整体的视觉系统存在上限.没有必要表征不能被感知的信息.,多媒体技术4多媒体压缩技术,4.1MPEG标准简述,视频编码标准:MPEG-1,1992年,针对SIF(Sourceinputformat)标准分辨率(NTSC制式的352X240,PAL制式的352X288)的图像进行压缩,传输速率为1.5Mbit/sec,每秒播放30帧,具有CD音质.MPGE-1可达到空间压缩1/38,时间压缩1/5MPEG-1格式的文件名通常有:mpg,mlvmpe,mpeg,dat固定传输速率,硬盘消耗.,多媒体技术4多媒体压缩技术,4.1MPEG标准简述,视频编码标准:MPEG-2,1994年,针对高级工业标准,高质量图像和传输率.传输速率为310Mbit/sec,NTSC制式的分辨率可达720X486,具有广播级视像和CD音质,提供范围改变的压缩比.对每秒30帧720X576分辨率图像压缩后数据率为6MbpsMPEG-2格式的文件名通常有:mpg,mpe,mpeg,m2v,vobDVD,数字视频,HDTV.,多媒体技术4多媒体压缩技术,4.1MPEG标准简述,视频编码标准:MPEG-41998年,为了播放流式媒体的高质量视频而专门设计的，它可利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求使用最少的数据获得最佳的图像质量。能够保存接近于DVD画质的小体积视频文件。可伸缩性、交互性甚至版权保护等一些特殊功能。这种视频格式的文件扩展名包括asf,mov和DivXAVI,多媒体技术4多媒体压缩技术,4.1MPEG标准简述,视频编码标准:国际标准化组织（ISO）在制定MPEG-1、MPEG-2及MPEG-4的标准基础上，推出了新的标准MPEG-7，该标准的正式名称为“多媒体内容描述接口”（MultimediaContentDescriptionInterface）,其目标就是产生一种描述多媒体内容数据的标准，满足实时、非实时以及推-拉应用的需求,将对各种不同类型的多媒体信息进行标准化描述，并将该描述与所描述的内容相联系，以实现快速有效的搜索。,多媒体技术4多媒体压缩技术,4.2MPEG的编码与实现过程,MPEG的组成,多媒体技术4多媒体压缩技术,4.2MPEG的编码与实现过程,MPEG的编码的基本思想,帧间运动预测与补偿编码技术将原始图像与帧存储器中的预测图像进行比较,计算运动矢量,由运动矢量与参考帧生成原始图像的预测图像.对原始图像与预测图像差值所生成的差分图像数据进行离散余弦变换,再经量化编码形成数据流.,多媒体技术4多媒体压缩技术,4.2MPEG的编码与实现过程,MPEG的流结构,MPEG流MPEGstream:包含音频流和视频流,视频流是有图像组构成的图像序列.图像组:视频随机存取单位.图像:独立的显示单位,基本编码单位.宏块:运动补偿的基本单位.16x16像素块:DCT运算的单位.8x8像素,多媒体技术4多媒体压缩技术,MPEG的帧序列,4.2MPEG的编码与实现过程,I:IntraPicture,帧内图P:PredictedPicture,前向预测图B:BidirectionalPrediction,双向预测图,多媒体技术4多媒体压缩技术,对象编码,4.3MPEG-4,传统的视频压缩技术都是以一帧画面作为压缩单位,而MPEG-4则将画面再切割成更小的单位,以对象为压缩的单元,视频序列分割为数个对象为单位的视频序列.如某新闻节目视频中包含:静止图像(背景),视频对象(主持人),音频对象(主持人声音),多媒体技术4多媒体压缩技术,AV对象,4.3MPEG-4,AudioVisualObject,AVO采用AV对象表示听觉,视觉或者视听组合允许组合已有的AV对象生成复合的AV对象允许AV对象的数据多路合成与同步允许接收端用户在AV场景中对AV对象进行交互操作支持AV对象知识产权与保护,多媒体技术4多媒体压缩技术,AV场景BIFS,4.3MPEG-4,AV场景描述以二进制格式BIFS-BinaryFormatforSceneDescription表示,BIFS与AVO一起传输编码,用于描述各个AVO在一个具体AV场景下如何组织与同步,以及AVO与AV场景的知识产权.,多媒体技术4多媒体压缩技术,视频对象平面VOP,4.3MPEG-4,VOP-VideoObjectPlane图像序列中每一帧由不同的视频对象平面组成,同一对象连续的VOP称为视频对象VO(VideoObject).VOP是视频对象在某一时刻的采样.对输入的视频序列分割为n个VO,对同一VO编码后形成VOP数据流.,多媒体技术4多媒体压缩技术,MPEG-7概述,4.3MPEG-7,“多媒体内容接口”,2001年9月.对影音内容的描述和定义,以有弹性,具延伸性多层次及明确的数据结构和语法来定义影音数据的内容,经由MPEG-7定义格式,使用者可以有效率地搜寻,过滤和定义想要的影音数据.,多媒体技术4多媒体压缩技术,MPEG-7构成要素,4.3MPEG-7,描述工具，包括一组描述符D(Descriptor)和描述方案DS(DescriptionSchemes)。描述符是指用来定义和表达实体某一方面特征的句法或语法。表达实体是由特征标识符（如颜色）和数据类型(如字符串)等构成的。数据类型可以是“复合”的，既可以由几个数据类型的组合来构成，也可以由数个D来“描述”一个特征。描述方案是由一个或多个D和DS构成，DS规定了它们相互关系的结构和语法。,多媒体技术4多媒体压缩技术,MPEG-7构成要素,4.3MPEG-7,描述定义语言DDL（DescriptionDefinition