ch1多媒体技术.ppt

多媒体技术基础 第一章 多媒体技术概要 参考教材 多媒体技术基础 第2版 林福宗 清华大学出版社 2002多媒体技术教程 加 Ze NianLi MarkS Drew著 史元春译 机械工业出版社 2007多媒体原理 第一册 媒体编码及内容分析 美 RalfSteinmetz KlaraNahrstedt著 白金榜 全子一译 电子工业出版社 2003 考核方式 大作业考试 主要的研究机构 组织和会议 IEEEACMSPRINGERMITMediaLabMicrosoft TIP IEEETransactionsonImageProcessingCSVT IEEETransactionsonCircuitsandSystemforVideoTechnologyTMM IEEETransactionsonMultimediaIEEEMultimediaMagzineMMSJ MultimediaSystemJournalMTA MultimediaToolsandApplicationsPR PatternRecognitionPRL PatternRecognitionLettersIJPRAI InternationalJournalofPatternRecognitionandArtificialIntelligencePAA PatternAnalysisandApplicationTCSI IEEETransactionsonCircuitsandSystemsIICSII IEEETransactionsonCircuitsandSystemsIIIJCV InternationalJournalofComputerVisionMVA MachineVisionanditsApplicationsCVIU ComputerVisionandImageUnderstandingIVCJ ImageandVisionComputingJournalACMComputingSurveyProceedingsofTheIEEETSP IEEETransactionsonSignalProcessingEL ElectronicsLetters TheIETSPL IEEESignalProcessingLetters 内容提要 多媒体技术概要多媒体涉及的几个概念多媒体技术的研究与应用开发 多媒体技术概要 媒体是指承载信息的载体 多媒体的定义 多媒体技术 2010年 中国石油大学 北京 何谓多媒体呢 多媒体 一词译自英文 Multimedia 即 Multiple 和 Media 的合成其核心词是媒体媒体 medium 在计算机领域有两种含义 即媒质和媒介 多媒体技术 2010年 中国石油大学 北京 媒质 存储信息的实体 如磁盘 光盘 磁带 半导体存储器等 媒介 传递信息的载体 如数字 文字 声音 图形和图像等 多媒体技术 2010年 中国石油大学 北京 Multimedia incomputerscience thepresentationofinformationusingthecombinationoftext sound pictures animation andvideo Commonmultimediacomputerapplicationsincludegames learningsoftware andreferencematerials suchasthisencyclopedia Mostmultimediaapplicationsincludepredefinedassociations knownashyperlinks thatenableuserstoswitchbetweenmediaelementsandtopics MicrosoftEncartaEncyclopedia 多媒体技术概要 根据CCITT的定义 媒体有五种类型 感觉媒体 Perceptionmedia 可被人类觉察的信息 表示媒体 Representationmedia 信息的表示和表现形式显示媒体 DisplayMedia 系统为人们再现信息的物理装置 如输入 输出设施 键盘鼠标器 显示器 打印机等传输媒体 TransmissionMedia 传输信号的物理途径 如电话线 电缆光纤等 存储媒体 StorageMedia 存放计算机数据的不同物理途径 如磁带 磁盘 光盘等 1 1 1媒体与多媒体 表示媒体 声 语音 声响 音乐等 图 图像 图形等 像 动画 视频等 文 文字 符号 数值等其他 动作媒体 触觉媒体等 多媒体技术概要 根据与时间的关系可以将媒体划分为 静态媒体 信息的再现与时间无关 如文本 图形 图像等等连续媒体 具有隐含的时间关系 其播放速度将影响所含信息的再现 如声音 动画 视频等 连续媒体的引入给传统的计算机系统 通信系统和分布式应用系统提出了更高的要求 多媒体技术概要 多媒体 multimedia 是融合两种或者两种以上媒体的一种人 机交互式的信息交流和传播媒体 多媒体是信息交流和传播媒体多媒体是人 机交互式媒体多媒体信息都是以数字的形式而不是以模拟信号的形式存储和传输的传播信息的媒体的种类很多 如文字 声音 电视图像 图形 图像 动画等 多媒体处理过程 各种媒体 数字化 存储到计算机中 处理 再现给用户人类视觉 80 听觉 10 触觉 嗅觉 味觉 10 虚拟现实 多媒体技术 2010年 中国石油大学 北京 1 1 1媒体与多媒体 媒体分类视觉 1 1 1媒体与多媒体 媒体分类听觉触觉其他感觉 其它 嗅觉 味觉等 多媒体技术概要 多媒体和电视到底有什么不同 计算机是20世纪40年代的伟大发明 一直沿着数字信号处理技术的方向发展60年代文字进入计算机 70年代图像 声音进入计算机 80年代电视进入计算机 进入90年代个人计算机已经能够实时处理数据量很大的声音和影视图像信息 电视是20世纪20年代的伟大发明 电视技术一直沿着模拟信号处理技术的方向发展直到70年代才开始开发数字电视 电视和计算机才开始融合在一起 多媒体技术概要 多媒体和电视到底有什么不同 模拟电视的特性是线性播放 人与电视之间 人是被动者而电视是主动者 多媒体是由计算机参与的 计算机的一个重要特性是交互性 就是人们可以使用像键盘 鼠标器 触摸屏 声音 数据手套等设备 通过计算机程序去控制各种媒体的播放 人与计算机之间 人驾驶多媒体 人是主动者而多媒体是被动者 多媒体的特性 多样性 适应了信息载体的多样性信息载体的多样性是相对于计算机而言的 指的就是信息媒体的多样化 有人称之为信息多维化 多媒体的特性 交互性 易于人和计算机的交互 多媒体的特性 集成性 实现了信息处理的集成性多媒体信息媒体的集成处理这些媒体的设备与设施的集成 1 1 2 多媒体通信基础设施 国家信息化基础设施 NII全球信息化基础设施GII一个由覆盖全国 完整统一的 大容量 高速率的现代化通信网 信息高速公路 和连接在这条公路上的各类信息资源 信息终端以及必要的法律规范所构成的 能使任何人在任何地点 任何时间都可以方便获取和交流信息的现代社会基础结构 五个层次 NII 第一层 传输层以光缆为主体的高速宽带传输网 第二层 网络层在第一层基础上根据不同类型信息交换要求设置的各类交换机 路由器组成的通信网 第三层 信息层连接在通信网上的各类信息源 即提供各类声音 数据 图像等信息资源的各种公用或专用信息库 第四层 应用层通过各种有线或无线接入网存取网络信息库资源的各类信息终端 以及应用这些终端实现的各行各业的信息应用 第五层 管理层管各个层次的 有关通信和信息业的政策 法规以及人才教育的社会环境 多媒体技术概要 计算机 0 1 通信 大众传媒 文本 图象图形 声音 视频 MPC 邮政 电报 电话 数字网 ISDN 信息高速 报纸 广播 电影 电视 HDTV ITV 多媒体时代 多媒体中的媒体元素及特征 多媒体媒体元素是指多媒体应用中可显示给用户的媒体组成 多媒体技术 2010年 中国石油大学 北京 音频 动画 视频 文本 图形 图像 文本 文本分为非格式化文本文件和格式化文本文件 非格式化文本文件 只有文本信息没有其他任何有关格式信息的文件 又称为纯文本文件 如 TXT 文件 格式化文本文件 带有各种文本排版信息等格式信息的文本文件 如 DOC 文件 图形 图形 Graphic 一般指用计算机绘制的画面 如直线 圆 圆弧 矩形 任意曲线和图表等 图形的格式是一组描述点 线 面等几何图形的大小 形状及其位置 维数的指令集合 在图形文件中只记录生成图的算法和图上的某些特征点 因此也称矢量图 多媒体技术 2010年 中国石油大学 北京 图形的特征图形是对图象进行抽象的结果 人工或自动 图形的矢量化使得有可能对图中的各个部分分别进行控制 放大 缩小 旋转 变形 扭曲 移位等 图形的产生需要计算时间 图形 图像 图像 Image 是指由输入设备捕捉的实际场景画面 或以数字化形式存储的任意画面 静止的图像是一个矩阵 阵列中的各项数字用来描述构成图像的各个点 称为像素点pixel 的强度与颜色等信息 这种图像也称为位图 bit mappedpicture 图像图像的主要技术参数分辨率屏幕分辨率计算机显示器屏幕显示图像的最大显示区图像分辨率数字化图像的大小像素分辨率像素的宽高比 一般为1 1 图像 图像图像的主要技术参数图像深度每个图像的最大颜色数2位 黑白2色 4位 16色 8位 256色 24位 真彩色图像文件大小 高 宽 灰度位数 8字节 图像 颜色深度 图像深度 颜色深度指最多支持多少种颜色 用 位 来描述 GIF格式图片支持256种颜色 则需要256个不同的值 从0到255 来表示不同的颜色 用二进制表示就是从00000000到11111111 总共需要8位二进制数 所以颜色深度是8 BMP格式图片最多可以支持红 绿 蓝各256种强度 不同的红绿蓝组合可以构成2563种颜色 就需要3 8 24位的2进制数来表示 所以颜色深度是24 PNG格式图片除了支持24位的颜色外 还支持控制透明度用的alpha通道 总共是32位 颜色深度越大 图片占的空间越大 常见图像文件格式 常见图像文件格式BMP 不适合在网页中使用 JPG JPEGGIFTIFFPNG BMP格式文件 BMP是一种与硬件设备无关的图像文件格式 使用非常广泛 它采用位映射存储格式 除了颜色深度 图像深度 可选以外 不采用其他任何压缩 因此 BMP文件所占用的空间很大 BMP文件的颜色深度可选1bit 4bit 8bit 16bit及24bit BMP文件存储数据时 图像的扫描方式是按从左到右 从下到上的顺序 由于BMP文件格式是Windows环境中交换与图有关的数据的一种标准 因此在Windows环境中运行的图形图像软件都支持BMP图像格式 JPEG JPG格式文件 JPEG是JointPhotographicExpertsGroup 联合图像专家组 的缩写 文件后辍名为 jpg 或 jpeg 是最常用的图像文件格式 JPEG JPG图像支持24位图像深度 JPEG支持高比率的压缩 这种压缩是有损的 会使图片数据质量下降 适当比率的压缩可以在人眼可识别的质量差异范围内明显地减小图像文件的大小 JPEG压缩可以很好地处理写实摄影作品 JPEG不适用于所含颜色很少 具有大块颜色相近的区域或亮度差异十分明显的较简单的图片 中国人民大学 信息技术基础教研室 36 GIF格式文件 GIF GraphicsInterchangeFormatGIF格式图像基于LZW无损压缩算法 GIF的图像深度从lbit到8bit 最多支持256色 在一个GIF文件中可以保存多幅彩色图像 形成动画GIF GIF支持透明背景图像 TIFF格式文件 TIFF TaggedImageFileFormat 是一种比较灵活的图像格式 文件扩展名为TIF或TIFF TIFF支持8bit 24bit 32bit 48bit多种深度TIFF支持RGB CMYK以及YCbCr等多种色彩模式 支持多平台TIFF文件可以是不压缩的 文件体积较大 也可以是压缩的 支持RAW RLE LZW JPEG CCITT3组和4组等多种压缩方式 PNG格式文件 PNG PortableNetworkGraphicFormat 是20世纪90年代中期开始开发一种位图存储格式 其目的是替代GIF和TIFF文件格式 PNG格式支持以下特性 流式读 写性能 允许连续读出和写入图像数据 特别适合于在通信过程中生成和显示图像 逐次逼近显示 在传输图像文件的同时就显示图像 把整个轮廓显示出来之后逐步显示图像的细节 透明性 使图像中某些部分不显示出来 辅助信息 可用来在图像文件中存储一些文本注释信息 48位的真彩色图像 16位的灰度图像 并可添加 通道 使用循环冗余码 CRC 检测损害的文件 使用从LZ77派生的无损数据压缩算法 其他 图像图形与图象的关系图形是矢量概念 图元 图象是位图概念 象素 图形显示图元顺序 图象显示象素顺序 图形变换无失真 图象变换有失真 图形以图元为单位修改属性 编辑 图象只能对象素或图块处理 图形是对图象的抽象 但在屏幕上两者无异 图像 音频 数字音频 Audio 可分为波形声音语音和音乐 波形声音实际上已经包含了所有的声音形式 它可以将任何声音都进行采样量化 相应的文件格式是WAV文件或VOC文件 语音也是一种波形 所以和波形声音的文件格式相同 音乐是符号化了的声音 乐谱可转变为符号媒体形式 对应的文件格式是MID或CMF文件 音频数字声音波形质量的主要技术参数采样频率等于波形被等分的份数 份数越多 质量越好11 025KHZ 22 05KHZ 44 1KHZ采样精度每次采样信息量8位 16位通道数声音产生的波形数单声道 立体声道 5 1声道 数据量计算 采样频率 采样精度 通道数 时间 8字节 动画是活动的画面 实质是一幅幅静态图像的连续播放 动画的连续播放既指时间上的连续 也指图像内容上的连续 存储动画的文件格式有FLC MMM等计算机设计动画方法造型动画帧动画 动画 动画帧动画 动画帧动画 视频 视频是由一幅幅单独的画面序列 帧frame 组成 这些画面以一定的速率 fps 连续地投射在屏幕上 使观察者具有图像连续运动的感觉 视频文件的存储格式有AVI MPGMOV等 视频视频的概念视频源于电视技术 它由连续的画面组成 这些画面以一定的速率连续地投射在屏幕上 使观察者具有图像连续运动的感觉 视频 视频视频的制式PAL制 625 50 每秒25帧 水平扫描线为625条 水平分辨率240 400个像素 隔行扫描 62年诞生于德国 应用于中国 新加坡 欧洲地区等 Pal B D G H I N NC NTSC制 525 60 每秒30帧 水平扫描线为525条 水平分辨率240 400个像素 隔行扫描 53年诞生于美国 应用于美国 日本 台湾等 NTSC M NC Japan等 视频 视频视频的制式SECAM制 625 50 每秒25帧 水平扫描线为525条 水平分辨率625 由法国人提出 应用于俄罗斯 法国 非洲地区等 视频的数字化指在一段时间内以一定的速度对视频信号进行捕获并加以采样后形成数字化数据的处理过程 视频 视频视频的技术参数颜色空间R G B 红 绿 蓝 Y U V 为亮度 U V为色差 H S I 色调 饱和度 强度 可以通过坐标变换而相互转换帧速每秒钟显示的帧数目 计量单位为帧率 fps 视频根据制式的不同 30帧 秒 NTSC 25帧 秒 PAL 视频 视频视频的技术参数数据量帧速 每幅图像的数据量 不计压缩 图像质量与数据源质量有关 表示 好于 RGB视频 YUV视频 Y C视频 S视频 复合视频与视频数据压缩的倍数有关 注1 UV两个色差信号可合成为一个色度信号C 进而形成Y C记录方式 这种方式得到的视频称为S视频 注2 把亮度Y与色度C进一步混合在一起 便形成复合视频 视频 多媒体技术概要 计算机远程通信出版家用音像电子产品电视 电影 广播工业 多媒体技术概要 多媒体邮件多媒体宣传演示系统多媒体出版物 多媒体光盘多媒体会议系统 多媒体办公自动化 CSCW多媒体信息咨询系统 数字化图书馆交互式电视 ITV 视频点播系统远程医疗 远程教学系统多媒体训练系统 虚拟现实 多媒体涉及的几个概念 多媒体是一门综合技术 它涉及到许多概念 本节首先解释几个与多媒体密切相关的而且容易混淆的重要概念 通过对这些概念的介绍进一步加深对多媒体的认识 从整体上认识多媒体与超文本 超媒体 SGML HTML和VRML等语言之间的关系 多媒体涉及的几个概念 超文本的概念1965年TedNelson在计算机上处理文本文件时想了一种把文本中遇到的相关文本组织在一起的方法 称为超文本 hypertext 超文本是一种文本传统文本是以线性方式组织的 超文本是以非线性方式组织的 超文本中带有链接关系的文本通常用下划线和不同的颜色表示 超链接 hyperlink 是指文本中的词 短语 符号 图像 声音剪辑或影视剪辑之间的链接 或者与其他的文件 超文本文件之间的链接 也称为 热链接 hotlink 或者称为 超文本链接 hypertextlink 多媒体涉及的几个概念 多媒体涉及的几个概念 超媒体的概念超媒体不仅可以包含文字而且还可以包含图形 图像 动画 声音和电视片断 这些媒体之间也是用超级链接组织的 而且它们之间的链接也是错综复杂的 超媒体与超文本之间的不同之处 超文本主要是以文字的形式表示信息 建立的链接关系主要是文句之间的链接关系 超媒体除了使用文本外 还使用图形 图像 声音 动画或影视片断等多种媒体来表示信息 建立的链接关系是文本 图形 图像 声音 动画和影视片断等媒体之间的链接关系 多媒体技术 2010年 中国石油大学 北京 多媒体技术 2010年 中国石油大学 北京 多媒体涉及的几个概念 标准通用标记语言 SGML SGML是什么 标准通用标记语言 StandardGeneralizedMarkupLanguage SGML 是1986年出版发布的一个信息管理方面的国际标准 标准号是ISO8879 该标准定义独立于平台和应用的文本文档的格式 索引和链接信息 为用户提供一种类似于语法的机制 用来定义文档的结构和指示文档结构的标签 tag 其中 markup的含义是指插入到文档 document 中的标记 标记分成两种 一种称为程序标记 proceduralmarkup 另一种称为描述标记 descriptivemarkup 也称为普通标记 genericmarkup 多媒体涉及的几个概念 标准通用标记语言 SGML SGML的主要特点 SGML可支持无数的文档结构类型 例如布告 技术手册 章节目录 设计规范 各种报告 信函和备忘录等 SGML可以创建与特定的软硬件无关的文档 因此很容易与使用不同计算机系统的用户交换文档 多媒体涉及的几个概念 超文本标记语言 HTML 超文本标记语言 HyperTextMakeupLanguage HTML 是一种用来创作万维网页面的描述语言 HTML使用HTML标签来定义文档的格式 组成和链接关系 如字形 字体 表单 标题和统一资源地址 UniformResourceLocator URL 等 HTML是从SGML语言导出的语言 是SGML的一个子集 可以用一般常见的文字编辑器来编辑 或用其他专门的HTML文件编辑器来编辑 如Microsoft公司的Office97和FrontPage SausageSoftware公司的HotDogHTML编辑器等 多媒体涉及的几个概念 虚拟现实造型语言 VRML 虚拟现实造型语言 VirtualRealityModelingLanguage VRML 是一种用来描述万维网页面上三维交互环境的文件格式 它与HTML不同的是 以HTML为核心的万维网浏览器浏览的是二维世界 而以VRML为核心的万维网浏览器浏览的是三维世界 你可以使用鼠标器在这个世界里到处 逛一逛 而不是像在二维世界里 一页一页 地显示 VRML文件的浏览器目前有两种类型 一种是插入型 把VRML浏览软件插入到HTML万维网浏览器 另一种是单独的VRML浏览器 多媒体与网络 万维网 Web 是在因特网上运行的全球性分布式信息系统 Web是WWW WorldWideWeb 的简称 由于它支持文本 图像 声音 影视等数据类型 而且使用超文本 超链接技术把全球范围里的信息链接在一起 所以也称为超媒体环球信息系统 整个万维网计划是1989年由欧洲高能物理实验室 EuropeanLaboratoryforParticlePhysics 开始研究的 是应用超文本和超媒体技术的典范 多媒体与光盘存储 光盘 compactdisc CD 存储器在多媒体的发展史上起了相当重要的作用 在网络还不发达的国家里CD是发行多媒体节目的主要手段 近年来世界上正在开发存储容量比CD大得多的DVD光盘存储器 DVD原名为DigitalVideoDisc的缩写 意思是 数字影视光盘 这是为了与VCD VideoCD 相区别 多媒体的发展简史 起步 标准化 普及应用 多媒体计算机技术最早起源于20世纪80年代中期 1984年 Apple公司MacintoshGUI 鼠标1985年 Microsoft公司Windows1985年 Commodore公司世界上第一台多媒体计算机Amiga系统1986年 Philips SonyCD I CD ROM光盘的数据式 起步阶段 关于数字视频交互技术的研究1983年 RCADVI GE Intel1989年 IBM公司合作 Comdex Fall 89展示会 ActionMedia750 1991年 ActionMedia 最佳展示奖和最佳多媒体产品奖 起步阶段 1990年10月 在微软公司召开多媒体开发工作者会议上提出MPC1 0标准 1993年由IBM Intel等数十家软硬件公司组成的多媒体个人计算机市场协会 MPMC 发布了多媒体个人机的性能标准MPC2 0 1995年6月 MPMC又宣布了新的多媒体个人机技术规范MPC3 0 1996年以后 新的个人机均支持基本多媒体功能 标准化阶段 1995年 PresentandfutureUniversalcomputing 普及应用