多媒体技术基础教程.ppt

1 2多媒体技术的应用与发展 1 1多媒体的基本概念 1 1 2多媒体技术及其关键特性 1 1 1多媒体的定义 1 1 3多媒体中的媒体元素及特征 1 2 2多媒体技术的发展方向 1 2 1多媒体技术的应用 第一章多媒体技术基础 1 3多媒体的关键技术 1 4多媒体计算机系统组成 媒体在计算机领域有两种含义媒质 存储信息的实体 如磁盘 光盘 磁带 半导体存储器等 媒介 传递信息的载体 如数字 文字 声音 图形和图像等 1 1多媒体的基本概念 1 1 1多媒体的定义 多媒体技术中的媒体是指后者 多媒体是融合两种或两种以上媒体的一种人机交互式信息交流和传播媒体 通常概念的 媒体 可分为以下五种类型 计算机中的各类型媒体 多媒体技术的定义 1 1 2多媒体技术及其特性 多媒体技术是利用计算机通过文字 图像 图形 动画 音频 视频等多种信息形式的交互混合 以数字化的方式集成在一起 从而使计算机具有表现 处理 存储多媒体信息的综合能力和交互能力 基本条件 以计算机技术为核心 具有人机交互的特点 多媒体技术所处理的多种媒体是逻辑关联的复合数据多 多媒体计算机技术的三个主要特性 多媒体媒体元素是指多媒体应用中可显示给用户的媒体组成 音频 动画 视频 文本 图形 图像 特征 1 1 3多媒体中的媒体元素及特征 数字媒体技术的内容 1 1 3多媒体中的媒体元素及特征 特性 多媒体数据的特性 数据量大数据长度不定多数据流数据流的连续记录和检索 图形 图形 Graphic 一般指用计算机绘制的画面 如直线 圆 圆弧 矩形 任意曲线和图表等 图形的格式是一组描述点 线 面等几何图形的大小 形状及其位置 维数的指令集合 在图形文件中只记录生成图的算法和图上的某些特征点 因此也称矢量图 图形占用的存储空间很小 显示时需经过重新计算 因而显示速度相对慢些 微机上常用的矢量图形文件有 3DS 用于3D造型 DXF 用于CAD WMF 用于桌面出版 等等 图像 图像 Image 是指由输入设备捕捉的实际场景画面 或以数字化形式存储的任意画面 静止的图像是一个矩阵 阵列中的各项数字用来描述构成图像的各个点 称为像素点pixel 的强度与颜色等信息 这种图像也称为位图 bit mappedpicture 音频 数字音频 Audio 可分为波形声音 语音和音乐 波形声音实际上已经包含了所有的声音形式 它可以将任何声音都进行采样量化 相应的文件格式是WAV文件或VOC文件 语音也是一种波形 所以和波形声音的文件格式相同 音乐是符号化了的声音 乐谱可转变为符号媒体形式 对应的文件格式是MID或CMF文件 音频采集 语音编码 音乐合成 文语转换 语音识别 应用领域 动画是活动的画面 实质是一幅幅静态图像的连续播放 动画的连续播放既指时间上的连续 也指图像内容上的连续 计算机设计动画有两种 一种是帧动画 一种是造型动画 动画 广告业和影视业 如用于电影特技 获得空前成功 网页制作 游戏 贺卡 音乐MTV 教育课件等 应用领域 帧动画是由一幅幅位图组成的连续的画面 就如电影胶片或视频画面一样要分别设计每屏幕显示的画面 造型动画是对每一个运动的物体分别进行设计 赋予每个动元一些特征 然后用这些动元构成完整的帧画面 动元的表演和行为是由制作表组成的脚本来控制 视频 视频是由一幅幅单独的画面序列 帧frame 组成 这些画面以一定的速率 fps 连续地投射在屏幕上 使观察者具有图像连续运动的感觉 视频文件的存储格式有AVI MPG DAT MOV等 广播电视 CATV ITV HDTV DVB等 通信 可视电话 视频会议 VOD 视频数据库 个人娱乐 录象摄像 VCD DVD 电视购物 视频游戏等 应用领域 视频标准主要有NTSC制和PAL制两种 NTSC标准为30fps 每帧525行 PAL标准为25fps 每帧625行 视频的技术参数有 帧速 帧 秒数据量 字节图像质量 原始图像质量与压缩比 就目前而言 多媒体技术已在商业 教育培训 娱乐 信息咨询 电子商务 电子出版 演示等方面得到了充分应用 在教育与培训方面的应用 在通信方面的应用 在其他方面的应用 1 2多媒体技术的应用与发展 多媒体与因特网 1 2 1多媒体技术的应用 多媒体通信网络环境的研究和建立将使多媒体从单机单点向分布 协同多媒体环境发展 在世界范围内建立一个可全球自由交互的通信网 1 2 2多媒体技术的发展方向 目前 多媒体主要在以下几个方向发展 网络视频点播VOD交互式网络电视IPTV视频会议 利用图像理解 语音识别 全文检索等技术 研究多媒体基于内容的处理 开发能进行基于内容的处理系统是多媒体信息管理的重要方向 基于图像简单描述的检索 比如 颜色特征提取 Retrieveimageswhichcontain25 red 50 blue 25 yellow 特征组合检索 比如 颜色 纹理 形状 运动 对象 音调 平面空间对应关系 外形 或者其他统计特征等 retrievevideowithhighmotiontowardright 75 andlowpitchmusic 25 多媒体标准仍是研究的重点 各类标准的研究将有利于产品规范化 应用更方便 它是实现多媒体信息交换和大规模产业化的关键所在 多媒体技术与相邻技术相结合 提供了完善的人机交互环境 多媒体仿真智能多媒体等新技术层出不穷 扩大了原有技术领域的内涵 并创造新的概念 多媒体技术与外围技术构造的虚拟现实研究仍在继续进展 多媒体虚拟现实与可视化技术需要相互补充 并与语音 图像识别 智能接口等技术相结合 建立高层次虚拟现实系统 将来多媒体技术将向着以下六个方向发展 1 高分辨化 提高显示质量 2 高速度化 缩短处理时间 3 简单化 便于操作 4 高维化 三维 四维或更高维 5 智能化 提高信息识别能力 6 标准化 便于信息交换和资源共享 多媒体技术发展趋势 数据爆炸的多媒体时代Internet的迅速壮大数据规模激增多媒体数据比重增大个人电脑的多媒体数据现有的多媒体数据组织松散信息表达越来越依靠多媒体数据直观 准确 丰富 全面多媒体数据获取越来越方便 1 3 8多媒体数据库技术 1 3 9智能多媒体技术 1 3 10多媒体检索技术 3多媒体的关键技术 1 3 1视频音频数据压缩 解压缩技术 研制MPC需要解决的关键问题之一是要使计算机能适时地综合处理声 文图信息 选用合适的数据压缩技术 有可能将字符数据量压缩到原来的1 2左右 语音数据量压缩到原来的1 2 1 10 图像数据量压缩到原来的1 2 1 60 一页印在B5 约180mm 255mm 纸上的文件 若以中等分辨率 300dpi 的扫描仪进行采样 其数据量约6 1Mb 一片650MB的CD ROM 可存848页 1inch 25 4mm图像像素点个数 300 180 25 4 300 255 25 4 每个像素点量化位为1bit黑白图像文件大小 6403063 1 1024 1024 6 1Mb真彩色图像文件大小 6403063 24 1024 1024 147Mb 多媒体数据的信息量举例1 双通道立体声激光唱盘 CD A 采样频率为44 1KHz 采样精度 量化 16位 样本 其一秒钟时间内的采样位数为1 35Mb s 一个650MB的CD ROM 可存约1小时的音乐 文件每秒存储量 字节 秒 采样频率 Hz 采样精度 位 声道数 844 1 103 16 2 8 176400B s 1 35Mb s一个650MB的CD ROM 可存音乐 650 8 1 35 60 60 1 07H 多媒体数据的信息量举例2 数字化后的信息 尤其是数字化后的视频和音频信号具有数据的海量性 它给信息的存储和传输造成较大的困难 成为阻碍人类有效地获取和使用信息的瓶颈问题之一 因此研究和开发新型有效的多媒体数据压缩编码方法 以压缩的形式存储和传输这些数据将是最好的选择 多媒体数据压缩的必要性 信息量与数据量的关系 I D duI 信息量D 数据量du 冗余量数据冗余是指信息所具有的各种性质中多余的无用空间 其多余的程度叫做 冗余度 举例 语音数据中文广播员一分钟读180个汉字 一个汉字存储两个字节 共需360个字节 采样频率为8kHz 人类语言带宽为4kHz 采样1分钟 其数据量为 8K s 60s 480KB 分一分钟的数据冗余为480KB 360B 1000 倍 的冗余 多媒体数据压缩的可能性 空间冗余 规则物体的表面具有物理相关性 将其表面数字化后表现为数据冗余 例如 图像中的规则物体 其亮度 饱和度及颜色相同的区域 图像数据的冗余性 时间冗余 视频信号和动画一般为位于一时间轴区间的一组连续画面 其中的相邻帧往往包含相同的背景和移动物体 只不过移动物体所在的空间位置略有不同 所以后一帧的数据与前一帧的数据有许多共同的地方 这种共同性是由于相邻帧记录了相邻时刻的同一场景画面 结构冗余 有些图像的纹理区 图像的像素值存在着明显的分布模式 例如 方格状的地板图案等 我们称此为结构冗余 已知分布模式 可以通过某一过程生成图像 规则有序排列的图形 知识冗余 有些图像的理解与某些基础知识有相当大的相关性 例如 人脸的图像有固定的结构 比如说嘴的上方有鼻子 鼻子的上方有眼睛 鼻子位于正脸图像的中线上 等等 这类规律性的结构可由先验知识和背景知识得到 我们称此类冗余为知识冗余 根据已有的知识 对某些图像中所包含的物体 我们可以构造其基本模型 并创建对应各种特征的图像库 进而图像的存储只需要保存一些特征参数 从而可以大大减少数据量 知识冗余是模型编码主要利用的特性 视觉冗余 人类视觉系统对于图像场的任何变化 并不是都能感知的 人类视觉系统对亮度变化敏感 而对色度的变化相对不敏感 在高亮度区 人眼对亮度变化敏感度下降对物体边缘敏感 内部区域相对不敏感 对整体结构敏感 而对内部细节相对不敏感 根据统计分析结果 语音信号存在着多种冗余度 其最主要部分可以分别从时域和频域来考虑 另外由于语音主要是给人听的 所以考虑了人的听觉机理 也能对语音信号实行压缩 人的听觉感知机理 掩蔽效应 强盖弱低频较高频敏感 同样声强时 实际感觉随频率而变对相位变化不敏感 音频数据的冗余性 总之 多数情况可以预测 可以计算 可以适应 有规可循 1 3 2多媒体专用芯片技术 专用芯片是多媒体计算机硬件体系结构的关键 为了实现音频 视频信号的快速压缩 解压缩和播放处理 需要大量的快速计算 只有采用专用芯片 才能取得满意的效果 多媒体计算机专用芯片可归纳为两种类型 一种是固定功能的芯片 另一种是可编程的数字信号处理器 DSP 芯片 1 3 3大容量信息存储技术 利用数据压缩技术 在一张CD ROM光盘上能够存取70多分钟全运动的视频图像或者十几个小时的语言信息或数千幅静止图像 硬磁盘目前存储已达上百个GB 磁盘阵列则可达到上千个GB或更多 1 3 4多媒体输入与输出技术 多媒体软件技术主要包括以下六个方面的内容 多媒体操作系统 多媒体素材采集与制作技术 多媒体编辑与创作工具 多媒体数据库技术 超文本 超媒体技术 多媒体应用开发技术 1 3 5多媒体软件技术 多媒体操作系统 多媒体素材采集与制作技术 素材的采集与制作主要包括采集并编辑多种媒体数据 如声音信号的录制编辑和播放 图像扫描及预处理 全动态视频采集及编辑 动画生成编辑 音 视频信号的混合和同步等 多媒体编辑与创作工具 多媒体数据库技术 超文本 超媒体技术 超媒体 超文本 多媒体 超文本 一种按信息之间关系非线性地存储 组织 管理和浏览信息的计算机技术 多媒体应用开发技术 多媒体应用的开发会使一些采用不同问题解决方法的人集中到一起 包括计算机开发人员 音乐创作人员 图像艺术家等 他们的工作方法以及思考问题的方法都将是完全不同的 对于项目管理者来说 研究和推出一个多媒体应用开发方法学将是极为重要的 1 3 6多媒体通信技术 1 3 7虚拟现实技术 虚拟现实的定义可归纳为 利用计算机技术生成的一个逼真的视觉 听觉触觉及嗅觉等的感觉世界 用户可以用人的自然技能对这个生成的虚拟实体进行交互考察 虚拟现实技术是在众多相关技术上发展起来的一个高度集成的技术 是计算机软硬件技术 传感技术 机器人技术 人工智能及心理学等飞速发展的结晶 1 4多媒体计算机系统 多媒体计算机系统由硬件系统和软件系统组成 一 多媒体硬件系统 二 多媒体驱动软件 三 多媒体操作系统 四 多媒体数据处理软件 五 多媒体创作软件 六 多媒体应用系统 一多媒体硬件系统 1 多媒体硬件系统的组成 2 多媒体个人计算机 1 多媒体硬件系统的组成 多媒体硬件系统是由计算机传统硬件设备 光盘存储器 CD ROM 音频输入 输出和处理设备 视频输入 输出和处理设备等选择性组合而成 其基本框图如下图所示 素材文件数字化 以图形图像创作 获取为例 声卡 声卡是多媒体计算机必备的部件之一 用来处理各种类型数字化声音信息 1 声卡的结构与功能 2 声卡的性能指标 声卡一般由Wave合成器 MIDI合成器 混合器 MIDI电路接口 CD ROM接口 DSP数字信号处理器等组成 了解了声卡的组成及工作原理后 可总结出声卡有以下主要功能 1 录制与播放波形音频文件 2 编辑与合成波形音频文件 3 MIDI音乐录制和合成 4 文语转换和语音识别 LINEIN LINEOUT SPKOUT MIDI 录音机 CD唱机等线性输入 话筒 扬声器 线性输出立体声放大器 MICIN 2 声卡的性能指标 1 音频技术指标声卡的录放音效果应该具有CD音质 四级声音质量 电话质量 AM质量 FM质量 CD DA质量 指录音采样速度达到44 1KHZ 16位量化记录声音 2 MIDI音频3 声道数4 多音频流输出5 I O设备接口6 系统参数的可调性 I O地址 DMA IRQ 7 声卡软件8 总线结构 ISAPCI 视频采集卡 视频采集卡又称视频捕获卡 是对模拟视频图像进行捕捉并转化为数字信号的工具 1 视频采集卡的功能 2 视频采集卡的工作原理 4 其他功能视频卡 3 视频采集卡的性能指标 1 视频采集卡的功能 从多种视频源中选择一种作为视频输入 支持不同的电视制式 能同时处理图像信号的伴音 可在显示器上监看输入的视频信号 其位置及大小可调 能将计算机生成的图像 图形 文本与视频图像迭加处理 可随