多媒体技术概论

单击此处编辑母版标题样 式 单击此处编辑母版副标题样式 *1 第一章 多媒体技术概论 第一节 多媒体技术 一、多媒体 （一）媒体的分类 感觉媒体（Perception） 表示媒体（Presentation） 显示媒体(Display) 存储媒体（Storage） 传输媒体（Transmission） 2多媒体技术及其医学应用 （二）多媒体的定义 -“多媒体”一词译自英文“Multimedia”。 -通常所指的就是各种感觉媒体的组合，也就是声音、图 形、图像、文字、数据等。 -“多媒体”在计算机领域有几层含义：一是指存储信息 的实体，如磁盘、光盘、磁带、半导体存储器等；二 是指传递信息的载体，如数字、文字、声音、视频、 动画、图形和图像等；三是指处理多媒体的声卡、视 频卡、芯片等硬件设备。 3多媒体技术及其医学应用 二、多媒体技术及其特点 （一）多媒体技术 多媒体技术是指基于计算机科学的综合技术 ，包括音频和视频技术、信息处理技术、软 件技术、硬件技术、人工智能技术、通信技 术和网络技术等。 4多媒体技术及其医学应用 （二）多媒体技术的特点 集成性 交互性 非循序性 实时性 5多媒体技术及其医学应用 三、多媒体应用系统的媒体元素 (一)文本 指各种文字、符号和数字，包括各种字体、尺寸、格 式及色彩的文本。 常用的文本文件格式有：.DOC、.RTF、.TXT 。 (二)图形 指通过一系列指令来表示一幅图，也称矢量图，如： 点、线、面、直线、矩形、曲线、圆等。 常用的编辑软件有CorelDraw、Flash 。 6多媒体技术及其医学应用 四、多媒体涉及的几个概念 （一）超文本（hypertext）和超媒体（hypermedia） 超文本和超媒体 超文本和超媒体的组成 超媒体系统的结构模型 （二）SGML 规定了在文档中嵌入描述标记的标准格式，指定了 描述文档结构的标准方法。 SGML的主要特点 ：支持无数的文档结构类型 、创 建与特定的软硬件无关的文档。 9多媒体技术及其医学应用 （三）HTML 超文本标记语言（Hypertext Marked Language）的缩写， 一种用来制作超文本文档的简单标记语言。 （四）XML 可扩展标记语言（Extensible Markup Language)的缩写。 XML源于SGML，是一个用来定义其他语言的元语言。 XML继承了SGML的许多特性 ：可扩展性 、灵活性 、自描述 性 。 XML与HTML不同 ：HTML的设计目标是显示数据并集中于数 据外观，而XML的设计目标是描述数据并集中于数据的内容。 XML标记由架构或文档的作者定义，并且是无限制的。HTML 标记则是预定义的；HTML作者只能使用当前HTML标准所支 持的标记。 10多媒体技术及其医学应用 （五）VRML VRML是虚拟现实模型语言（Virtual Reality Modeling Language）的缩写，它是一种用于对三维虚拟场景进行建模 的描述性语言。 VRML是HTML的扩展，基本的概念相类似，区别在于HTML 文档是二维的，VRML则带来三维空间的立体世界。 11多媒体技术及其医学应用 第二节 多媒体计算机系统的组成 用户 多媒体应用软件 多媒体素材制作软件 多媒体创作软件 多媒体应用系 统 多媒体操作系统 多媒体驱动软件 多媒体硬件 12多媒体技术及其医学应用 一、多媒体计算机系统的软件 （一）多媒体应用系统 （二）多媒体创作软件 基于页的多媒体创作工具 基于图标的多媒体创作工具 基于时间的多媒体创作工具 基于高级程序设计语言的多媒体创作工具 13多媒体技术及其医学应用 （三）多媒体素材制作软件 文字编辑软件 图像处理软件 动画制作软件 音频处理软件 视频处理软件 （四）多媒体核心系统软件 指多媒体操作系统和多媒体设备的驱动程序 14多媒体技术及其医学应用 二、多媒体计算机系统的硬件 （一）按照多媒体处理流程看主要包括以下设备 主机 输入设备 扫描仪 数码相机/数码摄像机 存储设备 磁盘存储设备 光盘存储设备:CD光盘及驱动器 、DVD光盘及驱动器 输出设备 显示器 彩色喷墨打印机 触摸屏 15多媒体技术及其医学应用 （二）按照媒体类型，还涉及的多媒体关键设 备 音频卡 视频卡 显示控制适配器 16多媒体技术及其医学应用 第三节 多媒体技术的发展和应用 一、多媒体技术的发展 1984年，美国Apple公司推出Macintosh 计算机，开创了计算机进行图像处理的先 河 。 17多媒体技术及其医学应用 1985年，美国 Commodore公司将世 界上第一台多媒体计 算机系统Amiga展现在 世人面前。 18多媒体技术及其医学应用 1986年，荷兰Philips公司和日本SONY公司 联合推出了交互式紧凑光盘系统。 1989年，美国Intel公司和IBM公司联合将 DVI技术发展成为新一代多媒体开发平台 Action Media 750 。 1990年11月，由美国Microsoft公司联合 IBM、Intel、DELL、Philips等共14家厂商 召开了多媒体开发者会议，会议成立了“多 媒体计算机市场协会” 。 1992年，Microsoft公司推出了视窗操作系 统Windows3.1，这是计算机操作系统发展 的一个里程碑。 19多媒体技术及其医学应用 1995年，Microsoft推出了Windows 95操作 系统，操作界面变得更加友好、更加简便、 并全面支持多媒体功能。 1996年，Intel公司将多媒体扩展技术加入 到微处理芯片Pentium Pro中，多媒体逐渐 成为个人计算机的主流，将个人计算机带入 了多媒体时代。 1998年，在Windows 95的基础上推出了 Windows 98 操作系统，操作系统的性能更 加稳定。 2001年10月25日微软推出了Windows XP。 2006年11月30日Vista在中国发布，同期发 布的还有Office2007版。 20多媒体技术及其医学应用 二、多媒体技术的应用领域 （一）在教育 培训中的应用 教学模式的改 变 教学手段、方 法的变革 21多媒体技术及其医学应用 （二）在商业中的应用 多媒体技术特点的数字 家用电器 基于多媒体技术的演示 查询系统和信息管理系 统 ：如车票销售系统、 气象咨询系统、病历库 、新闻报刊音像库等 。 22多媒体技术及其医学应用 （三）在娱乐中的应用 交互式电影、电视 游戏 23多媒体技术及其医学应用 （四）在电子出版物 中的应用 指以数字代码方式将图 、文、声、像等信息存 储在磁、光、电介质上 ，通过计算机或类似设 备阅读使用。 24多媒体技术及其医学应用 （五）在军事领域中 的应用 模拟真实战争的作战场 景指挥现场 特点：重量轻、便于携 带 25多媒体技术及其医学应用 （六）在过程模拟领 域中的应用 模拟设备运行、火山 爆发、海洋洋流、天 气预报、化学反应、 生物进化等，使复杂 、难以用语言准确表 述的变化过程变得生 动具体 。 开窗料型变形部分道次的过程模拟 26多媒体技术及其医学应用 （七）在其它领域的应用 管理信息系统 多媒体测试系统 工程辅助设计 工农业生产、通信业、旅游业、航空航天 业、医学等 27多媒体技术及其医学应用 三、多媒体技术的医学应用 （一）图像处理技 术在医学中的应用 医学影像如CT、 MRI、PET 医学影像的特点： 是灰度分布图，由 人体组织特征参数 的不同而决定。 28多媒体技术及其医学应用 （二）动画技术在医 学中的应用 医学网络课程中包含 了大量的音频、动画、视 频等多媒体素材 ，Flash 生成的动画数据量小 ，具 有流媒体的特性，支持网 络发布。 29多媒体技术及其医学应用 （三）网络视频技术在医学教学中的应用 30多媒体技术及其医学应用 （四）现代多媒体综合技术在医学中的应用 远程医疗 多媒体技术可以在帮助远离服务中心的病人通过多 媒体通信设备、远距离多功能医学传感器和微型遥测接 受医生的询问和诊断，为抢救病人赢得宝贵的时间，并 充分发挥名医专家的作用，节省各种费用开支，这便是 多媒体远程医疗系统。 31多媒体技术及其医学应用 32多媒体技术及其医学应用 1959年开始，已经出现了远程医疗。 70和80年代，远程医疗技术主要集中在改进 电视画面来传送医学图像，但模拟通信方式 无法实现多媒体医疗信息的综合集成与有效 处理。 90年代后，数字化技术在医疗器械和通信技 术中广泛采用，特别是信号处理技术和通信 网络的发展，为多媒体远程医疗跃上一个新 台阶。 33多媒体技术及其医学应用 多媒体远程医疗系统的应用功能根据多媒体远程 医疗的设计目标不同，大致可以分为四类 ： 以检查诊断为目的的多媒体远程医疗诊断系统 以咨询会诊为目的的多媒体远程医疗会诊系统 以教学培训为目的的多媒体远程医疗教育系统 以家庭病床为目的的多媒体远程病床监护系统 34多媒体技术及其医学应用 第四节 多媒体的关键技术及其医学体现 一、数据压缩编码技术 （一）数据的压缩分为有损压缩和无损压缩 无损压缩是利用数据的统计冗余进行压缩，可完全 回复原始数据而不引起任何失真 。 经常使用的无损压缩方法有Shannon-Fano编码， Huffman编码，游程(Run-length)编码， LZW(Lempel-Ziv-Welch)编码、算术编码等。 35多媒体技术及其医学应用 有损压缩是利用了人类对图像或声波中的某些频率成 分不敏感的特性 ，允许压缩过程中损失一定的信息； 虽然不能完全回复原始数据，但是所损失的部分对理 解原始图像的影响小，而换来的是较大的压缩比。 常见的压缩方法有：PCM(脉冲编码调制)，预测编码， 变换编码等。如多媒体中音频格式mp3、wma、图像格 式jpg、视频格式rm、rmvb、wmv等都采用的是有损 压缩。 36多媒体技术及其医学应用 （二）数据压缩技术的国际标准 JPEG标准：适用于连续色调、多级灰度、彩色/单 色静止图像压缩。 MPEG-1用于传输码率约为1.5Mb/s用于数字存贮媒 体活动图像及其伴音的编码。 MPEG-2主要针对高清晰度电视所需要的视频及伴 音信号，传输速率为10Mb/s，与MPEG-1兼容，适 用于1.560Mb/s甚至更高的编码速率。 MPEG-4是基于对象（内容）的、可交互、可伸缩 质量的编码标准，适合各种应用（会话、交互、广 播等）。 MPEG-7是多媒体内容描述接口标准，它规定一个 用于描述各种不同类型多媒体信息的描述符的标准 集合。 MPEG-21是有关多媒体框架的协议。 37多媒体技术及其医学应用 （三）医学图像与数据压缩技术 静态图像压缩标准 应用较多的远程医疗系统采用的是JPEG2000压 缩。 与JPEG压缩相比具有更高的压缩比（比JPEG高 2040），并且支持感兴趣区压缩。 视频压缩标准 MPEG标准 ：MPEG-1，MPEG-2，MPEG-4，其 中MPEG-2用于高带宽（1.5MHz以上）的应用 H系列，如H.261、H.263，它们覆盖了低带宽（ 2Mbit/s以下）的应用。 后来二者联合起来定制了一个统一的图像编码压 缩标准H.264/MPEG-4AVC，用于改善图像质量 ，覆盖所有的带宽。 38多媒体技术及其医学应用 音频压缩标准 电话质量：G.711，G.721，G.723，G.728 调幅广播质量 ：G.722 高保真立体质量 ：MPEG音频 39多媒体技术及其医学应用 二、多媒体存储技术 （一）几种主要的存储技术 直接连接存储技术 ： 磁盘 40多媒体技术及其医学应用 磁带 磁带存储技术不利于高速存储，但由于其存储成 本低、容量扩展、灵活方便、介质小、易于保存仍 然在使用。但是新工艺的研发将使磁带存储密度提 高至少15倍，达到每平方英寸6.67Gb。 IBM最新磁带存储工艺(左)与现有磁带存储工艺(右)对比 41多媒体技术及其医学应用 光盘 光存储以其工作稳定、存储容量大、寿命长、介质 可换、便于携带、价格实惠等优点，成为计算机系 统普遍使用的设备。 聚碳酸脂衬垫 刻槽 铝反射层 保护层 42多媒体技术及其医学应用 移动存储技术 移动硬盘 ：移动硬盘采用了成熟的硬盘技术，使用 通用的支持热插拔的USB接口。目前移动硬盘的存 储容量可达上百G。 闪存卡 ：闪存卡是一种半导体存储器，用于存储数 据信息，可反复读写。 优盘 ：是通过整合闪存芯片、USB、I/O控制芯片 而成的产品，容量一般在1G以上，目前已经出现了 8G的优盘。 43多媒体技术及其医学应用 网络存储技术 NAS（network add-on storage，网络附加存储 ）：是直接连接到网络上通过网络传输的一种存 储器。 SAN（storage area network，存储区域网络） ：以块为存储单元，通过光纤传输数据的技术。 44多媒体技术及其医学应用 （二）医学数据的存储 医学数据存储的必要性：医学数字化图像不允许 使用有损压缩算法，所以占用存储空间非常大， 另外数字化图像的数量多、增量大。 PACS（Picture Archiving and Communication System，影像传输及存档系统）。 45多媒体技术及其医学应用 磁盘阵列 在线存储 利用磁盘作为存储介质的存储设备。 优点：运行速度快，支持并发访问多，这有利于 实时在线应用。 缺点：性能及安全性差，为了解决易损问题，人 们利用RAID技术来提高数据安全性能和大容量 存储的要求。 46多媒体技术及其医学应用 光盘库近线存储设备 光盘存储安全性高 光盘可以支持数据并发访问和随机读写 磁带存储离线存储 恢复备份的数据时需要倒带到数据区域 保存环境要求较高需要防潮 防尘以及防止电磁干扰 另外还需要定期倒带以免磁粉粘连 47多媒体技术及其医学应用 三、多媒体数据库技术 （一）多媒体数据库 多媒体数据分为结构化数据和非结构化数据 普通数据库管理系统 多媒体数据库管理系统的特点 48多媒体技术及其医学应用 （二）多媒体信息检索技术 基于内容的检索（Content-Based Retrieval）是一 种新的检索技术，是对多媒体对象的内容以及上下文语义 环境进行检索。 分类： 基于内容的图像检索 基于内容的视频检索 基于内容的音频检索 49多媒体技术及其医学应用 （三）医学多媒体数据库系统 远程医疗系统的数据库具有两个特点 第一，数据量巨大，存储量大、增量大等特点 第二，综合使用传统精确匹配查询与基于内容的 相似检索的检索方法 下一代远程医疗数据库系统 XML数据库是XML技术与数据库技术的结合， 在数据库中使用XML技术有利于帮助用户去整 合各种不同的数据源，比较灵活地去应用新的数 据库源、复杂的数据库源，这对数据库技术是一 个很大的提升，它迅速在医疗行业得到了应用。 50多媒体技术及其医学应用 四、虚拟现实技术 虚拟现实（Virtual Reality）是指利用计 算机生成的一种模拟环境(如飞机驾驶、分子 结构世界等)，通过多种传感设备使用户“投入” 到该环境中，实现用户与该环境直接进行自然 交互的技术。 51多媒体技术及其医学应用 （一）虚拟现实技术的特点 沉浸感（Immersion） 交互性(Interactivity) 思维构想（Imagination） 52多媒体技术及其医学应用 （二）虚拟现实系统的组成 虚拟环境 以高性能计算机为核心的虚拟环境处理器、以头盔显 示器为核心的视觉系统 以语音识别、声音合成与声音定位为核心的听觉系统 以方位跟踪器、数据手套和数据衣为主体的身体方位 姿态跟踪设备 味觉、嗅觉、触觉与力觉反馈系统等功