第6章 多媒体技术与应用

第6章多媒体技术与应用,目录,6.1多媒体的概念及特点,多媒体技术不是各种信息媒体的简单复合，它是一种把文本（Text）、图形（Graphics）、图像（Images）、动画（Animation）和声音（Sound）等形式的信息融合，并通过计算机进行综合处理和控制，能支持完成一系列人-机交互的信息技术。,6.1多媒体的概念及特点,6.1.2多媒体技术的特点,6.1多媒体的概念及特点,6.1.3多媒体技术信息的类型,动画,视频,6.1多媒体的概念及特点,4,音频压缩编码的国际标准MPEG-II标准是在MPEG-I标准的基础上发展起来的，在功能和压缩效率上进行了显著的改进。MPEG-II的音频与MPEG-I兼容，它们都使用相同种类的编码译码器。,6.1.4多媒体数据压缩技术,6.2数字音频处理技术,数字音频是描述声音强弱的数据序列，由模拟声音经过抽样、量化和编码后得到。数字音频信号的处理主要表现在数据采样和编辑加工两个方面。首先数据采用的作用是把自然声转换成计算机能够处理的数据音频信号；其次是对数字音频信号的编辑加工则是在编辑、合成、静音、增加混响和调整频率等方面。,图6.2原声音波形（a）和数字化后的声音波形（b）（c）,6.2数字音频处理技术,基本概念,6.2数字音频处理技术,6.3数字图像处理,位图又称为栅格图、图像图等，是像素描述的图。位图的基本组成单元是像素，由像素的颜色变化形成了图像的内容。在日常生活中常见到的图都属于位图，例如照片、报刊杂志上的图片，电影电视呈现的画面等。,6.3数字图像处理,基本概念,6.3数字图像处理,6.4视频处理技术,视频是以足够快的速率放映的一组静态的帧，从而可以欺骗肉眼使之以为看到的是连续的动作。数字视频用二进制位存储每个视频帧的颜色和亮度。数字视频的连续镜头都可以由数字来源的摄像机或者手机提供或者模拟来源提供，如果是模拟视频就需要进过转换。,6.4视频处理技术,基本概念,6.4视频处理技术,6.5动画技术,当物体移动快于一个特定的速率时，在短时间间隔中虽然没有新图像出现，但人的大脑里仍然保留了上一个图像的幻觉，如果第二幅图像能够在一个极小是时间大约是50ms内出现，那么大脑将把上幅图像的幻觉与当前这幅图像结合起来。当图像序列一个接一个，并以一个极小时间间隔连续出现时，最终效果便是一个连续运动的图像，即动画。,6.5动画技术,二维动画是计算机动画中的一种简单形式，即使不使用专门的动画软件，利用计算机高级语言也能产生很多丰富的动画效果。现在的电脑制作的二维动画是对手工传统动画的一种改进。传统的二维动画是有水彩颜料画到赛璐璐片上，然后由摄影机逐张拍摄并记录使画面连贯起来，现代的的二维动画是将手工制作的原动画逐帧输入计算机，由计算机帮助完成绘制上色的工作，并计算机控制完成记录工作。,6.5动画技术,图6-10小禾苗生长形状动画图6-11小鸟飞行引导动画,图6-9形状变形提示,6.6虚拟现实技术,虚拟现实是人们通过计算机对复杂数据进行可视化操作与交互的一种全新方式，与传统的人机界面以及流行的视窗操作相比，虚拟现实在思想上和技术上有了质的飞跃。虚拟现实中的“现实”是泛指在物理意义上或功能意义上存在于世界上的任何事物或者环境，它可以是实际上可实现的，也可以是现实根本无法实现的。而“虚拟”是指用计算机生成的意思。,6.6虚拟现实技术,沉浸感,交互性,构想性,虚拟现实的特征与分类,6.6虚拟现实技术,虚拟现实的关键技术,虚拟环境的建立是虚拟现实技术的核心内容。动态环境建模技术的目的是获取实际环境的三维数据，并根据应用的需要，利用获取的三维数据建立相应的虚拟环境模型。三维数据的获取可以采用CAD技术（有规则的环境），而更多的环境则需要采用非接触式的视觉建模技术，两者的有机结合可以有效地提高数据获取的效率。,虚拟现实的交互能力依赖于立体位置跟踪和传感器技术的发展。立体位置方位跟踪与视觉、嗅觉、听觉等传感及时别技术要靠输入和输出设备来实现。虚拟现实的输入、输出技术要求计算机能够理解操作者的各种动作和发出的信息，这些时别问题大部分是不确定的问题，不确定的问题需要结束人工智能和专家知识。,虚拟环境的建立时虚拟现实技术的核心内容。虚拟环境建模技术主要包括三维视觉建模和三维听觉建模。三维图形的生成技术已经比较成熟了，关键是如何实现“实时”生成。为了能够达到实时的目的，至少要保证图形的刷新率最好是高于30帧/秒。在不降低图形的质量和复杂度的前提下，如何提高刷新频率将是该技术的研究内容。,虚拟现实应用的关键是寻找合适的场合和对象，它使得参与者可以在仿真中操纵其环境。为了提高产品开发质量，必须研究虚拟现实的开发工具。例如，虚拟现实系统开发平台、分布式虚拟现实技术等。面向对象的编程对虚拟现实系统的开发起了举足轻重的作用。,由于虚拟现实中包括大量的感知信息和模型，如何将这些感知信息进行系统的集成与整合，是虚拟现实研究的一个至关重要的内容。集成技术包括信息的同步技术、模型的标定技术、数据转换技术、数据管理模型、识别和合成技术等等。,6.6虚拟现实技术,建模语言,VRMLVRML是一种描述虚拟现实场景的专用语言，作用是描述三维场景并建立交互式、可导航的三维世界，也可用于万维网WWW(1)基本构建从基本框架开始，设计一个描述虚拟世界中关键人物和行为的故事概述。设计故事梗概即可在设计模型以前先设计一个基本方案。需要考虑如下问题：(2)构建物理并组成虚拟世界在本步骤中，首先需要列出组成虚拟世界的全部物体，分析需要哪些物体、文理和材质。其次给物体配上颜色，然后在修饰。最后确定要加入动画以便设定一个合适变换的层次。(3)添制作动画和添加脚本创建完基本物体，就可以加入插补器并编写脚本，给物体增加行为。然后通过定义一系列视点组成的动画路线，最后加入检测传感器和插补器与用户交互。(4)修改和测试修改做好的模型、文理、视点和动画，看是否还可以增加顶点颜色、材质等其他特性，最后一步是对所建立的世界进行试验，以保证获得较好的渲染效果和最快的速度。,6.7教学微视频的制作,二维动画是计算机动画中的一种简单形式，即使不使用专门的动画软件，利用计算机高级语言也能产生很多丰富的动画效果。现在的电脑制作的二维动画是对手工传统动画的一种改进。传统的二维动画是有水彩颜料画到赛璐璐片上，然后由摄影机逐张拍摄并记录使画面连贯起来，现代的的二维动画是将手工制作的原动画逐帧输入计算机，由计算机帮助完成绘制上色的工作，并计算机控制完成记录工作。,6.7教学微视频的制作,4,在线互动借助平台建设，学生在观看视频的过程中遇到不懂的内容，可以通过微博、虚拟讨论区等网络社交方式像教师寻求帮助，教师也可以不受时间和地点的限制解答学生问题。,6.7.1微视频的特点,6.7教学微视频的制作,时间区别,内容的区别,传统视频课程每个视频长大约为40-60分钟，而每个微视频时长在10分以内,传统视频课件主要是基于学习主题的专题视频，每个专题下分不同的主题阐述，专题与专题之间没有直接联系；而微视频则是基于知识模块的小视频，每个微视频阐述一个知识点，不同的微视频之间有着内在的逻辑关系,传统的视频课件呈现的是完整的教师授课过程，除视频外，没有师生互动，缺少讨论。而