数字多媒体技术概述.ppt

数字媒体技术,苏远歧计算机系新型计算机研究所,第1章绪论,数字媒体是信息化发展的一个必然阶段，是一个崭新的技术时代。多媒体引起了诸多信息技术的集成与融合的革命。它与计算机、家用电器、通信网络、大众媒体、人机交互和娱乐机器等组成了新系统、新应用。,1.课程简介1.1人的感知系统1.2人的交流1.3数字媒体的基本概念1.4数字媒体技术的应用2.课程考核方式,这门课程讲什么？,1数字媒体就是我们的生活方式！2数字媒体是我们很多人的工作！3数字媒体是数字时代的媒体！,媒体：,在信息传播过程中，从信息源到接受者之间携带和传递信息的任何载体和工具。,例子：,我和伍老师说：“你吃了没？”,人是如何接受信息的？,1.1人的感知系统,人的五大感知系统,五色令人目盲，五音令人耳聋，五味令人口爽，驰骋畋猎令人心发狂，难得之货令人行妨。是以圣人，为腹不为目，故去彼取此。老子,1.1.1眼睛和视觉,角膜和晶状体把物体的像聚焦在视网膜上！,眼角膜和晶状体就是相机的镜头。晶状体最重要的作用是改变屈光度，使看远或看近时眼球聚光的焦点都能准确地落在视网膜上。通常还有一个可以控制进入眼睛光线多少的虹膜视网膜就类似于模拟相机中的胶片或者数字相机中的CCD、CMOS。,如果把眼睛类比于一个照相机。,眼睛可见光的范围,可见光波长范围:大约从390到700nm,颜色的感知,神经节轴突,色素上皮层,受体层,视网膜切面,神经节细胞层,双极细胞层,视网膜里有大约1.25亿个视杆细胞和视锥细胞，它们扮演感光器的角色。其中视杆细胞的数量是视锥细胞的18倍之多。视杆细胞对弱光敏感（可感受到一个光子），主要负责在昏暗环境中产生暗视觉，但只能辨别明暗，不能分辨物体的细节和颜色。视锥细胞感受强光和颜色，产生明视觉，对物体细节和颜色分辨力强。,锥细胞和柱细胞,锥细胞和柱细胞：锥细胞：数量少，对颜色很敏感锥细胞视觉：明视觉或亮光视觉柱细胞：数量多，分辨率比较低不感受颜色并对低照度较敏感柱细胞视觉：暗视觉或微光视觉,颜色感知,红(L-cone)、绿(M-cone)和蓝(S-cone)三种锥体细胞对不同频率、不同亮度的光感知程度不同。每一种感光色素主要对一种原色光产生兴奋，而对其余两种原色光产生程度不等的反应。如果某一种色素缺乏，则会产生对此种颜色的感觉障碍，表现为色盲或色弱（辨色力弱）。,正常,缺少L-cone,红色盲,缺少M-cone，绿色盲,缺少S-cone，蓝黄色盲,色盲测试,男：8%,女:0.5%,视觉的时间域响应特性,视觉暂留,视觉暂留现象首先被中国人发现，走马灯便是据历史记载中最早的视觉暂留运用。宋时已有走马灯，当时称“马骑灯”。随后法国人保罗罗盖在1828年发明了留影盘，它是一个被绳子在两面穿过的圆盘。盘的一个面画了一只鸟，另一面画了一个空笼子。当圆盘旋转时，鸟在笼子里出现了。这证明了当眼睛看到一系列图像时，它一次保留一个图像。,当人眼所看到的影像消失后，人眼仍能继续保留其影像0.1-0.4秒左右的图像。(0.05-0.2),视觉的时间域响应特性,闪烁频率：让观察者观察按时间重复的亮度脉冲，如果闪烁频率比较低，人眼就有一亮一暗的感觉。如果闪烁频率足够高，人眼看到的则是一个恒定的亮点。临界闪烁频率：闪烁感刚好消失的重复频率叫做（criticalflickerfrequency），经测定为46Hz。高亮度下临界闪烁频率可达60-70Hz。,电影播放过程中，每秒投射24幅画面，每幅画面投射过程中用机械挡光阀遮挡一次，这样就得到了48HZ的闪烁频率。,人耳和听觉,声音耳廓收集声波外耳道中耳鼓膜振动听小骨将振动放大耳蜗听觉感受器听神经大脑皮层听觉中枢形成听觉,人耳听到的声音：20Hz20kHz,20kHz以上,超声,20Hz以下,次声,人耳感知到的声音频率,大提琴,小提琴,大提琴100Hz250Hz,小提琴200Hz400Hz,1.2人的交流与感知,人与人的交流,缺乏语言和文字的时候人与人之间的交流,人类在社会实践和生产实践的过程中，慢慢发展出了语言，通过固定的声音的模式进行交流，但是，在人类发展的这个时期，显然是没有录音设备，因此这个时期的交流仍然很不方便慢慢地，人类发明了文字,数字时代的交流和感知,而现在华盛顿大学首次完成两个人之间的信息传输。两名志愿者分别为AndreaStocco和RajeshRao,Stocco作为信号接受者，而Rao则作为信号发送者，两者在共同协作下玩单人射击游戏。在视频中可以看到在一间实验室中Rao的前面会放置一台显示器然后让Rao玩视频游戏。而Stocco会在另外一个实验室中控制鼠标来控制视频游戏中的“射击”动作，两个人协同合作共同来玩一个单人视频游戏。,1.3数字媒体的基本概念,什么是媒体?,英文为Media（Medium）,又常被称为媒介;在信息传播过程中，从信息源到接受者之间携带和传递信息的任何载体和工具媒体在计算机行业里，媒体有两种含义：其一是指传播信息的载体，如语言、文字、图像、视频、音频等等；其二是指存贮信息的载体，如ROM、RAM、磁带、磁盘、光盘等，目前，主要的载体有CD-ROM、VCD、网页等。,关于信息、媒体和媒介的讨论,将教学内容以文字、声音、图像、动画等形式存储到磁盘、光盘上,（信息）（媒体）（媒介）（Learningmaterial）（medium）（medium）媒体表现信息的载体媒介存储媒体的物理介质,什么是媒体?,我们经常把报纸、广播、电视等称为新闻媒介，报纸通过文字、广播通过声音、电视通过图像和声音来传送信息。信息需要借助于媒体来传播，所以说媒体是信息的载体。报纸和文字谁是媒体?广播与声音呢?电视与图象和声音呢?,关于信息、媒体和媒介的讨论,推论：信息、媒体和媒介三者关系，与电子信息领域中信息、信号和信道三者关系是对应。信息总是通过某种信号形式表现出来的，如电视领域中视频信号、音频信号，计算机领域中的各种格式的数据信号等。信号只能在其规定的信道中传送，如录像机中的视频通道、音频通道、计算机中的各种总线等。,媒体的分类,根据国际电信联盟(ITU：InternationalTelecomunicationUnion)下属的国际电报电话咨询委员会(CCITTConsultativeCommitteeInternationalTelegraphandTelephone)的定义，目前，媒体可分为下列五大类:感觉媒体、表示媒体、表现媒体、存储媒体和传输媒体。,感觉媒体(PerceptionMedium),感觉媒体是指能直接作用于人们的感觉器官，使人能直接产生感觉的一类媒体。感觉媒体包括人类的各种语言、文字、音乐、自然界的其他声音、静止的或活动的图像、图形和动画等信息。,感知媒体例：文本,象形文字：foot(埃及）,汉字：水（唐朝怀素、东晋王羲之及周朝石鼓文）,中国甲骨文字释文旬壬申夕月有食说明远在三千年前我国即有关于天文方面的记录，本片甲骨是当时月食的记录。这说明我国具有悠久的文明历史。,感知媒体例：图形和图像,图形,图像,感知媒体例：动画,感知媒体例：音频,WindowsXp的开机音乐,感知媒体例：音视频,表示媒体(RepresentationMedium),表示媒体是为了加工、处理和传输感觉媒体而人为研究、构造出来的一种媒体。借助于此种媒体，便能更有效地存储感觉媒体或将感觉媒体从一个地方传送到遥远的另一个地方。常见的可概括为文本、图形、图像、音频、视频、动画、以及各种信息的数字化编码表示。,表示媒体的例子,表示媒体(RepresentationMedium),显示媒体(PresentationMedium),显示媒体是指感觉媒体传输中电信号和感觉媒体之间转换所用的媒体。显示媒体又分为输入显示媒体和输出显示媒体。输入显示媒体如键盘、鼠标器、光笔、数字化仪、扫描仪、麦克风、摄像机等.输出显示媒体如显示器、喇叭、打印机、投影仪等。,显示媒体,存储媒体(StorageMedium),存储媒体又称存储介质，指的是用于存储表示媒体(也就是把感觉媒体数字化以后的代码进行存入)，以便计算机随时加工处理和调用的物理实体。这类存储媒体有硬盘、软盘、CD-ROM等。,存储媒体,传输媒体(TransmissionMedium),作为通信的信息载体，用来将表示媒体从一处传送到另一处的物理实体。这类媒体包括各种导线、电缆、光缆、电磁波等。（广播，电视，网络？）,传输媒体,传输媒体：无线,视音频信息媒体传递过程中的五类medium：,计算机信息媒体传递过程中的五类medium,表示媒体是核心。,数字媒体的压缩与编码图像、声音、视频等数字媒体的存储数字媒体的传输数字媒体的内容处理语言,媒体的分类,关于信息、媒体和媒介的讨论,讨论：信息、媒体、媒介三者关系媒体是信息的载体，信息只有通过某一种或几种媒体形式才能表达出来，感觉媒体和表示媒体均属于媒体的范畴。媒介是用于存储、呈现或传输媒体的设备或物理介质，存储媒介、传输媒介和呈现媒介都属于媒介的范畴。,数字媒体的三个主要特性：,信息载体的多样性是相对于计算机而言的，即指信息媒体的多样性。数字媒体把计算机处理的信息多样化或多维化，从而改变计算机信息处理的单一模式，使人们能交互的处理多种信息。,数字媒体的交互性是指用户可以与计算机的多种信息媒体进行交互操作从而为用户提供了更加有效地控制和使用信息的手段。,集成性是指以计算机为中心综合处理多种信息媒体，它包括信息媒体的集成和处理这些媒体的设备的集成。,1.4数字媒体技术的应用,在电子商务领域，开发网上电子商城，实现网上交易.在信息发布领域，单位和个人都可以建立自己的信息网站，通过媒体资料展示自我和提供信息.在个人娱乐方面，开发娱乐网站，利用IPTV、数字游戏、影视点播等为人们提供娱乐.在电子出版方面，开发多媒体教材，出版电子书籍等.在创意设计方面，包括工业设计、漫画创作、动画原型设计、数字绘图等.,影视制作,加标记点,MonsterHouse,过去的10年中计算机绘图产业一直专注于如何让烟雾、水、火产生真实效果。现在，这个产业正处于蜕变期，开始设法创作面部表情、毛发和衣服的运动真实效果。这个领域的艺术极致是创作出逼真的人类，希望有一天数字科技可以取代演员。,汤姆汉克斯演5个角色,GeorgeBorshukovSIGGRAPH2004,骇客帝国III（TheMatrixRevolutions）2003年11月5日,碟中谍,场景的稀疏重建及摄像机对应拍摄位置,目标的稠密重建及虚拟摄像机,虚拟（动作捕捉）,虚拟（动作捕捉）,虚拟（动作捕捉）,虚拟（表情捕捉）,虚拟（表情捕捉）,虚拟摄像机,虚拟中添加真实,虚拟中添加真实,真实中添加虚拟,3D摄像机,3D摄像机与虚拟摄像机融合系统,艺术家加工，计算机重建,2考核方式,101,课程的安排,总计44学时课内讲授36学时上机实验8学时实现一种无损压缩/解压缩算法实现位图图像BMP文件格式分析实现RGB图像向其他几种颜色空间转换实现图像的DCT编码实现对位图图像的基于内容的检索用动态WEB技术呈现无损压缩/解压缩算法,课程考核方式,1.到课与随堂测验情况(15%)2.课程实验及态度(15%)3.课外实践作业(10%)4.期末考试(60%)5.加分项：课外选作大作业（15%),103,作业内容,平时作业课堂上讲授的基本概念和原理课外实践作业具体内容待定题材不限图形图像、音频、视频、动画、WEB、多媒体编程等等课外选作大作业多媒体精品课程网站的优化多核架构下的图像和视频的压缩与解压缩,作业提交方式,上机作业每个班2次上机，每次4小时必须在机房提交，同时给出成绩平时作业课堂内完成（1015分钟）课外实践作业利用课余时间完成，在指定的时间前提交到邮件课外选作大作业考试结束1周内提交,参考书目,1.多媒体技术教