数字媒体技术概论

数字媒体概论1复习课2什么是多媒体：定义Multimedia释义Multi

(Latinmultus) -many;much;multipleMedium(Latinmedius) -asubstanceregardedasthemeansoftransmissionofaforceoreffect;achannelorsystemofcommunication,information,orentertainment (Merriam-WebsterDictionary)多媒体Multimedia:

文本、图形、图像、视频和音频的组合形式，使其内容更丰富，更便于交流。数字媒体DigitalMedia:

以数字化的形式存储、处理和传播信息的媒体，以网络为主要传播载体，并具有多样性、互动性、集成性等特点。MultimediaMultiMedia3什么是多媒体：ABigPicture图像文本语音音频视频多媒体VirtualworldsStreamingvideoWebpagesStreamingaudioClient-server多媒体系统Authoring媒体内容管理ToolsFrameworks网络分布式多媒体系统4多媒体的特性多媒体强调的是使用多种媒体、综合表达信息内容并进行交互式处理的技术。从本质上来说，具有三种最重要的特性：媒体的多样性，其中至少有一种连续媒体；媒体的集成性（综合性），多种不同媒体综合地表现某个内容，取得更好的效果；处理的交互性，使人们获取和使用信息的过程中具有细粒度的控制和操纵能力。5计算机与媒体表示存储表现采集感觉感觉表示传输OutputDeviceInputDeviceCPU6什么是多媒体：分类最常见的分类方法是基于感觉文本图像音频(语音)视频基于描述空间中时间维分类时间独立(离散)文本、图形时间依赖(连续)音频、视频、语音、动画基于描述空间中空间维分类1D媒体单声道语音、音乐2D媒体双声道音乐、图像、二维图形3D及多维媒体三维图形,全景图像,空间立体声音乐媒体分类标准存储

(Storage)表现(Presentation)表示(Representation)感觉

(Perception)信息交换

(InformationExchange)传输(Transmission)7复合媒体超文本(Hypertext)利用超链接，允许非顺序读写的文本；超媒体(Hypermedia)超文本在多媒体方面的扩展，其节点不仅是文本，还可能是图像、视频、音频等。超视频(Hypervideo)通过链接和锚点文字，将视频集成到超媒体结构中。Inhypervideo,thevideocontentisnotregardedasamereillustration,butcanalsobestructuredthroughlinksdefinedbyspatialandtemporaldimensions.

普通文本超文本超视频超媒体8超文本超媒体(超)视频离散媒体：文本、图像,…连续媒体：音频、视频,...多媒体信息处理空间媒体处理媒体类型单媒体复合媒体应用模式单机应用模式网络应用模式获取(创建)编辑管理传输检索描述展现说明编码AudioImagesInformationRetrievalStorageSystemsNetworkingHCIDataCompressionNaturalLanguageProcessingMultimediaVideoFrom:MikeChristel,AlexHauptmann,IntroductiontoMultimediaandMSEC20-791,CMU./MM2002/syllabus.htm10计算机科学领域内的多媒体技术体系媒体处理和编码包括媒体内容分析、检索、安全，音频/图像/视频的处理和压缩等。媒体工具、端系统和应用程序超媒体系统、用户接口、编著系统、多模态交互和集成等。媒体系统支持和网络媒体网络传输系统、网络流媒体，乃至网络协议、Internet、OS等。媒体处理和编码媒体系统支持和网络媒体工具、端系统和应用程序11数字媒体技术的研究内容核心关键技术数字媒体信息处理技术：视音频编码压缩、图像/视频内容分析、语音识别等；数字媒体传输技术：网络流媒体、P2P、无线多媒体传输等；数字媒体内容管理技术：多媒体数据库、基于内容的检索、数字版权管理、数字信息保护、数字媒体集成分发等。关联支持：数字媒体信息获取与输出技术：图像/视频采集技术与设备、三维显示技术与设备等；数字媒体存储技术：海量分布存储等。扩展应用：图形与动画技术：图形输入、图形建模、图形处理与输出、复杂物体造型、表演动画等；虚拟现实技术：动态虚拟环境建模、实时三维图形生成、立体显示与传感器等。12数字媒体技术的应用领域家庭娱乐数字影视(有线电视、IPTV、地面数字电视)数字游戏数字广播数字广告……教育培训视频会议远程医疗移动通信移动多媒体广播、手机电视、移动电视…………13数字媒体：编码、理解、传输与安全版权保护与媒体安全10110100(数字)视频编码压缩VideoCoding(Compression)10110100(数字)视频解码(解压缩)(Videodecoding)视频/图像(Video/Image)拍摄(摄像设备)媒体理解视觉/Vision视知觉(大脑)视感觉(眼睛)客观世界视觉信息/知识(VisualInfo./Knowledge)14数字媒体简史197019801990Future8位处理器CD-ROM,LAN,WAN,16位处理器桌面PC32位处理器WWW数字视音频图形操作系统新媒体15新媒体是基于计算机技术、通信技术、数字广播等技术，通过互联网、无线通信网、数字广播电视网和卫星等渠道，以电脑、电视、手机、PDA、MP4等设备为终端的媒体。能够实现个性化、互动化、细分化的传播方式。新媒体分类16基于互联网：电子杂志、电子书、网络视频、博客、播客、视客、群组、其他类型的网络社区等。基于数字广播网络：手机电视、数字电视、车载电视、公交电视等。基于无线网络：手机短信、手机WAP等。基于跨网络：IPTV等。17为什么数字媒体很重要?数字媒体无处不在MegaTrend1：所有设备和内容数字化……海量的多媒体数字图书馆；MegaTrend2：计算、通信、内容、消费电子融合（4C）；MegaTrend3：网络与多媒体的融合为个人与社会提供了更宽广的虚拟媒体世界与自我展示平台，如Youtube。Conclusion：多媒体是信息技术发展的必然趋势、数字媒体技术应用广泛家庭娱乐、教育培训、视频会议、远程医疗……数字影视、数字游戏、数字广播、数字出版、数字广告……国家产业与经济发展数字音视频产业是电子信息产业的重要组成部分，主要由视频类、光盘类、音频类等产业群组成，产值约占信息产业产值的三分之一。2008年数字视音频产业年产值将达9000万元，超过通信产业成为信息产业第一大产业。2010年达到15000亿，成为国民经济第一大支柱产业。新经济时代，数字媒体产业提供了大量就业与创业机会！！18所有设备和内容数字化……AllDevicesand

Contentare

goingDigital19MegaTrend1：海量的多媒体数字图书馆LeadingtoMegaTrend2…TheDigital

“Library”20MegaTrend2：从2C到4CInnovation19851990199520002005DemandAnyTime,Anywhere,

AnyDeviceCOMPUTINGCOMMUNICATIONS21计算、通信、内容、消费电子融合(4C)BROADBAND/WiredandWirelessEntertainment,E-Business,ServicesMEDIAPre-RecordedContentPersonalMediaConditionalAccess/Cable,Satellite,Broadcast,WirelessServices,EntertainmentAnyContent+,AnyPlace,

AnyDevice,AnyTime+AsAuthorizedMOBILEMULTIMEDIAEntertainment,PersonalPicturesandVideo,Services22MegaTrend3：虚拟媒体世界与自我展示平台Flickr：世界上最大的在线照片管理和共享站点23MegaTrend3：虚拟媒体世界与自我展示平台Youtube：全球最大的视频博客网站24多媒体技术媒体数字化(Digitalization)采样、压缩、编码…媒体描述(Representation)结构描述、特征描述、应用描述媒体传输(Communication/Delivery)流媒体、P2P…媒体管理与消费(Management&Consumption)媒体转码、展现、浏览、检索、数字版权管理…25媒体生产-消费链多媒体作品(文档)媒体集成媒体编辑/描述媒体采集/数字化网络媒体传输媒体管理与消费文本图像音频视频媒体展现媒体管理

与消费媒体展现媒体编辑/描述媒体采集/数字化媒体编辑/描述媒体采集/数字化媒体编辑/描述媒体采集/数字化26媒体数字化为什么要数字化？能否数字化?媒体的物理特性波的概念数字化过程媒体数字化关键技术采样（Sampling）压缩（Compression）编码（Coding）27为什么要采用数字形式？通用的存储和传输格式，数字化后处理更方便适用于光盘存储和远距离传输准确可靠，没有累计失真，属于无损传输和存储BUT:采样率失真，信息丢失/扭曲与模拟相比，需要很大的空间。例如35mm照片需要420万像素大量的工作来进行基于感知的有损数字压缩技术28能否数字化?媒体的物理特性声音->声波Higherpitchesarecausedbyhigherfrequenciesofvibratingmoleculesthatreachyoureardrum.Lowerpitchesarelikewisecausedbylowerfrequencies.影像->电磁波光：在空间坐标上具有不同亮度的电磁波颜色：波长（红色为最长的可见波）波：由波长和频率刻画wavelength29波长/频谱LongradiowavesMicrowavesX-raysGammaraysTV,FMInfraredUltraviolet700nm600nm500nm400nm4.5x1014Hz5x1014Hz6x1014Hz7x1014Hz30数字化过程三步骤采样（Sampling）量化（Quantizing）压缩（Compression）与编码（Coding）SamplerQuantizer&Coderanalogsignalsampledsignaldigitizedsignal31Step1:采样与失真通过某种频率的采样脉冲将模拟信息的值取出，变连续的模拟信息为离散信号。采样定理：采样频率>＝原始信号频率的2倍时，

采样信号才可以保真地恢复为原始信号。32Step2:量化与失真将采样样本的幅度按照量化级别决定其取值的过程。目的是将采样样本的幅度值离散化。量化之前需要规定量化级，比如8级，16级等。量化是一个对一的映射。33为什么感知很重要？失真评价的基础http://www.libertarian.on.ca/images/Florida%20Recount.jpg34Step3:编码与压缩编码用相应位数的二进制代码表示量化后的采样样本的量级。如果有N个量化级为，那么对应的二进制位数就为log2N。当N＝16，二进制需要4位。经过编码之后，每个样本都表示为相应的二进制代码。脉冲编码调制（PCM，PulseCodeModulation）,完成模拟信号的数字化35为什么需要数据压缩？压缩编码的原理从信息论的角度来看，压缩就是去掉信息中的冗余，即保留不确定的信息，去除确定的信息(可推知的)，也就是用一种更接近信息本质的描述来代替原有冗余的描述。信息冗余的例子你的朋友，Helen，将于明天晚上6点零5分在上海的虹桥机场接你。

(23*2+10=56个半角字符)你的朋友将于明天晚上6点零5分在虹桥机场接你。

(20*2+3=43个半角字符）Helen将于明晚6点在虹桥接你。

(10*2+7=27个半角字符）结论：只要接收端不会产生误解，就可以减少承载信息的数据量。36多媒体领域中的冗余分类统计冗余空间冗余——规则物体的物理相关性时间冗余——视频与动画画面间以及音频帧间的相关性信息熵冗余编码冗余——数据与携带的信息结构冗余纹理冗余——规则纹理、相互重叠的结构表面视/听觉冗余视觉、听觉敏感度和非线性感觉知识冗余凭借经验识别10110001110010110001110001011010101010111100010111111010224色28色37数据压缩数据压缩可分成两种类型无损压缩有损压缩无损压缩指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与原来的数据完全相同用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。有损压缩指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。适用于重构信号不一定非要和原始信号完全相同的场合。38压缩策略无损压缩(LosslessCompression)哈夫曼编码(HuffmanCoding)自适应哈夫曼编码Lempel-Ziv-Welch(LZW)用于GIFJPEG-LS有损压缩(LossyCompression)JPEGH.261,MPEG-1,MPEG-2无损+有损(LosslessandLossyTogether)JPEG200039数据压缩的性能指标衡量压缩算法的三个主要性能指标

（1）压缩比；

（2）压缩质量（失真）；

（3）压缩与解压缩的速度。不能兼得时，要综合考虑。压缩质量评价主观评价：平均意见得分（MOS）、五分制（优良中差劣）客观评价：均方误差、加权均方误差、信噪比、峰值信噪比（图像）、分段信噪比（音频）、似然比、谱失真测度40媒体表示颜色模型颜色科学RGB颜色模型：最基本的表示模型YUV颜色模型：用于PAL电视信号传输，中国采用YCbCr色彩模型：数字视频常用的颜色模型。图形和图像的表示视频的表示数字音频表示41人眼视觉特性与颜色模型人眼的视觉特性可见光谱：人眼能看到的光谱范围从380纳米到780纳米。不同波长对应不同色彩感觉，不同强度和强度分布的光刺激人眼。人眼的临界闪烁频率为46HZ。因此要求每秒钟摄取的画面数约为25帧左右。颜色科学色彩是人类视觉对可见光的感知结果，在可见光谱内不同波长的光会引起不同颜色感觉。三基色原理：将红、绿、蓝三种颜色按照不同的比例进行组合，就可以引起人眼对自然界的全部颜色感觉。颜色模型RGB色彩模型：彩色最基本模型，适合于计算机系统;CMY(CMYK)色彩模型：用于印刷;YUV(亮度、色差)色彩模型：用于PAL电视信号传输；YIQ色彩模型：用于NTSC彩色电视广播；YCbCr色彩模型：数字视频常用的颜色模型。颜色红色橙色黄色绿色青色蓝色紫色波长70062058054648043638042RGB颜色模型RGB颜色模型是彩色最基本的表示模型。RGB分别代表三种基本颜色红(red)、绿(green)、蓝(blue)三色，每种颜色的亮度大小用数字0-255表示。通过对R、G、B三个颜色通道的变化以及它们相互之间的叠加可得到各式各样的颜色，共有1670万种颜色。

R=G=B=0黑色

R=G=B=255白色

0<R=G=B<255灰色43其他颜色模型YUV颜色模型Y表示亮度信号，可构成灰色图像，U、V表示色度信号，是构成色彩的两分量。YUV空间相当于对RGB空间做了一个解相关的线性变化。YUV的最初作为模拟电视系统信号编码其亮度信号和色差信号分离，容易使彩色电视系统与只对亮度敏感的黑白电视机亮度信号兼容。PAL制式电视系统就采用该空间进行传输，电视机接收后再转换成RGB空间。YCbCr色彩模型YCbCr颜色空间是由YUV颜色空间派生的一种颜色空间，主要用于数字电视系统中。Y代表亮度，Cb和Cr代表色差。YCbCr颜色模型考虑的是压缩时可以充分取出冗余量。从RGB到YCbCr的转换中，输入、输出都是8位二进制格式。44图形和图像的表示图像的基本属性分辨率：组成图像的像素数目颜色深度(位数)：存储每个像素所用位数如：640＊480＊256色(即8位)≈300k真彩色和伪彩色：显示图像时，真彩色由R、G、B直觉决定显示设备的基色强度，而伪彩色则通过颜色查找表来决定。主要的图像文件格式JPEG(JointPictureExpertGroup)：有损压缩；多用于照片；GIF(GraphicsInterchangeFormat)：无损压缩，最多256色，可透明，可动画；多用于小图标；TIFF(TagImageFileFormat)：未压缩或简单压缩；多用于扫描及传真；BMP(Bitmap)：Windows中的位图，一般未压缩；EPS(EncapsulatedPostScript)：矢量绘图软件和排版软件所使用的格式。45图形和图像的表示和存储方法矢量图(Vector)：多用于图形用一组命令来描述图形，这些命令给出构成图形的各种属性和参数，如圆可以是圆心坐标、半径以及粗细和色彩组成的。优点：图形文件占用空间较少。缺点：图形复杂时，耗时相对较长。位图(Bitmap)：多用于图像在空间和色彩上已经离散化的图片，通过描述画面中每一像素的颜色或亮度来表示该图像，非常适合表现包含大量细节的图片(如明暗、浓淡、层次和色彩变化等)。优点：色彩和色调变化丰富，景物逼真。缺点：缩放等处理后易失真，数据量大。图形学处理流程模型变换照明阴影视点变换（投影/正交)剪裁投影光栅化可视化显示47视频的概念视频：动态图像，是一组图像按时间顺序的连续展示。利用人眼视觉暂留的原理，通过播放一系列的图片，使人眼产生运动的感觉。视频的三要素：空间分辨率（即屏幕上的点数）颜色分辨率（即每个点的颜色位数）时间分辨率（即每秒的帧数）按信号组成和存储方式的不同：模拟视频：是由连续的模拟信号组成的图像序列，像电影、电视和录像的画面；数字视频：是一系列连续的数字图像序列。基本概念帧：一段视频中的每一幅图像称为一帧。根据视觉暂留原理，要使人的视觉产生连续的动态感觉，每秒钟图像的播放帧数要在24～30帧频（每秒播放的帧数）。扫描：传送电视图像时，将每幅图像分解成很多像素，按照一个一个像素、一行一行的方式顺序传送或接收。扫描行数（扫描分辨率）越多，电视清晰度越高。分隔行扫描（常用）和逐行扫描。48模拟视频（电视）采用隔行扫描技术：先扫奇数行，后扫描偶数行模拟视频制式NTSC(美国、日本）30帧/秒，525行/帧PAL(西欧、中国）25帧/秒，625行/帧SECAM（俄、法）注：电影是24帧/秒TV制式NTSCPALSECAM帧频(Hz)302525行/帧525625625亮度带宽(MHz)4.26.06.0彩色幅载波(MHz)3.584.434.25声音载波(MHz)PAL:25帧/秒

NTSC:30帧/秒不同模拟电视制式的主要技术参数49数字视频数字视频的优点便于存储和传输，适合于网络应用抗干扰能力强，再现性好便于计算机编辑处理增加交互性常见的数字视频文件格式MPG：采用MPEG组织制定的视频压缩编码算法生成的视频文件。平均压缩比为50∶1，最高可达200∶1。VCD、SVCD、DVD均采用MPEG视频标准。AVI：微软公司推出的一种音频视像交插记录的数字视频文件格式。MOV：Apple公司在其生产的Macintosh机（后移植于PC/Windows环境）推出的视频格式，可以采用不压缩或压缩的方式。RM：RealNetworks公司所制定的音频视频压缩文件格式，根据网络数据传输速率的不同制定了不同的压缩比率，能用于流媒体播放。WMV：Microsoft公司出品的视频格式文件，具有本地或网络回放、可伸缩的媒体类型、流的优先级化等特点。ASM：AVS的视频文件格式。数字视频的应用广播电视，包括地面、卫星电视广播、有线电视(CATV)、数字视频广播(DVB)、交互式电视(ITV)、高清晰度电视(HDTV)。通信，包括可视电话(Videophone)、视频会议(Videoconferencing)、视频点播(VOD)等。个人娱乐：录象节目、VCD、DVD、电视购物、家庭摄像、视频游戏等。50数字电视数字电视（DTV）的定义：指从电视节目采集、录制、播出到发射、接收全部采用数字编码与数字传输技术的新一代电视技术。它可以划分为3大部分：信源部分（发送端）、信道部分（传输/存储过程）和信宿部分（接收端）。数字电视分类：根据图像比特率的大小标准清晰度数字电视（SDTV）高清晰度数字电视（HDTV）数字电视的优点:高清晰度的电视画面：可以可与DVD相媲美（最低：1280×720，最高：1920×1080）。优质的音响效果：伴音可以达到CD质量。丰富的节目内容，有线网的带宽利用率更高。抗干扰功能力强，画面更稳定。扩展功能多：机顶盒除了一些基本功能外，还有许多扩展功能如上网、点播、股票查询、在线交易、远程教育等。HDTV：由它所能提供的画面质量定义的。分辨率：HDTV画面水平和垂直的像素目都差不多是常规系统的2倍。垂直方向的高清晰度是由1000多行的扫描线获得的。需要大约为传统5～8倍的视频带宽。宽高比：HDTV画面的指定宽高比为16:9=1.777。TV端口，又称RF射频端口，传输CVBS和Audio混合信号。AV端口，又称RCA；是TV端口的改进型。将音频和视频分开传输，避免了音视频相互干扰致使画面受损。VGA端口(D-SUB)，用于传输视频模拟信号的端口。HDMI高清晰多媒体端口(Hi-DefinitionMultimediaInterface)S端口(二分量视频端口)，对AV端口作出改进，能够有效提高画面清晰度。D-SUB9端口RS232用于串行端口外部设备连接。DVI数字影像端口，以全数字方式传输图像信号。(DigitalVisualInterface)电视背部端口示意图色差分量端口，将视频分为红、绿、蓝三种基色传输，同时将音频分为左右声道传输，这将大大提高信号传输质量。52数字音频的概念声音的基本概念声音是通过一定介质传播的一种连续波。主要参数包括：振幅（音量的大小）、周期（重复出现的时间间隔）、频率（指信号每秒钟变化的次数）。声音按频率分类数字音频的三要素采样频率：根据奈奎斯特理论，采样频率不低于声音信号最高频率的两倍。这样就能把数字表达的声音还原成原来的声音，称为无损数字化。采样精度：用样本值的二进制位数来表示。位数越多精度越高，数据也越大。量化等级声道数：使用声音通道的个数。立体声比单声道的表现力丰富，但数据量翻倍。数据量＝采样频率×量化位数×声道数/8(字节/秒)，如CD音质：44.1kHzX16位X2=176KB/s。数字音频的常见文件格式WAV：是Microsoft/IBM共同开发的PC波形文件。因未经压缩，文件数据量很大。特点是声音层次丰富，还原音质好。MP3：按MPEG标准的音频压缩技术制作的音频文件。特点是高压缩比(11:1)，优美音质。MIDI(乐器数字接口)：是由一组声音或乐器符号的集合，特点是数据量很小，缺乏重现自然音。次声波可听声波超声波20Hz20kHzf(Hz)53其他数字媒体动画利用人的视觉残留特性使连续的静态播放的静态画面相互衔接而形成的动态效果。动画性质帧动画：构成动画的基本单位是帧，一部动画由许多帧组成。借鉴传统动画的概念，每帧的内容不同，当连续播放时，形成动画视觉效果。造型动画：是单独设计画像中的运动物体（也称动元或角色），为每个动元设计其位置、形状、大小及颜色等，然后由动元构成完整的画面。动画制作如Flash（二维动画）扩展名为.swf闪客如3DMAX，Maya（三维动画）数字游戏采用数字技术实现的电子游戏，包括

视频游戏、网络游戏和移动游戏等。虚拟现实利用计算机生成的虚拟环境，具有

沉浸感、交互性和构想性(I3)特性。三维网站、数字电影等什么是动画动画是一种创造出运动幻觉的技术，它把一系列独立画面连续拍摄到胶片上，通过以一定速度（一般是24帧/秒）放映胶片来产生运动的幻觉。运动是一个过程，它动态地产生出物体的一系列画面，每一个画面都与其前面的一个不同。54动画的种类路径动画：运动物体沿设置轨迹运动变形动画：动画中的物体发生非位移的形变，物体的体积、外表面积以及外表形态发生变化角色动画：包括人、各种生物以及在动画中被赋予生命的物体。表情动画摄像机动画视觉特效55影视动画制作流程I影视动画制作流程II数字游戏游戏=引擎Engine+资源引擎（程序代码）资源（图像，声音，动画等）

58游戏引擎引擎是赛车的心脏，决定着赛车的性能和稳定性，赛车的速度、操纵感这些直接与车手相关的指标都是建立在引擎的基础上的。玩家所体验到的剧情、关卡、美工、音乐、操作等内容都是由游戏的引擎直接控制，它扮演着发动机的角色，把游戏中的所有元素捆绑在一起，在后台指挥它们同时、有序地工作。简单的定义：用于控制所有游戏功能的主程序，从计算碰撞、物理系统和物体的相对位置，到接受玩家的输入，以及按照正确的音量输出声音等等。59游戏引擎组件化渲染及动画引擎或全功能引擎系统：Unreal、Renderware、Gamebryo、Granny3D、OGRE、声音：Miles,FMod,OpenAL物理：Havok,NovodeX,ODE,MathEngine网络：RakNet,GameSpy,AI：PathEngineVideo回放：Bink用户界面：GFC底层架构：Rapid,

Boost,stlport,zlib游戏开发流程61BasicProceduresforGameDevelopmentIdeaProposalProductionIntegrationTestingDebugTuningConceptApprovalPrototypePre-alphaAlphaBetaFinal想法

(Idea)提案(Proposal)制作(Production)整合(Integration)测试(Testing)除错(Debug)调优

(Tuning)>Conceptapproval>原型

(prototype)>Pre-alpha>Alpha>Beta游戏硬件CPU+GPU+PPUCPU是为了达到更快的运算速度

GPU是为了达到更好的图像效果PPU就是为了使游戏更加真实PPU（PhysicsProcessingUnit,物理运算处理器)可以针对火焰、流水、物体的变形碰撞、毛发的飘动等复杂物理表象作硬件加速处理，既让处理器有余力来处理其他工作，更能强化画面的特效表现。随着PPU的出现，将以前需要CPU或者GPU进行的繁重的物理计算放到PPU中，这极大地提高了物理环境的真实性63Hardware3DGraphicsAPI2DAPIInputDeviceOSAPI3DSceneMngmt2DSpriteGamepadNetworkAudioTerrainCollisionCharacterUIDynamicsSoundFXFightingSystemFXSystemGameAIScriptSystemNPCSystemVirtualAgentTradingSystemStoryGame游戏操作层引擎层系统层游戏软件系统人机博弈AI棋盘表示（BoardRepresentations）走法产生（MoveGeneration）搜索技术（SearchTechniques）估值（Evaluation）操作界面虚拟现实的定义由交互式计算机仿真组成的一种媒体，能够感知参与者的位置和动作，替代或增强一种或多种感官反馈，从而产生一种精神沉浸于或出现在仿真环境(虚拟世界)中的感觉。65虚拟现实3I特性沉浸感(Immersion)参与者全身心地沉浸于计算机所生成的三维虚拟环境，并产生身临其境的感觉。精神沉浸（mentalimmersion）:一种深深地投入其中的状态；深信不疑；包含于其中。身体沉浸（physicalimmersion）:肉体上全部进入媒体中，通过技术的使用获得对身体感官的合成刺激交互性(Interaction)参与者可以利用各种感官功能及人类自然技能与虚拟环境进行交互考察与操作构想性(Imagination)参与者借助VR系统给出的逼真视听触觉信号而产生的对虚拟空间的想象66沉浸精神沉浸（mentalimmersion）一种深深地投入其中的状态；深信不疑；包含于其中。身体沉浸（physicalimmersion）肉体上全部进入媒体中，通过技术的使用获得对身体感官的合成刺激67三维网站三维网站是利用网络三维可视化技术，向人们展示公司或企业的产品，通过用户的交互式操作，达到逼真的效果，使产品真正的全面展示给客户。三维网站必将是新世纪最为有力和最有直接的网络宣传和广告手段68VRMLVRML(VirtualRealityModelingLanguage)是互联网上描述三维几何形状与交互环境的一种国际标准文本语言69VRML技术特征基于客户机/服务器模式的访问方式分布式环境设计及其可扩充性ASCII文本格式的描述性语言增强了的静态场景可交互性与动画三维视听效果Java或JavaScript支持70数字电影用数字摄像机将声音和图像信息摄取到计算机硬盘中,在计算机中利用软件进行剪接、编辑、合成，然后通过卫星、光纤电缆、互联网或特制的光盘，把数字电影信号传送给各注册电影院，利用数字放映机投射到银幕上71数字电影的优势与传统胶片电影比较降低制作和发行成本有利与后期再加工灵活的发行方式高质量的无损传输图像质量的空间稳定性和时间稳定性好有利于版权保护为影院提供增值业务72与高清晰度电视比较数字电视基于8位编码；数字电影最低都是以10位编码数字电视以4:2:0或者4:2:2比例进行亮度、色度取样；数字电影以4:4:4取样标清数字电视分辨率只能达到720*480，高清数字电视最高能达到1920*1080；数字电影分辨率最低达到1920*108073媒体分发和传输为什么需要研究媒体传输（而不是仅仅采用传统的文件传输方法）？与其他数据一样，多媒体数据存储在文件系统中。但多媒体数据的访问有特别的时限要求。例如，视频必须以每秒24-30帧的帧率来显示，而视频的传输和分发必须确保此帧率。即视频传输有QoS（服务质量）要求。媒体流化/流媒体Streamingisdeliveringamultimediafilefromaservertoaclientsuchthatitcanbeprocessedasasteadyandcontinuousstream-typicallythedeliveroccursoveranetworkconnection.流媒体(可流化媒体)：Video、Audio、PowerPoint、Flash/Shockwave、VR、3D流化方式分类持续下载(Progressivedownload)：当多媒体文件分发并存储到客户端后才支持媒体重放；实时流化(Real-timestreaming)：多媒体文件由流媒体服务器向客户端连续、实时传送，客户不必等到整个文件全部下载完毕。SERVERCLIENTstream74媒体分发和传输媒体分发方式单播(unicast)：源(服务器)和目的地(客户端)之间进行一对一的传输。如果目的地量太大，源和网络的负载能力有限，会超负荷造成播放质量下降。多播流(Multicast)：源和目的地之间进行多对一的传输，网络中的同一多播组中的目的地共享同一信息流，可以有效的节省网络带宽。广播(Broadcast)：流媒体从一个源(服务器端的应用)发送出去后，同一网段上的所有目的地(客户端应用)均可以接收到，广播可以看作组播的一个特例。流媒体传输协议实时传输协议(RealTimeTransportationProtocol,RTP)实时流协议(RealTimeStreamingProtocol,RTSP)实时传输控制协议(RealTimeTransportationControlProtocol,RTCP)资源预约协议(ResourceReservationProtocol,RSVP)RTSP协议75媒体分析与检索媒体检索方面存在的挑战不能直接进行基于文本的查询和检索；怎样分析或描述媒体(图像/视频/音频)内容和语义；如何索引图像/视频/音频；快速检索处理和准确的检索结果；基于内容的媒体分析与检索(CBR)特征提取：提取反映图像/视频/音频内容的颜色、纹理等视觉特征和音频特征；语义提取：提取反映图像/视频/音频语义的描述信息；索引组织与描述：对提取的特征和描述信息进行高效索引；检索模型：支持不同类型的媒体查询与检索模式。媒体检索系统框架StorageBrowseAVDescriptionFeatureextractionManual/automaticTransmissionEncoding(fortransmission)Decoding(fortransmission)FilterPushSearch/queryPullConf.pointsHumanormachineVideosegmentsStillregionsAudiosegmentsMovingregions76基于内容的图像检索

(CBIR)CBIR：基于图像颜色、纹理、形状等特征的相似性进行检索示例：颜色相似的图像77基于草图(Scratch)的图像检索78视频检索不同的检索用线索79镜头检测关键帧提取步骤：1.视频分割为镜头；2.为每个镜头计算关键帧或代表性的帧;3.基于样例的检索关键帧提取和CBVR80面向检索的视频标题文字提取81RawAudioTextExtractionRawVideoSILENCEMUSICelectriccarsaretheyarethejuryeverytoyownerhopestoplease基于语音识别的视频检索82HappyBirthdayNotestartsNoteendsNotestartsNoteends音符(note)有两个重要属性：音调(Pitch)持续时间

(Duration)音符可以用符号描述DoReMiFaSoLaSiDoNotenameNotepitchStaff音频检索：哼唱找歌83WavetoSymbolsApproximateStringMatchMusicDatabaseIndexingFeatureExtractionVariousMusicFormatstoSymbolsMusicDatabaseHumming“La,…”WavefilesMP3filesMIDIfilesRetrievalResultRecorder音频检索哼唱找歌系统结构多媒体数据库多媒体数据库（MultimediaDatabase，简记为MDB）：是以数据库的方式合理地存储在计算机中的多媒体信息（包括文字、图形、图像、音频和视频等）的集合。多媒体数据库的特点：媒体多样性信息量大管理复杂多媒体数据库管理系统（MultimediaDatabaseManagementSystem，简记为MDBMS）：是一个支持多媒体数据库的建立、操纵与维护的软件系统，负责实现对多媒体对象的存储、处理、检索和输出等功能。85数字版权管理(DRM)数字媒体：技术对媒体的挑战使用户能够更加方便而且完美地体验内容成本的降低载体价值：可以逼近零成本复制成本：几乎为零分发成本：边际成本逼近零版权控制的挑战：DRMDRM原理使用技术手段，对数字产品在分发、传输和使用等各个环节进行控制，使得数字产品只能被授权使用的人，按照授权的方式，在授权使用的期限内使用。目前应用领域电子书领域（标准OEBPS）移动通讯领域（一般遵循OMA的DRM规范）多媒体领域（标准:MPEGIPMP/DMP/AVSDRM）86DRM的主要技术手段加密对多媒体的内容进行加密以防止非授权访问水印在媒体内容中嵌入无法移除的“标记”，以进行内容鉴别和追踪指纹从媒体内容中提取的唯一标识，以进行内容鉴别和追踪对同一媒体文件的不同变化具有唯一性，对不同媒体文件的具有强区分性。PlaintextEncryptionAlgorithmEncryption

KeyCyphertextDecryptionAlgorithmDecryption

KeyPlaintext101011101110111110Time10101110111011111087为什么需要媒体标准？数字媒体标准是相关技术与产业之基础！技术基础：采用不同标准的数字媒体，其压缩、编码、传输、内容分析与检索等技术有所不同产业基础：五环相扣——技术、专利、标准、产业、应用例子：全球电视竞争的转折点在MPEG-2(1996)88数字媒体领域的主要技术标准JPEGMPEG系列：MPEG-2/4/7/21H.26x系列：H.261/3/4AVS89JPEGJPEGJPEG(JointPhotographicExpertsGroup)标准(ISO10918)是ISO和ITU的联合提出的通用静态图像压缩国际标准。JPEG的重要特性设定压缩参数在解码速度和图像质量间均衡无损压缩原始图像重构图像逆向离散余弦变换正向离散余弦变换量化逆量化编码解码压缩图像量化表编码表Qualitylevel:90

Filesize:10,582bytesQualitylevel:50

Filesize:5,154bytesQualitylevel:1

Filesize:923bytes90JPEG2000压缩标准JPEG2000(ISO15444)是JPEG的更新换代标准，针对Internet应用和无线通信等领域。关键技术：以离散小波变换DWT为主的多解析压缩方式核心算法：EBCOT高压缩比：比JPEG压缩性能提高30%JPEG与JPEG2000的性能比较标准JPEGJPEG2000标题连续色调静态图像的数字压缩编码新一代静态图像编码标准日期1986.3-1992.101996.2-2000.12压缩比2-30:12-50:1主要技术离散余弦变换DCTZigzag扫描哈夫曼编码算术编码离散小波变换DWTEBCOT核心算法ROI编码空间可扩展编码应用场合Internet数字照相图像视频编辑Internet数字照相打印、扫描、移动通信91MPEG系列标准MPEG系列标准由国际标准化组织和国际电工委员会第一联合技术组(ISO/IECJTC1)制定的。MPEG视频标准MPEG-1：数字电视标准，1992年正式发布。MPEG-2：数字电视标准，1994年成为国际标准草案。MPEG-3：已于1992年7月合并到高清晰度电视(High-DefinitionTV，HDTV)工作组。MPEG-4：多媒体应用标准(1999年发布)。MPEG-7：多媒体内容描述接口标准(2001年发布)。MPEG-21：有关多媒体框架的标准(正在研究)。MPEG-A：多媒体应用格式标准(正在研究)。92MPEG-1MPEG-1标准编号ISO/IEC11172，标准名称为“用于码率约为1.5Mbps时用于数字存储媒体的动像及伴音的编码”。MPEG-1的基本目标在音像质量上，达到VHS/VCD的放像质量在存储上，可存储在光盘、数字录音带、硬盘等在传输码流上，为1-1.5Mbps，以1.2Mbps为宜在网络方面，应适应LAN、ISDN等多种网络满足对称和不对称应用MPEG-1的基本内容几种伴音压缩数据和图像数据的复用；图像的压缩；伴音的压缩。MPEG-1的特点使用MPEG-1的压缩算法,可将一部120分钟长的电影压缩到1.2GB左右。因此,它被广泛地应用于VCD制作。93MPEG-2MPEG-2是MPEG-1的扩展。标准编号ISO/IEC13818，标准名称为“运动图像及其伴音信息的通用编码”。主要内容为：码率为4-9Mbps，最大15Mbps;涵盖MPEG-1全部内容;规定数字存储媒体命令和控制扩展协议，用于管理数据流(DSM-CC);先进的声音编码方案;规定系统解码器实时接口扩展标准，用来适应网络传输;DSM-CC一致性扩展测试;先进声音编码标准修正。MPEG-2的特点利用网络提供的3～100Mbps的数据传输率，支持具有更高分辨率图像的压缩和更高的图像质量；可支持交迭图像序列（每帧图像由两个场组成），支持可伸缩性编码，多种运动估计方式，提供一个较广的范围改变压缩比；可以适应不同画面质量、存储容量和带宽的要求，为此定义了不同的功能档次（profile，框架），每个档次又分为不同的等级（level）。和MPEG-1主要区别隔行扫描制式；DCT变换可在帧内，也可在场内。用户可自行选择，亦可自适应选择。94MPEG-4MPEG-4标准编号ISO/IEC14496，标准名称为“甚低速率视听编码”1998年11月公布第一版，1999年12月公布了第二版，共分为6个部分。目标是低速率下（<64kbps）的视频、音频编码，更加注重多媒体系统的交互性和灵活性。引入了视听对象(Audio-VisualObjects，AVO)AVO可以是孤立的人，也可是这个人的语音或一段背景音乐等。AVO具有高效编码、高效存储、高效传播以及可互操作的特性。MPEG-4对AVO的操作主要有：采用AVO来表示听觉、视觉或者视听组合内容；生成复合的AVO；对AVO的数据灵活地多路合成与同步；对AVO进行交互操作等。MPEG-4的特点与MPEG-1和2相比，MPEG-4更适于交互视听服务以及远程监控。设计目标使它具有更广的适应性和可扩展性。MPEG-4能以很低的速率基本实现DVD的质量；由于属于一种高比率有损压缩算法，其图像质量始终无法和DVD的MPEG-2相比。95由4个复合媒体对象（人，背景，家具，音视演示）组成。系统定义了一个场景坐标系,

然后可以指定组成该场景的媒体对象在该坐标系中的位置，并可设定用户观察该场景时所在的坐标位置，这些位置信息都会包含在场景的描述中。举例：MPEG-4视听场景的说明96MPEG-7MPEG-7是一种用于信息检索的内容表示的标准。标准编号ISO/IEC15938MPEG-7将建立各种类型多媒体信息的标准的描述方法。这种描述与内容关联在一起，支持对用户感兴趣的材料的快速、高效的检索。MPEG-7的目标是:规定astandardsetofdescriptors用来描述各种类型的多媒体信息,对描述符及其相互关系的预定义结构(称为DescriptionSchemes)以及用户定义自己的结构的方法进行标准化，制定一种用于定义新的descriptionschemes的标准化的语言DDL(DescriptionDefinitionLanguage),把描述(asetofinstantiatedDescriptionSchemes)与内容关联在一起,以便用户快速有效地检索感兴趣的材料，把描述进行编码表示,以便有效地进行存储和快速访问。Automaticextractionoffeatures(or‘descriptors’)Searchengines97MPEG音频标准MPEG音频压缩的主要依据是人耳

朵的听觉特性，利用了“心理声学

模型(psychoacousticmodel)”。心理声学模型的一个基本概念：

听觉阈值。低于听觉阈值的声音

信号听不到，因此就可以把这部

分信号去掉。心理声学模型的另一个概念：听

觉掩蔽特性。听觉阈值会随听到

的不同频率的声音而发生变化。MPEG音频标准MPEG-1Layer1：子带无损压缩+可选的简单掩蔽模型。MPEG-1Layer2：更高级的掩蔽模型。MPEG-1