多媒体技术应用教学PPT.ppt

2020/5/7,1,多媒体技术应用,e=mc2a=x+y+z,燕山大学信息科学与工程学院计算机科学与技术系唐勇email:tangyong,2020/5/7,2,参考文献：有用吗？多媒体技术及应用.(美)tayvaughan著.清华大学出版社.2008多媒体技术.第2版.吴玲达.电子工业出版社.2007多媒体计算机与虚拟现实技术.钟玉琢.清华大学出版社.2009多媒体技术基础及应用.第3版.钟玉琢.清华大学出版社.2012多媒体技术基础.黄荣怀，陈莉，李松.高等教育出版社.2008【美】jerry.gibson.多媒体数字压缩原理与标准.电子工业出版社.2000,2020/5/7,3,参考文献：虚拟现实系统.张茂军.科学出版社.2001虚拟现实基础及实用算法.石教英.科学出版社.2002虚拟现实技术.申蔚,曾文琪.清华大学出版社.2009灵境技术的理论.现实及应用.汪成为.清华大学出版社.1996.9虚拟现实技术.(美)grigorec.burdea,(法)philippecoiffet著.电子工业出版社.2005虚拟现实技术与艺术.李勋祥.武汉工业大学出版社.2007,2020/5/7,4,firstofall,1.介绍背景2.课程的层次(偏理论)3.课程的重要性和实用性4.如何学好该课程5.对该课程的设想(教学形式手段交互方式)6.我的认识,课程安排（一）,人员：2个老师，8个硕士内容：6个专题特点：经典、深入、新颖、前沿、科普要求：全体出席，缺席2次取消考试资格希望：收获、自信、狂想、享受实惠：建立专业自信心、发掘兴趣本源,2020/5/7,5,课程安排（二）我的内容,多媒体技术基础（序，媒体元素，压缩）多媒体硬件（时代性、透过硬件看科技）多媒体软件（实用性、每一个都是技能）时间的故事（数学之美、生活的抽象）,2020/5/7,6,课程安排（三）今天的内容,序（观念，透视身边的世界）媒体元素（审视我们如何感受世界，转换）压缩（假设我们也生活在那个时代）时间的故事（奇妙无比）,2020/5/7,7,2020/5/7,8,多媒体技术的基本概念多媒体技术的发展历程多媒体技术的研究内容第一节多媒体的基本概念1媒体与多媒体媒体（感觉,表示,显示,存储,传输）；多媒体技术的定义；多媒体的技术组成：计算机、电视、广播通信、印刷、心理学、行为科学2多媒体的关键特性信息载体的多样性、交互性、集成性,第一章概论,2020/5/7,9,第二节多媒体技术的产生和发展（科学技术的发展来源于人性的原始欲望，生产力的时代性）1多媒体是技术和应用发展的必然2多媒体改善了人类信息的交流：在计算机描绘的世界中找寻现实世界的感受3多媒体缩短了人类传递信息的路径：让神话和梦想成为现实，接近人类的想象世界,第一章概论,2020/5/7,10,第三节多媒体技术研究的主要内容（多媒体技术、多媒体系统；分类技巧）1多媒体技术的基础媒体的性质和相应的处理方法；数据压缩技术（媒体的基本特性、媒体数据压缩编码基本方法2章）2多媒体软硬件平台（多媒体硬件环境、多媒体软件基础2章）3多媒体操作系统技术（媒体的时间关系、多媒体操作系统2章）,第一章概论,2020/5/7,11,4多媒体信息管理技术（超媒体与web系统、多媒体数据库与基于内容检索2章）5多媒体通信与分布应用技术（多媒体通信与网络、分布式多媒体应用系统2章）学习的历程、规划知识树的历程、认识世界和自己的历程是一段充满苦和乐、喜与忧的历程祝大家体会到学习的快乐,第一章概论,2020/5/7,12,第一节媒体的之类和特点1常见的媒体元素文本（text)、图形（graphic）、图象（image）、视频（video）、音频（audio）、动画（animation）含义，基本内容，基本概念，主要技术，技术参数2媒体的种类视觉类媒体、听觉类媒体、触觉类媒体3媒体的性质和特点四种性质：格式、表达方式和程度、相互转换、相互关系,第二章媒体与媒体技术,2020/5/7,13,重新审视人类信息获取机能试图用抽象的方法揭示信息感知模型构划出多媒体技术的生理和理论基础,2020/5/7,14,空间性质：表现空间、空间结构（关系）；视觉空间、听觉空间、触觉空间（获取和再现）时间性质：表现时间、时间结构（关系）；周期、非周期；同步、实时媒体的语义：二进制位流、抽象层次不同语义的重点不同媒体结合的影响：被理解程度（视觉83、听觉11、触觉3、其余4）；记忆驻留效果（谈话2小时后70，72小时后10；观看2小时后72，72小时后20；视听并举2小时后85，72小时后65）感觉相乘效应隐喻（metaphor）:与多媒体系统交互的概念模型（心智模型）隐喻技术虚拟现实空间。,第二章媒体与媒体技术,2020/5/7,15,第2节听觉媒体技术心理学、数字化和符号化、三维处理1声音心理学声音的量纲：波：频率、振幅、相位声强：分贝两个波峰幅度a和b之比db=20log109(a/b)声音与参照声之间的差指就是它的分贝数0db=2.83x10-4dyn(达因)/cm2痛苦限为100120db心理上（响度、音调）他们和强度与频率的关系（3点）见表2。1听觉曲线、掩蔽、临界频带、相位、自然声音的识辨现象、听觉空间、听觉的频谱特性、声音的心理模拟,第二章媒体与媒体技术,2020/5/7,16,2音频的数字化和符号化音频信号的处理3点：人机、机人、人机人两个方向：采样和处理（压缩、符号化）；再现奈奎斯特采样定理：只要采样频率高于信号中最高频率的2倍，就可以从采样中完全恢复原始信号的波形。20hz20khz11.025khz22.05khz44.1khzpcm(pulsecodemodulation,脉冲编码调制）声音的数据量（采样频率x量化精度x声道数）/8(byte/s)数字音频文件格式表2。2声音的符号化midi(musicalinstrumentdigitalinterface)适合的情况,第二章媒体与媒体技术,2020/5/7,17,3音频媒体的三维化处理三维虚拟声音空间(threedimensionalvirtualacoustic,3dva)达到的5个目标3dva的基本理论hrtf方法（双耳相关函数法）（head-relatedtransferfunction,与头部有关的转移函数）nasaames研究中心音响实验室,第二章媒体与媒体技术,2020/5/7,18,第三节视觉媒体技术1视觉心理学心理特征：心理变量和物理变量的关系表2。3视觉特性：亮度、时间特性、彩色、注视点和视野范围2模拟视频原理宽高比4：316：9制式：palntscsecam彩色空间：rgbyuvyiq3视觉媒体数字化位图图象与数字视频,第二章媒体与媒体技术,2020/5/7,19,图形与图象的关系符号与文字数字视觉媒体文件格式表2。44视觉媒体的三维立体显示立体显示原理视差（零视差、正视差、负视差、发散视差）立体图象的产生（旋转法、投影变换法）、显示（2种方法：交替显示、分别显示）,第二章媒体与媒体技术,2020/5/7,20,第四节触觉媒体技术1概述环境媒体位置跟踪、力量反馈2简单指点设备与技术（任务5项、指点设备）3位置跟踪（手指动作测量和数字化、空间位置跟踪）超声波发射器、六自由度4力反馈（例子）、触觉反馈（数据手套）、热觉反馈逼真和危险,第二章媒体与媒体技术,本章思考，terriblyfunnyitu-t的g3、g4jpeg:无损预测编码算法、基于dct的有损编码算法（6步）、基于dct的增强系统（2种累进操作方式）、基于dct的分层操作方式（编码过程5步）jpeg2000:6部分主要内容、算法（离散余弦变换算法dct、离散小波变换算法dwt）、特点（高压缩率、无损压缩、渐进传输、感兴趣区域压缩、色彩模式、图像处理简单）,第三章多媒体数据压缩,2020/5/7,30,3视频压缩标准mpeg-1mpeg-2mpeg-4mpeg-7mpeg-21；h.261h.263；运动jpegmpeg-1:目标、内容、压缩技术（基于16x16子块的运动补偿，减少帧序列的时域冗余、基于dct的压缩技术减少空间冗余）内码帧（i）预测帧（p）插补帧（b）d帧及其编码时间冗余量的减少：运动补偿预测法、运动补偿插补法空域冗余量的减少：变换编码技术、矢量量化技术mpeg的分层结构和位流6个层次（块层、宏块层、宏块片层、图像层、图像组层、图像序列层）基本要求,第三章多媒体数据压缩,2020/5/7,31,mpeg-2：目标、内容（mpeg-2系统（5项基本功能）、mpeg-2视频（多需求、特色（框架和级别、压缩编码的数据结构、比特流的语义规则）层次要求mpeg-4：以内容为中心的描述方法，视频对象vo(videoobject),音频对象ao(audioobject)内容要求基于内容的视频编码（3步）,基于vop的编码（形状编码、运动估计和运动补偿、纹理编码、分级扩展编码）mpeg-7：内容描述接口的编码方案（描述原则、多媒体特征类型、视觉数据的描述、听觉数据的描述）网络要求mpeg-21：将标准集成起来支持和谐的技术以管理多媒体商务欲望要求,第三章多媒体数据压缩,2020/5/7,32,光存储音频接口视频接口多媒体i/o设备多媒体计算机透过硬件看科学、技术的发展,第四章多媒体硬件环境,2020/5/7,33,第一节光存储设备20多年了，光学、微电子技术、光电子技术及材料科学的发展光学存储技术优点：存储容量大、工作稳定、密度高、寿命长、介质可换、便于携带、价格低廉系统组成：光盘驱动器、光盘盘片工作过程：1光存储的类型：只读型、一次写、可重写型（各自的含义）2光存储系统的技术指标：尺寸（12英寸、4.72英寸、14.12英寸、5.25英寸、3.5英寸、容量（格式化容量、用户容量）、,第四章多媒体硬件环境,2020/5/7,34,试图在知识的海洋中找到一条航线，通向大家兴趣的顶点硬件产业的游戏规则我国工业基础的差距体会各种科学分支是多么的亲近,2020/5/7,35,平均存取时间平均寻道时间平均等待时间、数据传输率（数据传输率、同步传输率异步传输率dma传输率、突发传输率、持续传输率）、误码率、平均无故障时间3光存储格式标准和类型（数据格式、编码方法、物理尺寸、cd技术）如表4.14cd-rom光存储系统：盘片物理层次（漆膜保护层、反射铝层、聚碳酸酯基层）；驱动器构造（光头、聚焦伺服、道跟踪伺服、clv伺服、efm解调、错误检测和校正处理）,第四章多媒体硬件环境,2020/5/7,36,5cd-r光存储系统：1991.11philips(compactdiscrecordable)、一次写多次读的可刻录光盘系统盘片物理层次（漆膜保护层、反射金层、染料记录层、聚碳酸酯基层）；刻录和读取原理（激光照射产生热量将有机染料烧熔并使其变成光痕）6磁光（mo)存储系统：盘片物理层次（氮化硅保护层、铝合金反射层、记录层铁钴合金、树脂基层）；刻录和读取原理（300度居里点）7相变（pd)光存储系统：相变式可重复檫写光盘驱动器（phasechangerewritableopticaldiskdrive,pd)最引人注意，松下电气产业1995最早被cd-rw和dvd-ram冲击盘片物理层次（电介质层、相变记录层、冷却层、保护层、树脂基层）；刻录和读取原理（600度400度晶体和非晶体两种状态）cd-rw,第四章多媒体硬件环境,2020/5/7,37,8dvd光存储系统：利用mpeg2的压缩技术来储存影像规格及他们的功能介绍（dvd-romdvd-videodvd-audiodvd-rdvd-ram)、盘片物理结构（单面单层、单面双层、双面单层、双面双层）9光盘库系统图4.4,第四章多媒体硬件环境,2020/5/7,38,第二节音频接口1音频卡的工作原理(3种媒体：数字化声音（wave),合成音乐（midi),cd音频）录制和播放：7项技术指标p88编辑与合成：声音特效（倒播、增加回音、静噪、淡入和淡出、往返放音、交换声道、声音移位）midi接口与音乐合成文语转换和语音识别游戏接口cd-rom驱动器接口支持全双工功能：同时录音和放音,第四章多媒体硬件环境,2020/5/7,39,音频卡的体系结构组成部件：midi输入/输出电路，midi合成器芯片，多输入混合电路，模数转换器，压缩芯片，语音合成器，语音识别电路输出电路体系结构如图4.5数字化声音处理工作原理（图4.6)fm合成器工作原理（图4.8)多声源混音的工作原理（图4.7)同时参看windows的mixer2.音乐合成和midi接口规范音乐合成与midi：midi的实质、合成方法、性能参数midi术语midi接口midi技术规范,第四章多媒体硬件环境,2020/5/7,40,3语音合成：概述、合成方法（3种2个策略）、语音基元数据库的构建（2个问题）、韵律模拟（待解决的问题）4语音识别：语音识别系统的分类（4个分类方法）、最终目标（4个要求）、研究的难点（4方面）、应用领域人机交互的最高境界（人类的梦想）自然语言理解,第四章多媒体硬件环境,2020/5/7,41,第三节视频接口视频采集、播放和显示设备的功能1视频图像显示显示系统技术：vga混合、可伸缩的vga混合、双缓冲vga混合/伸缩、使用数字信号处理器（dsp）视频显示技术标准：共4代（mdaphilips的trimedia;chromaticresearch的mpactmediaengine,第四章多媒体硬件环境,2020/5/7,47,intel的mmx技术：multimediaextension(多媒体扩展）；4个新特性（新的数据类型、扩充的饱和型运算方式、扩充的57条新指令、与ia结构的全兼容性）2多媒体总线pci（peripheralcomponentinterconnect)总线：6大特点；agp(acceleratedgraphicsport)总线：三维图形技术的发展必然3多媒体个人计算机（mpc)mpc规范：123版的最低功能要求表4.5mpc的性能：图像处理能力、声音的处理能力、midi乐器数字接口、动画处理能力、多媒体数据的存储、mpc之间的信息传递,第四章多媒体硬件环境,2020/5/7,48,知识点：多媒体软件的系统层次多媒体素材制作软件多媒体节目著作工具多媒体程序设计基础多媒体应用设计,第五章多媒体软件基础,2020/5/7,49,第一节多媒体软件的层次5类4层：驱动软件、多媒体操作系统、多媒体数据准备软件、多媒体编辑创作软件、多媒体应用软件各类软件的作用和分工：对象的概念（交融、多态）,第五章多媒体软件基础,2020/5/7,50,第二节多媒体素材制作软件1文本编辑和录入软件2图形与图像编辑与处理软件3音频编辑与处理软件4视频编辑5动画编辑了解制作的要点和各类软件应具备的一般功能了解目前流行的一些素材制作软件,第五章多媒体软件基础,2020/5/7,51,第三节多媒体著作工具目的：让普通的工作人员能够高效率地制作适合不同专业地多媒体应用系统1概述几个概念：创作环境、创作系统、创作工具、集成工具多媒体著作工具的标准：8个功能和特性：p151多媒体创作模式：8种图5.14类型：2种分类方法11种类型2authorware3director4toolbook,第五章多媒体软件基础,2020/5/7,52,第四节多媒体程序设计基础1媒体控制接口（mediacontrolinterface,mci)：在控制音频、视频外围设备方面，提供了与设备无关的应用程序mci编程接口：命令字符串和命令消息mci命令集：表5.1mci设备：类型（表5.2）、设备名（win.ini)、打开mci设备客户/服务器思想2多媒体api函数api函数调用规则：声明、使用值和参数传递多媒体的api函数波形声音函数表5.4,第五章多媒体软件基础,2020/5/7,53,第五节多媒体应用设计1多媒体应用分类：6类2多媒体应用设计过程选题脚本设计创意设计人机界面设计：10大设计原则多媒体应用（节目）是一部交互式电影，需要各类人员的参与,第五章多媒体软件基础,2020/5/7,54,第一节多媒体同步的基本概念1基本概念组织时基的、非时基的多种媒体序列通过传输、合成达到某种表现效果，称为多媒体同步或合成；时间同步、空间同步。2同步的种类：应用同步、合成同步、现场同步、系统同步3同步的分层服务模型图6.2媒体层、流层、对象层、描述层再次体会规范的含义，理解数学的魅力-人类最伟大的语言,第六章多媒体的时间表示与同步,2020/5/7,55,第二节时间模型1时间依赖的定义表6.12时间的概念模型：13种两个区间在时间上所具有的相互关系；图6.4描述7种基本的关系：before,start,meets,overlap,during,finishes,equals；前6种都有逆关系；,第六章多媒体的时间表示与同步,2020/5/7,56,第三节时间的规范与表示1时间规范的目的：为了向在创建时和合成时所要求同步的数据对象提供一种时间关系表达的手段2相对时间规范与绝对时间规范时态瞬时（temporalinstants）时态区间（temporalintervals)：层次化方法；参考点方法并行和顺序关系：用串行和并行表示时间关系；非周期性区间的转换,第六章多媒体的时间表示与同步,2020/5/7,57,第四节多媒体同步的表示方法基于语言、基于流图；最有意义的要求是能够具有表示并发及实时表现计时的能力1基于图形的表示法：时间现、流图、petri网（ocpn）、时间层次法注意图6.11ocpn与时间关系的对应；图的理解2基于脚本的表示法几个概念：表现、演员、角色、活动、场景脚本的同步关系（场景运算、场景表达式）脚本语言的表示：事件、情节、场、实现方法脚本编程语言：必须有明确的时间语义的定义3交互和同步,第六章多媒体的时间表示与同步,2020/5/7,58,第五节时间同步与系统支持1概述2系统支持的有关问题时间表示的数据结构数据压缩的影响同步的系统支持同步异常,第六章多媒体的时间表示与同步,2020/5/7,59,第一节概述1面临的问题2主要原因4大原因,第七章多媒体操作系统,2020/5/7,60,第二节操作系统的问题1基本概念（略）2多媒体的引入与os的限制实时服务与时间要求中断等待优先权倒置管理周期性活动时限和恢复管理服务质量（qos）管理和许可控制,第七章多媒体操作系统,2020/5/7,61,第三节操作系统对连续媒体的支持1体系结构的支持图7.12资源管理的支持基于qos的资源控制实时调度基于qos的内存管理基于时间的i/o管理3程序设计的支持实时线程时限管理实时同步,第七章多媒体操作系统,2020/5/7,62,4实时进程间通信（ipc)消息排队优先权交出优先权继承消息分发,第七章多媒体操作系统,2020/5/7,63,第四节支持连续媒体的文件系统问题的实质：4点1单流情况读取函数、消耗函数与缓冲函数图7.2最早起始时间最少缓冲器2多流情况3介质调度传统磁盘调度算法最早时限优先法（earliestdeadlinefirst,edf）scan-edf算法分组移动调度算法（groupedsweepingscheduling,gss）,第七章多媒体操作系统,2020/5/7,64,第一节超媒体系统的组成1超媒体的概念和发展历史超文本和超媒体的概念：为了适应人类思维的习惯，研究信息的表现手段；文本结构的变革；媒体的多样性产生了超媒体。简史：v.bush1939aswemaythinkmemex;douglasengelbart1959onlinesystem;tednelson1960shypertext;1980s著名的系统、国际性会议；1990s信息高速公路2超媒体的组成要素：节点（媒体类节点、动作和操作节点、组织型节点、推理型节点）；链（基本结构链（基本链、交叉索引链、节点内注释链）、组织链和推理链（索引链、执行链、推理链）、其他链（自动连接、类型链）、热标（字、区、元、点、属性）、宏节点,第八章超媒体与web系统,2020/5/7,65,3超媒体系统的dexter模型：3层（存储层storagelayer、运行层run-timelayer、元素内部层within-componentlayer)；2个接口（锚定接口anchoring、表现规范presentationspecification)4超媒体系统的组成：3个子系统（作者、读者、支持）了解各个子系统的功能要求：与写书和读书联系起来学习和理解。,第八章超媒体与web系统,2020/5/7,66,第二节web超媒体系统1分布式超媒体系统www：超文本抽象机（html和http）；3层结构（表现层、超文本抽象机器层、超文本信息库层）；统一资源定位url(universeresourselocator)的作用2www中的超媒体协议与标记语言：sgml大家庭：html（固定的标记）、xml（可自由定义的标记）了解sgml、http、html、xml3www的缺陷和未来：存在问题（5个）、局限性（5个）、人们的工作（hyper-g),第八章超媒体与web系统,2020/5/7,67,第三节智能超媒体系统1概念：关键是能否提供智能计算expertext2expertext的节点和链：对象节点、规则节点；链要有计算和推理能力（is-a链、has-a链、藴含链）3智能超媒体的推理模型：语义网模型、流控模型,第八章超媒体与web系统,2020/5/7,68,第一节多媒体数据管理的问题1概述：真实世界、计算机世界、映射、表示方法；面向对象数据库、基于内容检索技术、超媒体技术；另一种管理信息的方法（数据库）2多媒体数据管理的问题：多媒体带来的问题（8大问题）；请大家思考一下：你怎么来解决这些问题。3有哪些多媒体数据：字符、文本、声音、图形、图像、视频,第九章多媒体数据库与基于内容检索,2020/5/7,69,第二节多媒体数据库体系结构1结构形式：联邦型、集中统一型、客户/服务型、超媒体型2多媒体数据库的层次结构：传统的（物理模式、概念模式、外部模式），寻找三层模式的感觉；多媒体数据库的层次划分，三方面的工作：从最低层增加对多媒体数据的控制与支持、在最高层支持多媒体的综合表现和用户查询描述、在中间增加对多媒体数据的关联和超链的处理；四层结构：媒体支持、存取与存储数据模型、概念数据模型、多媒体用户接口,第九章多媒体数据库与基于内容检索,2020/5/7,70,第三节多媒体数据模型数据模型的3大基本要素：数据对象类型的集合、操作的集合、通用完整型规则的集合1nf2数据模型：nf2（nonfirstnormalform)非第一范式，允许表中有表，理解他们的实现方法；原因是充分利用关系型数据库的已有成果；该方法的局限性。2面向对象的数据模型：关于对象的一些基本概念（对象、属性、方法、消息、对象类、类层次、继承性）；几种常用的语义关联（聚集关联（aggregationassociation,a关联）、概括关联（generalizationassociation,g关联）、相互作用关联（interactionassociation,i关联）、示例关联（instanceassociation)、has-method和has-rule关联,第九章多媒体数据库与基于内容检索,2020/5/7,71,运算体系：定义、查询、操纵（引入类和对象后的变化）；3种运算在类和对象上的新的含义面向对象多媒体数据模型的特点：共10条；重点从封装、继承、对象类和实例、复合对象等几方面考虑3其他数据模型：超媒体数据模型（网、有向图）、文献模型（树）、专有媒体数据模型（针对特定领域）,第九章多媒体数据库与基于内容检索,2020/5/7,72,第四节基于内容检索系统的结构和方法这是一个新兴的领域，大家可以在这里施展才华1多媒体与媒体语义：数据、信息、信息表示方法；抽象（引入语义）；基于内容检索（contentbasedretrieval）的主要研究内容：如何使系统直接从各种媒体中获取信息线索，并将线索用于数据库中的检索操作，帮助用户从数据库中检索出合适的多媒体信息对象，也是能缩小人和计算机之间鸿沟的一个领域2基于内容检索系统的一般结构：图9.10、图9.11；插入子系统、特征提取子系统、数据库、查询子系统3基于内容检索的过程和指标：图9.12；初始检索说明、相似性匹配、特征调整、重新检索；分割；主要指标：查全率、查准率,第九章多媒体数据库与基于内容检索,2020/5/7,73,4特征匹配的过程及方法：模糊值（模糊集、隶属函数）；特征值分类和计算；特征调整；相似特征偏差；相似度及最终求值,第九章多媒体数据库与基于内容检索,2020/5/7,74,第五节图像内容分析及检索方法1基于颜色直方图检索：颜色直方图原理及性质（4个性质）；检索方法（qbe方法：指明颜色组成、指明一幅图像、指明图像中的一个子图）；颜色直方图的相似性匹配2图像轮廓和纹理特征检索：基于骨架和轮廓的检索、基于纹理的检索,第九章多媒体数据库与基于内容检索,2020/5/7,75,第六节视频检索与索