第一讲：数字媒体技术概述

1、数字媒体技术数字媒体技术课程课程 ( Digital Media Technology)第一讲数字媒体技术概述(Introduction to Digital Media)苏州大学数字媒体技术基础课程提纲o 1.1 数字媒体的基本概念及其特点o 1.2 数字媒体技术的发展o 1.3 数字媒体的重要性o 1.4 数字媒体技术的原理o 1.5 数字媒体标准简介o 1.6 数字媒体的传播模式o 1.7 数字媒体处理系统o 1.8 数字媒体技术的应用2022-5-12苏州大学数字媒体技术基础课程31.1 数字媒体的基本概念 苏州大学数字媒体技术基础课程o 什么是媒体？n 信息n 形式n 媒体o 什么是

2、数字媒体？n 模拟媒体n 数字媒体2022-5-12苏州大学数字媒体技术基础课程中国信息技术发展o 我国信息领域还基本上处于模仿跟踪、在别人的核心技术和平台上锦上添花的阶段。n 信息领域有数十项重大的技术发明，如集成电路、RISC体系结构、Internet、Web浏览器、UNIX和Linux操作系统、图形界面、鼠标等，没有一项是中国人发明的。n 我国在信息领域的顶级国际学术会议上发表的重要论文还很少，申请的专利很少能形成技术跨越，多数是一些小的改进。n 以我国技术为主制定的国际技术标准还寥寥可数。2022-5-12苏州大学数字媒体技术基础课程我国在信息技术领域的成果n1956年的四项紧急措施（

3、计算机、电子学、半导体、自动化）；n原四机部731会议决定研制生产系列机（100系列、200系列）；n启动“748工程”发展汉字激光照排技术和产业；nCRT彩电产业大会战取得成功；n采用多元集资方式引进人才创建中芯国际等芯片加工企业；n持续支持高性能计算机研制与推广；n国家中长期科技规划设立“核高基”和“无线通信”等重大专项等。n华为公司是我国信息领域发展高技术产业的成功案例。o 改革开放30年来，信息技术的普及，尤其是移动通信与互联网技术的普及是信息化最大的成绩。摘自李国杰院士2009年11月的科学时报的采访2022-5-12苏州大学数字媒体技术基础课程当前信息技术面临的问题o 当前信息技术

4、面临三座高墙n挖掘并行性和可扩展的困难挖掘并行性和可扩展的困难p要可扩展到亿级并行度，惠及数十亿用户；n信息处理的高功耗信息处理的高功耗p要努力做出低功耗的信息系统n复杂信息系统安全可靠性低等复杂信息系统安全可靠性低等p要致力于研制高可信的信息系统n到到2020年左右，摩尔定律将不再有效，集成电路正在逐步进入年左右，摩尔定律将不再有效，集成电路正在逐步进入“后摩后摩尔时代尔时代”，必须更多地从，必须更多地从“Beyond CMOS”中寻找新的出路。中寻找新的出路。n计算机正逐步进入计算机正逐步进入“后后PC时代时代”，终端设备将从，终端设备将从“高大全高大全”向向“低小低小专专”（“专专”指个

5、性化）转变，降低功耗是首要目标。指个性化）转变，降低功耗是首要目标。n超级计算机的超级计算机的“千倍定律千倍定律”将失效，只在现有的技术基础上作改进，将失效，只在现有的技术基础上作改进，2030年肯定做不出年肯定做不出Zettaflops级（级（1021 flops）水平的计算机。进入）水平的计算机。进入“后后IP”时代是不可避免的发展过程，可能需要时代是不可避免的发展过程，可能需要20年时间才能真正突破年时间才能真正突破TCP/IP协议的局限。协议的局限。2022-5-12苏州大学数字媒体技术基础课程中国信息技术面临的问题o 目前我国的计算机应用水平与国外相比至少相差10年以上，高性能计算机

6、的应用差距更大。o 既熟悉计算机技术又熟悉行业需求的学者太少，影响了信息技术的深入应用。o 信息科学与其他学科的交叉研究未得到足够的重视。o 对基础软件和关键行业应用软件缺乏高瞻远瞩和集中力量办大事的战略部署，软件产业近几年发展较快，但仍不尽如人意。2022-5-12苏州大学数字媒体技术基础课程o 截至目前，IT产业所长期依赖的CMOS半导体电路技术已经遇到严重挑战。摩尔定律如同灯塔照亮了半导体产业半个世纪的发展航程，到2020年左右这个灯塔将暗淡下来。不论是集成电路技术、互联网络技术，还是高性能计算机体系结构和存储技术，2020年前后都会在延续当前技术时遇到难以逾越的障碍。o 2020年至2

7、030年期间，芯片、计算机、互联网、存储器等都会发生革命性的变化，而换代技术的突破大概就在今后10到15年。o 我国信息技术未来的出路是下决心在选择的重点方向上走跨越发展的道路，打造自主可控的基础技术平台。2022-5-12苏州大学数字媒体技术基础课程未来信息技术的发展前景o 20世纪后半叶是以信息技术发明和技术创新为标志的时代o 预计21世纪上半叶将兴起一场以高性能计算和仿真、网络科学、智能科学、计算思维为特征的信息科学革命，信息科学的突破可能会使21世纪下半叶出现一场新的信息技术革命2022-5-12苏州大学数字媒体技术基础课程信息技术的尴尬信息技术的尴尬o 传统的计算工具n结绳记事 沙漏

8、计时 算盘n简单，可触摸，易学习n触觉和肌肉运动知觉o 现在的数字技术n功能强大，学习门槛高n人们必须不断学习适应其发展n原因：生活经验毫无用处，界面本身就是新生事物苏州大学数字媒体技术基础课程信息空间和物理空间信息空间和物理空间( ( Bits & Atoms )A c to r1A c to r1POPOPOnEYPO:Physical objectEY:EntitynEYnEYMouse信息空间信息空间(Bits)物理空间物理空间(Atoms)苏州大学数字媒体技术基础课程信息空间和物理空间(Bits & Atoms )o 我们生活在两个世界里：现实的物理世界和虚拟的信息世界 o 两种身份

9、之间却缺少一种无缝的、自然的转换和交互方式 o 人们和信息空间的交互被局限于传统的图形用户界面(GUI)中o 实际上，正是GUI把我们生活的物理世界和我们要访问的信息世界隔离开来。苏州大学数字媒体技术基础课程信息空间和物理空间的融合信息空间：信息空间：存在于计算机和网络中的存在于计算机和网络中的数字化的信息、服务、数字化的信息、服务、计算和通信计算和通信物理空间：物理空间：真实存在的物理世界真实存在的物理世界普适计算普适计算融融 合合2、自发的交互、自发的交互1、绑定、绑定苏州大学数字媒体技术基础课程有人说：人类的文明史是从有文字开始的有人说：人类的文明史是从有文字开始的 但也有人讲：自从有了

10、文字后文明就不再发展了但也有人讲：自从有了文字后文明就不再发展了 纸业革命纸业革命苏州大学数字媒体技术基础课程中华文化、汉字与文字载体中华文化、汉字与文字载体 n汉字，汉文化的载体、中华文明之母汉字，汉文化的载体、中华文明之母n世界上最古老的三种文字之一世界上最古老的三种文字之一n古巴比伦楔形文字（古巴比伦楔形文字（5500年生存年生存3200年）年）n埃及圣书字（埃及圣书字（5000年生存年生存3000年）年）n中国古汉字（甲骨文）（中国古汉字（甲骨文）（3300年生存至今）年生存至今）苏州大学数字媒体技术基础课程造纸术发明人蔡伦造纸术发明人蔡伦火药火药印刷术：毕印刷术：毕昇昇 指南针指南针

11、中国四大发明中国四大发明 汉字中国人的第五大发明汉字中国人的第五大发明苏州大学数字媒体技术基础课程纸张的历史作用n纸张纸张中国的四大发明之一中国的四大发明之一1800年以前，蔡伦发明纸张年以前，蔡伦发明纸张纸张谱写人类文明纸张谱写人类文明纸张用于书写、印刷、阅读纸张用于书写、印刷、阅读纸张是人类社会的交流工具纸张是人类社会的交流工具n政治、经济：政治、经济：社会组织、运行、记载社会组织、运行、记载n文化：文化：印刷、出版、社会的符号知识库印刷、出版、社会的符号知识库n纸张在出版业历史上扮演纸张在出版业历史上扮演关键角色的原因关键角色的原因n 价格便宜价格便宜n足够结实足够结实苏州大学数字媒体技

12、术基础课程载体与汉字的变迁载体与汉字的变迁 纸张发明纸张发明东汉末年公元东汉末年公元150150纸张使用纸张使用盛唐公元盛唐公元500500年年活字印刷活字印刷宋代公元宋代公元11001100年年古登堡机械印刷古登堡机械印刷1818世纪世纪激光照排激光照排公元公元19801980年年苏州大学数字媒体技术基础课程竹简竹简硅存储硅存储纸张纸张丝帛丝帛光磁光磁活字印刷活字印刷龟甲龟甲孔子孔子(公元前公元前551/479年）年）老子（春秋后期）老子（春秋后期）全息数字化全息数字化机械印刷机械印刷光电印刷光电印刷汉语拼音运动汉语拼音运动汉字简化运动汉字简化运动汉字信息化汉字信息化汉字中介化汉字中介化文化

13、大众化文化大众化稳定、融合、创新是汉文化生存的法宝稳定、融合、创新是汉文化生存的法宝五四新文化运动五四新文化运动载体与汉字的变迁载体与汉字的变迁 苏州大学数字媒体技术基础课程载体与汉字的变迁载体与汉字的变迁 真正的思想是抽象的，真正的思想是抽象的，抽象的东西只有用文字最容易表达抽象的东西只有用文字最容易表达文字是人类最需要保护的东西文字是人类最需要保护的东西保护汉字就是保护中华文明保护汉字就是保护中华文明法国总统希拉克：警告全世界警惕法国总统希拉克：警告全世界警惕InternetInternet时代的文字殖民时代的文字殖民苏州大学数字媒体技术基础课程发明与社会进步发明与社会进步纸的发明纸的发明

14、活字印刷术的发明活字印刷术的发明指南针的发明指南针的发明蒸汽机的发明蒸汽机的发明电的发明电的发明相机的发明相机的发明计算机计算机火火 药药塑塑 料料核核 能能克克 隆隆技术的极化技术的极化, , 引发失控引发失控学科的极化学科的极化, , 文理不交融文理不交融绿色科技绿色科技苏州大学数字媒体技术基础课程发明与社会进步发明与社会进步绿色科技绿色科技有助于人类与生态环境和谐发展的科技有助于人类与生态环境和谐发展的科技 对环境的索取与破坏最小对环境的索取与破坏最小 对人类生存与繁衍无害对人类生存与繁衍无害 自身有较好与强壮的自制力与生命力自身有较好与强壮的自制力与生命力 产生与消亡不会对生态与社会产

15、生威慑产生与消亡不会对生态与社会产生威慑苏州大学数字媒体技术基础课程n计算机的社会角色：计算机的社会角色： 计算计算 信息交流信息交流 智能服务智能服务信息交流信息交流(人类发展和人的成长人类发展和人的成长/计算机发展计算机发展)情感情感语言语言文字文字bits (简单化、精确化简单化、精确化) 情感情感语言语言文字文字bits (声波nHigher pitches are caused by higher frequencies of vibrating molecules that reach your eardrum. nLower pitches are likewise caused

16、 by lower frequencies.o 影像-电磁波n光：在空间坐标上具有不同亮度的电磁波n颜色：波长（红色为最长的可见波）o 波：由波长和频率刻画wavelengthn2022-5-12苏州大学数字媒体技术基础课程波长/频谱Long radio waves MicrowavesX-raysGamma raysTV, FMInfraredUltraviolet700 nm600 nm500 nm400 nm4.5x1014 Hz5x1014 Hz6x1014 Hz7x1014 Hzn2022-5-12苏州大学数字媒体技术基础课程数字化过程o 三步骤n采样（Sampling）n量化（Qu

17、antizing）n压缩（Compression）与编码（Coding）SamplerQuantizer&Coderanalog signalsampled signaldigitized signal2022-5-12苏州大学数字媒体技术基础课程Step 1: 采样与失真o 通过某种频率的采样脉冲将模拟信息的值取出，变连续的模拟信息为离散信号。o 采样定理：采样频率原始信号频率的2倍时， 采样信号才可以保真地恢复为原始信号。n2022-5-12苏州大学数字媒体技术基础课程Step 2:量化与失真o 将采样样本的幅度按照量化级别决定其取值的过程。目的是将采样样本的幅度值离散化。o 量化之前需要

18、规定量化级，比如8级，16级，256级等。o 量化是一个对一的映射。n2022-5-12例如：画图软件的颜色级别例如：画图软件的颜色级别苏州大学数字媒体技术基础课程为什么感知很重要？o 失真评价的基础o http:/www.libertarian.on.ca/images/Florida%20Recount.jpg2022-5-12苏州大学数字媒体技术基础课程Step 3:编码与压缩o 编码n用相应位数的二进制代码表示量化后的采样样本的量级。n如果有N个量化级为，那么对应的二进制位数就为log2N。当N16，二进制需要4位。n经过编码之后，每个样本都表示为相应的二进制代码。o 脉冲编码调制（P

19、CM，Pulse Code Modulation）,完成模拟信号的数字化2022-5-12苏州大学数字媒体技术基础课程为什么需要数据压缩？o 压缩编码的理论基本原理n从信息论的角度来看，压缩就是去掉信息中的冗余，即保留不确定的信息，去除确定的信息(可推知的)，也就是用一种更接近信息本质的描述来代替原有冗余的描述。o 信息冗余的例子n你的朋友，Helen，将于明天晚上6点零5分在上海的虹桥机场接你。 (23*2+10=56个半角字符)n你的朋友将于明天晚上 6点零5分在虹桥机场接你。 (20*2+3=43个半角字符）nHelen将于明晚6点在虹桥接你。 (10*2+7=27个半角字符）n结论：只

20、要接收端不会产生误解，就可以减少承载信息的数据量。2022-5-12苏州大学数字媒体技术基础课程多媒体领域中的冗余分类o 统计冗余n空间冗余规则物体的物理相关性n时间冗余视频与动画画面间以及音频帧间的相关性o 信息熵冗余n编码冗余数据与携带的信息o 结构冗余n纹理冗余规则纹理、相互重叠的结构表面o 视/听觉冗余n视觉、听觉敏感度和非线性感觉o 知识冗余n凭借经验识别n2022-5-12苏州大学数字媒体技术基础课程数据压缩o 数据压缩可分成两种类型n无损压缩n有损压缩 o 无损压缩n指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与原来的数据完全相同n用于要求重构的信号与原始信号

21、完全一致的场合。一个很常见的例子是磁盘文件的压缩。o 有损压缩n指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。n适用于重构信号不一定非要和原始信号完全相同的场合。2022-5-12苏州大学数字媒体技术基础课程压缩策略o 无损压缩(Lossless Compression)n哈夫曼编码(Huffman Coding)n自适应哈夫曼编码nLempel-Ziv-Welch (LZW)p 用于GIFnJPEG-LSo 有损压缩(Lossy Compression)nJPEGnH.261, MPEG-1, MPEG-2o 无损+有损(Lossles

22、s and Lossy Together)nJPEG 20002022-5-12苏州大学数字媒体技术基础课程数据压缩的性能指标o 衡量压缩算法的三个主要性能指标（1）压缩比；（2）压缩质量（失真）；（3）压缩与解压缩的速度。o 不能兼得时，要综合考虑。o 压缩质量评价n主观评价 ：平均意见得分（MOS）、五分制（优良中差劣）n客观评价：均方误差、加权均方误差、信噪比、峰值信噪比（图像）、分段信噪比（音频）、似然比、谱失真测度2210log10)(rxdBSNR22max10log10)(rxdBPSNRn2022-5-12苏州大学数字媒体技术基础课程编码方式举例：哈夫曼编码(Huffman C

23、oding)o Huffman编码属于信息熵编码的方法之一，是根据信源符号出现概率的分布特性而进行的压缩编码。o 也称为最佳编码，平均码长最短。o 编码过程：n1. 初始化:将信源符号按频率递减顺序排列,输入L;n2. 重复如下操作直至L中只有1个结点: (a)从L中取得两个具有最低频率的结点，为它们创建一个父结点； (b)将它们的频率和赋给父结点，并将其插入L;(c) 将树的左右孩子赋符号“0”和“1”，并从L中删除。 2022-5-12苏州大学数字媒体技术基础课程哈夫曼编码(Huffman Coding)示例o输入： “ALOHA HAWAII”o频率： 4A, 2H, 2I, 1L, 1

24、O, 1 space, 1Wo96 bits (8 bits * 12 characters) to 32 bits:AIHLspaceWO010000011111A=0, I=100, H=101, L=1100, space=1101, etc.例子：Java applet example at http:/www.cs.sfu.ca/CC/365/li/squeeze/index.html2022-5-12苏州大学数字媒体技术基础课程媒体表示o 颜色模型n颜色科学nRGB颜色模型：最基本的表示模型nYUV颜色模型：用于PAL电视信号传输，中国采用nYCbCr色彩模型：数字视频常用的颜色模

25、型。o 图形和图像的表示o 视频的表示o 数字音频表示2022-5-12苏州大学数字媒体技术基础课程人眼视觉特性与颜色模型人眼视觉特性与颜色模型o 人眼的视觉特性人眼的视觉特性n可见光谱：人眼能看到的光谱范围从可见光谱：人眼能看到的光谱范围从380纳米到纳米到780纳米。纳米。n不同波长对应不同色彩感觉，不同强度和强度分布的光刺激人眼。不同波长对应不同色彩感觉，不同强度和强度分布的光刺激人眼。n人眼的临界闪烁频率为人眼的临界闪烁频率为46HZ。因此要求每秒钟摄取的画面数约为。因此要求每秒钟摄取的画面数约为25帧左右。帧左右。o 颜色科学颜色科学n色彩是人类视觉对可见光的感知结果，在可见光谱内不

26、同波长的光会色彩是人类视觉对可见光的感知结果，在可见光谱内不同波长的光会引起不同颜色感觉。引起不同颜色感觉。n三基色原理三基色原理：将红、绿、蓝三种颜色按照不同的比例进行组合，就可：将红、绿、蓝三种颜色按照不同的比例进行组合，就可以引起人眼对自然界的全部颜色感觉。以引起人眼对自然界的全部颜色感觉。颜色颜色红色红色橙色橙色黄色黄色绿色绿色青色青色蓝色蓝色紫色紫色波长波长700620580546480436380n2022-5-12苏州大学数字媒体技术基础课程人眼视觉特性与颜色模型o 颜色模型颜色模型nRGB色彩模型色彩模型：彩色最基本模型，适合于计算机系统：彩色最基本模型，适合于计算机系统;nC

27、MY(CMYK)色彩模型色彩模型：用于印刷：用于印刷;nYUV(亮度、色差亮度、色差)色彩模型色彩模型：用于：用于PAL电视信号传输；电视信号传输；nYIQ色彩模型色彩模型：用于：用于NTSC彩色电视广播；彩色电视广播；nYCbCr色彩模型色彩模型：数字视频常用的颜色模型。：数字视频常用的颜色模型。n2022-5-12苏州大学数字媒体技术基础课程RGB颜色模型oRGB颜色模型是彩色最基本的表示模型。oRGB分别代表三种基本颜色红(red)、绿(green)、蓝(blue)三色，每种颜色的亮度大小用数字0-255表示。o通过对R、G、B三个颜色通道的变化以及它们相互之间的叠加可得到各式各样的颜色

28、，共有1670万种颜色。 R=G=B=0 黑色 R=G=B=255 白色 0R=G=B255 灰色2022-5-12苏州大学数字媒体技术基础课程其他颜色模型o YUV颜色模型颜色模型nY表示亮度信号，可构成灰色图像，表示亮度信号，可构成灰色图像，U、V表示色度信号，表示色度信号，是构成色彩的两分量。是构成色彩的两分量。nYUV空间相当于对空间相当于对RGB空间做了一个解相关的线性变化。空间做了一个解相关的线性变化。nYUV的最初作为模拟电视系统信号编码的最初作为模拟电视系统信号编码p其亮度信号和色差信号分离，容易使彩色电视系统与只对亮度敏其亮度信号和色差信号分离，容易使彩色电视系统与只对亮度敏

29、感的黑白电视机亮度信号兼容。感的黑白电视机亮度信号兼容。pPAL制式电视系统就采用该空间进行传输，电视机接收后再转换制式电视系统就采用该空间进行传输，电视机接收后再转换成成RGB空间。空间。2022-5-12苏州大学数字媒体技术基础课程其他颜色模型o YCbCr色彩模型色彩模型nYCbCr颜色空间是由颜色空间是由YUV颜色空间派生的一种颜色空间，颜色空间派生的一种颜色空间，主要用于数字电视系统中。主要用于数字电视系统中。nY代表亮度，代表亮度，Cb和和Cr代表色差。代表色差。nYCbCr颜色模型考虑的是压缩时可以充分取出冗余量。颜色模型考虑的是压缩时可以充分取出冗余量。n从从RGB到到YCbC

30、r的转换中，输入、输出都是的转换中，输入、输出都是8位二进制位二进制格式。格式。2022-5-12苏州大学数字媒体技术基础课程图形和图像的表示o 图像的基本属性n分辨率：组成图像的像素数目n颜色深度(位数)：存储每个像素所用位数p如：640480256色(即8位) 300kn真彩色和伪彩色：显示图像时，真彩色由R、G、B直觉决定显示设备的基色强度，而伪彩色则通过颜色查找表来决定。o 主要的图像文件格式nJPEG (Joint Picture Expert Group)：有损压缩；多用于照片；nGIF (Graphics Interchange Format)：无损压缩，最多256色，可透明，可

31、动画；多用于小图标；nTIFF (Tag Image File Format)：未压缩或简单压缩；多用于扫描及传真；nBMP (Bitmap)：Windows中的位图，一般未压缩；nEPS (Encapsulated PostScript )：矢量绘图软件和排版软件所使用的格式。2022-5-12苏州大学数字媒体技术基础课程图形和图像的表示和存储方法o 矢量图矢量图(Vector)：多用于图形：多用于图形n用一组命令来描述图形，这些命令给出构成图形的各种属性和参数，如圆可用一组命令来描述图形，这些命令给出构成图形的各种属性和参数，如圆可以是圆心坐标、半径以及粗细和色彩组成的。以是圆心坐标、半径

32、以及粗细和色彩组成的。n优点：图形文件占用空间较少。优点：图形文件占用空间较少。n缺点：图形复杂时，耗时相对较长。缺点：图形复杂时，耗时相对较长。o 位图位图(Bitmap)：多用于图像：多用于图像n在空间和色彩上已经离散化的图片，通过描述画面中每一像素的颜色或亮度在空间和色彩上已经离散化的图片，通过描述画面中每一像素的颜色或亮度来表示该图像，非常适合表现包含大量细节的图片来表示该图像，非常适合表现包含大量细节的图片(如明暗、浓淡、层次和如明暗、浓淡、层次和色彩变化等色彩变化等)。 n优点：色彩和色调变化丰富，景物逼真。优点：色彩和色调变化丰富，景物逼真。 n缺点：缩放等处理后易失真，数据量大

33、。缺点：缩放等处理后易失真，数据量大。2022-5-12苏州大学数字媒体技术基础课程图形和图像的表示和存储方法2022-5-12苏州大学数字媒体技术基础课程视频的概念o 视频：动态图像，是一组图像按时间顺序的连续展示。视频：动态图像，是一组图像按时间顺序的连续展示。n利用人眼视觉暂留的原理，通过播放一系列的图片，使人眼产利用人眼视觉暂留的原理，通过播放一系列的图片，使人眼产生运动的感觉。生运动的感觉。o 视频的三要素：视频的三要素：n空间分辨率（即屏幕上的点数）空间分辨率（即屏幕上的点数）n颜色分辨率（即每个点的颜色位数）颜色分辨率（即每个点的颜色位数）n时间分辨率（即每秒的帧数）时间分辨率（

34、即每秒的帧数）o 按信号组成和存储方式的不同：按信号组成和存储方式的不同：n模拟视频模拟视频：是由连续的模拟信号组成的图像序列，像电影、电：是由连续的模拟信号组成的图像序列，像电影、电视和录像的画面；视和录像的画面；n数字视频数字视频：是一系列连续的数字图像序列。：是一系列连续的数字图像序列。2022-5-12苏州大学数字媒体技术基础课程视频的概念视频的概念o 基本概念基本概念n帧帧：一段视频中的每一幅图像称为一帧。根据视觉暂留原理，：一段视频中的每一幅图像称为一帧。根据视觉暂留原理，要使人的视觉产生连续的动态感觉，每秒钟图像的播放帧数要要使人的视觉产生连续的动态感觉，每秒钟图像的播放帧数要在

35、在2430帧频（每秒播放的帧数）。帧频（每秒播放的帧数）。n扫描扫描：传送电视图像时，将每幅图像分解成很多像素，按照一：传送电视图像时，将每幅图像分解成很多像素，按照一个一个像素、一行一行的方式顺序传送或接收。扫描行数（扫个一个像素、一行一行的方式顺序传送或接收。扫描行数（扫描分辨率）越多，电视清晰度越高。分描分辨率）越多，电视清晰度越高。分隔行扫描隔行扫描（常用）和（常用）和逐逐行扫描行扫描。2022-5-12苏州大学数字媒体技术基础课程模拟视频（电视）模拟视频（电视）o采用隔行扫描技术：先扫奇数行，后扫描偶数行采用隔行扫描技术：先扫奇数行，后扫描偶数行o模拟视频制式模拟视频制式nNTSC(

36、美国、日本）美国、日本）30帧帧/秒，秒，525行行/帧帧nPAL (西欧、中国）西欧、中国）25帧帧/秒，秒， 625行行/帧帧nSECAM（俄、法）（俄、法）n注：电影是注：电影是24帧帧/秒秒TV制式制式NTSC PALSECAM帧频帧频(Hz)302525行行/帧帧525625625亮度带宽亮度带宽(MHz)4.26.06.0彩色幅载波彩色幅载波(MHz)3.584.434.25声音载波声音载波(MHz)pal: 25帧帧/秒秒 ntsc:30帧帧/秒秒不同模拟电视制式的主要技术参数不同模拟电视制式的主要技术参数n2022-5-12苏州大学数字媒体技术基础课程数字视频

37、数字视频o数字视频的优点数字视频的优点n便于存储和传输，适合于网络应用便于存储和传输，适合于网络应用n抗干扰能力强，再现性好抗干扰能力强，再现性好n便于计算机编辑处理便于计算机编辑处理n增加交互性增加交互性o常见的数字视频文件格式常见的数字视频文件格式nMPG： 采用采用MPEG组织制定的视频压缩编码算法生成的视频文件。平均压缩比为组织制定的视频压缩编码算法生成的视频文件。平均压缩比为50 1，最高可达最高可达200 1。 VCD、SVCD、DVD均采用均采用MPEG视频标准。视频标准。nAVI：微软公司推出的一种音频视像交插记录的数字视频文件格式。：微软公司推出的一种音频视像交插记录的数字视

38、频文件格式。nMOV： Apple公司在其生产的公司在其生产的Macintosh机（后移植于机（后移植于PC/Windows环境）推出的视频格式，环境）推出的视频格式，可以采用不压缩或压缩的方式。可以采用不压缩或压缩的方式。 nRM： RealNetworks公司所制定的音频视频压缩文件格式，根据网络数据传输速率的不同公司所制定的音频视频压缩文件格式，根据网络数据传输速率的不同制定了不同的压缩比率，能用于流媒体播放。制定了不同的压缩比率，能用于流媒体播放。nWMV： Microsoft公司出品的视频格式文件，具有本地或网络回放、可伸缩的媒体类型、公司出品的视频格式文件，具有本地或网络回放、可伸

39、缩的媒体类型、流的优先级化等特点。流的优先级化等特点。nASM：AVS的视频文件格式。的视频文件格式。2022-5-12苏州大学数字媒体技术基础课程数字视频数字视频o 数字视频的应用数字视频的应用n广播电视广播电视 ，包括地面、卫星电视广播、有线电视，包括地面、卫星电视广播、有线电视 (CATV)、数、数字视频广播字视频广播(DVB)、交互式电视、交互式电视(ITV)、高清晰度电视、高清晰度电视(HDTV)。n通信，包括可视电话通信，包括可视电话(Videophone)、视频会议、视频会议(Videoconferencing)、视频点播、视频点播(VOD) 等。等。n个人娱乐：录象节目、个人娱

40、乐：录象节目、VCD 、DVD 、电视购物、家庭摄像、电视购物、家庭摄像、视频游戏等。视频游戏等。2022-5-12苏州大学数字媒体技术基础课程数字电视数字电视o 数字电视（数字电视（DTV）的定义：）的定义：n指从电视节目采集、录制、播出到发射、接收全部采用数字编指从电视节目采集、录制、播出到发射、接收全部采用数字编码与数字传输技术的新一代电视技术。码与数字传输技术的新一代电视技术。n它可以划分为它可以划分为 3大部分：信源部分（发送端）、信道部分（传大部分：信源部分（发送端）、信道部分（传输输/存储过程）和信宿部分（接收端）。存储过程）和信宿部分（接收端）。o 数字电视分类：根据图像比特率

41、的大小数字电视分类：根据图像比特率的大小n标准清晰度数字电标准清晰度数字电 视（视（SDTV）n高清晰度数字电视（高清晰度数字电视（HDTV）2022-5-12苏州大学数字媒体技术基础课程数字电视数字电视o 数字电视的优点数字电视的优点:n高清晰度的电视画面：可以可与高清晰度的电视画面：可以可与DVD相媲美（最低：相媲美（最低：1280720，最，最高：高：19201080）。）。 n优质的音响效果：伴音可以达到优质的音响效果：伴音可以达到CD质量。质量。 n丰富的节目内容，有线网的带宽利用率更高。丰富的节目内容，有线网的带宽利用率更高。 n抗干扰功能力强，画面更稳定。抗干扰功能力强，画面更稳

42、定。 n扩展功能多：机顶盒除了一些基本功能外，还有许多扩展功能如上扩展功能多：机顶盒除了一些基本功能外，还有许多扩展功能如上网、点播、股票查询、在线交易、远程教育等。网、点播、股票查询、在线交易、远程教育等。o HDTV：由它所能提供的画面质量定义的。：由它所能提供的画面质量定义的。n分辨率分辨率：HDTV画面水平和垂直的像素目都差不多是常规系统的画面水平和垂直的像素目都差不多是常规系统的2倍。倍。垂直方向的高清晰度是由垂直方向的高清晰度是由1000多行的扫描线获得的。需要大约为传统多行的扫描线获得的。需要大约为传统58倍的视频带宽。倍的视频带宽。n宽高比宽高比：HDTV画面的指定宽高比为画面

43、的指定宽高比为16:9=1.777。2022-5-12苏州大学数字媒体技术基础课程数字音频的概念数字音频的概念o 声音的基本概念声音的基本概念n声音是通过一定介质传播的一种连续波。声音是通过一定介质传播的一种连续波。n主要参数包括：振幅（音量的大小）、周期（重复出现的时间主要参数包括：振幅（音量的大小）、周期（重复出现的时间间隔）、频率（指信号每秒钟变化的次数）。间隔）、频率（指信号每秒钟变化的次数）。n声音按频率分类声音按频率分类次声波次声波可听声波可听声波超声波超声波20Hz20kHzf(Hz)2022-5-12苏州大学数字媒体技术基础课程数字音频的概念数字音频的概念o 数字音频的三要素数

44、字音频的三要素n采样频率采样频率：根据奈奎斯特理论，采样频率不低于声音信号最高频率的两倍。：根据奈奎斯特理论，采样频率不低于声音信号最高频率的两倍。这样就能把数字表达的声音还原成原来的声音，称为无损数字化。这样就能把数字表达的声音还原成原来的声音，称为无损数字化。 n采样精度采样精度：用样本值的二进制位数来表示。位数越多精度越高，数据也越大。：用样本值的二进制位数来表示。位数越多精度越高，数据也越大。量化等级量化等级n声道数声道数：使用声音通道的个数。立体声比单声道的表现力丰富，但数据量翻：使用声音通道的个数。立体声比单声道的表现力丰富，但数据量翻倍。倍。n数据量采样频率数据量采样频率量化位数

45、量化位数声道数声道数/8(字节字节/秒秒)，如，如CD音质：音质：44.1kHz X 16位位 X 2 =176KB/s 。o 数字音频的常见文件格式数字音频的常见文件格式nWAV：是：是Microsoft/IBM共同开发的共同开发的PC波形文件。因未经压缩，文件数据量波形文件。因未经压缩，文件数据量很大。特点是声音层次丰富，还原音质好。很大。特点是声音层次丰富，还原音质好。nMP3：按：按MPEG标准的音频压缩技术制作的音频文件。特点是高压缩比标准的音频压缩技术制作的音频文件。特点是高压缩比(11:1)，优美音质。，优美音质。nMIDI(乐器数字接口乐器数字接口)：是由一组声音或乐器符号的集

46、合，特点是数据量很小，：是由一组声音或乐器符号的集合，特点是数据量很小，缺乏重现自然音。缺乏重现自然音。2022-5-12苏州大学数字媒体技术基础课程其他数字媒体其他数字媒体o 动画动画n利用人的视觉残留特性使连续的静利用人的视觉残留特性使连续的静态播放的静态画面相互衔接而形成态播放的静态画面相互衔接而形成的动态效果。的动态效果。n动画性质动画性质p帧动画：帧动画：构成动画的基本单位是帧，构成动画的基本单位是帧，一部动画由许多帧组成。借鉴传统动画一部动画由许多帧组成。借鉴传统动画的概念，每帧的内容不同，当连续播放的概念，每帧的内容不同，当连续播放时，形成动画视觉效果。时，形成动画视觉效果。p矢

47、量动画：矢量动画：是经过计算机计算而生成是经过计算机计算而生成的动画，画面只有一帧；通常采用编程的动画，画面只有一帧；通常采用编程方式制作，及某些工具软件。方式制作，及某些工具软件。n动画制作动画制作p如如 Flash （二维动画）（二维动画） n扩展名为扩展名为.swfn闪客闪客p如如 3D MAX， Maya（三维动画）（三维动画）2022-5-12苏州大学数字媒体技术基础课程其他数字媒体其他数字媒体o 数字游戏数字游戏n采用数字技术实现的电子游戏，包括视频游戏、网络游戏采用数字技术实现的电子游戏，包括视频游戏、网络游戏和移动游戏等。和移动游戏等。o 虚拟现实虚拟现实n利用计算机生成的虚拟

48、环境，具有沉浸感、交互性和构想利用计算机生成的虚拟环境，具有沉浸感、交互性和构想性性(I3)特性。特性。2022-5-12苏州大学数字媒体技术基础课程媒体分发和传输媒体分发和传输o为什么需要研究媒体传输（而不是仅仅采用传统的文件传输方法）？为什么需要研究媒体传输（而不是仅仅采用传统的文件传输方法）？n与其他数据一样，多媒体数据存储在文件系统中。与其他数据一样，多媒体数据存储在文件系统中。n但多媒体数据的访问有特别的时限要求。例如，视频必须以每秒但多媒体数据的访问有特别的时限要求。例如，视频必须以每秒24-30帧的帧率来帧的帧率来显示，而视频的传输和分发必须确保此帧率。即显示，而视频的传输和分发

49、必须确保此帧率。即视频传输有视频传输有QoS（服务质量）要求。（服务质量）要求。o媒体流化媒体流化/流媒体流媒体nStreaming is delivering a multimedia file from a server to a client such that it can be processed as a steady and continuous stream - typically the deliver occurs over a network connection.n流媒体流媒体(可流化媒体可流化媒体)：Video、Audio、PowerPoint、Flash/Shock

50、wave、VR、3DSERVERCLIENTstream2022-5-12苏州大学数字媒体技术基础课程媒体分发和传输o 流化方式分类流化方式分类n持续下载持续下载(Progressive download)：当多媒体文件分发并存储到客户：当多媒体文件分发并存储到客户端后才支持媒体重放；端后才支持媒体重放；n实时流化实时流化(Real-time streaming)：多媒体文件由流媒体服务器向客户：多媒体文件由流媒体服务器向客户端连续、实时传送，客户不必等到整个文件全部下载完毕。端连续、实时传送，客户不必等到整个文件全部下载完毕。o 媒体分发方式媒体分发方式n单播单播(unicast)：源：源(

51、服务器服务器)和目的地和目的地(客户端客户端)之间进行一对一的传输。之间进行一对一的传输。如果目的地量太大，源和网络的负载能力有限，会超负荷造成播放如果目的地量太大，源和网络的负载能力有限，会超负荷造成播放质量下降。质量下降。n多播流多播流(Multicast)：源和目的地之间进行多对一的传输，网络中的：源和目的地之间进行多对一的传输，网络中的同一多播组中的目的地共享同一信息流，可以有效的节省网络带宽。同一多播组中的目的地共享同一信息流，可以有效的节省网络带宽。n广播广播(Broadcast)：流媒体从一个源：流媒体从一个源(服务器端的应用服务器端的应用)发送出去后，发送出去后，同一网段上的所

52、有目的地同一网段上的所有目的地(客户端应用客户端应用)均可以接收到，广播可以看均可以接收到，广播可以看作组播的一个特例。作组播的一个特例。2022-5-12苏州大学数字媒体技术基础课程媒体分发和传输媒体分发和传输o 流媒体传输协议流媒体传输协议n实时传输协议实时传输协议(RealTime Transportation Protocol, RTP)n实时流协议实时流协议(RealTime Streaming Protocol, RTSP)n实施传输控制协议实施传输控制协议(RealTime Transportation Control Protocol, RTCP)n资源预约协议资源预约协议(R

53、esource Reservation Protocol, RSVP)o详细内容将在详细内容将在“第第9讲：网络流媒体技术讲：网络流媒体技术”进一步讲述。进一步讲述。RTSP协议2022-5-12苏州大学数字媒体技术基础课程媒体分析与检索o 媒体检索方面存在的挑战媒体检索方面存在的挑战n不能直接进行基于文本的查询和检索；不能直接进行基于文本的查询和检索；n怎样分析或描述媒体怎样分析或描述媒体(图像图像/视频视频/音频音频)内容和语义；内容和语义；n如何索引图像如何索引图像/视频视频/音频；音频；n快速检索处理和准确的检索结果；快速检索处理和准确的检索结果；o 基于内容的媒体分析与检索基于内容的

54、媒体分析与检索(CBR)n特征提取：提取反映图像特征提取：提取反映图像/视频视频/音频内容的颜色、纹理音频内容的颜色、纹理等视觉特征和音频特征；等视觉特征和音频特征；n语义提取：提取反映图像语义提取：提取反映图像/视频视频/音频语义的描述信息；音频语义的描述信息；n索引组织与描述：对提取的特征和描述信息进行高效索索引组织与描述：对提取的特征和描述信息进行高效索引；引；n检索模型：支持不同类型的媒体查询与检索模式。检索模型：支持不同类型的媒体查询与检索模式。Video segmentsStill regionsAudio segmentsMoving regions2022-5-12苏州大学数字

55、媒体技术基础课程媒体分析与检索o 媒体检索系统框架媒体检索系统框架StorageBrowseAV DescriptionFeature extractionManual / automaticTransmissionEncoding(for transmission)Decoding(for transmission)FilterPushSearch / queryPullConf.pointsHuman or machine2022-5-12苏州大学数字媒体技术基础课程基于内容的图像检索基于内容的图像检索 (CBIR)oCBIR：基于图像颜色、纹理、形状等特征的相似性进行检索：基于图像颜色、

56、纹理、形状等特征的相似性进行检索o示例：颜色相似的图像示例：颜色相似的图像2022-5-12苏州大学数字媒体技术基础课程基于草图(Scratch)的图像检索n2022-5-12苏州大学数字媒体技术基础课程视频检索o 不同的检索用线索2022-5-12苏州大学数字媒体技术基础课程关键帧提取和CBVR镜头检测关键帧提取步骤：1.视频分割为镜头；2.为每个镜头计算关键帧或代表性的帧;3.基于样例的检索n2022-5-12苏州大学数字媒体技术基础课程面向检索的视频标题文字提取n2022-5-12苏州大学数字媒体技术基础课程基于语音识别的视频检索Raw AudioText ExtractionRaw V

57、ideoSILENCEMUSICelectriccarsaretheyarethejuryeverytoyownerhopestoplease2022-5-12苏州大学数字媒体技术基础课程音频检索：哼唱找歌Happy BirthdayNotestartsNoteendsNotestartsNoteends 音符(note)有两个重要属性：音调 (Pitch)持续时间 (Duration)音符可以用符号描述Do Re Mi Fa So La Si DoNote nameNote pitchStaff2022-5-12苏州大学数字媒体技术基础课程音频检索o 哼唱找歌系统结构o 有关媒体检索方面的详

58、细内容将在“第8讲：多媒体分析与检索技术”进一步讲述。Wave to SymbolsApproximateString MatchMusicDatabaseIndexingFeature ExtractionVarious Music Formats toSymbolsMusic DatabaseHumming“La, ”Wave filesMP3 filesMIDI filesRetrievalResultRecorder2022-5-12苏州大学数字媒体技术基础课程数字版权管理(DRM)o 数字媒体：技术对媒体的挑战数字媒体：技术对媒体的挑战n使用户能够更加方便而且完美地体验内容使用户能够

59、更加方便而且完美地体验内容n成本的降低成本的降低p载体价值：可以逼近零成本载体价值：可以逼近零成本p复制成本：几乎为零复制成本：几乎为零p分发成本：边际成本逼近零分发成本：边际成本逼近零n版权控制的挑战：版权控制的挑战：DRMo DRM原理原理n使用技术手段，对数字产品在分发、传输和使用等各个环节进行控制，使用技术手段，对数字产品在分发、传输和使用等各个环节进行控制，使得数字产品只能被使得数字产品只能被授权使用的人，按照授权的方式，在授权使用授权使用的人，按照授权的方式，在授权使用的期限内使用。的期限内使用。o 目前应用领域目前应用领域n电子书领域（标准电子书领域（标准OEBPS）n移动通讯领

60、域（一般遵循移动通讯领域（一般遵循OMA的的DRM规范）规范）n多媒体领域（标准多媒体领域（标准: MPEG IPMP/ DMP/ AVS DRM ）2022-5-12苏州大学数字媒体技术基础课程DRM的主要技术手段o加密加密n对多媒体的内容进行加密以防止非授对多媒体的内容进行加密以防止非授权访问权访问o水印水印n在媒体内容中嵌入无法移除的在媒体内容中嵌入无法移除的“标标记记”，以进行内容鉴别和追踪，以进行内容鉴别和追踪o指纹指纹n从媒体内容中提取的唯一标识，以进从媒体内容中提取的唯一标识，以进行内容鉴别和追踪行内容鉴别和追踪n对同一媒体文件的不同变化具有唯一对同一媒体文件的不同变化具有唯一性