数字媒体技术课件

1、第7讲 数字媒体技术1 数字图像处理(5.2)2 计算机图形学(5.2)3 计算机动画(5.4)4 数字音频(5.3)5 数字视频(5.4)什么是“数字媒体”？信息的表现形式是多种多样的，例如语言、文字、图形、动画等它们都是信息的媒体(media)使用数字技术来存储、处理和传输信息的基础就是用“比特（bit）”来表示信息：数字声音、编码文本、数字图像和图形、数字视频、数字动画等它们均称为“数字媒体（digital media）”数字媒体的优点：易于存储，便于处理，方便复制，有利于可靠传输，便于检索，容易组合成“多媒体”1 数字图像处理1 数字图像的获取过程与获取设备（略）2 数字图像在计算机中

2、的表示方法（略）3 图像的压缩编码与文件类型4 数字图像处理及其应用图像的压缩编码与文件类型复习1：分辨率与图像大小的关系520 x376260 x188130 x94图像分辨率：使用“水平分辨率x垂直分辨率”表示在屏幕显示比例相同时，屏幕显示的图像大小与图像分辨率成正比复习2：图像数据量的计算未压缩数字图像的数据量计算（以字节为单位）： 数据量=水平分辨率垂直分辨率像素深度8 几种常用格式的图像的数据量： 图像大小8位(256色)16位(65536色)24位(真彩色)640480300 KB600 KB900 KB1024768768 KB1.5 MB2.25 MB128010241.25

3、MB2.5 MB3.75 MB压缩之后数字图像的数据量计算（以字节为单位）：数据量 = (水平分辨率垂直分辨率像素深度/8) / 压缩比 数字图像的数据压缩图像数据压缩的必要性：节省存储数字图像所需要的存储器容量提高图像的传输速度，减少通信费用 图像数据压缩的可能性：数字图像中有大量的数据冗余人眼视觉有局限性，允许图像有一些失真图像数据压缩的两种类型：无损压缩：用压缩后的数据还原出来的图像没有任何误差有损压缩：用压缩后的数据还原出来的图像有一定的误差压缩编码方法的评价压缩倍数的高低（压缩比）重建图像的质量（有损压缩时）压缩算法的复杂程度数字图像的常用文件格式常用的图像文件格式有：名称压缩编码算

4、法性质典型应用开发公司(组织)BMP不压缩无损Windows应用程序MicrosoftTIFRLE,LZW(字典编码)无损桌面出版Aldus，MicrosoftGIFLZW无损因特网CompuServeJPEGDCT(离散余弦变换)，Huffman编码大多数为有损因特网,数码相机等ISO/IECJP2小波变换，算术编码无损/有损医学应用等ISO/IEC不同的图象文件格式采用了不同的数据压缩技术和数据组织方法，它们有不同的应用!BMP图像文件格式BMP（BitMaP的缩写）图像格式是Windows操作系统下使用的一种标准图像格式可支持单色、16色、256色、真彩色图像一个文件包含一幅图像，大多数

5、情况下不进行数据压缩。文件大小是： 数据量=水平分辨率垂直分辨率像素深度8 BMP文件是最简单、最通用的一种图像文件格式，几乎所有图像应用软件都能支持GIF 图像文件格式像素深度为8位(不超过256色) ，适合用作插图、剪贴画等色彩数要求不高的场合，LZW压缩算法使文件特别小，用于互联网传输GIF图像格式能支持动画GIF图像格式能支持透明背景（JPEG不支持）GIF图像格式具有累进显示功能，适合网络浏览器观看 透明背景缺点: 不适合真彩色图片 JPEG图像文件格式JPEG是静止图像数据压缩编码的国际标准，采用JPEG标准的图像文件扩展名是 .jpgJPEG特别适合各种连续色调的彩色或灰度图像，

6、在计算机和数码相机中已得到广泛应用 JPEG的最新标准是JPEG2000 (图像文件扩展名是 .jp2)，它采用更先进的技术，效果更好,在医学图像处理中使用CR=7CR=14.7JPEGJPEG2000数字图像处理及其应用数字图象处理：目的与内容目的：(1) 提高图像的视觉质量(2) 恢复与重建有失真和畸变的图像(3) 图像分析，包括：图像的分类、识别和理解等(4) 图像数据的变换、编码和数据压缩(5) 图像的存储、管理与检索(6) 图像内容与知识产权的保护 内容：去噪、增强、复原、分割、提取特征、压缩、存储、检索等Word和PowerPoint的图像编辑功能 图片编辑举例(外形修改)缩小压扁

7、放大拉长原始图片Word和PowerPoint的图像编辑功能 图片编辑举例(裁剪与旋转)旋转90度裁剪底部裁剪左部旋转任意角度原始图片Word和PowerPoint的图像编辑功能 图片编辑举例(图像属性修改)增加对比度降低对比度增加亮度降低亮度灰度图片黑白图片原始图片图像的特效处理原始图像波浪效果旋转效果旋涡效果图像去噪去噪之后的图像有噪声的图像图像增强增强前的图像增强后的图像图像恢复陈旧的老照片恢复后的照片抠图场景合成图像分割与识别原始图像戒指健身圈手分割后进行识别原始图像分割成若干部分人脸检测与识别数字图像处理的应用(1) 图像通信，包括图像传输、电视电话、电视会议等。(2) 遥感(3)

8、医疗诊断(4) 工业生产中的应用，如产品质量检测，生产过程自动控制等(5) 机器人视觉(6) 军事、公安、档案管理等其他方面的应用X光图像CT图像核磁共振图像指纹图像附：常用的图像编辑软件Word和PowerPoint具有基本的图像编辑功能Windows附件中的“画图”软件微软Office工具中的Picture ManagerACD System公司的ACDSee32Adobe PhotoShop2 计算机图形计算机中有两种不同类型的图取样图像(位图)Sampled image, dot matrix image, bitmap image,简称: image合成图像(计算机图形)Synthe

9、tic image, vector graphics, 简称: graphics什么是计算机图形(graphics)通过对景物的结构、形状与外貌进行描述(称为“建模”)，然后根据该描述和选定的观察位置及光线状况，生成该景物的图形计算机制作的图形也称为“计算机合成图像”计算机制作图形的步骤如下： 建模/造型(Modeling)景物的模型(model)(1) 建模景物的视图 绘 制(Rendering)(Image Synthesis)(2) 绘制景物的造型(建模)方法：几何造型使用基本的几何元素(如平面、曲面、立方体、多面体、圆柱、圆球、圆锥等)，借助于“并”、“差”、“交”等运算来描述物体的结

10、构与形状 造型（Modelling）在计算机中表示景物结构、形状和外观的方法和技术。造型技术之一：几何造型交互式网格造型借助3D Modeling软件，编辑网格形状DemoDemo 2测量造型特点：数据点越多，三角形数目也越多，模型就越精确。使用三维激光扫描技术，将复杂景物表面轮廓点的坐标数据采集下来，然后用大量三角形面片组成的多面体来近似表示。 自然景物的造型日本Yoshinori Dobashi等人绘制的真实感云（Siggraph2000） 挪威云杉 通过反映其形状生成规律的计算过程来模拟自然景物常用的方法： 分数维造型技术基于语法的造型技术粒子系统等。 计算机图形的绘制技术绘制（rend

11、ering）,也称为图像合成(image synthesis)依据景物的模型，根据观察位置和光线情况，生成该景物可视图像的过程景物图像的绘制过程取景变换视域裁剪三角化光栅化隐藏面消除明暗处理阴影生成纹理映射景物的模型景物的图像绘制流水线（Rendering Pipeline）物体表面用多边形进行近似表示 投影裁剪和消隐处理 明暗处理、阴影生成和纹理映射 纹理映射皮肤的纹理动物皮肤纹理光照与明暗处理绘制的硬件支持显卡(图形卡)绘制的三个基本要求：每秒可处理的三角面片数量要大(108个) ，以生成复杂场景的图像纹理数据库要大(几几十GB)，以生成多种多样的高度真实感图像：绘制速度要快，游戏要求实时

12、绘制（25帧/秒）绘制过程中，每一个像素的颜色及其亮度都要经过大量的计算才能得到，因此绘制过程的计算量很大，特别是三维图形和动画显卡在绘制过程中起着关键作用绘图处理器承担着绘制过程中的大部分计算任务显卡实时绘制性能的进展nVidia公司显示芯片性能的发展代年产品名工艺晶体管数填充率多边形率11998年末RIVA TNT0.257M50M6M11999年初RIVA TNT20.22 9M75M9M21999年末Geforce2560.22 23M120M15M22000年初Geforce20.18 25M200M25M32001年初Geforce30.15 57M800M30M32002年初Ge

13、force4Ti0.15 63M1200M60M42003年初GeforceFX0.13 125M2000M200M GeForce 5 GeForce 6 GeForce 7GeForce 8 GeForce 9 GeForce 100 為GeForce 9系列的更名產品 GeForce 200 - 0.065 , GeForce 400 0.04 , 支持DirectX 11，支持GDDR5存储器第12代 2010年2007年销售：$3.77 Billion2007年利润： $704.2 Million2007员工人数：4083Computer Graphics 欣赏美国康乃尔大学Suza

14、nne Smits 和Priamos Georgiades建模并绘制的俄罗斯茶壶 俄罗斯茶壶MIT CSAIL Computer Graphics Group自然景物的造型植物场景（软件所，香港中文大学）真实感地形图浙江大学CAD&CG Lab分形图案1分形图案2计算机绘制的钢笔画和铅笔画 木 桶 玻璃瓶引用自：Georges Winkenbach,D.Salesin (Univ.of Washington) pp.469-476, SIGGRAPH96素描效果图SIGGRAPH2002Adam Finkelstein, Philip Davidson, Robert Kalnins, Lee

15、 Markosian, Matthew Webb (Princeton University)Michael Kowalkski, Barbara Meier (Brown University) 卡通画计算机图形的应用(1) 计算机辅助设计和辅助制造(CADCAM)。(2) 利用计算机生成各种地形图、交通图、天气图、海洋图、石油开采图等。(3) 作战指挥和军事训练。(4) 计算机动画和计算机艺术。(5) 其它：电子出版、数据处理、工业监控、辅助教学、软件工程等。 附：常用矢量绘图软件内嵌的绘图软件：Word 和 PowerPoint中的绘图功能（简单的二维图形 ） 办公与事务处理、平面设计、

16、电子出版等使用的绘图软件：Corel公司的CorelDraw，Adobe 公司的Illustrator，Macromedia公司的FreeHand，微软公司的Microsoft Visio等专业绘图软件： AutoCAD、PROTEL和CAXA电子图板（机械、建筑等）MAPInfo、ARCInfo、SuperMap GIS （地图、地理信息系统）3 计算机动画什么是计算机动画？计算机动画使用计算机生成一系列画面供实时演播的一种技术（ 至少12帧/秒：卡通片15fps，电影24fps）上世纪九十年代开始，计算机动画技术应用于电影特技，如电影“侏罗纪公园”、 玩具总动员、泰坦尼克等，取得轰动效应应

17、用领域：影视和广告领域：电影特技、动画片、电视广告制作等教育和培训领域：辅助教学、驾驶员训练等科技领域：科学计算可视化，复杂系统的动态模拟军事领域：军事训练、作战模拟等电子游戏动画与游戏软件提供娱乐功能的电脑软件，它为游戏参与者提供了一个虚拟的空间，用户在其中扮演真实世界中扮演不了的角色，获得平时不易得到的体验和享受 电子游戏机（电玩游戏，简称电玩）。三款第7代家用游戏机：任天堂：Wii 微软：Xbox 360 索尼：PlayStation 3 （PS3）进入21世纪，随着互联网的发展，大型多人在线游戏成为了电脑游戏的一个新的发展方向电子游戏计算机动画的制作过程(1) 创意,设计动画脚本(2)

18、 预处理（扫描外部图象，输入外部资料）(3) 场景造型（描述景物的形状与结构）(4) 设定景物的材质、环境光源、摄像机位置 (5) 设计和描述场景和角色的运动 (6) 绘制一系列图像(7) 配音(包括背景音乐和台词)(8) 动画的录制 脑立体旋转剖面图 计算机动画的关键运动控制依据不同的运动控制方法，有下列不同的动画关键帧动画算法动画渐变和变形物体动画关节动画人体动画基于物理的动画关键帧动画预先给出关键帧，然后采用插值技术自动生成中间帧的一种技术（自动生成）（例）MannequinVenus算法动画 用一个数学模型去控制物体随时间如何运动和变化例4 窗帘动画(浙大)例1 单摆运动例2 茶壶旋转

19、例3 轮子的运动人体动画用计算机进行人体造型和行为模拟的动画技术A complex action of opening a drawerAn agent calling a lift. A sitting action using Inverse Kinematics 运动捕获技术(Motion Capture) 通过真人关节处和脸部的传感器获取运动数据，然后再用来控制动画中虚拟角色的运动和脸部表情。例1例2例：电子版动态清明上河图电子版动态清明上河图高6.5米、长130余米，使用12台电影级的投影仪，整个活动画面以4分钟为周期进行展示人物：赶集的人们和驮运货物的骡马从条条道路向城里进发；繁忙

20、的汴河码头旁停泊着数条大船，其中有一条装满了粮食，一些人正忙着搬运；市集上热闹非凡，行人来来往往，有骑马出行的官吏，有挑担前行的农夫，还有为商贾驾车的车夫。其中白天出现人物691名，夜晚出现人物377名，画中人物都会动，赶路脚夫还会边走边吆喝背景：原作中有数百棵树、数百座建筑，静止的背景和动态的背景之间有不同的透视效果，包括草木、人物、建筑之间的遮挡关系、阴影分布、光线投射夜景：灯光、照明以及光线是组成歌舞升平的汴梁夜景的重要元素，其中的灯笼有十几种，它们形式各异、照度不同，构成了整个夜景作为配合清明上河图的还有一条潺潺流动的“江水”。通过26台投影仪投射在一层纱网上，纱网可以在保留一部分影像

21、之余同时还会使一些影像穿透，同时在纱网底部堆积很多的黄沙与鹅卵石，通过这种虚实相间的方式，来表现江水流动、波光粼粼等动态景象丝绢珍藏版原作宽24.8厘米、长528.7厘米，展现北宋时城市的昼夜风景。钞券版清明上河图部分画面 例7.1 例7.2 互联网动画之一：GIF动画GIF动画特别适合卡通动画：GIF动画制作将若干图片组织成为一个文件： 1 打开第1张图片；2 插入其他的图片; 3设置每张图片的显示时间； 4设定重复次数; 5 保存 （例）互联网动画之二： Flash动画Macromedia公司的Flash动画画面大小可任意调节，用户可控制播放过程既可生成自动可执行文件(*.exe)，还可生

22、成用 Flash 播放器播放的文件 (*.SWF)；既可做成单独的动画，也可以嵌入网页文件采用流式传输方式，可以边下载边进行播放演示附：动画制作软件著名的造型与动画制作的商品化软件:加拿大Alias公司的Power animator 法国TDI公司的Explore荷兰ElectroGIG公司的3DGO加拿大Vertigo公司的Vertigo美国Wavefront公司的Advanced Visualizer美国SGI公司Alias和Wavefront 公司的MAYA美国Autodesk公司Discreet公司的3ds max，Animator Studio4 数字声音及应用4.1 波形声音的获取

23、与播放4.2 波形声音的压缩编码与文件类型波形声音的获取与播放声音的输入（获取）声音由振动产生，通过空气进行传播声音是一种波，它由许多不同频率的谐波组成声音信号数字化过程：取 样模拟声音信号取样的目的是把时间上连续的信号转换成时间上离散的信号量 化量化是把每个样本从模拟量转换成为数字量(8位或16位整数表示)数字声音01100011001编 码将所有样本的二进制代码组织在一起，并进行数据压缩声卡是声音获取与播放的核心声音卡（sound card）模拟声音数字声音取样、量化和编码PC存储器声波转换为电信号麦克风声音信号的重建：解码与数模转换数字声音模拟电信号电信号转换为声波声卡的结构与类型 声卡

24、主要由2块芯片组成：主处理芯片：包括数字信号处理器、MIDI控制、I/O控制等 CODEC芯片：负责多声道取样、A/D与D/A转换、混音处理等音频主芯片音频混合芯片运 算放大器功 率放大器MIDI/joystickMIC输入/线路输入P C I 总 线 线路输出 扬声器Audio CODEC芯片 当前PC机的声卡大多已不再做成独立的插卡形式，而是与主板集成在一起，称为集成声卡。波形声音的压缩编码与文件类型数字波形声音的数据压缩数据压缩的必要性：为了降低存储成本和提高在网络上的传输效率数据压缩的可能性：声音中包含有大量冗余信息；人耳灵敏度有限，允许有一定失真而不易察觉数字波形声音压缩编码的方法：

25、全频带声音：国际标准MPEG；工业标准Dolby AC-3 数字语音：固定电话使用ADPCM编码 手机使用高效率的混合编码技术所谓“MP3音乐”，它是一种采用MPEG-1层3编码的高质量数字声音, 压缩比大约1012倍，使一张普通CD光盘上可以存储大约100首MP3歌曲，可连续播放10小时。 常用声音文件类型及其应用 文件类型开发者编码类型效果主要应用WAV微软公司未压缩声音达到CD品质支持多种采样频率和量化位数，获得广泛支持APEMatthew T. Ashland无损压缩压缩比为2:1左右高品质数字音乐M4A苹果公司无损压缩压缩比为2:1左右QuickTime, iTunes, iPod，

26、Real PlayerMP3ISO有损压缩MPEG-1 audio层3压缩比为8:112:1因特网，MP3音乐WMA微软公司有损压缩压缩比高于MP3使用数字版权保护因特网，音乐AC3美国Dolby公司有损压缩压缩比可调，支持5.1、7.1声道DVD, 数字电视，家庭影院等复习：MP3播放器程序存储器存储卡(闪烁存储器)液晶显示D/A转换嵌入式处理器声音输出控制按键USB接口嵌入式处理器用于运行控制程序，控制各个部件协调工作：它接收控制按键的操作命令，从存储卡读取MP3音乐数据、进行解码、 还原出数字声音信号存放MP3音乐数据，容量越大，可存放的歌曲数目就越多 存放MP3播放器的控制程序与解码程

27、序显示MP3播放器的工作状态和歌曲的歌词负责与主机连接并下载MP3歌曲等把数字声音转换为模拟声音信号，用户即可听到声音小结：计算机中的数字声音数字声音的特点：是一种连续媒体，传输与播放有实时性要求数据量大，对存储和传输的要求比较高，必须进行压缩 数字声音的类型：取样（波形）声音数字语音：应用于电话、手机、多媒体配音等全频带声音：CD和DVD音乐，数字电视伴音等计算机合成声音合成语音合成音乐（MIDI）5 数字视频及应用 视频(video)：随时间变化其内容的一组图象(24,25, 30帧/秒)，又叫运动图象或活动图象(motion picture)常见视频信号：电视，电影，动画等.视频信号的特

28、点：内容随时间而变化,伴随有与画面动作同步的声音(伴音),人类接受的信息70%来自视觉, 其中活动图象是信息量最丰富、直观、生动、具体的一种承载信息的媒体。视频信息的处理是多媒体技术的核心。什么是视频（video）？数字视频信号的获取 视频信号的数字化过程: 与图像、声音的数字化过程相仿，但更复杂一些(8-10 bits)滤波取样量化编码数字视频信息模拟视频信号VUYUVY 数字视频的获取设备： 视频采集卡（简称视频卡） 数字摄像头，通过光学镜头和CCD或CMOS采集动态图像，转换成数字信号并输入PC机 脱机获取设备：数码摄像机 数字视频有哪些传播途径？数字视频节目制作视频服务器光盘刻录 地面

29、无线传播 卫星传播 数字CATVInternetVCDBD解码器电视机便携式播放器PC机DVD数字视频的压缩编码视频数据压缩的必要性：数字视频的数据量大得惊人，1分钟的数字电视图像未压缩时其数据量可超过1GB，对存储、传输和处理都有很大的困难视频数据压缩的可能性：视频信息的每个画面内部有很多信息冗余相邻画面的内容有高度的连贯性人眼的视觉灵敏度有限，允许画面有一定失真结论：数字视频的数据量可压缩几十倍甚至几百倍 数字视频的三类编码标准ITU-T国际标准：H.261(Px64)标准、 H.263标准等ISO/IEC 国际标准：MPEG-1标准，MPEG-2标准（等同于ITU-T H.262），用于

30、低分辨率、低码率视频应用的MPEG-4 ASP，代表当前技术水准的MPEG-4 AVC视频编码标准（等同于ITU-T H.264）,在HDTV、蓝光盘、XBOX、iPod、iPhone等众多领域得到推广应用。公司标准：Intel公司的IndeoVideo，苹果公司在QuickTime中使用过的Cinepak， Real Network公司的RealVideo，微软公司的 WMV，Adobe公司Flash播放器中使用的VP6等目前流行的数字视频编码标准名 称图像格式压缩后的码率主要应用MPEG-1360288大约1.2 Mb/s 1.5Mb/s适用于VCD、数码相机、数字摄像机等H.261360

31、288 或180144Px64 kb/s (P=1、2时，只支持180144格式，P6时，可支持360288格式)应用于视频通信，如可视电话、会议电视等MPEG-2 (MPML)7205765 Mb/s 15Mb/s用途最广, 如DVD、卫星电视直播、数字有线电视等MPEG-2高清格式144011521920115280 Mb/s 100Mb/s高清晰度电视（HDTV）领域MPEG-4ASP分辨率较低的视频格式与MPEG-1，MPEG-2相当，但最低可达到64kb/s在低分辨率低码率领域应用，如监控、IPTV、手机、MP4播放器等MPEG-4 AVC多种不同的视频格式采用多种新技术，编码效率比

32、MPEG-4ASP显著减少已在多种领域应用，如HDTV、蓝光盘、IPTV、XBOX、iPod、iPhone等视频文件与播放器播放器(Player)实际上就是一种解码器，但通常既可以解码多种类型的信息（音频、视频、图片、），还能解码多种不同类型的文件格式。PC上使用的是软件播放器，一台计算机可以安装多个不同的播放器：微软公司的“Microsoft Media Player”，苹果公司的QuickTime Player和iTunes，Real公司的RealPlayer (简称RealOne 播放器)“全能”播放器：Storm Player（暴风影音）、The KMPlayer、绚彩魅影、变色龙万能播放器（PPStream）、豪杰超级解霸，等等硬件播放器（便携式）：MP3播放器：以播放MP3格式的音频信息为主，也能收听广播、观看文本和图片，功能更强一些的还能播放视频信息MP4播放器：以播放视频为主，国外叫做PVP（个人视频播放器）或PMP（便携式媒体播放器），LCD屏