多媒体视觉技术

多媒体视觉技术第一页，共四十四页，编辑于2023年，星期五3.1基础知识3.1.1人的视觉特性3.1.2视频基础第二页，共四十四页，编辑于2023年，星期五3.1.1人的视觉特性1.对色彩的感知可见光是由各种不同波长的彩色光组合而成的白光，通过三棱镜可以看到白光被分解为红、橙、黄、绿、蓝、靛、紫七种颜色，称为光谱。如下图所示。第三页，共四十四页，编辑于2023年，星期五3.1.1人的视觉特性2.对亮度的感知所谓光亮度，就是人对光的心理感受程度。它与光波长和眼的感受能力也有关系。3.对形状和景深的感知由视觉所感知的物体，不单是由视网膜上形成的图像的外形决定，还取决于人的经验、习惯和看问题的角度。对景深的感知，人的视觉系统有三种途径：（1）单眼视觉深度线索。（2）双眼视觉深度线索。（3）双眼差异或立体镜视觉深度线索。第四页，共四十四页，编辑于2023年，星期五3.1.1人的视觉特性4.视觉惰性人眼的视觉是有惰性的，这种惰性现象也称为视觉的暂留。当一幅图像在眼睛中成像后，信号完全消失需要一个相当长的时间。5.视觉掩蔽效应

所谓视觉掩蔽效应是在视野中的同一位置呈现一个视觉模式，用以干扰观看原刺激所必需的某些处理过程。一般分为时间域上的、空间域上的和色彩三方面的效果。1）时间域上的视觉掩蔽效应2）空间域上的视觉掩蔽效应3）色彩上的视觉掩蔽效应第五页，共四十四页，编辑于2023年，星期五3.1.2视频基础1.色彩的基本概念1）色彩的性质

颜色是人的视觉系统对可见光的感知结果。2）色彩三要素（1）色调。（2）亮度。（3）饱和度。第六页，共四十四页，编辑于2023年，星期五3.1.2视频基础3）色彩的互补可用公式表示这个互补关系：∵红光＋绿光＋蓝光＝白光且红光＋绿光＝黄色光红光＋蓝光＝品色光绿光＋蓝光＝青色光∴红光＋青色光＝白光绿光＋品色光＝白光蓝光＋黄色光＝白光配色公式：任意一种颜色F＝R（红色百分比）＋G（绿色百分比）＋B（蓝色百分比）第七页，共四十四页，编辑于2023年，星期五3.1.2视频基础2.彩色空间表示及其线性变换1）彩色空间模型彩色空间是用一种数学方法表示颜色，通常用三维模型表示，其颜色要取决于所使用的坐标。彩色空间有设备相关和设备无关之分。几种典型的色彩空间：（1）彩色显示器使用的RGB彩色空间。（2）打印机使用的CMY彩色空间。（3）彩色电视使用的YUV和YIQ彩色空间。（4）其他彩色空间（HSI彩色空间、CIE彩色空间）。第八页，共四十四页，编辑于2023年，星期五3.1.2视频基础2）各彩色空间模型之间的线性变化不管多媒体计算机系统中采用什么形式的彩色空间，最后的输出一定要转换成RGB彩色空间，才能在显示器上输出。（1）YUV<->RGB的转换。（2）YIQ<->RGB的转换。（3）HIS<->RGB的转换。第九页，共四十四页，编辑于2023年，星期五3.2图形和图像的计算机处理技术3.2.1图形和图像3.2.2图形图像处理的基础3.2.3图形图像的获取3.2.4图形图像处理的一般技术简介3.2.5图形图像的输出第十页，共四十四页，编辑于2023年，星期五3.2.1图形和图像1.概念（1）图形也称矢量图形，通常由图形应用程序创建，内部表示为直线、曲线或圆弧等图元对象的集合。（2）图像也称点位图，它来源于现实或虚拟世界，是用摄像机或扫描仪等输入设备捕捉实际场景画面产生的数字图像，其最小的可寻址的图像元素为像素。第十一页，共四十四页，编辑于2023年，星期五3.2.1图形和图像2.矢量图和位图的比较及转换

1）矢量图和位图的比较

矢量图位图容量与图的复杂程度有关，一般较小与图的尺寸和颜色有关，一般较大文件内容图形指令图像点阵数据显示速度图越复杂，需执行的指令越多，显示越慢与图的容量有关应用特点易于编辑，适于“绘制”和“创建”，但表现力受限适于“获取”和“复制”，表现力丰富，但编辑起来较复杂第十二页，共四十四页，编辑于2023年，星期五3.2.1图形和图像

2）矢量图和位图的转化（1）硬转化——文件在输入/输出设备之间的转化。（2）软转化——文件格式之间的转化。3.图像文件的特性

1）分辨率图像分辨率是确定组成一幅图像的像素数目。第十三页，共四十四页，编辑于2023年，星期五3.2.1图形和图像2）色彩深度色彩深度（像素深度），也称图像深度，是指存储每个像素所用的位数。3）图像文件的大小图像文件大小是指计算机存储设备上存储图像所有点（像素）的字节数，有如下公式：文件容量＝图像分辨率（水平分辨率×垂 直分辨率）×色彩深度/8第十四页，共四十四页，编辑于2023年，星期五3.2.1图形和图像4）真彩色、伪彩色和直接色

真彩色——指在组成一幅彩色图像的每个像素值中，有R、G、B三原色分量，每个原色分量直接决定显示设备的原色强度，这样产生的彩色称为真彩色。

伪彩色——指把像素值当作预先做好的彩色查找表（CLUT）的表项入口地址（索引值），去查找一个显示图像时使用的R、G、B三个分量的强度值，用查找出的R、G、B强度值产生的颜色称为伪彩色。

直接色——跟伪彩色原理类似，只不过将R、G、B三个分量分别独立索引，再将找到的强度值进行合成处理后输出。第十五页，共四十四页，编辑于2023年，星期五3.2.1图形和图像一般的图像文件结构主要包含有文件头、文件体和文件尾三部分。5.图像质量评价1）客观评价2）主观评价表

国际上通用的五级质量尺度和妨碍尺度质量分数妨碍尺度质量尺度5丝毫看不出图像质量变坏很好4可看出图像质量变化但不妨碍观看好3明显地看出图像质量变坏一般2图像质量对观看有妨碍差1图像质量对观看有严重妨碍很差4.图像文件的结构第十六页，共四十四页，编辑于2023年，星期五3.2.1图形和图像6.图形图像文件格式1）图像文件格式（1）BMP文件。

BMP（Bitmap-File，位图文件）格式是Windows采用的图像文件存储格式，在Windows环境下运行的所有图像处理软件都支持这种格式。（2）GIF文件。

GIF（GraphicsInterchangeFormat）是CompuServe公司开发的图像文件存储格式，GIF文件格式采用压缩存储（LZW压缩算法）而缩短获取图像信息的时间。第十七页，共四十四页，编辑于2023年，星期五3.2.1图形和图像（3）JPEG文件。由JPEG专家组制定的第一个压缩静态数字图像的国际标准，图像的保真度在较宽的压缩范围里的评价是“好”、“很好”到“与原始图像几乎不能区分”。（4）PCX文件。

PCX文件的色彩深度可选为1bit、4bit、8bit，它不支持真彩色。PCX文件采用RLE行程编码。（5）TIFF文件。

TIFF图像格式最大的优点是可移植性好。TIFF定义了四类不同的格式：TIFF—B；TIFF—G；TIFF—P；TIFF—R。第十八页，共四十四页，编辑于2023年，星期五3.2.1图形和图像（6）PSD、PDD文件。

PSD、PDD是Photoshop图像处理软件专用的图像文件格式。（7）TGA文件。

TGA格式能很好地在Macintosh计算机上再现图像的色彩。（8）PNG文件。

PNG（PortableNetworkGraphicFormat，流式网络图形格式）是20世纪90年代中期开始开发的图像文件存储格式。PNG使用从LZ77派生的无损数据压缩算法。

第十九页，共四十四页，编辑于2023年，星期五3.2.1图形和图像2）图形文件格式（1）EPS文件。（2）CDR文件。（3）DXF文件。（4）WMF文件。（5）SVG（ScalableVectorGraphics，可升级矢量图像）。第二十页，共四十四页，编辑于2023年，星期五3.2.2图形图像处理的基础1.图像处理的基本内容1）图像增强

图像增强技术是一类具有相似效果的多种技术的集合，它试图变换图像的视觉效果，或把图像转换成某种适合于人或计算机分析的图像形式。2）图像恢复

图像恢复就是研究从所获得的变质图像中恢复出真实图像。图像恢复的关键是建立图像变质模型，然后按照其退化的逆过程恢复图像。第二十一页，共四十四页，编辑于2023年，星期五3.2.2图形图像处理的基础3）图像识别图像识别也称模式识别，就是对图像进行特征抽取，然后根据图形的几何及纹理特征利用模式匹配等识别理论对图像进行分类和结构分析。4）图像编码图像编码即图像压缩，亦即在图像质量允许的条件下压缩图像。第二十二页，共四十四页，编辑于2023年，星期五3.2.2图形图像处理的基础2.图像的数字化所谓数字化图像是将模拟图像转化成由一系列离散数据（二进制数）所表示的图像。其过程如下图所示。第二十三页，共四十四页，编辑于2023年，星期五3.2.3图形图像的获取1.捕获图像数字图像的捕获过程是基于现实图像或其他数字图像的。捕获现实图像是指，从真实的三维场景中捕获二维图像。捕获的图像要采样、数字化后才能让计算机作进一步的处理。代表一个图像的二维空间矩阵是由像素组成的，像素是最小的图像分辨率单位，每个像素有一个数值对应。捕获后的数字化图像一般都很大，通常需要进行压缩编码才能存储和传输。第二十四页，共四十四页，编辑于2023年，星期五3.2.3图形图像的获取2.创建图形创建图形首先要依靠图形输入设备。此外，图形的创建还需要一些图形软件协助完成。如常见的交互式图形系统。该系统包括三个模块：应用模板、应用程序和图形系统与一个硬件组件组成的集合体。3.存储图形图像

存储图像文件的时候，可以直接保存像素矩阵。但一般是存储像素值的索引值。至于存储图形文件，存储的数据不是像素值，而是描述图形的公式、指令、程序等。回放（显示或打印等）时再进行图形画面的装载和重构。第二十五页，共四十四页，编辑于2023年，星期五3.2.4图形图像处理的一般技术简介1.图像的分析1）图像特性2）图像分割3）图像识别2.图像的重构图像的重构是图像的获取的逆过程。即是将投影得到的数据重构原始三维场景。第二十六页，共四十四页，编辑于2023年，星期五3.2.5图形图像的输出介绍一种比较有趣的输出技术——抖动技术。抖动技术也称半色调技术，是指在可用颜色或灰度数低于所需的颜色数或灰度数的时候（如用单色显示器显示彩色图像），利用人眼睛的空间集成化的功能，利用半色调技术或集束点的有序抖动来满足颜色数或色度数的技术。第二十七页，共四十四页，编辑于2023年，星期五3.2.5图形图像的输出如下面所示的这几幅图，如果没有用抖动技术，直接将24位真彩图用黑白单色图表示，则黑点多时较暗，白点多时较亮。第二十八页，共四十四页，编辑于2023年，星期五3.2.5图形图像的输出若是一幅灰度图，那怎样用二值（黑白）颜色更好地表示呢？图案法是指灰度可以用一定比例的黑白点（方格）组成的区域表示，从而达到整体图像的灰度感。黑白点的位置选择称为图案化。N×N黑白方格表示一个像素时，这个像素可以有N2+1个级别的灰度值，如下图所示的2×2方格有5个灰度值。抖动技术使黑白点的分布比较均匀与合理。

第二十九页，共四十四页，编辑于2023年，星期五3.3视频处理技术3.3.1视频技术基本概念3.3.2传统的电视和高清晰度电视（HDTV）3.3.3数字电视简介3.3.4动画简介3.3.5常见的数字视频格式第三十页，共四十四页，编辑于2023年，星期五3.3.1视频技术基本概念1.视频信号的可视表示视频是由一幅幅单独的画面（帧）序列组成的，这些画面以一定的速率（帧率）连续地投射在屏幕上，使观众具有图像连续运动的感觉。所谓可视化表示，是指电视图像精确地表达出场景的空间和时间的内容，在观众面前呈现一幅尽可能接近真实的场景表示。其有以下几种指标：

1）纵横比、观察距离和视觉角度第三十一页，共四十四页，编辑于2023年，星期五3.3.1视频技术基本概念

2）亮度、深度感知

3）运动的连续性

4）闪烁现象2.视频信号的数字化视频信号必须从模拟量转化为数字量以后才能够被计算机处理或存储或传输。这个过程的结果得到数字化的视频信号。整个数字化过程包括采样、量化和编码三大部分。通常有两种数字编码类型：分量编码和复合编码。后来出现了一种分量编码和复合编码的折衷方案：分离电视信号S-Video编码。第三十二页，共四十四页，编辑于2023年，星期五3.3.1视频技术基本概念3.视频信号的格式视频信号的编码基础是色彩空间表示。计算机所处理的视频格式取决于视频输入设备和输出设备。4.视频的计算机处理技术（1）视频信号的捕获主要借助于视频采集卡，将模拟视频信号转换成数字视频信号，并对转换后的视频信号进行压缩处理并保存在内存或硬盘中。第三十三页，共四十四页，编辑于2023年，星期五3.3.1视频技术基本概念（2）在多媒体计算机系统中，可借助普通的视频编辑软件对数字化了的视频信号进行处理。（3）视频回放技术，主要有三类：全屏幕实时播放、全屏幕全数字化播放和局部屏幕数字化播放。影响回放质量的因素主要有数据速率、压缩比和关键帧的选取。第三十四页，共四十四页，编辑于2023年，星期五3.3.2传统的电视和高清晰度电视（HDTV）1.传统的电视（1）NTSC（全国电视系统委员会制式）（2）PAL（逐行倒相制式）（3）SECAM（顺序与存储彩色电视系统）2.HDTVHDTV就是高清晰度电视，HDTV具有以下几个特点：（1）分辨率：纵横像素数是传统的2倍。（2）纵横比：W/H=16/9=1.777。（3）观看距离：比传统距离近才能看到细节。第三十五页，共四十四页，编辑于2023年，星期五3.3.2传统的电视和高清晰度电视（HDTV）（4）采用国际标准的压缩编码算法MPEG-II。（5）采用打包数据结构，图像和声音分成不同分量，数据包的大小随意，传输次序随机。（6）采用双层传输技术，保证HDTV的可靠性和抗干扰性。将信息分开，重要数据在最高优先级载波上传输。第三十六页，共四十四页，编辑于2023年，星期五3.3.3数字电视简介所谓数字电视，是将传统的模拟电视信号经过抽样、量化和编码，转换成用二进制数代表的数字式信号，然后进行各种功能的处理、传输、存储和记录，也可以用电子计算机进行处理、监测和控制。1.数字电视简史

日本是世界上最早推出数字电视和进行数字电视广播的国家。第三十七页，共四十四页，编辑于2023年，星期五3.3.3数字电视简介2.数字电视与模拟电视的比较模拟电视数字电视成本低成本高清晰度差清晰度高不稳定、易失真稳定、无失真采用被动接收方式互动性强计算机无法处理便于计算机处理功能少功能强大数据量不多数据量大第三十八页，共四十四页，编辑于2023年，星期五3.3.4动画简介

动画是通过以15～20帧每秒的速度顺序地播放静止图像帧以产生运动的错觉。1.动画基础

1）动画的生成过程（1）输入。（2）合成。（3）处理。（4）变色。第三十九页，共四十四页，编辑于2023年，星期五3.3.4动画简介

2）动画的种类（1）块动画（2）实时动画（3）帧动画2.动画的控制

控制动画是独立于描述它的语言的。主要有以下几种技术：1）显控制2）过程控制3）基于约束的控制4）跟踪实际动作的控制5）运动学和动力学的控制第四十页，共四十四页，编