计算机图象处理初步.ppt

1 计算机图像处理初步 南通大学计算机科学与技术学院陈德裕Email cdy 2 课程的性质 教学目的和要求 计算机图象处理科学是一个跨学科的前沿科技领域 计算机图象处理是一门多学科交叉的应用性很强的技术学科 是计算机应用的一个重要分支 计算机图象处理技术已广泛应用于办公自动化 工业机器人 地理数据处理 医学数据处理 地球资源遥感 交互式计算机辅助设计等领域 因此开设 计算机图象处理 课对于非计算机专业的学生来说是非常有现实意义和实用价值的 期望通过本课程的学习 同学们能掌握图象处理的基本理论和方法 能够去解决应用学科中需解决的一些基本图象问题 对计算机应用的前沿学科有一个初步的了解 为今后进入相关领域的学习和研究打下一定的基础 课程的内容 熟悉和理解计算机图象处理的有关概念 理论和方法 掌握有关计算机图象处理的常规软件的使用 了解有关计算机图象处理的原理和方法 3 4 计算机图象处理技术发展简介 计算机图象处理技术的起源计算机图象处理承袭的技术和理论计算机图象处理的应用领域 5 计算机图象处理技术的起源 图像传输过程中的质量改善原始图像质量不佳由于传输中噪音导致质量不佳模式识别中的场景数据处理自动识别要求对图像进行分析人工视觉要求对图像进行解释 6 计算机数字图象处理承袭的技术和理论 信号处理图形学色彩学独有技术 7 数字图象处理的应用领域 传统应用领域医学 军事 航天模式识别 人工视觉热门应用领域印刷制版 电视 互联网 多媒体 DRM电影特技 游戏 动画制作 数字相机虚拟现实 电子商务 宽带应用 DigitalRightsManagement DRM 8 第一节基本概念 图象和数字图象 从广义上说 图象是自然界景物的客观反映 是人类认识世界和人类本身的重要源泉 图象对我们并不陌生 它是用各种观测系统以不同形式和手段观测客观世界而获得的 可以直接或间接作用于人眼并进而产生视知觉的实体 人的视觉系统就是一个观测系统 通过它得到的图象就是客观景物在人眼中形成的影像 图象信息不仅包含光通量分布 而且也还包含人类视觉的主观感受 随着计算机技术的迅速发展 人们还可以人为地创造出色彩斑斓 千姿百态的各种图像 9 我们生活在一个信息时代 科学研究和统计表明 人类从外界获得的信息约有75 来自视觉系统 也就是从图象中获得的 这里图象是比较广义的 例如照片 绘图 视象等等 图象带有大量的信息 百闻不如一见 就说明了这个事实 图象和数字图象 10 客观世界在空间上是三维 3 D 的 但一般从客观景物得到的图象是二维 2 D 的 一幅图象可以用一个2 D数组f x y 来表示 这里x和y表示2 D空间XY中一个坐标点的位置 而f则代表图象在点 x y 的某种性质F的数值 例如常用的图象一般是灰度图 这时f表示灰度值 它常对应客观景物被观察到的亮度值 11 常见图象是连续定义的 即f x y的值可以是任意实数 为了能用数字计算机对图象进行加工处理 需要把连续的图象在坐标空间XY和性质空间F都进行离散化 这种离散化了的图象就是数字图象 可以用I r c 来表示 这里I代表离散化后的f r c 代表离散化后的 x y 其中r代表图象的行 row c代表图象的列 column 这里I c r 的值都是整数 我们以后主要讨论数字图象 在不至引起混淆的情况下我们用f x y 代表数字图象 如不特别说明 f x y都在整数集合中取值 12 早期英文书籍里一般用picture代表图象 英文picture的原意是指图片 图画 各种照片以及光学影像 是采用绘画或者拍照的方法获得的人 物 景的模拟 现在普遍采用image代表离散化了的数字图象 英文image的含义是 像 是客观世界通过光学系统产生的视觉印象 图象中每个基本单元叫做图象元素 简称象素 pictureelement 对2 D图象 英文里常用pixel代表象素 对3 D图象 英文里常用voxel代表其基本单元 简称体素 volumeelement 13 与数字图象相关的概念有视频 video 图形 Graphics 和动画 Animation 视频 视频图象又称为动态图象 活动图象或者运动图象 它是一组图象在时间轴上的有序排列 是二维图象在一维时间轴上构成的序列图象 考虑到人眼的视觉特征 视频图象的刷新速度都有一个明确的限制 如NTSC制式的电视视频是30帧 秒 fps framepersecond PAL制式的电视视频是25帧 秒 电影则是24帧 秒 14 图形 图形是图象的一种抽象 它反映图像的几何特征 例如点 线 面等 图形不直接描述图象中的每一点 而是描述产生这些点的过程和方法 被称为矢量图形 矢量图形以解析的形式描述一幅图中所包含的直线 圆 弧线的形状和大小 甚至可用更复杂的形式表示图象中的曲面 光照 材质等 图形的矢量化能够对图中多个部分分别进行控制 所有图形都可用数学的方法加以描述 因而可以对其中任何对象进行任意的变换 放大 缩小 旋转 变形 移位 叠加 扭曲等 但仍保持图形特征 图形变换的灵活性以及处理上的更大自由度等都给计算机图形学的发展带来了巨大的活力 15 动画 动画属于动态图象的一种 它与视频的区别在于视频的采集来源于自然的真实图象 而动画则是利用计算机产生出来的图象或图形 是合成的动态图象 动画包括二维动画 三维动画 真实感三维动画等多种形式 16 上图给出2幅典型的数字图象 图 a 所用的坐标系统常在屏幕显示中采用 它的原点O origin 在图象的左上角 纵轴标记图象的行 横轴标记图象的列 I r c 既可代表这幅图象 也可表示在 r c 行列交点处的图象值 图 b 所用的坐标系统常在图象计算中采用 它的原点在图象的左下脚 横轴为X轴 纵轴为Y轴 f x y 即可代表这幅图象 也可以表示在 x y 坐标处象素的值 a b 17 图象技术和图象工程 图象技术在广义上是各种与图象有关的技术的总称 目前人们主要研究的是数字图象 主要应用的是计算机图象技术 这包括利用计算机和其它电子设备进行和完成的一系列工作 例如图象的采集 获取 编码 存储和传输 图象的合成和产生 图象的显示和输出 图象的变换 增强 恢复 复原 和重建 图象的分割 目标的检测 表达和描述 特征的提取和测量 序列图象的校正 3 D景物的重建复原 图象数据库的建立 索引和抽取 图象的分类 表示和识别 图象模型的建立和匹配 图象和场景的解释和理解 以及基于它们的判断决策和行为规划等等 另外 图象技术还可包括为完成上述功能而进行的硬件设计及制作等方面的技术 18 尽管计算机图象技术的历史可追溯到1946年世界上第1台电子计算机的诞生 但在50年代计算机主要还是用于数值计算 满足不了处理大数据量图象的要求 在60年代 第3代计算机的研制成功以及快速傅里叶变换算法的发现和应用使得对图象的某些计算得以实现 人们从而逐步开始利用计算机对图象进行加工利用 在70年代 图象技术有了长足的进展 而且第一本重要的图象处理专著 Rosenfeld1976 也得以出版 在80年代 各种硬件的发展使得人们不仅能处理2 D图象而且开始处理3 D图象 许多能获取3 D图象的设备和处理分析3 D图象的系统研制成功 图象技术得到了广泛的应用 进人90年代 图象技术已逐步涉及人类生活和社会发展的各个方面 以近年得到广为宣传和应用的多媒体技术为例 图象在其中占据了主要地位 广义上来说 文本 图形 视频等都需要借助图象技术才能充分利用 由此 图象技术必将得到进一步的发展和应用 从而改变人们的生活方式 19 由于图象技术近年来得到极大的重视和长足的进展 出现了许多新理论 新方法 新算法 新手段 新设备 众所周知 工程是指将自然科学的原理应用到工业部门而形成的各学科的总称 图象工作者普遍认为亟需对图象和它们的处理技术进行综合研究和集成应用 这个工作的框架就形成了图象工程 图象工程学科是将数学 光学等基础科学的原理 结合在图象应用中积累的技术经验而发展起来的 20 图象理解图象分析图象处理目标象素符号操作对象大数据量小高层中层低层语义高低抽象程度 图象工程的内容非常丰富 根据抽象程度和研究方法等的不同可分为三个层次 见下图 图象处理 图象分析和图象理解 换句话说 图象工程是既有联系又有区别的图象处理 图象分析及图象理解三者的有机结合 另外还包括对它们的工程应用 21 图象理解 图象分析 图象处理 高层 中层 低层 语义 高 低 抽象程度 图象工程三层次示意图 22 图象处理着重强调在图象之间进行的变换 虽然人们常用图象处理泛指各种图象技术 但比较狭义的图象处理主要满足对图象进行各种加工以改善图象的视觉效果并为自动识别打基础 或对图象进行压缩编码以减少所需存储空间或传输时间 传输通路的要求 23 图象理解的重点是在图象分析的基础上 进一步研究图象中各目标的性质和它们之间的相互联系 并得出对图象内容含义的理解以及对原来客观场景的解释 从而指导和规划行为 如果说图象分析主要是以观察者为中心研究客观世界 主要研究可观察到的事物 那么图象理解在一定程度上是以客观世界为中心 借助知识 经验等来把握整个客观世界 包括没有直接观察到的事物 24 图象分析则主要是对图象中感兴趣的目标进行检测和测量 以获得它们的客观信息从而建立对图象的描述 如果说图象处理是一个从图象到图象的过程 则图象分析是一个从图象到数据的过程 这里数据可以是对目标特征测量的结果 或是基于测量的符号表示 它们描述了图象中目标的特点和性质 25 图像的表示数学表示 计算机表示图像的质量层次 对比度 清晰度图像的颜色RGB CMYK HIS 伪彩色 CIE图像的像素邻域 连通性 距离 26 图像的表示 图像是像素的二维排列 27 图像的表示 数学表示 二维离散亮度函数f x y 1xy说明图像像素的坐标2函数值f代表了在点 x y 处像素的亮度值二维矩阵A m n 1m n说明图像的宽和高2矩阵元素a ij 的值表示图像在第i行第j列的像素的灰度值 28 图像的表示 计算机表示 图像描述信息一般以结构或类来描述主要包括宽高等图像数据数组顺序存放的连续数据BMP格式 29 图像的表示 计算机表示 BMP图像的描述信息 30 图像的质量 层次 灰度级 表示象素明暗程度的整数量 称为灰度级层次 表示灰度级的数量图像数据的实际层次越多视觉效果就越好 31 图像的质量 层次 256个层次的图像64个层次的图像16个层次的图像 32 图像的质量对比度 对比度 是指一幅图象中灰度反差的大小对比度 最大亮度 最小亮度 33 图像的质量 清晰度 与清晰度相关的主要因素亮度对比度主题内容的大小细微层次颜色饱和度 34 图像的质量 清晰度 35 图像的质量 清晰度 36 图像的质量 清晰度 37 图像的质量 清晰度 38 图像的质量 清晰度 39 图像的颜色 RGB模型 杨 赫姆霍尔兹视觉三基色假说 C R G B视网膜锥体细胞感红 感绿 感蓝色素RGB分别取值0 1或0 255 40 图像的颜色CMYK模型 密度的概念 单位面积里入射光与反射光之比的对数D lg I Ir C M Y三个密度值表示一个颜色 41 图像的颜色CMYK模型 C代表青色 cyan 色值为 R 0 G 255 B 255M代表洋红色 magenta 色值为 R 255 G 0 B 255Y代表黄色 yellow 色值为 R 255 G 255 B 0K代表黑色 black 色值为 R 0 G 0 B 0 42 图像的颜色CMYK模型 网点的概念及成色原理 网格上的最小墨点色料三基色只能叠加合成出8种色块网点面积变化和视觉分辨率实现颜色阶调网点密度值取值0 100 43 44 图像的颜色 伪彩色模型 定义 通过颜色映射表描述色彩实际上是RGB颜色模型的变体用伪彩色描述颜色的方法 建立颜色映射表一般表的长度16 256像素值用其RGB值在映射表中的位置代替通过抖动技术缓解颜色种类不足的问题如何找出16 256种关键颜色是成败的关键 45 图像的颜色 伪彩色模型 46 图像的颜色 伪彩色模型 47 图像的颜色 CIE模型 标准色度观察者三刺激值函数色度坐标1931CIE XYZ色度坐标系统颜色的色差与均匀色空间Lab 48 图像的颜色 CIE模型 标准色度观察者三刺激值函数标准色度观察者与三刺激值三刺激值函数与1931CIE RGB系统三个基色光R 700nmG 546 1nmB 5 8nm三组刺激值函数r r g g b b 49 图像的颜色 CIE模型 色度坐标三维变两维r R R G B g G R G B b B R G B r g b 1b 1 r g 50 图像的颜色 CIE模型 1931CIE XYZ色度坐标系统CIE RGB有负值由RGB向XYZ转换x y z色度坐标X Y Z三刺激值Y x y 51 图像的颜色 CIE模型 颜色的色差与均匀色空间LUVXYZ坐标系统色差的不均匀性CIE1960UCSU 4X X 15Y 3Z V 6Y X 15Y 3Z 52 图像的颜色 CIE模型 Lab色空间CIE1976 L a b L 116 Y Y0 1 3 16a 500 X X0 1 3 Y Y0 1 3 b 200 Y Y0 1 3 Z Z0 1 3 53 CIELAB CIELab 色度空间是1976年国际照明委员会推荐的均匀颜色空间 1987年我国发布的GB7921 87将LAB空间作为国家标准 目前色彩设计及复制等行业在色彩校正 计算以及DTP系统中 CIELAB空间已被普遍使用 虽然CIELAB色度空间是CIE推荐的均匀颜色空间 颜色的均匀性较Yxy空间有很大改善 而实际上CIELAB空间对于人眼的色彩感觉来说也还是不均匀的 在该空间的某个区域 如红色区域 取两个色样点与另一区域 如绿色区域 同等距离的两个色样点作比较 会发现在红色区域的两个色样的视感觉差别和绿色区域的两个色样的视感觉差别不一样 即在不同颜色区域 色彩的宽容量数值是不相等的 这种颜色空间的不均匀性给我们在彩色复制过程带来了误差 在使用CIELAB空间进行颜色转换和校正时 如果在红色区域和绿色区域按照同样的尺度和比例进行调整 就会因为颜色空间的不均匀性而产生色偏 实际工作中 技术人员在色彩设计软件中的CIELAB空间进行调整和校正时 往往根据经验来进行操作 因此迫切需要对空间进行均匀性研究 找出在不同颜色区域 颜色宽容量的数值以及颜色空间不均匀性的变化规律 为彩色复制时色彩的转化和校正制定合适的调整尺度和比例 从而减少由于空间的不均匀而带来的复制误差 54 图像的颜色 CIE模型 Lab模式由三个通道组成 但不是R G B通道 经的一个通道是照度 即L 另外两个是色彩通道 用a和b来表示 a通道的颜色是从深绿 低亮度值 到灰 中亮度值 再到亮粉红色 高亮度值 b通道则是从亮蓝色 低亮度值 到灰 中亮度值 再到焦黄色 高亮度值 因此 这种彩色混合后将产生明亮的色彩 55 图像的像素 邻域 邻域4 邻域 D 邻域 8 邻域连通性4 连通 8 连通 m 连通距离 56 图像的像素 邻域 4 邻域定义 象素p x y 的4 邻域是 x 1 y x 1 y x y 1 x y 1 用N4 p 表示p的4 邻域8 邻域定义 象素p x y 的8 邻域是4 邻域的点加上对角上的点 x 1 y 1 x 1 y 1 x 1 y 1 x 1 y 1 用N8 p 表示p的8 邻域 57 图像的像素 邻域 4 邻域8 邻域D 邻域 58 图像的像素 像素的连通性 连通性是描述区域和边界的重要概念两个像素连通的两个必要条件是两个像素的位置在某种情况下是否相邻两个像素的值是否满足某种相似性4 连通 8 连通 m 连通的定义临近的定义路径的定义 59 图像的像素 像素的连通性 4 连通的定义对于具有值V的象素p和q 如果q在集合N4 p 中 则称这两个象素是4 连通的 60 图像的像素 像素的连通性 8 连通的定义对于具有值V的象素p和q 如果q在集合N8 p 中则称这两个象素是8 连通的 61 图像的像素 像素的连通性 m 连通的定义对于具有值V的象素p和q 如果 i q在集合N4 p 中或 ii q在集合ND p 中并且N4 p 与N4 q 的交集不空 则称这两个象素是m 连通的 即4 连通和D 连通的混合连通 62 图像的像素 像素的连通性 是m 连通的不是m 连通的 63 图像的像素 像素的连通性 像素临近的定义 如果象素p和q是连通的 则称p临近于q我们可以用定义邻域的方法定义4 临近8 临近和m 临近 图像子图临近的定义 如果两个图象子集S1和S2中的某些象素是临近的 则称S1和S2是临近的 64 图像的像素 像素的连通性 65 图像的像素 像素的连通性 路径的定义一条从具有坐标 x y 的象素p 到具有坐标 s t 的象素q的路径 是具有坐标 x0 y0 x1 y1 xn yn 的不同象素的序列 其中 x0 y0 x y xn yn s t xi yi 临近于 xi 1 yi 1 1 i n n是路径的长度 我们可以用定义临近的方法 定义4 路径 8 路径和m 路径 66 图像的像素 像素的连通性 67 图像的像素 像素的连通性 像素在图像子集中连通的定义如果象素p和q是图象子集S中的元素 如果存在一条完全由S中的象素组成的从p到q的路径 则称p和q在S中是连通的 图像子集连通元素的定义对于S中的任意象素p S中连接到p的所有象素的集合 被称为S的连通元素 68 4 连通元素 69 图像的像素 像素的连通性 自动标注连通元素的算法在二值图像中标注值为1的4 连通元素 1 申请一片标注空间 70 图像的像素 像素的连通性 2 对图像中的任意象素p 其上面的像素为t 左边的像素为r 从左向右扫描图像 有4种情况 1 如r和t的值为0 给p一个新标记2 如r或t有一个为1 将为1的标记给p3 如r和t都是1 并且有相同标记 赋该标记到p4 如r和t都是1 并且有不同的标记 赋这两个标记中的一个给p 并且建立一个说明 指出那两个标记是等价的 71 图像的像素 像素的连通性