00-2-图像处理介绍与应用实例

1、数数 字字 图图 像像 处处 理理 主要内容 数字图像处理的概念 图像处理的起源 图像处理技术分类 数字图像处理系统组成 数字图像处理主要内容 数字图像处理应用 数字图像处理发展方向 1数字图像处理的概念 什么是图像？ 数字图像处理的概念照片 数字图像处理的概念图、画 二维条码 数字图像处理的概念 数学函数 （分形） 图 数字图像处理的概念 数学函数 （仿真）图 数字图像处理的概念 红外图像 (美国攻打阿富汗) CT图像 (肺与皮肤) 不可见图像 数字图像处理的概念 数字图像是指由被称作像素的小块区域组成的二 维矩阵。将物理图像行列划分后，每个小块区域 称为像素（pixel）。 每个像素包括两

2、个属性：位置和亮度（或色彩）。 对灰度图像而言，每个像素的亮度用一个数值 （即灰度值）来表示，通常数值范围在0到255之 间，即可用一个字节来表示，0表示黑、255表示 白，而其它表示灰度级别。 什么是数字图像什么是数字图像 数字图像处理的概念 数字图像处理的概念 数字图像的特点数字图像的特点 信息量大 （计算量大，实时性难度大） 冗余性（象素间相关性大图像压缩的前提） 频带宽 视觉效果的主观性大 数字图像处理的概念 由于数字图像处理是多学科交叉领域，因此充斥着相互矛 盾和不准确的定义。 数字图像处理：是指将一幅图像转变为另一幅图像。 数字图像分析：是指将一幅图像转换为一种非图像的表 示。但数

3、字图像处理通常又包括数字图像分析。 计算机图形学：用计算机将由概念或数学描述所表示的 物体图像（非实物）进行处理和显示的过程。如机械图、 建筑图等，动画、虚拟现实等（可视化）。 计算机视觉：基于图像的测量技术；用计算机技术发展 能够理解自然景物的视觉系统。（输出是参数或者描述） 数字图像处理术语数字图像处理术语 2图像处理的起源 最早应用于20世纪20年代，报纸业 1921年电报打印机采用特 殊字符在编码纸带打印。 输出设备从专用到通用再 到专用。 1922年两次穿越大西洋 ，穿孔纸得到图像检测 误差。图像通信系统信 源编码和信道编码。 1929年从伦敦到纽约15级色调通过电 缆传递照片。从早

4、期5级灰度到15级 灰度。现在的网络、移动通信再次历 经这个过程。 图像处理的起源 数字图像处理作为一门学科追溯到60年代，1964年美国喷气推进 实验室利用计算机对“徘徊者7号”太空船送回的四千多张月球照 片进行了处理。 美国航天器传送的第一张月 球照片，1964年7月31日在光 线影响月球表面17分钟摄取 的图像。 图像处理的起源 60年代末，数字图象处理形成一个比 较完整的理论与技术体系，从而构成了 一门独立的技术 70年代，CT的发明，血球自动分类仪 的商业化 CT发明获得1979年诺贝尔医学奖。 X射线1901年物理学奖。 70年代以来迅猛发展。广泛应用于太 空探索，遥感应用，生物医

5、学工程工业 应用，军事应用等方面。 3图像处理技术分类 模拟图像处理： 光学、电信号处理，包括光学透镜处理、照相、广播 电视等 优点处理速度快，一般是实时处理 缺点精度低，抗干扰性差，灵活性差，没有对图像 的理解能力和非线性处理能力，不易保存 数字图像处理： 采用数字计算机对数字化形式的图像进行处理 优点精度高，处理内容丰富，处理手段灵活 缺点计算量大，速度慢，且保持静止 图像处理技术分类 数字图像处理功能分类数字图像处理功能分类 将一幅图像变为另一幅经过加工的图像，是图像 到图像的过程。（面向人） 将一幅图像转化为一种非图像的表示，如一个决 策等。（面向机器） 4数字图像处理系统组成 数字图

6、像处理系统由图像数字化设备、图像处理计算 机和图像输出设备组成。 图像数字化设备：扫描仪、数码相机、摄象机与图像采 集卡等 图像处理计算机：PC、工作站等（通常将存储设备也 包括在内） 图像输出设备：打印机、绘图仪等 数字图像处理系统组成 图像传感器 特殊图像处理硬件 计算机大规模存储图像显示 图像处理软件硬拷贝 问题域 网络 5数字图像处理内容 图像增强去除干扰；突出主要特征；提高图像对比度。 包括平滑（去噪）与锐化技术 图像复原将降质图像（畸变、模糊）恢复到原真实图 像（逆问题，需要降质模型） 图像压缩编码（图像传输与存储需要） 图像分析包括特征提取、图像分割、图像描述、图像 理解（模式识

7、别） 图像重建由多幅二维图像恢复物体的三维结构 图像变换（数学方法） 离散付氏变换、余弦变换、 沃尔什（哈达玛）变换、K-L变换、小波变换等 6数字图像处理应用 航天及遥感 月球图像 火星图像 数字图像处理应用 飓风的多光谱图像 西藏东南山区雷达图像 数字图像处理应用 美洲的红外线图像 高分辨率遥感影像道路提取 1用灰度级标准差检测直线用灰度级标准差检测直线 假设图像空间中的一条角度为假设图像空间中的一条角度为 、截距为、截距为 的直的直 线线 ，映射其灰度级标准方差到参数空间，映射其灰度级标准方差到参数空间 上的一点上的一点 ，该点的值，该点的值 可由以下公式求可由以下公式求 得得 q (

8、)ytgxq ( , )q( , )wq -1 2 0 -1 0 1 -( , )-2550 ( , ) 0,0 1 ( , )( , ) N i i N ii i f x yMN N wq N Mf x yf x y N ， 其中， ，是图像上所有满足y =tg()x+q的点 , 该变换的原理如图所示该变换的原理如图所示 q q y l 0 q o q 45 45 o 00 ( ,)q x y o 11 (,) NN xy a)图像空间 b) 在方向上投影 c)映射方差特征到参数空间 2梯度矢量均值约束的线目标检测梯度矢量均值约束的线目标检测 对原始图像进行梯度变换，对梯度矢量进行统计，用梯

9、度对原始图像进行梯度变换，对梯度矢量进行统计，用梯度 矢量均值来代替上一节矢量均值来代替上一节 处的值，就得到了梯度矢量在处的值，就得到了梯度矢量在 参数空间中的统计特性。参数空间中的统计特性。 ( , )q 数字图像处理应用 工业检测 电路板； 封装丸剂； 瓶装液体；塑料中气泡； 谷物； 目镜搀杂物 数字图像处理应用 网 裂 龟 裂 公路损害检测公路损害检测 数字图像处理应用 医疗诊断 胸部胸部X X射线成像射线成像 血管造影图像血管造影图像 头部头部CTCT图像图像 数字图像处理应用超声波成像的例子超声波成像的例子 不同角度的胎不同角度的胎 儿成像儿成像 甲状腺；受损甲状腺；受损 肌肉层肌

10、肉层 数字图像处理应用 多器官伪彩显示多器官伪彩显示 三维彩色三维彩色CTCT技术技术 数字图像处理应用 （观察角度变化）（观察角度变化） 生物医学图像的处理 细胞图像自动分割流程图 边缘检测目标定位区域生长目标分割 免疫细胞图像自动分割的过程示意图 a)一幅免疫细胞图像 b)边缘检测的结果 c)目标定位并与b)叠加的结果 d) 计算目标中心点 e) 计算目标所在矩形 f) 在矩形框内分割图像 a) b) c) d) e) f ) a)原图 b)边缘检测的结果 椭圆目标的位置检测过程示意图 c)c)从边缘点沿梯度 方向做扇形 d)累加器累加的结果e)对d取阈值并与b叠加 f)计算中心点 数字图

11、像处理应用 生物个体特征识别 人脸人脸脸部热量图脸部热量图指纹指纹 几种常见的生物个体特征几种常见的生物个体特征 数字图像处理应用 手形手形 手部血管手部血管 分布分布 虹膜虹膜 视网膜视网膜 签名签名 声音声音 人脸检测系统 关键技术与系统模块 关键技术包括图像读取、光线补偿、色度空间转换、图 像二值化、图像膨胀、图像腐蚀、图像建模、目标中心 点获取等技术。 软件由三个模块组成：人脸大致定位模块、眼睛定位模 块、嘴巴定位模块。 检测系统总体流程图 人脸大致定位人脸大致定位 嘴巴定位嘴巴定位 勾勒人脸勾勒人脸 眼睛定位眼睛定位 人脸大致定位 读取图像读取图像光线补偿光线补偿色度空间转换色度空间

12、转换 修正去掉假修正去掉假 人脸区域人脸区域 腐蚀腐蚀膨胀膨胀皮肤颜色建模皮肤颜色建模 再次膨胀、再次膨胀、 腐蚀腐蚀 大致定位人大致定位人 脸区域脸区域 眼睛定位 修正去掉假修正去掉假 眼睛区域眼睛区域 定位眼睛中心点定位眼睛中心点 眼睛亮度匹配眼睛亮度匹配 眼睛匹配眼睛匹配 眼睛色度匹配眼睛色度匹配 嘴巴定位 嘴巴匹配嘴巴匹配腐蚀腐蚀去除离散点去除离散点 定位嘴巴中心点定位嘴巴中心点 光线补偿 光线补偿是为消除图像中可能存在的光线不平 衡的情况，同时由于系统中要用到YCrCb色度空间， 所以要进行光线补偿。其基本思路是：把图像中 亮度最大的5%的像素提取出来，然后线性放大， 使得这些像素的

13、平均亮度达到255，根据求得的系 数把整个图像的亮度进行线性放大。 色度空间转换 为更好地进行肤色匹配，在人脸检测系统 中常用到YCrCb(YCC)色度模型，因此要进行 色度空间的转换。 人脸颜色建模 建模就是根据已经知道的特征为对象建立一个 模型，借此对对象实现判断、检测、绘制、控制等 功能。人脸建模一般可以分为几何建模和色彩建模， 两种方式各有优缺点。相对而言，几何建模实现起 来比较复杂，而且匹配速度较慢，但精度相对较高。 色彩建模比较简单，其建模公式如下： 22 22 ()() 1 cossin sincos xx bx ry xecyec ab Ccx Ccy 膨胀、腐蚀、闭操作 膨胀

14、是将与物体接触的所有背景点合并到该 物体中，使边界向外部扩张的过程。可以用来填 补物体中的空洞。 腐蚀可以把小于结构元素的物体删去，这样 选取不同大小的结构元素，就可以去掉不同大小 的物体。 闭操作等形态学运算填平小湖（即小孔）， 弥合小裂缝，而总的位置和形状不变。 去掉非人脸区域 对于图像中的非人脸区域，如果不去掉，则 会影响后续的操作。因为非人脸区域面积比较小， 可以根据这一条件把它们去除掉。 再次膨胀和腐蚀操作 进行再次膨胀和腐蚀操作，主要是为了得到人 脸区域的像素点，这对后续操作是非常有用的。 人脸区域定位 因为人脸皮肤建模是根据皮肤颜色来确定的， 有可能把脖子肩膀等区域也包括进去了，

15、所以得 到的只能是人脸的大致区域。这所以要定位出这 个区域，主要是可以方便后续的处理，因为图像 处理的速度是较慢的，所以要尽量减少处理的像 素数，当定位出人脸区域的时候，就可以只对区 域内部的像素点进行处理了，这样就大节省了计 算时间。同时定位出这个区域还有助于眼睛、嘴 巴的定位。在算法实现时，常用递归的方法进行。 眼睛的色度匹配 色度匹配就是根据已知的条件设定颜色的上下 限来对眼睛进行提取操作。YCC色度空间中的色度 操作就是对Cr、Cb分量的操作。 眼睛的亮度匹配 眼睛的亮度匹配是根据图像像素的亮度值来确 定的，可以用YCC色度空间的Y亮度值进行，也可 以另外采用一个计算值进行。 眼睛的双

16、重匹配 仅仅依靠亮度或色度来进行眼睛的定位都是不 够准确的，还要把两者结合起来。常用的算法是： 在进行亮度匹配和色度匹配时，把匹配成功的点 都做上标记，最后只要检测3个标志数组即可确定 眼睛位置。 去掉非眼睛区域 经过前面的操作，眼睛的位置基本已确定出来 了，但除了眼睛区域外，还有一些其他的区域留 在图像中，为了准确的检测出人眼，必须去掉这 些区域。去掉这些区域是根据人脸区域来进行的。 把在人脸区域以下的区域，全部定义为非眼睛区 域。 膨胀眼睛区域 为连接人眼中不连续的区域和点，使得一些离 散的点合并为两个眼睛区域块，需要再次对眼睛 区域进行膨胀处理。 获得人眼中心点 定位出人眼区域后，得到两

17、个比较大的区域， 为了更加精确的定位出人眼，还要进行中心点定 位的操作。其基本算法是计算两个目标区域的形 心。 嘴巴的定位 嘴巴的定位和眼睛的定位思路类似，不再冗述。 腐蚀出嘴巴区域 腐蚀的作用是进行去噪，把不属于嘴巴的像素 点去除。为过考虑到嘴巴是狭长形状，因此应只 进行水平方向上的腐蚀。 去离散点 进一步将不属于嘴巴的离散点去除掉，其基本 算法是：扫描整图像，如果遇到一个白色的点， 就判断和这个白色点直接或间接相连的白色点的 个数是否足够大，如果足够大，说明其不是离散 点，否则是，将其去除。 定位嘴巴中心点 和得到眼睛中心点相似，也是计算其形心即可。 勾勒人脸 得到了眼睛和嘴巴的位置后，已

18、经可以比较精 确地定位出人脸来了。两个人眼和嘴巴用三角形 勾勒出来，整个人脸用椭圆来近似（图形学技 术）。 基于虹膜的身份识别 人眼的窄视场图像人眼的窄视场图像 根据虹膜的根据虹膜的8条圆环抽取条圆环抽取 出虹膜的纹理出虹膜的纹理 对识别系统的要求 系统必须是在对个人影响最小的情况下获取信息的。 一段时间前后，同一人的生物特征码前后差异必须很小。 个人的生物特征必须与他人的生物特征有很明显区别。 系统对“虚假数据”有较强的免疫力。 对于特殊应用，系统的性价比要高。 常用生物特征性能的分析比较 获取信息的方便性：指纹、人脸、虹膜、DNA依次为一 般、好、好、差。 小类内差异：好、一般、很好、很好

19、。 大类间差异：好、好，很好，很好。 防止假冒方面：好、好、很好、很好。 性价比：一般、一般、一般、差。 系统硬件组成 通用计算机，提供用户界面以及测量控制和视频处理单 元的接口。 摄像机云台，安装三个摄像头，捕捉宽视场图像和近视 场图像。 云台控制单元 视频处理单元，有专门硬件进行立体视频的实时处理。 系统硬件组成 二维Gabor小波与（0,0）处虹膜图像的相关运算 虹膜纹理的知识表示 位于（0,0）处的Gabor小波，散差参数是和 虹膜纹理最终表示为一个2048维的二值向量，黑色 表示0，白色表示1。将Gabor滤波器与虹膜图像进行 邻域相关计算，结果的正负号确定了代码的每一位。 在相关计

20、算之前，必须对人眼图像进行旋转规范化 处理。 虹膜图像识别算法 用宽视场视频和基于相关的立体视觉算法，确定 最前面的人头位置。 用模板法确定人脸特征的位置，然后确定左（右） 眼位置x,y,z。 根据x,y,z，利用近视场单色摄像头对准人眼 中心，捕捉人眼的清晰图像I。 采用专门的图像处理软件，从人眼图像I得到 2048位虹膜代码Q。 采用异或（XOR）运算将虹膜代码Q与数据库中 的代码相匹配。如果两代码的差异小于K位，则 返回该人的ID；则返回“reject”。 虹膜海明距离分布 同一个体的虹膜海明距离分 布（左边），不同个体的虹 膜海明距离分布（右边） 数字图像处理应用军事侦察、高精度制导 （夜视红外传感；智能火炮/图像制导视频跟踪；毫米波成像） 视频跟踪示例视频跟踪示例 监视目标监视目标 计算机计算机 摄摄 像像 头头 云台云台 数字图像处理应用 数字图像处理应用通讯（图像压缩编码；可视电话） 其它 数字水印技术数字水印技术指在数字化的数据内容中嵌入不明 显的记号。被嵌入的记号通常是不可见或不可察的，但 是通过一些计算操作可以被检测或者被提取。水印与源 数据（如图象、音频、视频数据）紧密结合并隐藏其中， 成为源数据不可分离的一部分，并可以经历一些不破坏 源数据使用价值或商用价值的操作而保存下来。 数