指纹图像增强学习教案

1、会计学1指纹指纹(zhwn)图像增强图像增强第一页，共134页。第1页/共134页第二页，共134页。预处理特征提取特征匹配输出匹配结果滤波增强、二值化、细化校准、细节点匹配细节点提取指纹图像采集指纹分类数据库指纹自动识别系统框图第2页/共134页第三页，共134页。低质量指纹图像示例低质量指纹图像示例第3页/共134页第四页，共134页。第4页/共134页第五页，共134页。第5页/共134页第六页，共134页。第6页/共134页第七页，共134页。第7页/共134页第八页，共134页。第8页/共134页第九页，共134页。第9页/共134页第十页，共134页。第10页/共134页第十一页，

2、共134页。第11页/共134页第十二页，共134页。图像图像(t xin)质量不同的质量不同的指纹指纹第12页/共134页第十三页，共134页。第13页/共134页第十四页，共134页。第14页/共134页第十五页，共134页。第15页/共134页第十六页，共134页。指纹图像的四种区域指纹图像的四种区域第16页/共134页第十七页，共134页。第17页/共134页第十八页，共134页。于图像质量于图像质量(zhling)。因此，。因此，在指纹特征提取和匹配之前有在指纹特征提取和匹配之前有必要对指纹图像进行增强处理。必要对指纹图像进行增强处理。第18页/共134页第十九页，共134页。指纹的

3、嵴线与峪线第19页/共134页第二十页，共134页。第20页/共134页第二十一页，共134页。图象增强1点处理(chl)2图象平滑3图象锐化边缘增强4图象增强的频域处理(chl)第21页/共134页第二十二页，共134页。图象增强的目的是采用某种技术手段，改善图象的视觉效果，或将图象转换成更适合于人眼观察和机器分析识别的形式，以便从图象中获取更有用的信息。图象增强与感兴趣物体特性、观察者的习惯和处理目的相关，因此(ync)，图象增强算法应用是有针对性的，并不存在通用的增强算法。图象增强的基本方法：1、空域处理：点处理（图象灰度变换、直方图均衡、伪彩色处理等）； 邻域处理（线性、非线性平滑和锐

4、化等）；2、频域处理：高、低通滤波、同态滤波等。第22页/共134页第二十三页，共134页。T1点处理（PointOperation)点处理实际上是一种图象灰度变换，它将输入图象f(x,y)中灰度r，通过映射函数T（）映射成输出图象g(x,y)中的灰度s，与图象象素位置及被处理象素邻域灰度无关(wgun)。其映射函数和变换示意图如下：g(x,y)=Tf(x,y)f(x,y)=rg(x,y)=s第23页/共134页第二十四页，共134页。1.1. 1灰度线性变换对输入图象灰度作线性扩张或压缩，映射函数为一个直线方程(fngchng)，其表达式和演示控件如下： g(x,y) = a f (x,y)

5、 +b ; 其中：a相当于变换直线的斜率, b相当于截距； a 1-对比度扩张 b = 0： a 1对比度压缩 a = 1相当于复制 b 0: 灰度偏置第24页/共134页第二十五页，共134页。1.1.2 分段线性处理与线性变换相类似，都是对输入图象的灰度对比度进行拉伸（Contrast stretching），只是对不同灰度范围进行不同的映射处理。当灰度范围分成三段(sn dun)时，其表达式及演示示意如下： r1 f(x,y) ; 0ff1 g(x,y) =r2f(x,y)-f1+a ; f1ff2r3f(x,y)-f2+b ; f2ff3g0f1f2f3第25页/共134页第二十六页，

6、共134页。1.1.3 对数变换 （Logarithmic transformation）图象灰度的对数变换将扩张数值较小的灰度范围，压缩数值较大的图象灰度范围。这种变换符合(fh)人的视觉特性， 是一种有用的非线性映射变换函数。其映射函数表达式及演示示意如下：g(x,y) = log f(x,y) g 0 f第26页/共134页第二十七页，共134页。1.1.4指数变换(Exponential transformation)另一种非线性变换，常与对数变换配合(pih)使用构成复合滤波操作。其映射表达式如下 g(x,y) = expf(x,y) 第27页/共134页第二十八页，共134页。 1

7、.1.5 其它(qt)灰度变换函数 灰度倒置(dozh)变换 门限(mnxin) 锯齿形变换第28页/共134页第二十九页，共134页。 原 图 处理(chl)后图 处理(chl)曲线第29页/共134页第三十页，共134页。 原 图 处理(chl)后图 处理(chl)曲线第30页/共134页第三十一页，共134页。 1.2 直方图修整法 1.2.1 直方图均衡化 (Histogram equalization)图象直方图描述图象中各灰度级出现的相对频率.基于直方图的灰度变换,是调整图象直方图到一个预定的形状.例如,一些图象由于(yuy)其灰度分布集中在较窄的区间，对比度很弱,图象细节看不清楚

8、.此时,可采用图像灰度直方图均衡化处理,使得图象的灰度分布趋向均匀,图像所占有的象素灰度间距拉开,加大了图像反差，改善视觉效果,达到增强目的。第31页/共134页第三十二页，共134页。直方图均衡化处理算法描述(miosh)：原始图象灰度级r归一化在01之间，即0r1.pr(r)为原始图象灰度分布的概率密度函数,直方图均衡化处理实际上就是寻找一个灰度变换函数T，使变化后的灰度值S=T(r),其中，归一化为0s1,即建立r与s之间的映射关系，要求处理后图象灰度分布的概率密度函数ps(s)=1，期望所有灰度级出现概率相同。第32页/共134页第三十三页，共134页。从下页图中可以(ky)看出在灰度

9、变换的dr和ds区间内，象素点个数是不变的，因此有：当dr 0 ， ds 0 ，略去(l q)下标j有 由于 s = T(r) ps(s) = 1，则 最终得到直方图均衡化的灰度变换函数为 它是原始(yunsh)图象灰度r的累积分布函数（CDF）。第33页/共134页第三十四页，共134页。第34页/共134页第三十五页，共134页。对于数字图象离散情况，其直方图均衡化处理的计算步骤如下：1、统计原始图象的直方图rk是归一化的输入图象灰度级；2、计算直方图累积分布曲线3、用累积分布函数作变换函数进行图像灰度变换根据计算得到的累积分布函数，建立输入图象与输出图象灰度级之间的对应(duyng)关系

10、，并将变换后灰度级恢复成原先数范围。第35页/共134页第三十六页，共134页。原 象灰级 k归一化灰级 (rk)第k象素级象素个数nr(rk)Sk= nr(rk)变换后灰级 00/7=07900.190.19S1 11/7=0.142810230.250.44S3 22/7=0.28568500.210.65S5 33/7=0.42856560.160.81S6 44/7=0.57143290.080.89S6 55/7=0.71422450.060.95S7 66/7=0.85711220.030.98S7 77/7=1810.021S7例子(l zi) 64*64 8级灰度 的均衡化第3

11、6页/共134页第三十七页，共134页。Sk0.250.200.150.100.05 0 1/7 1 rk 1/7 3/7 5/7 6/7 1 原图直方图处理(chl)曲线处理(chl)后直方图概述：1）、变换后直方图趋向平坦，灰级减少，灰度合并。 2）原始象零灰度级象素个数多于n/m+1,变换后零灰度级消失，含有象素数多的几个灰级间隔被拉大了，压缩的只是象素数少的几个灰度级，实际视觉能够(nnggu)接收的信息量大大地增强了。第37页/共134页第三十八页，共134页。 原 图 处理(chl)后图第38页/共134页第三十九页，共134页。 1.2.2直方图规定化处理（Histogram s

12、pecification）将输入图象灰度分布变换成规定一个期望的灰度分布直方图，pr(r) 为原图(yun t)的灰度密度函数，pz(z) 为希望得到的灰度密度函数首先(shuxin)分别对p(r) ，p(z)作直方图均衡化处理则有： S = T(r)= 0r1 V = G(z)= 0z1经上述变换(binhun)后的灰度S及V，其密度函数是相同的均匀密度，再借助于直方图均衡化结果作媒介，实现从pr(r)到pz(z)的转换。第39页/共134页第四十页，共134页。利用S = T(r)= ， V = G(z)= 分布相同的特点建立r z的 联系，即 Z=G-1(v)= G-1(s)= G-1(

13、T(r)实现步骤：1） 直方图均衡化输入图象，计算Rj-Sj对应关系；2） 对规定直方图pz(z)作均衡化处理，计算Zk-Vk的对 应关系；3） 选择适当的Vk和Sj点对，使VkSj；4） 由逆变换函数Z=G-1(S)=G-1(T( r )，计算流程(lichng)如下：rrdrrp0)(zzdrzp0)(RjSjVkZk均衡(jnhng)求近似相等求逆变换均衡(jnhng)Pz(x)第40页/共134页第四十一页，共134页。 原图象的灰度分布 Pr(r) r S S,V rz Ps(s) Pv(v) Pz(z) 希望得到的灰度分布 z 第41页/共134页第四十二页，共134页。 原 图

14、处理(chl)后图 处理(chl)背景图第42页/共134页第四十三页，共134页。 原 图 处理(chl)后图 处理(chl)直方图第43页/共134页第四十四页，共134页。2 图象平滑（Image smoothing） 图象平滑是一种图象邻域(ln y)操作，非递归邻域(ln y)操作可用函数表示为 g(x,y)=x,y,f(x,y):(x,y)N(x,y) 其中N(x,y)是以（x，y）为中心的某邻域(ln y)象素集合，f(x,y)是集合内象素灰度值，g(x,y)是处理结果图象。第44页/共134页第四十五页，共134页。2.1 局部平均 （Spatial Averaging） 其中

15、f(x,y)为原始图象(t xin),g(x,y)是平滑后的图象(t xin)，h(i,j)为邻域模板内对应点加权系数，N为该邻域内象素个数,邻域模板尺寸取(2M+1)(2M+1)，一般取M=1,即33模板。对应于四连通域和八连通域，有如下图模板示例。 或者 四邻域 八邻域第45页/共134页第四十六页，共134页。局部平滑(pnghu)的降噪能力分析假设f(x,y)= f(x,y)+ n(x,y) 其中，f(x,y)为无噪图象，n(x,y)为均值为0，方差为2的独立同分布的噪声图象。可以得到g(x,y)= =已知E = 0，则Eg（x，y）=E = f(x,y)而Dg（x，y）=D =2/N

16、 MMiMMjyxnN),(1第46页/共134页第四十七页，共134页。例：用八邻域模板处理图例(tl)另外的几种平滑处理模板： 第47页/共134页第四十八页，共134页。平滑处理模板(mbn)的滤波作用例，模板(mbn) 处理原始图像 121242121161第48页/共134页第四十九页，共134页。假设Df表示输入图象f(x,y)相邻象素的灰度最大绝对差； Dg表示处理后图象g(x,y) 相邻象素的灰度绝对差， 则上述方程有 平滑(pnghu)处理后相邻象素灰度差别只会减小不会加大，起到平滑(pnghu)作用。 第49页/共134页第五十页，共134页。121242121161001

17、0001110111110111000100131 原 图 用模板(mbn) 及 处理后的两幅图 第50页/共134页第五十一页，共134页。2.2 门 限 去 噪如前所述，图象平滑在去除噪声的同时，也将图象本身变模糊。如何区分开图象与噪声，加大对噪声平滑力度，维持图象本身不变或少变，是一个感兴趣的研究内容。以下给出一些处理方法示例。例如(lr)一种超限象素平滑（Out range pixel smoothing）方法其它方法: 1) K最近邻法：与中心象素灰度接近的K个象素灰度求平均。一般，33窗口，K6。 2) 在窗口中划分子窗口,将方差最小子窗口象素取均值。第51页/共134页第五十二页

18、，共134页。2.3 多帧平均法图象采集过程中，出现噪声是不可避免的，特别在采用信噪比较低的传感器时。在加性噪声情况下，如果处理静止场景图象，则可将多帧图象进行加权求平均的方法，降低噪声影响。其运算表达式为：fi(x,y)为一批静止图象，i为帧号，噪声是随机加性g（x，y）是平滑处理的输出(shch)图象。 平滑后噪声方差下降M倍，而且，参与平均的图象愈多，噪声抑制的效果愈好。第52页/共134页第五十三页，共134页。2.4 二值图象平滑 (Bilevel image smoothing)二值图象是多灰度级图象分割处理得到仅有“1”和“0”两个灰度的“目标/背景”图象。分割难免不出错误，目标

19、区域可能混入个别的背景象素点或小区，在目标区图象出现(chxin)一些为“0”的单点或空洞；背景区域也可能出现(chxin)个别的目标象素点或小区。这些都相当于噪声干扰，会影响后续的特征提取和识别。二值图象平滑去噪的典型过程如下：1、 填充单点空洞对原始图象八邻域都为“”的中心象素赋“”;2、 收缩象素八邻域全为“”时，将收缩图象对应象素点位置赋值“”；3、 扩张收缩图象中为“”的像素其对应扩张图象位置及其相邻点象素全赋值为“”。第53页/共134页第五十四页，共134页。 原 图 二值图象平滑(pnghu) 处理后图第54页/共134页第五十五页，共134页。2.6中值(zhnzh)滤波(M

20、edianfiltering)中值(zhnzh)滤波是一种保边缘的非线性图象平滑方法,在图象增强中广泛应用.2.6.1定义和计算方法一维数据x1,xn按大小排序,x1x2xn,则例如：Med(03407)=3;均值滤波和中值(zhnzh)滤波的处理结果比较：输入：008002320232035303530023455555000均值滤波：022201211121123222321013445553100中值(zhnzh)滤波:000002222222233333330023455555000第55页/共134页第五十六页，共134页。 原 图 中值滤波(lb) 处理后图第56页/共134页第五

21、十七页，共134页。2.7 自适应加权平滑空间移不变平滑算子对图象所有象素作同样处理，这种与图象内容无关的操作在平滑掉噪声的同时，也模糊了物体区域的边缘。平滑算子的设计，实际上是在去噪和保物体图象边缘之间的折中，我们希望能根据图象局部特性自适应调整图像平滑强度，使物体区域内部平滑强度大一些，而区域边缘处平滑强度小一点，这样既去除了噪声，又不致于明显模糊了边缘或图象细节。 局部特征统计 图象输入 平滑输出 图象平滑 先验知识第57页/共134页第五十八页，共134页。)21,21,(.)21, 0 ,(.)21, 121,()21,21,(.)0 ,21,(.)0 , 0 ,(.)0 , 121

22、,()0 ,21,(.) 121,21,(.) 121, 0 ,(.) 121, 121,() 121,21,()21,21,(.)21, 0 ,(.)21, 121,()21,21,(nnyxWnyxWnnyxWnnyxWnyxWyxWnyxWnyxWnnyxWnyxWnnyxWnnyxWnnyxWnyxWnnyxWnnyxWW 首先判断局部处理窗口是否存在边缘，定义窗口中心像素与邻域内其它点之间的梯度的绝对值的倒数定义为权值，则物体区域内部象素权值大，而处于边缘附近的象素点权较小。定义f(x,y)在nn邻域内的梯度倒数g（x，y；I，j）：二者相等二者不等.0.),(),(1),(yxfj

23、yixfjiyxg第58页/共134页第五十九页，共134页。自适应平滑自适应平滑(pnghu)公式公式:第59页/共134页第六十页，共134页。 原 图 自适应(shyng)加权平滑 处理后图第60页/共134页第六十一页，共134页。 3边缘增强 (Image Sharpening/Edge Enhancement) 图象边缘是图象的基本特征之一，它包含对人类视觉和机器识别有价值的物体图象边缘信息。边缘是图象中特性（如象素灰度、纹理等）分布的不连续处，图象周围特性有阶跃变化或屋脊状变化的那些象素集合。图象边缘存在于目标与背景、目标与目标、基元与基元的边界，它标示出目标物体或基元的实际含量

24、，是图象识别信息最集中的地方。边缘增强是要突出图象边缘，抑制图象中非边缘信息，使图象轮廓更加清晰。由于边缘占据图象的高频成分，所以边缘增强通常(tngchng)属于高通滤波。第61页/共134页第六十二页，共134页。 3.1线性滤波方法 如前所述,图象锐化是要增强图象频谱中的高频部分，就相当于从原图象中减去它的低频分量，即原始图象经平滑处理后所得的图象。选择不同的平滑方法，会有不同的图象锐化结果。 或 g（x，y）是输出图象。当K=1时，上式： 平滑窗口 图象锐化模板),(),(),(_yxfyxfyxg为平滑后图象为原象，),(),(_yxfyxf),(),(),(yxfyxKfyxgLp

25、1111811118111110111181000010000第62页/共134页第六十三页，共134页。 其它图象(t xin)锐化模板第63页/共134页第六十四页，共134页。 原 图 用模板(mbn) 进行边缘增强的处理后图第64页/共134页第六十五页，共134页。3.2梯度增强 对于图象(t xin)灰度特性，边缘是灰度梯度较大的地方。定义图象(t xin)f（x，y）的梯度为 。对于离散图像有 梯度定义可简化为 或简化为 梯度计算的另一种近似表达式为Roberts梯度算子，其定义为：), 1(),(),(yxfyxfyxxfxf) 1,(),(),(yxfyxfyxyfyf) 1

26、,(),(), 1(),(yxfyxfyxfyxfyxf,yxMaxf), 1() 1,() 1, 1(),(yxfyxfyxfyxff第65页/共134页第六十六页，共134页。3.3 Laplacian算子 拉普拉斯算子定义图象f（x，y）梯度为： 对于离散图象： 相当于原图象与模板(mbn) 卷积 。 Laplacian算子边缘的方向信息被丢失，对孤立噪声点的响应是阶跃边缘的四倍，对单象素线条的响应是阶跃边缘的二倍，对线端和斜向边缘的响应大于垂直或水平边缘的响应。第66页/共134页第六十七页，共134页。 原 图 Laplacian算子(sun z) 处理后图第67页/共134页第六十

27、八页，共134页。3.4 Sobel算子Sobel相当于先对图象进行加权平均(pngjn)在做差分, 对于图象的33窗口 ,设 则定义sobel算子为: , 也可简化为 另外模板可写成 分别与图像 卷积，然后取绝对值求和， k可取1或2。第68页/共134页第六十九页，共134页。 原 图 Sobel算子(sun z) 处理后图第69页/共134页第七十页，共134页。4图象增强的频域处理 (Transform operations)图象空间域的线性邻域卷积实际上是图象经过(jnggu)滤波器对信号频率成分的滤波，这种功能也可以在变换域实现，即把原始图象进行正变换，设计一个滤波器用点操作的方法

28、加工频谱数据（变换系数），然后在进行反变换，即完成处理工作。这里关键在于设计频域（变换域）滤波器的传递函数H(u,v)。图象增强的频域处理工作流程如下： f(x,y) DFT H（u,v） IDFT g(x,y)第70页/共134页第七十一页，共134页。 4.1理想滤波器 (Ideal filter) 理想滤波器传递函数在通带内所有频率分量完全无损地通过，而在阻带内所有频率分量完全衰减。例如，低通滤波器（LPF）的传递函数为 H(u,v) 0 D0 D(u,v)高通和带通情况与之类似。理想滤波器有陡峭频率的截止特性(txng)，但会产生振铃现象使图象变得模糊。第71页/共134页第七十二页，

29、共134页。 原 图 理想(lxing)低通 理想(lxing)高通 处理后图 处理后图 截止频率40 截止频率5第72页/共134页第七十三页，共134页。 4.2梯形滤波(Trapezoidal filter)梯形滤波是传递函数在通带与阻带之间呈线性变化，其形状为梯形的频域滤波，其中低、高通滤波器如下： H H 1 TLPH THPF 0 0 D0 D1 D(u,v) D1 D0 D(u,v) TLPH:其性能介于理想低通滤波器与完全(wnqun)平滑滤波器之间，对图象有一定的模糊和振铃效应。第73页/共134页第七十四页，共134页。4.3 Butterworth滤波 (Butterwo

30、rth filter)Butterworth滤波是一种非线性滤波,通带和阻带之间没有明显的不连续性,其传递函数为： BLPH： n阶H(u,v) 1 BHPH： n阶0.5 1 2 3传递函数比较平滑，没有振铃现象，故图象的模糊(m hu)减少第74页/共134页第七十五页，共134页。 原 图 Butterworth Butterworth 低通处理(chl)后图 高通处理(chl)后图第75页/共134页第七十六页，共134页。4.4指数滤波(Exponential filter) BLPF： BHPF：n为阶数，D0为截止频率。当n=1时，H在D0降至1/e。ELPF处理引起(ynq)图

31、象模糊较Butterworth严重些，但无振铃现象。第76页/共134页第七十七页，共134页。5 同态滤波 （Homomorphic filting）如上节所述，频域滤波作为一种图象增强的工具，可以灵活地解决加性畸变问题。但实际成象中有许多非线性干扰问题，此时，直接用频域滤波的方法，将无法消减乘性或卷积性噪声。同态滤波基本思想是将非线性问题转化成线性问题处理，即先对非线性混杂信号作某种数学运算D，变换(binhun)成加性的，然后用线性滤波方法处理，最后作D1运算，恢复处理后图象。同态滤波处理流程图如下： f(x,y) D H(u,v) D1 g(x,y) f(x,y) In FFT H(u

32、,v) IFFT exp g(x,y)第77页/共134页第七十八页，共134页。例如，图象f(x,y)由照射分量(fn ling)i(x,y)与反射分量(fn ling)r(x,y)乘积构成。 f(x,y) = i(x,y) r(x,y) 其中， 0r(x,y)1, 0f(x,y)i(x,y) 首先f（x，y）取对数， z(x,y) = In f(x,y) = Ini(x,y) + Inr(x,y)；作付氏变换F(z(x,y)= FIn i(x,y)+ FIn r(x,y)； 即Z(u,v) = I(u,v) + R(u,v)第78页/共134页第七十九页，共134页。设计滤波器传递函数为H

33、（u，v），则S(u,v) = H(u,v)Z(u,v) = H(u,v)I(u,v) + H(u,v)R(u,v)进行反变换s(x,y) = F-1(S(u,v) ，再对s(x,y)取指数即的得到(d do)最终处理结果： g(x,y) = exp(s(x,y) 其中可设S(u,v) = KiI(u,v) + KrR(u,v) 其中Ki = 0.5, Kr = 2 相当于高通滤波 H(u,v) D(u,v) 同态滤波传递函数截面图第79页/共134页第八十页，共134页。文献文献(wnxin)10第80页/共134页第八十一页，共134页。文献文献(wnxin)1、16、43第81页/共13

34、4页第八十二页，共134页。第82页/共134页第八十三页，共134页。第83页/共134页第八十四页，共134页。第84页/共134页第八十五页，共134页。文献文献(wnxin)18第85页/共134页第八十六页，共134页。第86页/共134页第八十七页，共134页。第87页/共134页第八十八页，共134页。图像增强前后(qinhu)对比第88页/共134页第八十九页，共134页。第89页/共134页第九十页，共134页。第90页/共134页第九十一页，共134页。第91页/共134页第九十二页，共134页。第92页/共134页第九十三页，共134页。第93页/共134页第九十四页，共

35、134页。第94页/共134页第九十五页，共134页。第95页/共134页第九十六页，共134页。图3-4 Gabor滤波(lb)函数的空频、域滤波(lb)响应 Gabor滤波的效果：滤波的效果： 图图3-5 第96页/共134页第九十七页，共134页。第97页/共134页第九十八页，共134页。图 一幅(y f)指纹图像及其对应的脊线和谷线图谱右上角图像可粗略的看作正弦波，但左下角不是正弦波返回(fnhu)第98页/共134页第九十九页，共134页。第99页/共134页第一百页，共134页。第100页/共134页第一百零一页，共134页。第101页/共134页第一百零二页，共134页。如图如图3-7第102页/共134页第一百零三页，共134页。83-10。第103页/共134页第一百零四页，共134页。3-11。文献文献(wnxin)11文献文献16第104页/共134页第一百零五页，共134页。实验实验(shyn)结果如图结果如图3-12、图、图3-14第1