数字图像处理1

1、刘斌刘斌 1.基于基于MATLAB的系统分析与设计：图像处理的系统分析与设计：图像处理 王晓丹王晓丹 吴崇明吴崇明 编编 西安电子科技大学出版社西安电子科技大学出版社2. 图像工程图像工程(上册）上册） 图像处理与分析图像处理与分析 章毓晋章毓晋 编编 清华大学出版社清华大学出版社3. 数字图像处理学数字图像处理学 阮秋琦阮秋琦 编编 电子工业出版社电子工业出版社 4. MATLAB工具箱应用指南工具箱应用指南 信息工程篇信息工程篇 伯晓晨伯晓晨 李涛李涛 刘路等编刘路等编 电子工业出版社电子工业出版社 本讲主要介绍数字图像处理的基本概念知识本讲主要介绍数字图像处理的基本概念知识 ： 什么是图

2、像？数字图像如何在计算机中表示？什么是图像？数字图像如何在计算机中表示？ 什么是图像处理？数字图像处理的意义何在？什么是图像处理？数字图像处理的意义何在？ 数字图像处理包含哪些方面的内容？数字图像处理包含哪些方面的内容？ 数字图像处理有哪些方法？数字图像处理有哪些方法？ 人类传递信息的主要媒介是语音和图像。据统计，在人类接受的信息中，听觉人类传递信息的主要媒介是语音和图像。据统计，在人类接受的信息中，听觉信息占信息占20%,视觉信息占视觉信息占60%，其它如味觉、触觉、嗅觉信息总的加起来不过占，其它如味觉、触觉、嗅觉信息总的加起来不过占20%。可见图像信息是十分重要的。可见图像信息是十分重要的

3、。“百闻不如一见百闻不如一见”嘛！但图像通信的发展就大大落嘛！但图像通信的发展就大大落后于语音通信。后于语音通信。 数字图像处理技术起源于数字图像处理技术起源于20世纪世纪20年代，当时通过海底电缆从英国伦敦到美国年代，当时通过海底电缆从英国伦敦到美国纽约传输了一幅照片，它采用了数字压缩技术。就纽约传输了一幅照片，它采用了数字压缩技术。就1920年的技术水平看，如果不压年的技术水平看，如果不压缩，传一幅图片要一个星期时间，压缩后只需要缩，传一幅图片要一个星期时间，压缩后只需要3小时。小时。1964年美国的喷气推进实验年美国的喷气推进实验室处理了太空船室处理了太空船“徘徊者七号徘徊者七号”发回的

4、月球照片，这标志着第三代计算机问世后数发回的月球照片，这标志着第三代计算机问世后数字图像处理概念开始得到应用。其后，数字图像处理技术得到迅速发展，目前已成字图像处理概念开始得到应用。其后，数字图像处理技术得到迅速发展，目前已成为工程学、计算机科学、信息科学、统计学、物理学、化学、生物学、医学甚至社为工程学、计算机科学、信息科学、统计学、物理学、化学、生物学、医学甚至社会科学等领域各学科之间学习和研究的对象。如今图像处理技术已给人类带来了巨会科学等领域各学科之间学习和研究的对象。如今图像处理技术已给人类带来了巨大的经济效益和社会效益。大的经济效益和社会效益。 图像处理科学对人类具有重要意义，它表

5、现在如下三个方面：图像处理科学对人类具有重要意义，它表现在如下三个方面： (1) 图像是人们从客观世界获取信息的重要来源；图像是人们从客观世界获取信息的重要来源； (2) 图像信息处理是人类视觉延续的重要手段；图像信息处理是人类视觉延续的重要手段； (3) 图像处理技术对国计民生有重要意义。图像处理技术对国计民生有重要意义。 什么是图像？数字图像是如何在计算机中表示的？什么是图像？数字图像是如何在计算机中表示的？ 客观世界在空间上是三维客观世界在空间上是三维(3-D)的的,但一般景物得到的图像是二维但一般景物得到的图像是二维(2-D)的。一幅图的。一幅图像可以用一个像可以用一个2-D函数或数组

6、函数或数组f(x,y)表示，（表示，（x,y）表示坐标点的位置，而）表示坐标点的位置，而f表示点表示点(x,y)的某种性质的某种性质F的数值，如的数值，如F一般表示灰度，因此一般表示灰度，因此f表示点表示点(x,y)的灰度值。常见图像是连的灰度值。常见图像是连续的（模拟图像），即续的（模拟图像），即f,x,y,可以是任意实数。为了能用计算机对图像进行加工，需可以是任意实数。为了能用计算机对图像进行加工，需要把连续图像离散化。这种离散化了的图像就是数字图像，在不致引起混淆的前提要把连续图像离散化。这种离散化了的图像就是数字图像，在不致引起混淆的前提的情况下我们以后也用的情况下我们以后也用f(x,

7、y)表示数字图像表示数字图像(或或f(m,n)等），等），f,x,y都在整数集合内取值都在整数集合内取值。 下面看一个例子：用下面看一个例子：用MATLAB取一图像的一部分。取一图像的一部分。 几个相关概念：几个相关概念： (1) 图像的英文词：图像的英文词：Image (与与picture、pattern的区别）；的区别）； (2) 象素象素(pixel)：图像中每个基本单元（点）。：图像中每个基本单元（点）。 (3) I=f(x,y,z,t) 的含义。的含义。 数字图像处理的特点数字图像处理的特点？ (1) 需要处理的信息量大：需要处理的信息量大： 一幅一幅:256*256*8=64K的图

8、像有的图像有64K大小；大小； 512*512*8=256K 1024*1024*8=1M 2048*2048*8=4M (2) 图像处理技术的综合性强：图像处理技术的综合性强： 技术：通信技术、计算机技术、电子技术、电视技术；技术：通信技术、计算机技术、电子技术、电视技术； 基础知识：数学、物理、数字信号处理、生物、心理；基础知识：数学、物理、数字信号处理、生物、心理； (3) 图像数据的相关性强。图像数据的相关性强。 数字图像处理数字图像处理包含哪些方面的内容？包含哪些方面的内容？ (1) 几何处理几何处理(Geometrical Processing)： 坐标变换，图像缩放、旋转、平移坐

9、标变换，图像缩放、旋转、平移 、图像配准、全景畸变校正、扭曲校正、图像配准、全景畸变校正、扭曲校正、求图像周长、面积、体积等。求图像周长、面积、体积等。 (2) 算术运算算术运算(Arithmetic Processing)： 加、减、乘、除等，用于融合、去噪、运动目标检测。加、减、乘、除等，用于融合、去噪、运动目标检测。 (3) 图像增强图像增强(Image Enhancement) 图像对比度增强，提取边缘等。（例图像对比度增强，提取边缘等。（例1：对比度；例：对比度；例2：边缘提取）：边缘提取） (4) 图像复原图像复原(Image Restoration) (5) 图像重建图像重建(I

10、mage Reconstruction) (6) 图像编码图像编码(压缩压缩) (Image Encoding)(Compression) (7) 模式识别模式识别(图像识别）图像识别）(Pattern Recognition) or (Image Recognition) (8) 图像融合图像融合(Image Fusion)(例例1：FIR图像和图像和NIR图像融合图像融合) (9)图像理解（图像理解（Image Understanding) (10)计算机视觉计算机视觉(Computer Vision) 数字图像处理有哪些研究方法？数字图像处理有哪些研究方法？ 1. 空域法空域法 时间域与

11、空间域；时间域与空间域； 把图像把图像f(x,y)看成一个二维函数，对其进行处理，它包括：看成一个二维函数，对其进行处理，它包括： (1) 邻域处理法：邻域处理法： 一个点和它附近的点一起参与运算。如：卷积运算；平滑算子运算；梯度一个点和它附近的点一起参与运算。如：卷积运算；平滑算子运算；梯度运算等等。运算等等。 (2) 点运算：点运算： 单个点运算。或者说单个象素的灰度值运算。单个点运算。或者说单个象素的灰度值运算。 2. 变换域法变换域法 有些问题在空域中不太好直接研究，可计算量较大，可把其变换到频域（空有些问题在空域中不太好直接研究，可计算量较大，可把其变换到频域（空间域）进行研究。这是

12、信号处理和图像处理的惯用方法。其过程一般为：间域）进行研究。这是信号处理和图像处理的惯用方法。其过程一般为： f(x,y) 正变换正变换 F(u,v) 逆变换逆变换 f(x,y) 例如：小波变换与逆变换例如：小波变换与逆变换 1. 图像输入设备图像输入设备 数字照相机、数字摄像机、扫描仪数字照相机、数字摄像机、扫描仪 2. 图像处理设备图像处理设备 计算机计算机 3. 图像输出设备图像输出设备 显示器、激光彩色打印机显示器、激光彩色打印机 数字图像处理过程：数字图像处理过程： 随着计算机技术及其它技术的发展，数字图像处理的应用越来越广泛，已渗透到工随着计算机技术及其它技术的发展，数字图像处理的

13、应用越来越广泛，已渗透到工程、工业、医疗保健、航空航天、军事、科研、安全保卫等各个领域。程、工业、医疗保健、航空航天、军事、科研、安全保卫等各个领域。 1. 遥感遥感(Remote Sensing)（例图像）（例图像） 遥感图像处理的用处越来越多，效率及分辨率也越来越高。如土地测绘、资源调遥感图像处理的用处越来越多，效率及分辨率也越来越高。如土地测绘、资源调查、气象监测、环境污染监测、农作物估产、军事侦察。查、气象监测、环境污染监测、农作物估产、军事侦察。 2. 医学应用（例图像）医学应用（例图像） CT图像、透视、图像、透视、MRI(Magnetic resonance imaging)核磁

14、共振图像等。核磁共振图像等。 3. 通信中的应用通信中的应用 图像的传播。图像的传播。 4. 军事上的应用军事上的应用 军事侦察、导弹制导等。军事侦察、导弹制导等。 5. 法律法律 指纹识别、人脸识别指纹识别、人脸识别 进一步研究的内容：进一步研究的内容： 1. 如何提高图像处理的速度；如何提高图像处理的速度； 2. 加强软件研究、开发新的处理技术；加强软件研究、开发新的处理技术； 3. 加强边缘学科的研究工作；加强边缘学科的研究工作； 4. 加强理论研究，逐步形成图像处理科学自身的理论体系加强理论研究，逐步形成图像处理科学自身的理论体系; 5. 时刻注意图像处理领域的标准化问题。时刻注意图像

15、处理领域的标准化问题。 具体研究如下：具体研究如下： 1. 图像处理将向着高速、高分辨率、立体化、多媒体化、智能化和标准化发展；图像处理将向着高速、高分辨率、立体化、多媒体化、智能化和标准化发展； 2. 图像、图形相结合朝着三维成像和多维成像的方向发展；图像、图形相结合朝着三维成像和多维成像的方向发展； 3. 硬件芯片研究；硬件芯片研究； 4. 新理论和新算法研究。新理论和新算法研究。 wavelet, fractal, morphology, genetic arithmetic, neural network. 本讲主要内容：本讲主要内容： DFT变换；变换； FFT算法；算法； DCT变

16、换；变换； 小波变换。小波变换。 (1) 连续连续Fourier变换：变换： 一维：对信号一维：对信号f(t),其其Fourier变换为：变换为： 二维：二维： dtetfFtj2)()(2)(2),(),(RvyuxjdxdyeyxfvuF (2) 二维连续二维连续Fourier变换的性质：变换的性质： A. 可分性：可分性： B. 线性：线性： dye )y, u(Fdye dxe )y, x(fdxdye )y, x(f)v, u(Fvy2jvy2jux2jR)vyux(2j2 )y, x(f Fa)y, x(f Fa)y, x(fa)y, x(fa F22112211 C. 共轭对称性

17、：共轭对称性： D. 旋转性：旋转性： 如果空间域函数旋转的角度为如果空间域函数旋转的角度为 ，那么在变换域中此函，那么在变换域中此函数的数的Fourier变换也旋转同样的角度，即：变换也旋转同样的角度，即： E. 比例变换特性：比例变换特性： )v, u(F)v, u(F*), k(F), r (f00)bv,au(F|ab|1)by,ax(f)v, u(aF)y, x(af0 F. 帕斯维尔（帕斯维尔（Parseval)定理定理(能量守恒定理能量守恒定理)： G. 卷积定理：卷积定理： 如果如果f(x)和和g(x)是一维的时域函数，是一维的时域函数，f(x,y)和和g(x,y)是二维空域函

18、数，那么，定义是二维空域函数，那么，定义下列二式为卷积运算，即：下列二式为卷积运算，即： 卷积运算在信号处理中有很重要的作用，它是信号（包括滤波）的数学基础。卷积运算在信号处理中有很重要的作用，它是信号（包括滤波）的数学基础。 卷积定理：卷积定理： dudv| )v, u(F|dxdy| )y, x(f |22 dd)y,x(g),(f)y, x(g*)y, x(fd)x(g)(f)x(g*)x(f)v, u(G*)v, u(F)y, x(g)y, x(f)v, u(G)v, u(F)y, x(g*)y, x(f (3) 离散离散Fourier变换：变换： 二维：设数字图像二维：设数字图像f(

19、x,y)的大小为的大小为M*N个像素，则二维个像素，则二维Fourier变换为：变换为： 逆变换：逆变换： 式中，式中， 称为正变换核，称为正变换核， 称为反变换核。称为反变换核。 F(u,v)称为图像的频谱，一般是复量；称为图像的频谱，一般是复量；|F(u,v)|称为振幅谱；称为振幅谱； 称为能量谱。称为能量谱。1N, 1 , 0v; 1M, 1 , 0u )NvyMux(2 jexp)y, x(fMN1)v, u(F1M0 x1N0y 1N, 1 , 0y; 1M, 1 , 0 x)NvyMux( j2exp)v, u(F)y, x(f1M0u1N0v )NuyMux(2 jexp)Nuy

20、Mux(2 jexp2| )v, u(F| (4) 二维离散二维离散Fourier变换的性质：变换的性质： 与连续变换相似，这里略。与连续变换相似，这里略。 (5) DFT(Discrete Fourier Transform)的计算机实现：的计算机实现： FFT: A. fft B. ifft C. fft2 D.ifft2 E. fftshift 例子：例子： 用用Lena图像实现图像实现FFT，并重构。，并重构。 (1)离散余弦变换的定义：离散余弦变换的定义： (2)逆变换逆变换 其中，其中， 离散余弦变换也有核。离散余弦变换也有核。 11002(21)(21)( , )( )( ) (

21、 , )coscos220,1,1;0,1,1MNuvxuyvf x yK u K v F u vMNMNxMyN1N, 1 , 0v; 1M, 1 , 0uN2v) 1y2(cosM2u) 1x2(cos)y, x(f)v(K)u(KMN2)v, u(F1M0 x1N0y 1N, 2 , 1v, 10v,21)v(K (3)离散余弦变换是正交变换：离散余弦变换是正交变换： 以一维、以一维、N=4为例来说明，正变换为：为例来说明，正变换为： 写成矩阵形式为：写成矩阵形式为： 记为：记为： 其变换矩阵为：其变换矩阵为：) 3(f271. 0)2(f653. 0) 1 (f653. 0)0(f27

22、1. 0) 3(F) 3(f500. 0)2(f500. 0) 1 (f500. 0)0(f500. 0)2(F) 3(f653. 0)2(f271. 0) 1 (f271. 0)0(f653. 0) 1 (F) 3(f500. 0)2(f500. 0) 1 (f500. 0)0(f500. 0)0(F) 3(f)2(f) 1 (f)0(f271. 0653. 0653. 0271. 0500. 0500. 0500. 0500. 0653. 0271. 0271. 0653. 0500. 0500. 0500. 0500. 0) 3(F)2(F) 1 (F)0(F)x(f A)u(FA 同理

23、，可得反变换的展开式：同理，可得反变换的展开式： 写成矩阵形式为：写成矩阵形式为： 记为：记为： 其变换矩阵为：其变换矩阵为：) 3(F271. 0)2(F500. 0) 1 (F653. 0)0(F500. 0) 3(f) 3(F653. 0)2(F500. 0) 1 (F271. 0)0(F500. 0)2(f) 3(F653. 0)2(F500. 0) 1 (F271. 0)0(F500. 0) 1 (f) 3(F271. 0)2(F500. 0) 1 (F653. 0)0(F500. 0)0(f) 3(F)2(F) 1 (F)0(F271. 0500. 0653. 0500. 0653

24、. 0500. 0271. 0500. 0653. 0500. 0271. 0500. 0271. 0500. 0653. 0500. 0) 3(f)2(f) 1 (f)0(f)x(FA)u(fTTA 可以验证：可以验证： 从而可知离散余弦变换是正交变换。从而可知离散余弦变换是正交变换。 正交变换可以消除数据的冗余性，这有利于图像的压缩与编码。正交变换可以消除数据的冗余性，这有利于图像的压缩与编码。 IAAIAATT(4)离散余弦变换计算机实现：离散余弦变换计算机实现： DCT DCT2 DCTMTX 例子：例子：1.I=ones(4,4);I1=DCT2(I);1.I=ones(4,4);I

25、1=DCT2(I);temp.bmp的离散余弦变换的离散余弦变换 （观察变换后的图像的数据特点）（观察变换后的图像的数据特点） 2.2.观察：观察：D=DCTMTX(4)D=DCTMTX(4)与上述矩阵的区别，与上述矩阵的区别， I=1,2,3,4;5,6,7,8;9,10,11,12;13,14,15,16;I=1,2,3,4;5,6,7,8;9,10,11,12;13,14,15,16;比较比较D D* *I I* *D D与与DCT2(I); DCT2(I); 作业：作业：1. 选一幅数字信号，对其进行选一幅数字信号，对其进行Fourier变换，观察其频谱，幅值谱，能量谱，并变换，观察其

26、频谱，幅值谱，能量谱，并求求 其逆变换，重构原信号。其逆变换，重构原信号。 2. 选一幅数字图像，对其进行选一幅数字图像，对其进行Fourier变换，观察其频谱，幅值谱，能量谱，并变换，观察其频谱，幅值谱，能量谱，并求求 其逆变换，重构原图像。其逆变换，重构原图像。 3. 选一幅数字信号，对其进行选一幅数字信号，对其进行DCT变换，观察其频率情况，其逆变换，重构原信变换，观察其频率情况，其逆变换，重构原信号号 4. 选一幅数字图像，对其进行选一幅数字图像，对其进行DCT变换，观察其频率情况，其逆变换，重构原图变换，观察其频率情况，其逆变换，重构原图 像。像。 (1)什么是小波？什么是小波？ 和

27、和 分别代表什么？分别代表什么？ 称为内积空间，其定义的内积运算为：称为内积空间，其定义的内积运算为： 属于上述空间的任一函数属于上述空间的任一函数g(x)(g(x,y)称为能量有限信号（图像）。称为能量有限信号（图像）。 既然是既然是“空间空间”，就应有基存在，上述空间的基是什么样的呢？，就应有基存在，上述空间的基是什么样的呢？ 结论：上述内积空间存在由一个函数通过伸缩和平移构成的基。这个函数有着较结论：上述内积空间存在由一个函数通过伸缩和平移构成的基。这个函数有着较奇特的性质。这样的函数称为小波。如奇特的性质。这样的函数称为小波。如Haar小波：小波： 1 1 -1 )R(L2)R(L22

28、22222( ) ( )|( )|() ( , )|( , )|L Rf xf xdxL Rf x yf x ydxdy dx)x(g)x(f)x(g),x(fotherwise, 01x2/1, 12/1x0, 1)x(h它可伸缩和平移，如：它可伸缩和平移，如：h(1/2*x),h(x-1), h(2*x-1)等等 再如：再如：sin(x), 有有sin(2x),sin(x-pi)等等(见图见图) 可以证明：若可以证明：若 为一个小波函数，则为一个小波函数，则 对任意的对任意的a和和b可以构成空可以构成空间的基。间的基。当当a和和b作二进制离散时，即：作二进制离散时，即： ( k,j为整数）

29、，为整数）， 可以证明：可以证明： 构成构成 的基。即：的基。即：定义：定义： 称满足条件：称满足条件： 的函数的函数 为允许小波。此条件是完全重构条。为允许小波。此条件是完全重构条。 即若即若 满足上述条件，则一定可以重建原信号。满足上述条件，则一定可以重建原信号。 有很多小波，如有很多小波，如haar,dbN等（用等（用waveinfo看）看） d| )(|CR2)abx()bax(或k2b,2ajj)kx2(2)x(j2/ jk , j)R(L2jkk , jk , j)x(c)x(f(2)小波变换小波变换 ： 一维连续小波变换一维连续小波变换：若：若 为允许小波，若令：为允许小波，若令

30、： 则称积分变换：则称积分变换： 为一维连续小波变换。为一维连续小波变换。 一维离散小波变换一维离散小波变换： 结论：若结论：若 ， 且且 为正交小波为正交小波 ，则：，则： 从而有：从而有： Rabfdx)x()x(f)b, a (W)abx(|a |)x(2/1abRjkfdx)x()x(f)k, j (Wjkk , jk , j)x(c)x(fjkfk , j, f)k, j (Wcjkk , jjk)x(, f)x(f(3) 一维连续小波变换的计算机实现：一维连续小波变换的计算机实现： coefs=cwt(s,scale,wname,plot); 例子：例子：example1.m ;

31、example2.m(4)一维离散一维离散小波变换的计算机实现：小波变换的计算机实现： 可用连续变换同样的方法实现。但与可用连续变换同样的方法实现。但与FFT一样，一样，DWT也有快速算法。也有快速算法。 1988年年S.Mallat提出了多分辨分析的理论，在此基础上提出离散提出了多分辨分析的理论，在此基础上提出离散小波变换的快速实现算小波变换的快速实现算 法，即所谓的法，即所谓的Mallat算法。其主要思想是：一个离散信号可分解为不同频率的信号，如算法。其主要思想是：一个离散信号可分解为不同频率的信号，如 低频部分与高频部分。可形象也表示如下图：低频部分与高频部分。可形象也表示如下图： 实现函数：分解：实现函数：分解：A，D=dwt(S,wname);重构：重构：S=idwt(A,D,wname); 例子：例子：example3.m(5)小波可由尺度函数小波可由尺度函数 生成：生成： 双尺度方程：双尺