图像超分辨率重建

1、哈尔滨工业大学（威海）课程设计报告数字图像处理课程设计报告课设题目：超分辨率重建学 院：信息科学与工程学院专 业：电子与信息工程班 级：Xxx姓 名：Xxx学 号：xxx指导教师：xxxx哈尔滨工业大学（威海）2010 年11月10日第一章 课程设计基本任务1第二章 数字图像处理系统设计12.1 系统整体设计概括12.2 文件22.2.1打开22.2.2保存22.2.3退出22.3 空域插值放大的方法22.3.1 最近邻域插值算法22.3.2 双线性插值算法32.3.3 双三次插值算法52.3.4 基于双线性插值的二进制小波域自适应插值算法52.4 DCT域插值放大的方法6241 DCT变换的

2、介绍62.4.2 DCT放大图像放大算法原理62.4.3 DCT放大算法的改进72.5 同态滤波器滤波处理82.5.1 同台滤波原理82.5.2 同态滤波函数的确定：92.6 直方图均衡化11第三章 课程设计总结13第四章 设计体会14第五章 参考文献15- 16 -哈尔滨工业大学（威海）课程设计报告第一章 课程设计基本任务1、在空域中将图像放大2倍，4倍；2、在DCT域放大2倍，4倍；3、在DCT域增强图像高频信息，保持边缘陡峭度；4、若对图像子图像分解后使用DCT，观察增强后的图像是否存在块效应；4、设计软件界面。第二章 数字图像处理系统设计 2.1 系统整体设计概括根据课程设计题目的要求

3、，设计GUI界面如下图所示：采用六个坐标系，axes1和axes2分别用来显示处理的原图像以及经过放大处理后的图像。本设计分为空域放大和DCT域放大两部分，空域放大主要工作有：在空域对现有的传统插值算法分别进行了研究与仿真实验，包括最近邻域插值，双线性插值，双三次插值等，这些插值方法均是通过低通滤波，滤除和过滤图像数据中的高频信息。所以这些插值基函数对边缘和纹理信息都比较丰富的图像的插值效果不是特别理想。所以在对图像插值技术进行了分析研究后，结合小波函数在图像处理中的优良特性对传统的插值方法进行改进，提出了一种基于双线性插值的二进制小波域自适应插值算法，较好的保持了图像的边缘纹理特性。DCT域

4、放大主要工作有：通过DCT变换实现了由空间域到频域的转换，通过对频域处理可以方便的实现空间域较难实现的处理。而空间域与频域又存在一定的联系，为数字图像的处理提供了另一种方法。该算法在对整块图像进行处理时，尽管采用了增强系数对图像亮度效果进行补充，但对整幅图像高频部分预测采用填零方式，在图像像素位数增大即图像信息量增大时这种预测精度不如对图像分块处理后高，且基于JPEG格式图像多采用分成8×8子块分块压缩编码，对上述算法进行改进。改进后的算法，将原始图像数据切割成接近8×8大小子块，对每一子块分别实施DCT放大算法改进后的算法如下：对原始图像进行分块，然后对每一子块运用DCT

5、图像放大算法，最后合并处理所有的子块。2.2 文件2.2.1打开为了让使用者更方便的使用，所以在设计的时候，通过对话框的形式来选择文件，选择uigetfile函数来实现，uigetfile函数显示一个打开文件对话框，该对话框自动列出当前路径下的目录和文件，由于这个GUI程序的操作对象是图像文件，所以设置这里的缺省后缀名为“.jpg”。Uigetfile函数的调用格式为name,path=yigetfile(), 在按下对话框中的执行按钮“打开”后，返回选择的文件名和路径，分别保存到“name”和“path”中。如果按下取消按钮或是发生错误，则返回值是0。 根据返回值的情况，如果是0，则弹出提示

6、错误的对话框，否则，通过imread函数读出图像数据，把图像数据赋值给全局变量I。2.2.2保存同样也通过对话框的形式来保存图像数据，通过uigetfile函数选择文件名和路径，用getimage（gca）取出坐标2变换后的图像数据保存到变量i，最后用imwrite函数，把数据i存到指定的文件。2.2.3退出退出比较简单，程序如下所示：clc;close all;close(gcf); 2.3 空域插值放大的方法2.3.1 最近邻域插值算法这是最简单的算法，每一个输出像素都赋给输入图象中与其最邻近的采样点的值。插值核函数是：h(x)=1 0<x<0.5h(x)=0 0.5<x

7、在所有的插值方法中，这种插值方法速度最快，早期的时候应用比较普遍，然而当图像中包含灰度有变化的细微结构时，最近邻插值法会在图像中产生人工的痕迹。图像的边缘阶梯失真现象比较明显。部分源程序如下：width = K * nrows; height = K * ncols;J = uint8(zeros(width,height);widthScale = nrows/width;heightScale = ncols/height;for x = 5:width - 5 for y = 5:height - 5 xx = x * widthScale; yy = y * heightScale;

8、if (xx/double(uint16(xx) = 1.0) & (yy/double(uint16(yy) = 1.0) J(x,y) = I(int16(xx),int16(yy); else % a or b is not integer a = double(round(xx); % (a,b) is the base-dot b = double(round(yy); J(x,y) = I(a,b); % calculate J(x,y) end endendimwrite(J, 'lena2.jpg', 'jpg');figure;imsh

9、ow(J);2.3.2 双线性插值算法设f ( x , y ) 为2 个变量的函数, 其在单位正方形顶点的值已知。假设希望通过插值得到正方形内任意点的f ( x , y ) 值。可以令由双线性方程来定义的一个双曲抛物面与4 个已知点拟合。利用公式实现插值：双线性插值是对待插值象素周围的4个邻近象素的荻度按照距离进行加权平均，实质上是属于一阶插值。双线性插值的平滑作用有可能会使图像的细节产生退化，当放大倍数比较大的时候，这种现象更加明显。同时，双线性插值的斜率不连续也会产生不希望的结果。部分源程序如下：width = K * nrows; height = K * ncols;J = uint8

10、(zeros(width,height); widthScale = nrows/width;heightScale = ncols/height; for x = 5:width - 5 for y = 5:height - 5 xx = x * widthScale; yy = y * heightScale; if (xx/double(uint16(xx) = 1.0) & (yy/double(uint16(yy) = 1.0) % if a and b is integer,then J(x,y) <- I(x,y) J(x,y) = I(int16(xx),int1

11、6(yy); else a = double(uint16(xx); % (a,b) is the base-dot b = double(uint16(yy); x11 = double(I(a,b); % x11 <- I(a,b) x12 = double(I(a,b+1); % x12 <- I(a,b+1) x21 = double(I(a+1,b); % x21 <- I(a+1,b) x22 = double(I(a+1,b+1); % x22 <- I(a+1,b+1) J(x,y) = uint8( (b+1-yy) * (xx-a)*x21 + (a

12、+1-xx)*x11) + (yy-b) * (xx-a)*x22 +(a+1-xx) * x12) ); % calculate J(x,y) end endend imwrite(J, 'lena2.jpg', 'jpg');figure;imshow(J);2.3.3 双三次插值算法双三次插值是用待插枝点周围16个点作为参考象素值的一种三阶插值方法，典型的双三次插值核函数是： 这里参考值a不同文献中取值不同，a=一1，a=O5，a=O75等等。2.3.4 基于双线性插值的二进制小波域自适应插值算法由于经典双线性插值方法存在不足，改进的方法可以抑制锯齿现象的

13、产生，保护边缘和纹理信息。，小波分析由于其良好的分辨分析功能，可以将图像分解成不同频率特性、方向特性的信号，更加适合人眼的视觉特性，在图像处理的各个领域都得到了广泛的应用。在插值问题中，低分辨率的图像其细带和边缘信息损失较多，这部分正是人眼较为关注的，两小波分解各层之间是有相似性的，因此可以采用基于小波的插值方法，根据低频图像预测损失掉的高频细节部分，再通过逆变换获得高分辨率图像，这种方法得到的插值图像更适合人类的视觉系统特性。低分辨图像经过小波分解可以得到4个子带图像LL，HL，LH，HH如下图所示。基于小波方法的通常认为给定的低分辨率图像是高分辨率图像滤波后采样的低频部分如图中x为高分辨率

14、图像，LL为其分解的低频子带，然后认为给定的低分辨率图像就是LL，那么在图像插值中，剩下的关键就是如何从低分辨率出发估计高频子带LH，HL和HH，通常方法将其余高频子带补零，重构就得到需要的高分辨率图像，这种方法不能提供插值图像的高频信息，图像细节不丰富。根据小波分解子带分解系数相关性的特性，这里建立本文方法，对获得的捅值图像进行小波分解得到细节部分高频子带LH，HL，HH，将这3个高频子带作为小波变换的高频部分，将原始图像作为小波逆变换的低频部分，进行小波逆交换，就得到了需要的高分辨率图像，其中小波变换采用改进的方向预测小波变换。通过上述讨论，可以发现基于小波的方向自适虑插值方法在图像边缘和

15、纹理区域都得到了考虑整体插值图像的边缘和纹理方向保持清晰，有效抑制锯齿现象的产生，通过小波的多分辨分析结构，有效预测高频细节部分，使得插值图像整体自然真实，更加适合人眼视觉系统。2.4 DCT域插值放大的方法241 DCT变换的介绍离散余弦变换是从二种特殊形式的傅里叶变换转化过来的，是一种性能很好的正交变换方式。离散余弦变换本质上仍然是离散傅立叶变换，二者在频域本质上是相同的。离散余弦变换因其是一种实数变换，其变换矩阵的基向量很好地描述了人类视觉的相关性，接近于最佳变换。因而DCT在图像处理中有很广泛的应用，并成为一些静态图像和视频压缩国际标准的基本处理模块，因而采用DCT变换可以很方便地应用

16、于压缩域图像和视频中。数字图像可以通过傅里叶变换、离散余弦变换等由空间域转换到频域中表示，通过对频域的处理可以方便实现空间域较难实现的处理。而空间域和频域又存在一定的联系，为数字图像的处理提供了另一种方法。尺度变换的物理含义就放大意义来讲，如果信号在时域进行扩展，即当O<a<1时，则其频谱将在频域进行压缩，信息更集中于低频，高频部分所含信息很少，同时幅值也会增大。根据这一原理，可以对图像频域进行处理以达到图像空间域放大的操作，即将源图像的频域数据作为目标图像频域数据的低频部分，而对于高频进行填零预测，幅值乘以相应的增强系数，再反变换回空间域可实现图像的放大。傅里叶变换由于频域复数运

17、算，在处理及运算上有些复杂，而离散余弦变换是实数变换，可以方便地对应空间域图像。2.4.2 DCT放大图像放大算法原理根据图像的表示方法以及以上原理，我们可以仅在频域进行处理就可完成对图像的放大操作。对原图像进行DcT正变换得到图像频域数据F(u，v)，将F(u，v)作为目标放大图像的低频部分，并与增强系数(根据放大k倍数变化)相乘，对处理后的频域数据数据进行DCT逆变换即可得到放大后的图像。（1）对原始图像数据进行处理，对其作DCT正变换。（2）对数据在频域上进行处理，得到放大后的频域。若耍将图像放大k×k倍，则放大后的图像大小为M×N，M=km，N=kn(表示取整运算)

18、。(3) 用DCT反变换，将频域处理的数据恢复为图像空间域原始格式。部分程序代码如下：%x是读入的图像J=dct2(x);m,n=size(x)k=2;T1=eye(m);zeros(k.*m-m,m);T2=eye(n);zeros(k.*n-n,n);J=T1*J*T2'J1=k*J;X=idct2(J);figure,imshow(log(abs(J-J1),),colormap(jet(64);%figure,imshow(log(abs(J1),),colormap(jet(64);figure;imshow(double(X)/255);M,N=size(X)；2.4.3

19、DCT放大算法的改进该算法在对整块图像进行处理时，尽管采用了增强系数对图像亮度效果进行补充，但对整幅图像高频部分预测采用填零方式，在图像像素位数增大即图像信息量增大时这种预测精度不如对图像分块处理后高，且基于JPEG格式图像多采用分成8×8子块分块压缩编码，对上述算法进行改进。改进后的算法，将原始图像数据切割成接近8×8大小子块，对每一子块分别实施DCT放大算法。将图像分解为若干子图像，分别进行DCT变换，大大减小了DCT的计算量，提高了算法处理的速度。部分源程序代码如下：x=double(x)/255;figure(1);imshow(x);T=dctmtx(8);B=b

20、lkproc(x,8 8,'P1*x*P2',T,T'); m,n=size(x)k=2;T1=eye(8);zeros(k.*8-8,8);B1=blkproc(B,8 8,'P1*x*P2',T1,T1');B2=blkproc(B1,8 8,'P1*x',k);T2=dctmtx(8.*k);I=blkproc(B2,8.*k 8.*k,'P1*x*P2',T2',T2);figure;imshow(I);size(I)2.5 同态滤波器滤波处理2.5.1 同台滤波原理当光照不均匀时, 图像上照度暗的

21、部分细节就难以分辨清楚。但是, 利用光照反射模型的同态滤波方法, 可以消除光照不足带来的影响, 同时又不损失图像的细节。同态滤波增强技术是把频率过滤和灰度变换结合起来的一种图像处理方法, 利用压缩灰度范围和增强对比度来改善图像。图像从物理过程中产生时, 它的值正比于物理源的辐射能量, 因此, 图像f ( x , y ) 的能量一定是非零且有限的。函数f ( x , y ) 可由2 个分量来表示: 这2 个分量相应地称为入射分量和反射分量, 分别用i ( x , y ) 和r ( x , y ) 表示。那么最后形成的数字图像f ( x , y ) 可表示为f ( x , y ) = i ( x

22、, y ) r ( x , y ) (1)采用( 1) 式的成像模型不能直接对照射和反射的频率部分分别进行操作, 因为2 个函数乘积的傅里叶变换是不可分的。即F ( f ( x , y ) ) F ( i ( x , y ) )F( r ( x , y ) ) 。反射分量r·( x , y ) 反映图像的内容, 它随图像细节的不同在空间作快速变化, 是频域的高频分量。入射分量i( x , y ) 在空间上常具有缓慢变化的特点, 是频域中的低频分量。采用同态分析方法,就是先对上式两边取对数, 把2 个相乘的分量变为2 个相加的分量, 它们分别代表了图像的高频分量和低频分量。假设z (

23、x , y ) = lnf ( x , y ) = lni ( x , y ) + lnr ( x , y ) （2）两边取傅里叶变换, 那么有F( z ( x , y ) ) = F( lni ( x , y ) ) + F( lnr ( x , y ) ) （3） 即Z( u, v) = Fi( u, v ) + Fr ( u, v ) ( 4)( 4) 式表明, 照明分量的频谱可以与反射分量的频谱分离开。根据它们反映的空间变化特征, 照明分量的频谱基本上位于低频部分, 反射分量的频谱位于高频部分。这时, 增强技术都可用于求解这2 个分量。典型的同态滤波法是: 原图先经对数变换和快速傅里叶

24、变换, 变为频率域中的2 个分离的变量, 然后根据不同需要, 选用不同的传递函数实现不同的增强。经过频域处理的图像再经快速傅里叶逆变换及指数变换, 就可得到增强的图像。用滤波函数H ( u, v) 对Z( u, v) 进行处理, 那么从( 4) 式可得：S( u, v ) = H ( u, v) Z( u, v ) =H ( u, v) Fi( u,v) + H (u,v) F r (u, v) （5）这样, 选择适当的滤波函数H ( u, v ) 就可以对图像中照明分量的反射分量进行不同程度的处理,使照度不均匀的图像获得良好的改善。滤波后做反变换, 得:s( x ,y ) = F1 (S(

25、u, v) = F 1( H( u,v)×Fi( u,v) + H ( u, v) F r( u,v) ( 6)逆傅里叶变换到空域, 再将上式两边取指数, 最后取对数得到滤波后图像的同态滤波函数。利用照明反射模型处理一幅图像属于同态滤波技术, 同态滤波器H ( u, v) 滤波示意图如下图所示。同态滤波最关键的是用( 4) 式将照射分量和反射分量分开, 用同态滤波器对其进行处理。 同态滤波过程2.5.2 同态滤波函数的确定：以Rh 代表高频增益, Rl 代表低频增益, D( u,v ) 表示频率( u,v) 距滤波器中心( u0,v0) 的距离。当Rh> 1, Rl< 1

26、 时,该滤波函数能同时抑制照明分量和增强反射分量,从而满足动态范围压缩和对比度增强两种效果要求。处理目的不同, 可构造不同的滤波器。基于高斯型高通滤波器的同态滤波器设计频域内经常使用的高通滤波器为高斯型高通滤波器, 滤波函数为H ( u, v) = 1- ex p -( D( u, v ) / 2D)2n (1)对高斯型高通滤波器稍加修改, 可得以下高斯型同态滤波函数:H ( u, v) = ( Rh- R l) 1- e- c( D (u ,v ) / D0) 2n + Rl （2） 传统的同态滤波函数基于巴特沃思高通滤波器的带通滤波器设计传统的巴特沃思高通滤波器与同态滤波的传递函数十分相似

27、, 巴特沃思高通滤波的传递函数为：H ( u, v) = 1/ ( 1+ D0 / D( u, v) ) 2n （3）根据两者之间的相似性, 将高通滤波函数稍作修改即可得到对应的巴特沃思高通滤波函数:H ( u, v) = ( Rh- R l) / ( 1+ cD 0/ D( u, v ) )2n + Rl （4） 一种常用的同态滤波器改进的同态滤波器通过对巴特沃斯高、低通滤波器进行修改可得到带阻滤波函数, 该同态滤波函数下图所示：2.6 直方图均衡化这种方法通常用来增加许多图像的局部对比度，尤其是当图像的有用数据的对比度相当接近的时候。通过这种方法，亮度可以更好地在直方图上分布。这样就可以用

28、于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。 这种方法对于背景和前景都太亮或者太暗的图像非常有用，这种方法尤其是可以带来X光图像中更好的骨骼结构显示以及曝光过度或者曝光不足照片中更好的细节。这种方法的一个主要优势是它是一个相当直观的技术并且是可逆操作，如果已知均衡化函数，那么就可以恢复原始的直方图，并且计算量也不大。这种方法的一个缺点是它对处理的数据不加选择，它可能会增加背景杂讯的对比度并且降低有用信号的对比度。 直方图均衡化的基本思想是把原始图的直方图变换为均匀分布的形式，这样就增加了象素灰度值的动态范围从而可达到增强图像整体对比度的效果。设原

29、始图像在(x，y)处的灰度为f，而改变后的图像为g，则对图像增强的方法可表述为将在(x，y)处的灰度f映射为g。在灰度直方图均衡化处理中对图像的映射函数可定义为:g = EQ (f)，这个映射函数EQ(f)必须满足两个条件(其中L为图像的灰度级数): (1)EQ(f)在0fL-1范围内是一个单值单增函数。这是为了保证增强处理没有打乱原始图像的灰度排列次序，原图各灰度级在变换后仍保持从黑到白(或从白到黑)的排列。 (2)对于0fL-1有0gL-1，这个条件保证了变换前后灰度值动态范围的一致性。 累积分布函数(cumulative distribution function，CDF)即可以满足上述

30、两个条件，并且通过该函数可以完成将原图像f的分布转换成g的均匀分布。此时的直方图均衡化映射函数为: gk = EQ(fk) = (ni/n) = pf(fi) ， (k=0，1，2，L-1) 上述求和区间为0到k，根据该方程可以由源图像的各像素灰度值直接得到直方图均衡化后各像素的灰度值。在实际处理变换时，一般先对原始图像的灰度情况进行统计分析，并计算出原始直方图分布，然后根据计算出的累计直方图分布求出fk到gk的灰度映射关系。在重复上述步骤得到源图像所有灰度级到目标图像灰度级的映射关系后，按照这个映射关系对源图像各点像素进行灰度转换，即可完成对源图的直方图均衡化。空域放大主要工作有：在空域对现

31、有的传统插值算法分别进行了研究与仿真实验，包括最近邻域插值，双线性插值，双三次插值等，这些插值方法均是通过低通滤波，滤除和过滤图像数据中的高频信息。所以这些插值基函数对边缘和纹理信息都比较丰富的图像的插值效果不是特别理想。所以在对图像插值技术进行了分析研究后，结合小波函数在图像处理中的优良特性对传统的插值方法进行改进，提出了一种基于双线性插值的二进制小波域自适应插值算法，较好的保持了图像的边缘纹理特性。DCT域放大主要工作有：通过DCT变换实现了由空间域到频域的转换，通过对频域处理可以方便的实现空间域较难实现的处理。而空间域与频域又存在一定的联系，为数字图像的处理提供了另一种方法。该算法在对整

32、块图像进行处理时，尽管采用了增强系数对图像亮度效果进行补充，但对整幅图像高频部分预测采用填零方式，在图像像素位数增大即图像信息量增大时这种预测精度不如对图像分块处理后高，且基于JPEG格式图像多采用分成8×8子块分块压缩编码，对上述算法进行改进。改进后的算法，将原始图像数据切割成接近8×8大小子块，对每一子块分别实施DCT放大算法改进后的算法如下：对原始图像进行分块，然后对每一子块运用DCT图像放大算法，最后合并处理所有的子块。第三章 课程设计总结本课程设计完成了题目的各个基本要求：基本功能，实现了GUI的打开，保存，裁剪，退出。在空域实现了：最近邻域插值双线性插值双三次插值基于双线性插值的二进制小波域自适应插值算法并且实现了三种小波函数db5，sym2，以及bior3.7的自由切换。在DCT域实现了：DCT域插值放大算法基于DCT的块处理插值放大算法同态滤波器的设计：（1）基于高斯型高通滤波器的同态滤波器设计（2）基于巴特沃思高通滤波器的带通滤波器设计（3）改进的同态滤波器实