多尺度理论及图像特征ppt课件

.,1,多尺度理论及图像特征,2012.6,.,2,广义尺度,制图尺度地图比例尺,图上距离与实际距离之比大比例尺小范围、详细信息,地理尺度观测尺度,研究的空间范围或大小如：大尺度覆盖大的研究区域,分辨率测量尺度,区分目标的最小可分辨单元(如：像元)遥感主要关注的尺度,运行尺度有效尺度,地学现象发生的空间范围一定环境中发挥效应的尺度如：森林比树的运行尺度大,空间尺度,时间尺度,语义尺度,1.1尺度,Lam等【1】,.,3,尺度研究的问题（Goodchild2）：尺度在空间模式和地表过程检测中的作用，以及尺度对环境建模的冲击；尺度域（尺度不变范围）和尺度阈值的识别；尺度转换，尺度分析和多尺度建模方法的实现。,1.1尺度研究的问题,.,4,遥感尺度问题（李小文3,周觅4）：遥感主要关注的是测量尺度，不同来源的遥感信息数据在时间尺度和空间尺度上都有着很大的差距，在一个尺度上观察到的现象、总结出的规律、构建的模型，在另一个尺度下则有可能不适用。因此，需要根据不同应用目的选择最佳的尺度，使得所选尺度的影像能够最大限度的反映目标地物的空间分布特征。例如：一张树叶到一片森林的空间尺度是数量级，很难想像在叶片上适用的模型会同样适用于森林。,1.1遥感尺度问题,.,5,尺度问转换(周觅4）：在同一幅影像中也会存在不同尺度的地物，导致信息提取时所需的最佳尺度不甚一致。但是，获取的遥感信息数据的尺度却比较单一。因此，需要进行尺度转换来适应不同尺度地物的提取。尺度转换定义为：将一幅影像从一个空间或光谱尺度转换到另一个空间或光谱尺度的过程。,1.1尺度转换,.,6,分类(周觅4,彭晓鹃5）（按不同的转换方向）：尺度扩展（聚合）：从小尺度影像转换到大尺度影像的过程，也就是将高分辨率影像转换为低分辨率影像的过程。常见转换方法：基于统计和基于机理尺度收缩（分解）：大尺度影像进行转换得到小尺度影像的过程，从低空间分辨率数据中提取亚像元成分的信息，即把低分辨率影像转换为高分辨率影像的过程。主要是通过多源遥感信息影像融合的方法实现的。,1.1尺度转换分类,.,7,方法(彭晓鹃5）（按转换基础）：基于像元（简单易行）：统计方式、融合转换以及分类转换像元包括数据的空间分辨率、时间分辨率、光谱分辨率等信息缺点：只考虑了地物的光谱信息,无法兼顾地物的空间结构形态特征,难以解决同谱异物和同物异谱问题,致使难以得到稳定的转换效果。而地物类别的空间结构形态是根据类别的属性差异呈聚集状分布,因此遥感影像中的地物类别特性不仅表现在单纯的光谱信息上,还表现在形状、纹理等特征上。基于对象：对遥感影像纹理特征的提取及合理分割以对象为基本单元,在高空间分辨率影像上利用影像多尺度分割技术,构建不同尺度的影像信息等级结构,实现遥感影像信息在不同尺度层之间的传递。,1.1尺度转换方法,.,8,转换方法比较(彭晓鹃5）：基于像元（简单易行）：优点：易于操作缺点：无法有效利用影像提供的地物空间信息,导致精度难以提高。基于对象：优点：能够包含地物的空间信息,提高转换精度。缺点：如何合理定义对象的分割尺度是难点。转换方法：地理差异法（Geographicvariancemethod），小波变换法（Wavelettransformmethod），局部差异法(Localvariancemethod)，半方差函数法（Semivariagrambasedemthod），分形方法（Fractalmethod）,1.1尺度转换方法,.,9,融合(周觅4，彭晓鹃5）：主要用于尺度收缩的转换,通过将一个尺度影像信息融入另一尺度影像来达到尺度转换目的。遥感影像的空间细节信息多体现在高频信息上,而光谱信息则多集中于低频部分。(彭晓鹃5）在转换过程中，基本原则是在尽可能保持原图像光谱信息的前提下,提高其空间分辨率。(彭晓鹃5）利用高空间分辨率影像和高光谱分辨率影像进行融合，使得融合后的影像具有较高的空间分辨率有利于目视解译，同时还有较高的光谱分辨率，同时还为后续的光谱运算、光谱分析提供了可能。(周觅4）,1.1融合转换,.,10,融合(周觅4，彭晓鹃5）：尺度收缩的方法：基于空间域和基于变换域。(周觅4）1.基于空间域的融合：针对影像的像素灰度值直接进行运算的方法，算法简单、易于实现，但是细节表现力达不到要求；2.基于变换域的融合：先将原始图像进行变换，然后在变换域中进行信息融合，最后进行逆变换得到融合后影像的方法，细节表现力强，但是算法相对复杂。目前常用的主要有彩色模型变换方法、直方变差图、主成分分析法、高通滤波、小波分析。(彭晓鹃5）,1.1融合转换,.,11,结果评价(周觅4）：遥感影像进行尺度转换后，进行了重采样，不可避免地会导致不同程度的信息损失或变异，例如面积、形状、细节、纹理等变化。因此，需要一些主、客观评价方法来评定不同转换方法的优劣。尺度转换方法评价的标准是转换后影像能够最大限度的保持转换前影像的有用信息。主观评价主要是靠目视解译，用目视的方法考量尺度变换后影像的清晰程度。客观评价方法：1.针对空间统计信息的信息熵、方差、平均梯度（清晰度），2.针对光谱信息的偏差指数和相关系数等。,1.1尺度转换结果评价,.,12,色,图像特征,形,颜色特征,亮度信息特征（光谱）,几何形状边缘特征,纹理特征空间关系,1.1图像特征,色调、颜色、阴影、反差,形状、大小、空间布局、纹理,.,13,1.1.1颜色特征,特点：全局特征、基于像素点的特征描述图像或图像区域所对应的景物的表面性质颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来,.,14,颜色特征表达：颜色直方图、颜色集、颜色矩、颜色聚合向量、颜色相关图颜色直方图优点：能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。缺点：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。最常用的颜色空间：RGB颜色空间、HSV颜色空间。颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。,1.1.1颜色特征,.,15,1.1.2亮度信息特征,特点：图象上的每一个象元亮度值的大小反映了他所对应的地面范围内地物的平均辐射亮度，该亮度值受到地物的成分，结构，状态，表面特征等因素的影响。光谱响应特征在多光谱遥感影像地物识别中是最直接也是最重要的解译元素，地表的各种地物由于物质组成和结构不同而据有独特的波普反射和辐射特征，在图像上反映为各类地物亮度值的差异，因此可以根据这种亮度值的差异来识别不同的物体。影像各波段的亮度值是地表光谱特征通过大气层的影响被卫星传感器接收记录的数据，每个象元各波段的亮度值代表了该象元中地物平均反射和辐射值的大小。,.,16,1.1.3几何形状,几何特征：周长、面积、距离、位置与方向等特征形状内容：矩形度、宽长比、球状性、圆形度、不变矩、偏心率形状特征描述方法轮廓特征：边界特征法、傅里叶形状描述符法区域特征：几何参数法、形状不变矩法、有限元法（FiniteElementMethod或FEM）、旋转函数（TurningFunction）和小波描述符（WaveletDescriptor）等,.,17,1.1.3形状特征,优点：可以有效利用图像中感兴趣的目标来进行检索。缺点：目前基于形状的检索方法还缺乏比较完善的数学模型；如果目标有变形时，检索结果往往不太可靠；许多形状特征仅描述了目标局部的性质，要全面描述目标常对计算时间和存储量有较高的要求；许多形状特征所反映的目标形状信息与人的直观感觉不完全一致，或者说，特征空间的相似性与人视觉系统感受到的相似性有差别。从2-D图像中表现的3-D物体实际上只是物体在空间某一平面的投影，从2-D图像中反映出来的形状常不是3-D物体真实的形状，由于视点的变化，可能会产生各种失真。,.,18,1.1.4边缘特征,特点边缘是指周围像素灰度有阶跃变化或屋顶变化的那些像素的集合。能大大地减少所要处理的信息，但是又保留了图像中物体的形状信息。边缘检测方法：传统边缘检测方法Roberts算子、Sobel算子、高斯-拉普拉斯算子等Canny边缘检测小波多尺度边缘检测,.,19,1.1.4边缘特征,常见的边缘类型：阶跃不连续：即图像强度在不连续处的两边的像素灰度值有着显著的差异；线条不连续:即图像强度突然从一个值变化到另一个值，保持一较小行程后又回到原来的值。,理论曲线,实际曲线,(a)阶跃函数(b)线条函数,两种常见边缘一阶导数和二阶导数示意图,.,20,1.5纹理特征,定义（尚无统一的定义）：由许多相互接近的、互相编织的元素构成富有周期性分类：人工纹理：某种符号的有序排列，符号是：线、点、字母等有规则自然纹理：具有重复排列现象的自然景象，无规则如：砖墙、森林、草地等,.,21,1.5纹理特征,纹理：灰度值在空间上的变化不仅反映了图像的灰度统计信息，而且反映了地物本身结构特征和地物空间排列的关系特点：全局特征，非基于像素点的特征、表面特征仅仅利用纹理特征是无法获得高层次图像内容的仅使用颜色特征(原因：纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性)不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算局部区域中像素位置之间的相关性,.,22,1.5纹理特征,优点：具有旋转不变性，且对噪声有较强的抵抗能力缺点：当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差可能受到光照、反射情况的影响，从2D图中反映出来的纹理不一定是3D物体表面真实的纹理可用于检索具有粗细、疏密等方面较大差别的纹理图像；如果纹理之间的粗细、疏密相差不大，则难于应用。将纹理信息应用于检索时，有时这些虚假纹理会对检索造成“误导”。,.,23,1.1.6空间关系,特点：空间关系：图像中分割出的多个目标相互间的位置或相对方向关系分为连接/邻接关系、交叠/重叠关系和包含/包容关系等描述图像或图像区域所对应的景物的表面性质分类：相对、绝对：相对空间位置信息：强调的是目标之间的相对情况，如上下左右关系等绝对空间位置信息：强调的是目标之间的距离大小以及方位可能性：确定性空间关系：两地物间的空间关系是确定的，A存在，B就存在。概率性空间关系：A存在，说明有存在B的可能性。,.,24,1.1.6空间关系,优点：可加强对图像内容的描述区分能力缺点：对图像或目标的旋转、反转、尺度变化等比较敏感实际应用中，仅仅利用空间信息往往是不够的，不能有效准确地表达场景信息。为了检索，除使用空间关系特征外，还需要其它特征来配合。常用的特征提取与匹配方法（两种）：先对图像进行自动分割，划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引。简单地将图像均匀地划分为若干规则子块，然后对每个图像子块提取特征，并建立索引。,.,25,形状vs纹理通常纹理特征比较容易获得，而形状特征的计算比较复杂形状vs颜色颜色特征多具有平移、旋转和尺度不变性，而不少形状特征（如边缘方向）只具有平移不变性纹理vs颜色颜色特征充分利用了图像的色彩信息，而纹理特征只利用了图像的灰度信息（彩色纹理特征不多见）颜色特征侧重于图像整体信息的描述，而纹理特征更偏重于局部,不同特征的相对特点,.,26,2.1多尺度表达,多尺度表达：在一定尺度范围内描述目标结构基本思想：对原始信号嵌入一族尺度参数变化的信号，大尺度下信号的结构应该是小尺度下信号结构的简化。(刘立6，陈敏7）这种思想早在1971年就被Roserfeld以及Thnimoto提了出来，利用不同尺度的算子实现边缘检测。Hanson与Riseman(1974)以及Tanimoto等人采用不同层次的空间分辨率描述图像，对不同层次的图像下采样。这种思想后来被crowleyy进一步发展，形成一种至今仍被广泛使用的多尺度表达方法一金字塔。另一种重要的多尺度技术就是所谓的“尺度空间“(scafesPace)”，“尺度空间”概念是著名的图像金字塔概念的新补充，最先在Kelly的图像处理中被采用，后来又以各种形式进行扩展。,.,27,2.1多尺度表达,经典表达方法：(刘立6，陈敏7）影像金字塔；尺度空间金字塔(刘立6，陈敏7）一个金字塔表达，通常结合滤波和二次抽样连续地减少图像尺寸来生成。它是产生现代尺度空间表达的重要阶段。常用的金字塔结构有Gaussian金字塔、Laplassian金字塔、小波金字塔等。,.,28,2.1影像金字塔,金字塔影像：(陈敏7）图像金字塔是以多分辨率来解释图像的一种结构。一般按照2n(n=0,1,2)取平均得到，如图。最底层的影像对应原始影像；通过每2x2=4个像素平均，即可构成2级影像级，如此类推，即可构成多级金字塔影像。每一级(2i)影像的像素总数对于前一级(2i-1)影像以4的倍数缩小(也可通过3x3=9个平均像素来建立影像级)。常采用的是高斯金字塔影像生成算法，构成金字塔的层数，应当根据影像的分辨率、影像可能的噪声、影像的大小及相关计算速度来确定。,.,29,2.1影像金字塔,金字塔影像：(陈敏7）另外一个构成金字塔影像的方法是通过小波变换，对影像进行逐级分解，并且可以逐级重建，其重建过程可以完全恢复原始影像。小波变换具有高低频分离的特点，可以过滤边缘，削除一定的噪声，而不损失重要的信息，因此重构的图像信号清晰，方便后续处理。金字塔影像是一种较老的尺度表示方法，结合了降采样操作和平滑处理，它的一个很大的好处是，自下而上每一层的像素数都不断减少，这会大大减少计算量，而缺点是这种自下而上的金字塔在尺度量化方向显得较为粗糙。,.,30,2.1图像多尺度表达,经典表达方法：(陈敏7）金字塔；小波多尺度表达；卷积核生成的多尺度表达(如高斯多尺度表达)；基于扩散方程的图像多尺度表达图像的多尺度空间表达(陈敏7）尺度空间表示是一种基于区域而不是边缘的表达。对于一个N维信号，它的尺度空间定义为:L(x:t)=K*f(x，t)(2一1)其中t为尺度参数，K为尺度空间核。,.,31,2.1图像多尺度表达,图像的多尺度空间表达(陈敏7）尺度空间表示通过平滑获得，可描述为空间，分别为位置参数和尺度参数。尺度参数可以是离散的，也可以是连续的。所有尺度上空间采样点个数是相同的(尺度空间表示法在各个尺度上图像的分辨率都是一样的)。,.,32,2.1高斯尺度空间,高斯尺度空间(陈敏7）高斯函数作为卷积核生成的尺度空间是目前最完善的尺度空间之一，根据Koendrink和Lindeber的研究表明，在多种合理假设前提下，唯一可能的尺度空间核是Gaussian核。因此，一幅二维图像的尺度空间可表示为：（2-2）（2-3）,.,33,2.1高斯尺度空间,高斯尺度空间(陈敏7，刘立6）构建高斯尺度空间的主要思想是在精细尺度上的信息随着尺度参数值的增加而而逐渐地被抑制，尺度从粗到细的变化过程中，不会产生新的结构。在高斯尺度空间下，只是对图像作了卷积，图像的分辨率和像素仍然没有改变，只是细节平滑了，而传统的影像金字塔关键在降采样，显然分辨率降底了。通过高斯滤波得到的尺度空间表示了图像在不同尺度下的低频信号，而代表边缘以及角点等特征的高频信号丢失。可以在不同分辨率层上通过在不同的尺度上应用合适的函数来表示一个特征（如边缘和角点）。,.,34,2.1多尺度空间建立,多尺度空间建立：(孔军8）第1步:当前帧图像作为第一层，以卷积核尺寸1010模板对第一层图像进行高斯平滑处理得到第2层，依然用1010卷积核处理第2层图像得到第3层然后改用1212模板处理第3层得到第4层，并在第4层基础上得到第5层、第6层该帧图像生成6层平滑图像即为第一组高斯金字塔图像。第2步：第1组高斯金字塔中首幅图像进行下采样得到第2组高斯金字塔图像的首幅图像，重复“第1步”，构建第2组高斯金字塔图像，以此类推，得到第3、第4组等高斯金字塔图像，共6组第3步:对以上每组高斯金字塔图像相邻图像两两相减，得到该组的高斯差分金字塔图像，共6组。第4步:对后续帧重复第1步、第2步、第3步。,.,35,2.2多尺度几何分析,分析方法：(胡顺时9）金字塔分析小波变换（水平、垂直、45度角的方向性）多小波变换、双树复小波变换、提升小波脊波变换、Curvelet变换、Contourlet变换、非采样Contourlet变换等多尺度几何分析融合方法：(胡顺时9）金字塔变换图像融合小波变换图像融合,.,36,2.2金字塔变换融合,金字塔变换图像融合：(胡顺时9）图像金字塔变换是一种较为常用的多尺度几何分析方法。它是将与与一个具有低通特性的滤波器进行滤波，然后再进行采样，最终得到一个分辨率较低、尺寸较小的图像，然后对此图像反复进行滤波的采样操作，最后得到一系列的不同分辨率不同尺寸大小的图像。将这些图像按分辨率高低、尺寸大小进行排列，得到一个分辨率高的尺寸大的图像在下层，然后逐层递减的金字塔层。金字塔变换有拉普拉斯金字塔变换、比率低通金字字塔变换、对比度金字塔变换、梯度金字塔变换等方式。,.,37,2.2金字塔变换融合,金字塔变换图像融合：(胡顺时9）优点：不同的金字塔层提供不同尺度、不同分辨率图像的特征信息，还能提供局部区域特征突变信息，因而在利用金字塔分解进行图像融合时，能在多种不同尺度下进行融合，提取相关地物特征信息，充分挖掘图像的潜力。缺点：金字塔变换是冗余的，分解后数量不断增加，不同金字塔层之间具有一定的相关性，同时金字塔分解层也没有方向性，因而，对某些复杂的地物特征不能很好地表现，同时也不是最优的表达，这也从某种程度上限制了其应用。,.,38,2.2小波变换融合,小波变换图像融合：(胡顺时9）小波分析理论是图像多尺度几何分析的一个重要发展阶段。小波变换的基本思想是通过一个小波基函数对图像进行平移和伸缩操作，使图像中某些局部区域的特征得到加强，同时还具有水平、垂直和45度方向性。小波变换的这种空间和频率域局部特性、方向性，使得其在图像融合中更加便于挖掘不同分阶层上的信息，在不同尺度上增强图像的细节信息和特征信息。,.,39,2.2小波变换融合,小波变换图像融合：(胡顺时9）小波多尺度分析在遥感图像融合中的应用过程是对遥感图像中多尺度边缘细节信息提取过程，在不同尺度上，对不同大小、方向的地物边缘特征信息融合出来的过程。缺点：小波分解只能分解成水平、垂直和45度角三个有限的方向，不能从多方向、多角度去表达边缘细节信息的方向特性。,.,40,是一种信息保持型的方法这种方法首先以低分辨率图象为参考图象来对高分辨率图象进行直方图匹配以形成几个图象,然后对这几个图象进行小波变换以形成各自的低频图象和高频细节信息并用原始的低分辨率图象来取得小波变换后的低频图象,对替换后的图象及与之相关的细节信息进行小波逆变换从而获得融合图象.这种方法可以对单个或多个波段进行融合操作.现今大多数算法进行的改进与传统算法进行融会贯通,2.2小波变换融合,.,41,2.2小波变换融合,基本思想重采样为尺度大小一致的图像利用小波，分解为不同分辨率的子图分别处理重构,.,