Python编程与计算机视觉应用 课件 第1-5章 图像增强：线性滤波 -神经网络基础

线性滤波线性滤波LinearfilteringMotivation:Imagedenoising图像去噪Howcanwereducenoiseinaphotograph?如何去除图像中的噪声WeightedAverage加权平均Let’sreplaceeachpixelwithaweighted

averageofitsneighborhoodFilterKernel滤波器核Theweightsarecalledthefilterkernel滤波器核Whataretheweightsfortheaverageofa3x3neighborhood?Movingaverage滑动平均111111111“boxfilter”Source:D.Lowe线性滤波与卷积卷积输出响应R为离散卷积二维离散卷积或边缘效应DealingwithedgesIfweconvolveimagefwithfilterg,whatisthesizeoftheoutput?fggggfggggfggggOutputissmallerthaninputOutputissamesizeasinputOutputislargerthaninput离散卷积的边缘效应离散卷积的边缘效应离散卷积的边缘效应忽略这些点输出尺寸<输入尺寸使用常数填充图像保证图像不收缩，但会在边缘产生梯度Zero-Padding其他方法填充图像edge-paddingreflect-paddingPracticewithlinearfilters000010000Original?Source:D.LowePracticewithlinearfilters000010000OriginalFiltered(nochange)Source:D.LowePracticewithlinearfilters000100000Original?Source:D.LowePracticewithlinearfilters000100000OriginalShiftedleftBy1pixelSource:D.LowePracticewithlinearfiltersOriginal?111111111Source:D.LowePracticewithlinearfiltersOriginal111111111Blur(withaboxfilter)Source:D.LowePracticewithlinearfiltersOriginal111111111000020000-?(Notethatfiltersumsto1)Source:D.LowePracticewithlinearfiltersOriginal111111111000020000-Sharpeningfilter锐化滤波Accentuatesdifferenceswithlocalaverage强调与局部平均之间的差异Source:D.LoweSharpeningSource:D.LoweSharpeningWhatdoesblurringtakeaway?originalsmoothed(5x5)–detail=000010000SharpeningWhatdoesblurringtakeaway?originalsmoothed(5x5)–detail=sharpened=Let’sadditback:originaldetail+000010000000010000高斯滤波Smoothingwithboxfilterrevisitedboxfilter可以平滑图像，但是它也有一些缺点，例如它平滑的效果不够自然，特别是在原始图像有比较密集的细节纹理时，boxFilter会产生网格状的效应。SmoothingwithboxfilterrevisitedWhat’sthesolution?Source:D.ForsythSmoothingwithboxfilterrevisited盒式滤波器What’swrongwiththispicture?What’sthesolution?Toeliminateedgeeffects,weightcontributionofneighborhoodpixelsaccordingtotheirclosenesstothecenter为了消除边缘效应，邻域像素按照其距离中心像素的距离进行加权“fuzzyblob”高斯核GaussianKernelConstantfactoratfrontmakesvolumesumto1canbeignoredwhencomputingthefiltervalues,asweshouldrenormalizeweightstosumto1inanycase先按照公式计算权重，然后归一化到和为10.0030.0130.0220.0130.0030.0130.0590.0970.0590.0130.0220.0970.1590.0970.0220.0130.0590.0970.0590.0130.0030.0130.0220.0130.0035x5,=1Source:C.Rasmussen

GaussianKernel标准差Standarddeviation:determinesextentofsmoothingSource:K.Graumanσ=2with30x30kernelσ=5with30x30kernel选择核宽度/大小ChoosingkernelwidthTheGaussianfunctionhasinfinitesupport,butdiscretefiltersusefinitekernels高斯函数是无穷的，离散核函数只使用有限的Source:K.GraumanChoosingkernelwidthRuleofthumb:setfilterhalf-widthtoabout3σ经验法则：将核宽度的一半设置为约3σGaussianvs.boxfilteringGaussianvs.boxfilteringGaussianvs.boxfilteringGaussianblurringGaussianblurring彩色图像高斯模糊Python代码示例可分离特性SeparabilityoftheGaussianfilterSeparablekernelFactorsintoproductoftwo1DGaussiansDiscreteexample:Source:D.LoweWhyisseparabilityuseful?Separabilitymeansthata2Dconvolutioncanbereducedtotwo1Dconvolutions(onealongrowsandonealongcolumns)可分离性意味着2D卷积可以分解为两次1D卷积Whatisthecomplexityoffilteringann×nimagewithanm×mkernel?O(n2m2)Whatifthekernelisseparable?O(n2m)扩展：尺度和图像金字塔

扩展：尺度和图像金字塔中值滤波NoiseSaltandpeppernoise椒盐噪声:containsrandomoccurrencesofblackandwhitepixelsImpulsenoise脉冲噪声:containsrandomoccurrencesofwhitepixelsGaussiannoise高斯噪声:variationsinintensitydrawnfromaGaussiannormaldistributionSource:S.SeitzGaussiannoiseMathematicalmodel:sumofmanyindependentfactorsGoodforsmallstandarddeviationsAssumption:independent,zero-meannoiseSource:M.Hebert红线上的像素ReducingGaussiannoise标准差的影响Smoothingwithlargerstandarddeviationssuppressesnoise,butalsoblurstheimageReducingsalt-and-peppernoiseWhat’swrongwiththeresults?3x35x57x7Alternativeidea:Medianfiltering中值滤波Amedianfilteroperatesoverawindowbyselectingthemedianintensityinthewindow

Ismedianfilteringlinear?Source:K.GraumanMedianfilter中值滤波Ismedianfilteringlinear?Let’stryfilteringMedianfilter的优势WhatadvantagedoesmedianfilteringhaveoverGaussianfiltering?Robustnesstooutliers对于异常点不敏感/鲁棒Source:K.GraumanMedianfilterSalt-and-peppernoiseMedianfilteredSource:M.HebertGaussianvs.medianfiltering3x35x57x7GaussianMedianMedianfilter锐化滤波SharpeningrevisitedSharpeningrevisitedWhatdoesblurringtakeaway?originalsmoothed(5x5)–detail=sharpened=Let’sadditback:originaldetail+αUnsharpmaskfilterGaussianunitimpulseLaplacianofGaussianimageblurredimage单位脉冲unitimpulse(identity)0.0030.0130.0220.0130.0030.0130.0590.0970.0590.0130.0220.0970.1590.0970.0220.0130.0590.0970.0590.0130.0030.0130.0220.0130.0030000000000001000000000000Application:HybridImagesA.Oliva,A.Torralba,P.G.Schyns,HybridImages,SIGGRAPH2006GaussianFilterLaplacianFilter总结Summary:ImagefilteringConvolutionBoxvs.GaussianfilterSeparabilityMedianfilter参考资料计算机视觉：原理、算法、应用及学习（第五版）ComputerVision:AModernApproachbyDavidForsythandJeanPonce(2nded.)ComputerVision:AlgorithmsandApplications,byRichardSzeliski,/Book/计算摄影学@/column/hawkcpProgrammingComputerVisionwithPython,JanErikSolemCS543/ECE549ComputerVision,UIUC,/CS231n，斯坦福大学，李飞飞，/计算摄影学CS543/ECE549ComputerVisionComputerVision:AlgorithmsandApplicationsCS231n,CNNsforCV附录：频域解释什么是频域？

什么是频域？要多少个正弦波叠加起来才能形成一个标准90度角的矩形波呢？什么是频域？正弦波就是一个圆周运动在一条直线上的投影。什么是频域？所以频域的基本单元也可以理解为一个始终在旋转的圆什么是频域？矩形波对应的频域表示空间频率和傅里叶变换让·巴普蒂斯·约瑟夫·傅里叶1768-1830，男爵，法国数学家、物理学家主要成就：热的传导理论、傅里叶变换小行星10101号傅里叶星，名字被刻在埃菲尔铁塔空间频率和傅里叶变换右图中每个方格对应频域中（x和y方向）不同频率的波，右下角为原点；每个方格的位置（坐标）也对应频率图对应坐标位置，频率图中每个坐标点的亮度表示每个方格描述的波的振幅；这些波叠加（带上另一个相位谱）得到原图（跟一维FFT原理一致）；2-D傅里叶变换空间频率和傅里叶变换傅里叶的傅里叶变换空间频率和傅里叶变换空间频率和傅里叶变换

右边图就是频率分布图谱，其中越靠近中心的位置频率越低，越亮（灰度值越高）的位置代表该频率的信号振幅越大。FFT的结果是复数形式，保留了图像的全部信息，但去绝对值得到的频谱图只表现了振幅而没有体现相位。形态学处理内容提纲:1.数学形态学的发展历史及基本概念2.数学基础3.形态学基本运算4.二值形态学图像处理基本操作5.灰阶图像形态学处理基本操作6.形态学图像处理基本应用7.总结6.1数学形态学历史及基本概念形态学：通常指生物学中对动植物的形状和结果进行处理的一个分支。数学形态学(mathematicalmorphology,MM)：是根据形态学概念发展而来具有严格数学理论基础的科学，并在图像处理和模式识别领域得到了成功应用。基本思想是：用具有一定形态的结构元素去度量和提取图像中的对应形状以达到对图像分析和识别的目的形态学图像处理表现为一种邻域运算形式；一种特殊定义的邻域称之为“结构元素”（StructureElement），在每个像素位置上它与二值图像对应的区域进行特定的逻辑运算，逻辑运算的结果为输出图像的相应像素。形态学运算的效果取决于结构元素的大小、内容以及逻辑运算的性质。6.1数学形态学历史及基本概念用途是：简化图像数据，保持它们基本的形状特性，并除去不相干的结构基本的运算包括：二值腐蚀和膨胀、二值开闭运算6.1数学形态学历史及基本概念发展历史（1）60年代：孕育和形成1964诞生，法国学者Serra对铁矿石的岩相进行定量分析，以预测特矿石的可轧性。同时，Matheron研究了多孔介质的几何结构、渗透性及二者的关系，二者的研究直接导致数学形态学雏形的形成。1966年命名MathematicalMorphology。1968年在法国成立枫丹白露(Fontainebleau)数学形态学研究中心。70年代：1973年，Mathron的《随机集和积分几何》为数学形态学奠定了基础。发展历史（2）80年代：1982由Serra主编完成的《ImageAnalysisandMathematicalMorphology》是里程碑，表明数学形态学在理论上已趋于完备。此后，该书的第二版和第三版相继出版。1986，CVGIP（computervisiongraphicsandimageprocessing)发表了MM专辑，使MM的研究呈现新景象。提出基于MM的纹理分析模型系列。90年代至今：在模式识别，编码，运动分析，运动景物描述、放射医学、工业控制等方面取得进展，及用于数值函数的形态学算子开发等。“如果证明，在某些时候，形态学方法比其他方法在模式识别方面更有效，那是因为它更好地把握了景物的几何特点，仅此而已”－Serra在把握自然景物含义，人类思维的符号描述方面显得不够有力，有待发展。形态学图像分析的优点MM方法比其他空域或频域图像处理方法有一些明显的优势：在恢复处理中，形态滤波可借助先验的几何特征信息，利用形态学算子有效滤除噪声，又可保留图像的原有信息；MM算法易于用并行处理方法有效实现，且硬件实现容易；基于MM的边缘信息提取由于基于微分的提取算法，也不象微分算法对噪声那样敏感，同时提取的边缘较光滑；基于MM方法提取的图像骨架较连续，断点少。6.2数学基础

集合论的一些基本概念：－属于、不属于、空集令A是Z2中的一个集合，如果a是其中的一个元素，称a属于A，并记作：aA,否则，称a不属于A，记为：aA，如A中没有任何元素，称A为空集：－子集、并集、交集AB,C=AB,C=AB－不相连（互斥）、补集、差集AB=,Ac={

a|aA},A–B={

c|cA,c

B}=ABc(1)属于、不属于、空集

集合论的一些基本概念：令A是Z2中的一个集合，如果a是其中的一个元素，称a属于A，并记作：aA,否则，称a不属于A，记为：aA，如A中没有任何元素，称A为空集：6.2数学基础集合的并

集合论的一些基本概念：(2)子集、并集AB,C=AB集合的交

集合论的一些基本概念：(3)交集C=AB6.2数学基础集合的补

集合论的一些基本概念：(4)不相连（互斥）、补集AB=,Ac={

a|aA},6.2数学基础集合的差(5)差集A–B={

c|cA,c

B}=ABc

集合论的一些基本概念：6.2数学基础集合关系的图形表示并、交、补、减842025/11/19二值图像的逻辑运算(5)集合的反射

由集合A中所有元素相对于原点的反射元素组成的集合称为集合A的反射，记为。

其中，x表示集合A中的元素a对应的反射元素。集合的反射图示

集合论的一些基本概念：(6)集合的平移由集合A中所有元素平移y=(y1，y2)后组成的元素集合称为集合A的平移，记为。

其中，x表示集合A中的元素a平移y后形成的元素。集合的平移图示

集合论的一些基本概念：6.2数学基础移位、反射－反射（相对某个中心点）－移位（相对原点）6.2数学基础

二值图像中的基本逻辑操作三种最基本的逻辑运算（功能完整的）：与、或、非（补）尽管逻辑操作与集合操作间存在一一对应的关系，但逻辑操作只是针对二值图像。6.2数学基础逻辑操作图形表示6.2数学基础6.3二值形态学基本运算膨胀(dilation)腐蚀(erosion)开和闭(openingandclosing)击中与否变换(hit-or-miss)2025/11/19(1)膨胀Dilation膨胀：使图像扩大A用B来膨胀写作，定义为：上式表示：

B的反射进行平移与A的交集不能为空B的反射：B相对于自身的映像对B的反射进行移位，以便它能滑过集合（图像）A含义:

每当结构元素在目标图像A上平移后，结构元素与其覆盖的子图像中至少有一个元素相交时，就将目标图像中与结构元素的原点对应的那个位置的像素值置为“1”，否则置为0。注意：（1）当结构元素中原点位置的值是0时，仍把它看作是0；而不再把它看作是1。（2）当结构元素在目标图像上平移时，允许结构元素中的非原点像素超出目标图像范围。

(1)膨胀Dilation111

111

1111212112

12112

112112

11

1

1

11

（a）目标图像A（b）结构元素B（c）结构元素（d）膨胀运算结果图像

举例：(1)膨胀Dilation结构元素形状对膨胀运算结果的影响

当目标图像不变，但所给的结构元素的形状改变时；或结构元素的形状不变，而其原点位置改变时，膨胀运算的结果会发生改变。(1)膨胀Dilation111

111

1111

12112

12112

112112

11

11

（a）目标图像A（b）结构元素B（c）结构元素（d）膨胀运算结果图像下面给出的是与上图的目标图像相同但结构元素不同时，膨胀运算结果不同的例子。

(1)膨胀Dilation111

111

1111

2020202212210222210

211

222

11

1

1

11

（a）目标图像A（b）结构元素B（c）结构元素（d）膨胀运算结果图像下面给出的是与上图的目标图像相同，但仅结构元素的原点位置改变时，膨胀运算结果不同的例子。

(1)膨胀Dilation1111利用膨胀运算将相邻的物体连接起来(1)膨胀Dilation1111利用膨胀运算填充目标区域中的小孔(1)膨胀Dilation99(1)膨胀Dilation(1)膨胀Dilation1012025/11/19(2)腐蚀erosion腐蚀：使图像缩小A用B来腐蚀写作，定义为：B移动后完全包含在A中时，B的原点位置的集合含义：每当在目标图像A中找到一个与结构元素B相同的子图像时，就把该子图像中与B的原点位置对应的那个像素位置标注为1，图像A上标注出的所有这样的像素组成的集合，即为腐蚀运算的结果。腐蚀运算的实质就是在目标图像中标出那些与结构元素相同的子图像的原点位置的像素。1111111111110000100（a）目标图像A（b）结构元素B（c）腐蚀运算结果图像图腐蚀运算实例

举例：(2)腐蚀erosionAB举例：11

1

11

1

(2)腐蚀erosion注意：当结构元素在目标图像上平移时，结构元素中的任何元素不能超出目标图像的范围。

(2)腐蚀erosion腐蚀运算的结果不仅与结构元素的形状(矩形、圆形、菱形等)选取有关，而且还与原点位置的选取有关。(2)腐蚀erosion11

111

1111

1100

010

1010

结构元素不同时的腐蚀运算实例

111100

000

0100(2)腐蚀erosionE1=3*3方形结构单元原图E1膨胀后图像E1腐蚀后图像不同结构单元对腐蚀和膨胀的影响(2)腐蚀erosion1082025/11/19原图E1膨胀后图像E1腐蚀后图像E2=5*5方形结构单元不同结构单元对腐蚀和膨胀的影响(2)腐蚀erosion1111利用腐蚀算法消除物体之间的粘连示例举例：

(2)腐蚀erosion利用腐蚀算法识别物体示例

举例：

(2)腐蚀erosion

膨胀和腐蚀运算的对偶性可分别表示为：也即：对目标图像的膨胀运算，相当于对图像背景的腐蚀运算操作；对目标图像的腐蚀运算，相当于对图像背景的膨胀运算操作。腐蚀运算与膨胀运算的对偶性

(2)腐蚀erosion(a)目标图像(b)结构元素B(c）膨胀(d)腐蚀(e)

的补(f)

的反射(g)腐蚀(h)膨胀1111111111111111111111111111

2

2112111211212

1

1

1

1

1

1

1

1

1

1

11111111111111111111

1111111111111221111

21111

21111211111111100110100腐蚀运算与膨胀运算的对偶性－示例

(2)腐蚀erosion11111111腐蚀运算与膨胀运算的对偶性－实例验证

(a)目标图像A

(b)结构元素B(c）膨胀结果(d)腐蚀结果(e)A的补

(b)B的反射(c）膨胀(d)腐蚀(2)腐蚀erosion(3)开操作openingB对A进行的开操作就是先用B对A腐蚀，然后用B对结果进行膨胀

11

1111

11

1

0

11

01

11

10

000100(a）目标图像A

(b)结构元素BB的反射(c）B对A的腐蚀结果(d）B对(c)膨胀结果1

11

1、开运算举例：11

11(3)开操作opening对含噪声的印刷电路板图像进行开运算实例

(a)印刷电路板二值图像（b）对(a)进行开运算的结果图像

1、开运算(3)开操作opening(4)闭操作closingB对A进行的闭操作就是先用B对A膨胀，然后用B对结果进行腐蚀111

111

1111212112

12112

112112111(b)结构元素B

(a）目标图像A

(c）B对A的膨胀结果(d)B对(c)

腐蚀结果

2、闭运算举例：

011

011

011

11

011

11

1111B的反射(4)闭操作closing电路板二值图像闭运算实例

2、闭运算实例：(a)电路板二值图像（b）对(a)进行闭运算的结果图像

(4)闭操作closing闭运算可以使物体的轮廓线变得光滑。

闭运算具有磨光物体内边界的作用，而开运算具有磨光图像外边界的作用。

(4)闭操作closing(b)对图像进行(c)腐蚀运算结果(d)对图(c)进行(e)对H图像开腐蚀运算膨胀运算运算结果(f)对图(a)进行(g)膨胀运算结果(h)对图(g)的(i)对H形图像闭膨胀运算腐蚀运算运算结果(a)H形原图像开运算与闭运算对偶性－实例验证

OpeningClosing开操作的作用：使轮廓平滑，抑制A物体边界的小离散点或尖峰。

用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积。闭操作的作用：用来填充物体内细小空洞、连接邻近物体、平滑其边界的同时并不明显改变其面积。

过程：先开后闭，开消除噪声，闭修复开运算造成的指纹断裂。(5)击中/击不中Hit/MissB表示由X和X的背景构成的集合令B=(B1，B2)，B1是与B对象相联系的像素构成的集合。B2是与B对象相应背景有关像素的集合。B1

＝X，B2

＝(W-X)，则有Hit/Miss——形状检测的基本工具在不同尺寸的图形中检测出想要的形状严格的模版匹配。指出被匹配点所应满足的性质（模板形状）的同时也指出这些点所不应满足的性质，即对周围环境背景的要求。形态学的主要应用处理图像的类型：二值图像作用：提取对于描绘和表达形状有用的图像成分主要应用：边界提取、区域填充、连通分量提取、凸壳和细化以及骨架等等边界提取BoundaryExtraction设集合A的边界表示为

β(A)，选取结构元素B，先进行B对A腐蚀，而后用A减去腐蚀的结果。边界宽度是单像素边界提取举例单击此处编辑母版标题样式边界提取BoundaryExtraction区域填充RegionFilling连通分量提取Extractionofconnectedcomponents连通分量举例Yoursubtopicgoeshere细化ThinningYoursubtopicgoeshere细化Thinning灰度级图像扩展二值图像中目标对象的像素集可用集合表示，但灰度图像不能，需要扩展膨胀、腐蚀、开操作和闭操作等运算膨胀操作的结果：（a）如果结构元素的值都为正，那么输出图像会更亮（b）暗的细节部分的变化取决于结构元素的值和形状开操作闭操作灰度级图像扩展开运算通常对图像轮廓进行平滑，使狭窄的“地峡”形状断开，去掉细的突起。闭运算也是趋向于平滑图像的轮廓，它一般使窄的断开部位和细长的沟熔合，填补轮廓上的间隙。单击此处编辑母版标题样式灰度级图像扩展结构元素为5×5的平行六面体（b）膨胀图，更亮了减弱了暗细节（c）腐蚀图，更暗了，明亮成分减少单击此处编辑母版标题样式腐蚀、膨胀与形态学梯度单击此处编辑母版标题样式综合实例通过形态学处理不但可以过滤由于噪音或者其他原因引起的一些较小的不可能为人脸的类肤色区域，减少候选区域和提高检测速度，而且可以填补肤色区域内的较小空洞，防止这些空洞被误认为是人脸器官所造成的，为后续检测区域内(欧拉数判断是否为候选区域)降低了误判的可能性。

单击此处编辑母版标题样式综合实例单击此处编辑母版标题样式综合实例本算法中形态学运算既要去噪(如图像中的直线、表格、方方正正的文字及噪点等)，又要尽量少地影响边缘细节。结合试验分析，选定2个以中心为原点的3×3结构元素，对图像进行腐蚀和开运算。腐蚀和开运算的结构元素3×3矩阵对于如图1所示的有复杂背景(如文字等)的条码图像，采用形态学方法消除了影响进一步提取梯度特征的因素，变成了只有少量噪声的图像，而且滤去了毛边，使图像二维码区域的梯度特征更加明显，其运算结果如图3所示。ThanksThankYou!Q

&

A局部图像特征提取：关键点检测关键点提取（角点）关键点提取（角点）Keypointextraction:Corners9300HarrisCornersPkwy,Charlotte,NC为什么提取关键点Whyextractkeypoints?Motivation:panoramastitching全景图拼接Wehavetwoimages–howdowecombinethem?Whyextractkeypoints?Motivation:panoramastitching全景图拼接Wehavetwoimages–howdowecombinethem?Step1:extractkeypoints提取关键点Step2:matchkeypointfeatures匹配关键点Whyextractkeypoints?Motivation:panoramastitching全景图拼接Wehavetwoimages–howdowecombinethem?Step1:extractkeypointsStep2:matchkeypointfeaturesStep3:alignimages好的关键点Goodkeypoints?好的关键点Characteristicsofgoodkeypoints紧致&高效CompactnessandefficiencyManyfewerkeypointsthanimagepixels关键点数目比像素少很多显著性SaliencyEachkeypointisdistinctive关键点是独特的、有特色的局部特性LocalityAkeypointoccupiesarelativelysmallareaoftheimage;robusttoclutterandocclusion重复性/再现性RepeatabilityThesamekeypointcanbefoundinseveralimagesdespitegeometricandphotometrictransformations无论几何或光学变换，

同一关键点都能被检测到应用ApplicationsKeypointsareusedfor:Imagealignment对齐3Dreconstruction三维重建Motiontracking运动跟踪Robotnavigation机器人导航Databaseindexingandretrieval数据库检索Objectrecognition目标识别角点检测：基本思想Q:Corner角点是什么？角点CornerWeshouldeasilyrecognizethepointbylookingthroughasmallwindow在小窗口中就可以很容易识别出Shiftingawindowinany

directionshouldgivealargechangeinintensity在任意方向移动，强度都应该变化巨大“edge”:

nochangealongtheedgedirection“corner”:

significantchangeinalldirections“flat”region:

nochangeinalldirections角点检测

Cornerdetection:Basicidea角点检测CornerDetection:DerivationChangeinappearanceofwindowWfortheshift[u,v]:I(x,y)E(u,v)E(0,0)角点检测CornerDetection:DerivationChangeinappearanceofwindowWfortheshift[u,v]:两个图像块之间的L2距离I(x,y)E(u,v)E(3,2)角点检测CornerDetection:DerivationChangeinappearanceofwindowWfortheshift[u,v]:两个图像块之间的L2距离Wewanttofindouthowthisfunctionbehavesforsmallshifts小幅移动时该函数的表现?E(u,v)Considertheaxis-alignedcase(gradientsareeitherhorizontalorvertical):InterpretingthesecondmomentmatrixHarris角点检测算子Harris角点检测算子TheHarriscornerdetector计算步骤计算图像的局部梯度局部图像梯度减去平均值计算局部梯度的协方差矩阵计算特征值和特征向量利用阈值处理特征向量，从而判断是否为角点Harris角点检测算子在一个很小的局部窗口内计算每个像素点的梯度值：Harris角点检测算子将梯度减去平均值，则是为了做一定程度的归一化。利用这个归一化的梯度值，我们可以计算协方差矩阵，从而拟合一个抛物面（下图的P，代表梯度计算的局部图像块）基础知识回顾：协方差矩阵方差、协方差基础知识回顾：协方差矩阵方差、协方差缩放旋转黑色线条表明特征向量方向基础知识回顾：协方差矩阵方差、协方差Harris角点检测算子这个协方差矩阵的特征向量有着特殊的意义，它可以写作下式，从而反应出图像局部点的特点：只有两个特征值都比较

大且没有明显的差距时，

才是角点。Harris角点检测算子方法1：通过来确定是否是角点。方法2：使用确定是否是角点。这个算子计算量更小。两者检测结果很相似TheHarriscornerdetector计算偏导Computepartialderivativesateachpixel计算局部二阶矩矩阵ComputesecondmomentmatrixMinaGaussianwindowaroundeachpixel:计算角点响应函数ComputecornerresponsefunctionRC.HarrisandM.Stephens,ACombinedCornerandEdgeDetector,Proceedingsofthe4thAlveyVisionConference:pages147—151,1988.

HarrisDetector:StepsHarrisDetector:StepsComputecornerresponseRTheHarriscornerdetector计算偏导Computepartialderivativesateachpixel计算局部二阶矩矩阵ComputesecondmomentmatrixMinaGaussianwindowaroundeachpixel:计算角点响应函数ComputecornerresponsefunctionR阈值过滤ThresholdR局部最大值Findlocalmaximaofresponsefunction(nonmaximumsuppression)C.HarrisandM.Stephens,ACombinedCornerandEdgeDetector,Proceedingsofthe4thAlveyVisionConference:pages147—151,1988.

HarrisDetector:StepsFindpointswithlargecornerresponse:R>thresholdHarrisDetector:StepsTakeonlythepointsoflocalmaximaofRHarrisDetector:Steps角点特征的鲁棒性RobustnessofcornerfeaturesWhathappenstocornerfeatureswhentheimageundergoesgeometricorphotometrictransformations?当图像发生几何或光学变换时，角点特征？AffineintensitychangeOnlyderivativesareused,soinvarianttointensityshiftI

I

+

b只利用了梯度，多一对于亮度偏移具有不变性

Intensityscaling:I

a

IRx

(imagecoordinate)thresholdRx

(imagecoordinate)亮度变化部分不变性PartiallyinvarianttoaffineintensitychangeI

a

I+bImagetranslationDerivativesandwindowfunctionareshift-invariantCornerlocationiscovariantw.r.t.translation与平移协变ImagerotationSecondmomentellipserotatesbutitsshape(i.e.eigenvalues)remainsthesame二阶矩椭圆旋转但形状（特征值）保持不变Cornerlocationiscovariantw.r.t.rotation与旋转协变ScalingAllpointswillbeclassifiedasedgesCornerCornerlocationisnotcovariantw.r.t.scaling!与尺度不协变总结SummaryHarris角点检测算子计算图像的局部梯度局部图像梯度减去平均值计算局部梯度的协方差矩阵计算特征值和特征向量利用阈值处理特征向量，从而判断是否为角点参考资料计算机视觉：原理、算法、应用及学习（第五版）ComputerVision:AModernApproachbyDavidForsythandJeanPonce(2nded.)ComputerVision:AlgorithmsandApplications,byRichardSzeliski,/Book/计算摄影学@/column/hawkcpProgrammingComputerVisionwithPython,JanErikSolemCS543/ECE549ComputerVision,UIUC,/CS231n，斯坦福大学，李飞飞，/计算摄影学CS543/ECE549ComputerVisionComputerVision:AlgorithmsandApplicationsCS231n,CNNsforCVConsidertheaxis-alignedcase(gradientsareeitherhorizontalorvertical):InterpretingthesecondmomentmatrixIfeitheraorbiscloseto0,thenthisisnotacorner,sowewantlocationswherebotharelargeInterpretingthesecondmomentmatrix对角化Inthegeneralcase,needtodiagonalizeM:特征值决定椭圆轴距，R决定方向TheaxislengthsoftheellipsearedeterminedbytheeigenvaluesandtheorientationisdeterminedbyR:directionoftheslowestchangedirectionofthefastestchange(

max)-1/2(

min)-1/2Visualizationofsecondmomentmatricesdirectionoftheslowestchangedirectionofthefastestchange(

max)-1/2(

min)-1/2Visualizationofsecondmomentmatrices特征值决定椭圆轴距，R决定方向directionoftheslowestchangedirectionofthefastestchange(

max)-1/2(

min)-1/2ClassificationofimagepointsusingeigenvaluesofM:Interpretingtheeigenvalues

1

2“Corner”

1and

2arelarge,

1~

2;

Eincreasesinalldirections

1and

2aresmall;

Eisalmostconstantinalldirections“Edge”

1>>

2“Edge”

2>>

1“Flat”regiondirectionoftheslowestchangedirectionofthefastestchange(

max)-1/2(

min)-1/2平坦区域：特征值都非常小边缘窗口：特征值一个很大，一个很小角点窗口：特征值都很大Cornerresponsefunction“Corner”

R>0“Edge”

R<0“Edge”

R<0“Flat”region|R|smallα:constant(0.04to0.06)directionoftheslowestchangedirectionofthefastestchange(

max)-1/2(

min)-1/2平坦区域：特征值都非常小边缘窗口：特征值一个很大，一个很小角点窗口：特征值都很大Harris角点检测算子TheHarriscornerdetector计算偏导Computepartialderivativesateachpixel计算局部二阶矩矩阵ComputesecondmomentmatrixMinaGaussianwindowaroundeachpixel:C.HarrisandM.Stephens,ACombinedCornerandEdgeDetector,Proceedingsofthe4thAlveyVisionConference:pages147—151,1988.

图像分割193CONTENTS目录TIANGONGUNIVERSITYTIANGONGUNIVERSITY基于区域的分割区域生长法分裂合并法聚类分割

K-均值聚类模糊C均值聚类基于图论的分割图像分割的性能评价194区域分割阈（yu）值分割法没有或很少考虑空间关系，很多阈值选择受到限制，基于区域的分割方法可以弥补这点不足。区域分割方式：1、区域生长法思想：将每个需要分割的区域找一个种子像素作为生长的起点，然后将种子像素周围领域中与种子像素有相同或相似的像素合并到种子像素所在的区域中。2、分裂合并法分裂合并法先从整幅图开始，先将图像分成任意大小且不重叠的区域，然后再合并或分裂这些区域以满足分割的要求。195区域生长法区域生长三要素：→确定一组能正确代表所需区域的种子要素。确定在生长过程中能将相邻像素包含进来的准则。制定让生长停止的条件。生长准则1、基于区域灰度差步骤1：对像素扫描，找出尚未归置的像素。步骤2：以该像素为中心检查他的邻接像素，如果灰度差小于预先的阈值，将他们合并。步骤3：以新合并的像素为中心，返回步骤2。步骤4：返回步骤1，继续扫描，直到所有像素都有归属。优缺点：方法简单，易于计算。当图像是彩色的时候，仅用单色的准则效果会受到影响。在不考虑像素间的连通性和邻近性时，可能出现无意义的结果。196区域生长法2、基于区域内灰度分布统计性质步骤1：把像素分成互不重叠的小区域。步骤2：比较邻接区域的累计灰度直方图，根据分布的相似性进行区域合并。步骤3：设置终止准则，重复步骤2直到各区域合并满足终止条件。合并原则：（1）（2）eg:灰度直方图是关于灰度级分布的函数，是对图像中灰度级分布的统计。这里设h1(X)和h2(X)为相邻两个区域的灰度直方图，H1(X)和H2(X)分别为累计灰度直方图。问题：原图尺寸太小时检测可靠性降低，太大时得到的区域形状不理想，小的目标可能漏掉。197分裂合并法

操作步骤对任意区域进行分割。对相邻区域，如果，将二者合并，这里V代表同质区域中的方差。如果进一步的分裂或合并都不可能，则终止算法。198聚类分割聚类分割就是把给定的样本集合X={x1,x2,x3xn}按照某种准则分割成k个不相交的子集，满足区域分割的要求--同一子集中的样本相似性较大，不同子集样本的相似性。典型的聚类方法：K-均值模糊C均值Mean-Shift聚类算法优缺点：不需要先验知识，属于无监督分割法，大大提高了分割的自动化程度，同时提高了分割的效率。所有的聚类分割法都对初始值敏感，分割效果不稳定；如果不考虑图像空间上下文间信息，容易出现分割效果不理想的情况。199K-均值聚类执行步骤：1、选择某种方法将N割样本分成c个聚类的初始划分，计算每个聚类的均值u1、u2、u3...uc和Je2、选择一个备选样本x,设其在Xj中。3、若Ni=1，则转步骤2，否则继续。4、计算。5、对于所有的j，如果ρk<ρj，则将x从Xi移到Xk中。6、重新计算uk和ui的值，并修改Je。7、若迭代N次，Je不变，则停止，否则转到步骤2。200K-均值聚类样本均值误差平方和迭代后的均值和平方和转移判定依据只有当x离uj的距离比离uk的距离更近时才满足上述不等式。201基于图论的分割思想：将图像映射为带权图，将像素或区域视为节点，两节点属于同一区域的可能性表示连接它们边的权值，这样就把分割问题转化为最优化问题--互补子图的割最小（距离说明）图论分割流程：从图像到图的映射相似度判断因素： 1、灰度、颜色、纹理等图像特征 2、位置和距离；3、移动趋势； 4、观察者主观认为的相似性。权值转换：其中相邻像素的灰度分别为Ij和Ii，σ是一个调节参数。输入图像映射为图设计分割准则图像分割形成目标函数对目标函数求解图的分割图像的分割G=（V,E）图像V：图的顶点像素E：连接顶点相邻像素W：边的权值相邻像素相似度202基于图论的分割

分割原则：1、同一子集Vi内的顶点之间的关系紧密。2、不同子集Vi与Vj相互之间的关系松散。eg:补图、割集、边集。分割算法割集的权值之和为割：两图之间的联系最弱，则要求子图间的割最小。问题：这中方法偏向于分离单个或者小簇顶点→改进的分割算法→203图像分割的性能评价图像分割的性能评价分为：无监督评价方法：通过分割结果图像的质量参数来评价相应的分割算法。有监督评价方法：将算法分割得到的图像与理想分割的参考图像进行比对。无监督评价方法的质量参数：区域内一致性、区域间差异性指标、语义指标有监督评价方法的分割评判标准：真阳性（TP）、假阴性（FN）、假阳性（FP）、真阴性（TN）204无监督评价方法区域内一致性标准区域内一致性主要基于图像的颜色、灰度、纹理和熵等。以最大对比度为原则：分割后的二值图中有R1、R2...RM共M个区域，则第k个区域Rk的一致性Zebk表示为：

其中i为Rk中的像素,fi为像素i的灰度值，W(i)为像素i的邻域，Nk为区域Rk的像素总数

各个区域Zebkde的加权平均值即为图像分割一致性的评价标准。

以区域内方差为原则：区域内一致性判定归一因子E，wk为权值以分割图像一致性判断205无监督评价方法

区域间差异化指标思想：好的分割，其分割的相邻区域间的特征具有显著的差异。语义指标主要基于分割目标的形状和边界平滑度等信息。紧凑性=圆度=通过组合上述三类指标，可以形成性的评价指标！！！206有监督评价方法其中：TP是分割算法将实际目标正确分割为目标。FN是分割算法将实际目标错误分割为背景。 FP是分割算法将实际背景错误分割为目标。 TN是分割算法将实际背景正确分割为背景。衍生出如下有监督评价标准灵敏度=、特异性=、准确度=、错误率=等

真实目标分割结果TNFNTPFP207其他分割方式基于参