笔记(李总字体).doc

傅立叶变换表达2）M的选取与描述符的关系 在上述方法中，相当于对于u M-1的部分舍去不予计算。由于傅立叶变换中高频部分对应于图像的细节描述，因此M取得越小，细节部分丢失得越多。3）使用价值1）较少的傅立叶描述子（如4个），就可以获取边界本质的整体轮廓2）这些带有边界信息的描述子，可以用来区分明显不同的边界4）优点1）使用复数作为描述符，对于旋转、平移、放缩等操作和起始点的选取不十分敏感。2）几何变换的描述子可通过对函数作简单变换来获得几何变换傅立叶描述子原形a(u) 旋转a(u) = a(u) ejq平移a(u) = a(u) + Dxyd(u)放缩a(u) = aa(u) 起点a(u) = a(u) e-j2pk0u/N边界描述子1.）边界的长度边界/轮廓长度（区域周长）对区域 R，轮廓点 P： P本身属于 R P的邻域中有象素不属于 R 区域的轮廓点和内部点要采用不同的连通性来定义 (1) 内部点8-方向连通，轮廓为4-方向连通(2) 内部点4-方向连通，轮廓为8-方向连通(1) 4-方向连通轮廓B4(2) 8-方向连通轮廓B8使用单位长链码2个象素间直线段 2个象素间对角线段2） 边界的直径边界上相隔最远2点之间的距离3.）曲率斜率、曲率、角点（局部特性）斜率：轮廓点的（切线）指向曲率：斜率的改变率 曲率大于零，曲线凹向朝着法线正向 曲率小于零，曲线凹向朝着法线负向角点：曲率的局部极值点边界的曲率： 曲率被描述为斜率的变化率。近似用相邻边界线段（描述为直线）的斜率差作为在边界线交点处的曲率描述子。交点a处的曲率为dk = k1 k2其中k1、k2 为相邻线段的斜率边界的凸线段点： 当顶点p上的曲率是非负时，称其为凸线段上的点边界的凹线段点： 当顶点p上的曲率为负时，称其为凹线段上的点2.形状数链码的实用化形状数定义：最小循环首差链码。循环首差链码：用相邻链码的差代替链码例如：4-链码10103322 循环首差为：33133030循环首差:1 - 2 = -1(3) 3 - 0 = 3 0 - 1 = -1(3) 3 - 3 = 0 1 - 0 = 1 2 - 3 = -1(3) 0 - 1 = -1(3) 2 - 2 = 02.形状数形状数定义：例如：4-链码 ：10103322 循环首差：33133|030 形状数：03033133形状数序号n的定义： 形状数中阿拉伯数字的个数。上例序数为8对于封闭边界序号一定是偶数。如order4、6、8。2.形状数问题： 虽然链码的首差是不依赖于旋转的，但一般情况下边界的编码依赖于网格的方向。改进： 规整化网格方向，具体方法如下：2.形状数几个基本概念：边界最大轴a:是连接距离最远的两个点的线段边界最小轴b:与最大轴垂直，且其长度确定的包围盒刚好包围边界。边界离心率c：最大轴长度与最小轴长度的比 c = a / b基本矩形: 包围边界的矩形。2.形状数规整化网格方向算法的思想： 大多数情况下，将链码网格与基本矩形对齐，即可得到一个唯一的形状数。 规整化网格方向的一种算法如下 ：（1）首先确定形状数的序号n；（2）在序号为n的矩形形状数中，找出一个与给定形状的基本矩形的离心率最接近的形状数2.形状数（3）然后再用这个矩形与基本矩形对齐，构造网格。（4）用获得链码的方法得到链码；（5）再得到循环首差；（6）首差中的最小循环数即为形状数。例如: 如果n=12，所有序号为12的矩形（即周长为12）为2*4，3*3，1*5。如果2*4矩形的离心率最接近于给定边界的基本矩形的离心率，我们建立一个2*4的网格。形状数的阶形状数序列的长度闭合曲线阶是偶数凸形区域形状数的阶对应区域边界外包矩形的周长 3.边界矩基本思想：将描述形状的任务减少至描述一个一维函数，边界段和特征的形状可以用矩量来量化地描述矩量的定义：把边界当作直方图函数：g(r)3.边界矩矩量的定义： L mn(r) = (ri- m)ng(ri) i=1 L其中 m = rig(ri) i=1 m2 描述了曲线相对于均值的分布 m3 描述了曲线相对于均值的对称性 这里L是边界上点的数目, mn(r)是边界的矩量矩量的优点：实现是直接的附带了一种关于边界形状的“物理”解释对于旋转的不敏感性为了使大小比例不敏感，可以通过伸缩r的范围来将大小正则化。 利用处在目标区域内的象素集合来 描述区域的特点/特性 1. 简单区域描述符 2. 拓扑描述符 3. 不变矩 1)区域面积 基于对象素个数的计数 2)区域重心 基于区域所有象素计算 3)区域密度 需结合灰度图和分割图1)区域面积 区域面积的不同计算方法 利用对象素记数求区域面积，最简单合理 多边形区域面积 ？ NB是正好处在Q的轮廓上离散点的个数 NI是Q的内部点的个数 令R为Q中所包含点的集合 |R| = NB + NI 2)区域重心 对非规则物体，其重心坐标和几何中 心坐标常不相同 3)区域密度 (1) 透射率（transmission） T = 穿透目标的光 / 入射的光 (2) 光密度（optical density） 入射的光与穿透目标的光的比（透射 率的倒数），取以10为底的对数 OD = log(1/T) = logT 2.拓扑描述子 拓扑学研究图形不受畸变变形（不包括撕裂或粘贴）影响的性质拓扑性质：全局性质，与距离无关 欧拉数 1，2，1 ， 0欧拉数描述了区域的连通性H：区域内的孔数C：区域内的连通组元个数 对一幅二值图象A，可以定义两个欧拉数 (1) 4-连通欧拉数E4(A) 4-连通的目标个数减去8-连通的孔数 (2) 8-连通欧拉数E8(A) 8-连通的目标个数减去4-连通的孔数多边形网 全由直线段（包围）构成的区域集合 欧拉公式 V：顶点数 B：边线数 F：面数 5.不变矩：用所有属于区域内的点计算 f (x, y)的 p + q 阶矩 f (x, y)的 p + q 阶中心矩 f (x, y)的归一化的中心矩关系描述子1、目标标记和计数1）象素标记：检查当前象素与之前若干近邻象素的连通性2.点目标的分布当图象中有许多个同类的目标时，为方便研究它们之间的关系，常将各个目标抽象为点目标对点目标集合，目标间相互关系常比单个目标在图象中的位置或单个目标本身的性质更重要 根据分布的统计来区分不同分布将视场分成一些子区域 m：子区域内目标数的均值 s 2：子区域内目标数的方差 (1) s 2 = m：泊松分布 (2) s 2 m：聚类分布 (3) s 2 aA (2) A-bS (3) A-b 其中S、A是变量4.边界关系编码用有向线段来描述一个图像的各个部分（例如同构区域），这个线段是通过头尾连接等方法得到的。线段之间的不同运算代表了区域的不同组合。当图像的连通性可以通过首尾相接或其它连续的方式描述的时候，最适于使用这种串来描述。5.树结构关系树结构中每个结点的意义和结点之间的关系最为重要3.3 识别与解释图像识别与解释的基本方法统计模式识别：用向量形式表达模式；分派模式向量到不同的模式类结构模式识别：用符号匹配，模式被表示为符号形式（如形状数、串和树）图像解释的方法：图像解释技术是基于谓词逻辑、语义网络和特定产品的系统1.模式的定义模式是：图像中的一个对象或某些感兴趣本质的数量或结构的描述模式是：由一个或多个描述子来组成，换句话说，模式是一个描述子的序列（名词“特征”经常被用来代指描述子）模式是：一组特征或一组描述子2.模式类的定义模式类是具有某些公共特征的模式的系列 模式类用w1,w2,wM表示，M是类的个数3.模式识别的定义根据图像中对象的特征组成的模式，确定对象是属于那一个模式类，即为模式识别模式与模式类举例1）汽车的长、宽、高（L,W,H）模式2）大客车： （L,W,H）大 小轿车： （L,W,H）小 卡 车：（L,W,H）卡 从而有模式类（w大, w小, w卡）3）从图像中发现一个对象模式实例。 希望识别出该对象（L1,W1,H1），是大客车、小轿车、还是卡车模式识别4.常用的模式序列三种模式序列:1)模式特征向量2)模式串3)模式树1)模式特征向量定义举例特征的选择常用的模式序列1)模式特征向量的定义描述子构成的向量模式特征向量用粗体小写字母表示，如x,y形式如下：其中每一个xi代表第i个描述子，n是这种描述子的数量。模式特征向量被表示为一列或表示成 x = (x1, x2, , xn)T， 其中T指出是转秩模式特征的选择良好的特征应具备四个特点可区别性：对不同类别对象特征值差异明显可靠性：对同类对象特征值比较接近独立性：所用的各特征之间彼此统计独立数量少：过多的特征数，会使系统复杂度提高一般特征向量的选择方法尽量不选择带噪声和相关度高的特征先选择一组直觉上合理的特征，然后逐渐减少到最佳2)模式串 用于以对象特征的结构或空间关系作为模式的识别模式串举例：梯状的模式3)模式树以分层目录结构排序的模式类，一般多采用树结构模式树举例统计模式识别1.分类器的设计与训练分类器一般设计方法分类器对每一模式类，给出一个典型模板对每一个遇到的待分类对象,计算该对象与个典型模板之间的相似程度相似值是对象的函数函数取值的不同，决定对象属于那一模式类-分类器一般设计规则分类器规则都转换为阈值规则将测量空间划分成互不重叠的区域每一个模式类对应一个区域（或多个）对象的分类函数值落在哪个区域，对象就属那类某些情况，某些区域为“无法确定”类-分类器的训练决策规则决定后，需要确定分类器的阈值实现的方法是用一组已知对象训练分类器训练对象集由每类已被正确识别的部分对象组成通过对这些对象的度量，定出能够将决策面划分成不同区域的合理阈值使分类器对训练对象样本集分类准确性最高2.统计模式识别的基本概念统计模式识别的定义设：模式特征向量：x = (x1, x2, ,xn)T，对于：M个模式类 w1,w2,wM，寻找M个决策函数d1(x), d2(x), , dM(x)，具有这样的特性：如果模式实例x属于模式类wi,那么：di(x) dj(x) j = 1, 2, , M; j i 换句话说，如果一个未知模式对象x属于第i个模式类，把x代入所有的决策函数，di(x)的取值最大。-决策边界的定义对于模式特征向量x，如果决策函数值有： di(x) - dj(x) = 0 此x向量，被称为wi与wj的决策边界。通常用一个单一的函数标识两个类之间的决策边界，定义为： dij(x) = di(x) - dj(x) = 0 如果 dij(x) 0x 属于类wi 如果 dij(x) 0x 属于类wj3. 分类器最小距离分类器以蝴蝶花的例子为例：（1）为多色（w1）和多毛（w2 ）的两种蝴蝶花，确定两个原形（或称模板）m1和m2（2）对于一个未知模式向量x，判断x与m1和m2的距离，如果与m1的距离小于与m2的距离，则x属于w1，否则属于w2 。-最小距离分类器1）算法思想：对于M个模式类 wii = 1,2,.,M 为每一个模式类确定一个原形模式特征向量mi对于一个未知模式特征向量x，如果x与mi的距离最小，就称，x属于wi-最小距离分类器2）最小距离分类器定义（训练）：1计算模式类wj的原形向量： mj = 1/Nj xj = 1,2, , M xwj其中Nj是属于模式类wj的模式向量的个数。 通过计算已知属于wj的模式特征向量的各分量的均值得到原形模式特征向量mj 2计算x 与 mi的距离dj(x) = | x mj | j = 1, 2, , M 其中 | a | = (aTa)1/2是欧几里德范式（平方和开方）dj(x) = (x mj )T (x mj ) 1/2 j = 1, 2, , M3 决策如果，di(x) = min(dj(x) j = 1, 2, , M 就说：x 属于wi为便于计算，改写成求最大的标准形式，决策函数为：dj(x) = xTmj 1/2mjTmj j = 1,2, , M 如果，di(x) = max(dj(x) j = 1, 2, , 就说：x 属于wi4用上式得到的类wi和wj之间的决策边界是： dij(x) = di(x) - dj(x) = xT（mi mj） 1/2(mi mj)T(mi mj) = 0分类器相关匹配分类器(1) 相关匹配的基本思想:a. 用样板子图像直接作为模式特征（不是用描述子）b. 通过子图像与原图像直接进行相关计算，把相关计算作为决策函数c. 相关计算获得最大值的位置，就被认为匹配成功相关匹配分类器(2) 算法描述决策函数是相关函数c(s,t) = f(x,y)w(x+s,y+t) xy对图像的每一个点进行相关计算，只计算重叠部分 问题：在边界处将失去准确性，其误差与子图像的尺寸成正比相关匹配分类器(3) 改进 相关函数对振幅的变化太敏感，f(x,y)加倍，c(s,t)也加倍。用相关系数函数代替相关函数 f(x,y) f(x,y)w(x-s,y-t) w(s,t)= f(x,y)f(x,y)2w(x-s,y-t) w21/2 x y x y (s,t)的值域为（-1，1）相关匹配分类器(4) 对旋转和比例变化的分析问题： 当被匹配图像中，对象的尺寸和角度与模式不一致，此方法将失效。改进：尺寸的正则化，解决空间比例的问题。正则化模板与原图。如果知道原图像的旋转角度，我们可以通过旋转原图像，对齐模式解决。结论: 如果被匹配的对象的角度任意，此方法不能用于这种问题。相关性匹配分类器(5) 关于空域计算相关函数，可以在频域计算。 f(x,y)w(x,y) f(s,t)w(s,t)但无论在何种情况下，都没有更有优势的理论根据。相关系数方式只能在空域进行。神经网络和支持向量机感知机 最基本的感知机建立能将两个线性可分训练集分开的线性决策函数 对模式矢量增加第n + 1个元素 构建一个扩充模式矢量y，让yi = xi， i = 1, 2, , n，且后面加一个元素yn+1 = 1其中y = y1 y2 yn 1T是个扩充模式矢量，w = w1 w2 wn wn+1T是个权矢量 关键问题：用模式矢量的给定训练集确定w线性可分类 两个训练集，每个包括两个模式 先将模式扩充，对类s1得到训练集0 0 1T, 0 1 1T，对类s2得到训练集1 0 1T, 1 1 1T 2）.线性不可分类 最小化实际响应和希望响应间的误差 沿J(w)负梯度的方向逐步增加w以寻找上述函数的最小值。最小值应在r = wTy时出现 通用的梯度下降算法可写成： （2）支持向量机 1.线性可分类 线性分类器的设计目的：要设计一个超平面 满足条件的超平面一般不惟一 离开两个类都比较远的超平面分类的结果会更好些，可能的错误率也会更小一些1.线性可分类 对每个朝向，与两个类距离相等的超平面应该是与两个类都有最大距离的超平面 确定能给出类距离最大的朝向的超平面 从一个点到一个超平面的距离3.3.4 结构模式识别统计模式识别，通过量化的方法处理模式，最大限度地忽略了模式形状的内在结构关系。结构模式识别，则力求通过准确地抓住这些不同模式类的内在结构关系来进行模式识别。1. 匹配形状数(1) 匹配形状数的基本思想 通过比较两个对象边界的形状数的相似程度，来匹配对象。匹配形状数(2) 基本概念-相似级别 a.两个区域边界的相似级别k的定义： 用相同形状数的最大序号表示：即： 当考虑用4向链码表示的封闭区域边界的形状数时，A和B具有相似级别k，当且仅当满足： s4(A)= s4(B),s6(A) = s6(B), s8(A) = s8(B), sk(A) = sk(B), sk+2(A) sk+2(B), sk+4(A) sk+4(B), ， 这里s表示形状数,下标表示序号。匹配形状数(2) 基本概念-形状数的距离b.两个区域边界A和B形状数的距离D(A,B) 相似级别的倒数 ：D(A,B) = 1 / k 距离满足如下性质：D(A,B) 0D(A,B) = 0iffA=BD(A,C) maxD(A,B),D(B,C)匹配形状数(3) 算法思想a.用不同密度的网格划分边界区域，获得不同序数的形状数。b. 如果使用相似级别k，k越大说明越相似。c. 如果使用相似距离D，D越小说明越相似d. 可以利用相似树来进行判别2.串匹配（1）串匹配的基本思想 比较两个边界串编码的相似程度，来进行匹配（2）三个基本概念 设: 两个区域边界A和B已分别被编码 为串a1a2an和b1b2bm。串匹配a.两个串的匹配数M: 当 ak= bk 时我们说发生了一个匹配。令M代表A、B中匹配的总数。b.不匹配的符号数量Q： Q = max（|A|，|B|）- M这里|arg|是字符串的长度。当且仅当A和B完全相同时，Q = 0。串匹配c. A和B相似度的简便衡量R: R = M/Q = M / max(|A|,|B|) - M 因此， 当A和B完全匹配时，R = ；当A和B中任何字符都不匹配时， M = 0，R = 0。串匹配（3）算法思想a.由于匹配是逐字符进行的，b.选择一个好的开始点，可以大大减少计算量。任何将两个串规则化为相同字符开头的方法都是有效的，只要这种方法不是穷举起点。c.最大的R给出了最好的匹配。第4章透视几何学 4.1 基本坐标变换 4.2 空间几何变换 4.3 几何失真校正 4.4摄像机透视投影模型 4.5摄像机近似投影模型 4.6摄像机通用成像模型 4.1.1 图象坐标变换 4.1.2 坐标变换讨论4.2.1成象几何 1、投影变换 将3-D客观场景投影到2-D图象平面成象过程 三个坐标系统： 世界坐标系统 XYZ 摄象机坐标系统 xyz 图象平面 xy从 XYZ 到 xyz，从 xyz 到 xy2、齐次坐标 可用来将前述非线性（分母中含变量Z）等式表示成线性矩阵形式例： 直线方程ax + by + c = 0 一条直线也可用矢量l = a, b, cT来表示 当k不为零时，矢量a, b, cT和矢量ka, b, cT表示同一条直线空间几何变换 将平面区域映射到平面区域(1) 将一个组合区域映射为另一个组合区域(2) 将单个区域映射为一个组合区域(3) 将一个组合区域映射为单个区域 分层分类 图3.3.1 仿射变换 性质： (1) 仿射变换将有限点映射为有限点 (2) 仿射变换将直线映射为直线 (3) 仿射变换将平行直线映射为平行直线 (4) 当区域P和Q是没有退化的三角形（即面积不为零），那么存在一个唯一的仿射变换A可将P映射为Q，即Q = A(P)4.3 几何失真校正 4.3.1 空间变换 对图象平面上的象素进行重新排列以恢复原空间关系 4.3.2 灰度插值 对空间变换后的象素赋予相应的灰度值以恢复原位置的灰度值 空间变换 4.3.2灰度插值 4.4摄像机透视投影模型图象采集：场景投影转换到图象四个坐标系统： (1)世界（world）坐标系统 (2)摄象机坐标系统 (3)象平面坐标系统 (4)计算机图象坐标系统4.5摄像机近似投影模型摄像机标定摄像机标定的目的：三维重建三维重建：摄像机标定的主要目的，也是计算机视觉的最主要的研究方向. (Marr 1982)，所谓三维重建就是指从图象出发恢复出空间点三维坐标的过程。摄像机标定：建立摄像机图像像素位置与场景点位置之间的关系，其途径是根据摄像机模型，由已知特征点的图像坐标求解摄像机的模型参数。三维重建的三个关键步骤摄像机标定：单个像机图象对应点的确定：双目二图象间摄像机运动参数的确定：单个像机运动传统摄像机标定方法特点利用已知的景物结构信息。常用到标定块。优点可以使用于任意的摄像机模型，标定精度高不足 标定过程复杂，需要高精度的已知结构信息。在实际应用中很多情况下无法使用标定块。 基于交比不变的摄像机畸变系数标定特点：将畸变参数单独进行标定优点：算法简单，与其它内外部参数分离缺点：误差受样本点的影响3、摄像机传统标定方法3.1、DLT方法3.2、RAC方法3.3、张正友的平面标定方法(ICCV, 1999)3.1、直接线性变换（DLT变换） 3.2、R. Tsai 的 RAC的定标算法 3.3、基于交比不变的摄像机畸变系数标定 算法描述打印一张模板并贴在一个平面上从不同角度拍摄若干张模板图象检测出图象中的特征点求出摄像机的内参数和外参数求出畸变系数优化求精张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、家庭使用的桌面视觉系统(DVS)的标定要求。 张的方法是需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配，这给不熟悉计算机视觉的使用者带来了不便。 第6章双目立体视觉 6.1 双目立体视觉原理 6.2 双目成象和视差 6.3 基于区域的双目立体匹配 6.4 基于特征的双目立体匹配 6.5 视差图误差检测与校正6.1双目立体视觉原理立体视觉主要研究如何借助（多图象）成象技术从（多幅）图象里获取场景中物体的距离（深度）信息 六个模块 六项工作1.摄象机标定2.图象获取3.特征提取立体视觉借助不同观察点对同一景物间的视差来帮助求取3-D信息（特别是深度信息）。所以需要判定同一景物在不同图象中的对应关系 选择合适的图象特征以进行多图象间的匹配4.立体匹配 根据对所选特征的计算来建立特征间的对应关系，从而建立同一个空间点在不同图象中的象点之间的关系，并由此得到相应的视差图象5.3-D信息恢复 根据得到的视差图象，可以进一步计算深度图象，并恢复场景中的3-D信息 6.后处理 3-D信息常不完整或存在一定的误差(1)深度插值 只能恢复出图象中特征点处的视差值 (2)误差校正（见后）(3)精度改善 象素级视差到亚象素级的视差6.2双目成象和视差 获得同一场景的两幅视点不同的图象 6.2.1双目横向模式 6.2.2双目横向会聚模式 6.2.3双目纵向模式6.3基于区域的双目立体匹配 直接用单点灰度搜索会受到图象中许多点会有相同灰度、图象噪声等因素影响而不实用 6.3.1模板匹配 6.3.2双目立体匹配 6.4基于特征的双目立体匹配典型方法的主要步骤(1)用边缘检测寻找物体的轮廓线，并在轮 廓线上确定特征点(2)利用立体匹配方法匹配各特征点(3)对匹配点求视差，获取匹配点的深度(4)利用获得的匹配点进行深度插值，以进 一步得到其它各点的深度特征点提取：平移、旋转、缩放、仿射不变性 1.SUSAN角点提取； 2.harris角点提取； 3.SIFT尺度不变特征提取 USAN的面积携带了关于图象中核象素处结构的主要信息 当核象素处在图象中的灰度一致区域，USAN的面积会达到最大。该面积当 核处在直边缘处约为最大值的一半，而当核处在角点处则为最大值的1/4 使用USAN面积作为特征起到了增强边缘和角点的效果特点 有噪声时的性能较好 不需要计算微分 对面积计算中的各个值求和（积分） 非线性响应特点 易自动化实现 控制参数的选择简单 参数的任意性较小 2 Harris角点检测Harris角点检测算子是Moravec角点检测算子的改进.Harris算子用高斯函数代替二值窗口函数,对离中心点越近的像素赋于越大的权重，以减少噪声影响。Moravec算子只考虑了每隔45度方向，Harris算子用Taylor展开去近似任意方向。2 Harris角点检测算法的步骤： 1.）计算图像的方向导数，分别保存为两个数组Ix以及Iy，这里可以使用任何方法，比较正统的是使用Gaussian函数，因为在Harris角点检测的推导过程中默认是采用了Gaussian函数作为其计算图像偏导数的方法。当然使用简单的Prewitt或者Sobel算子也没有关系。2.）为每一个点计算局部自相关矩阵 u(x,y) = Ix(x,y)2*WIy(x,y)Ix(x,y)*W;Ix(x,y)Iy(x,y)*W Iy(x,y)2*W;这里*W代表以x,y为中心与高斯模板W做卷积，而这个模板的大小则需要你自己指定。 3.）如果这个u的两个特征值都很小，则说明这个区域是个平坦区域。如果u的某个特征值一个大一个小，则是线，如果两个都很大，那么就说明这是个角点。Harris提供了另一个公式来获取这个点是否是角点的一个评价： corness = det(u) - k*trace(u)2; 4.）这个corness就代表了角点值，其中k是你自己取的一个固定的变量，典型的为0.04,0.06之间。当然在求取了每个点的corness以后，最好再做一个极大值抑制，这样的效果比直接设置一个阀值要好。3.SIFT尺度不变特征提取： 1）尺度空间极值检测David.Low等人为了更加高效地在尺度空间检测到稳定的特征点，在1999年提出利用不同尺度的高斯差分方程同图像进行卷积，求取尺度空间极值，即D(x,y,)=(G(x,y,k)-G(x,y,)*I(x,y)=L(x,y,k)-L(x,y,)2）精确定位特征点的位置当然这样产生的极值点并不都是稳定的特征点，因为某些极值点响应较弱，而且DOG算子会产生较强的边缘响应。通过拟和三维二次函数以精确确定特征点的位置和尺度（达到亚像素精度），同时可以去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。3）确定特征点的主方向利用关键点邻域像素的梯度方向分布特性为关键点指定方向参数，使算子具备旋转不变性。 在以特征点为中心的邻域窗口内采样，并用梯度方向直方图来统计邻域像素的梯度方向。梯度直方图的范围是0360，其中每10一个柱，总共36个柱。梯度方向直方图的峰值则代表了该特征点处邻域梯度的主方向，即作为该特征点的主方向。在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该特征点的辅方向。一个特征点可能会被指定具有多个方向（一个主方向，一个以上辅方向），这可以增强匹配的鲁棒性。4）生成特征描述符首先将坐标轴旋转为特征点的方向，以保证旋转不变性；接下来以特征点为中心取1616的窗口（特征点所在的行和列不取） 6.4.1基本方法6.4.2动态规划匹配6.5视差图误差检测与校正 视差图产生误差 周期性模式、光滑区域的存在，以及遮挡效应、约束原则的不严格性，等等通用快速的视差图误差检测与校正算法直接对视差图进行处理 与产生该视差图的具体立体匹配算法独立计算量仅仅与误匹配象素点的数量成正比第7章运动视觉分析 7.1运动分类和表达 1. 运动分类 图象：前景（目标）和背景 图象序列：前景运动和背景运动 前景运动：局部运动 目标在场景中的自身运动 背景运动：全局运动或摄象机运动 摄象机的运动所造成的帧图象内所有点的整体移动 运动：沿时间轴的变化 短时运动分析 仅使用若干帧（常为两三帧），获得瞬时运动场以得到对运动较为精确的估计 长时运动分析 使用几十到上百帧 获得长期运动的累积结果2. 运动矢量场表达 运动既有大小也有方向 运动矢量用（有起点）无箭头的线段（线段长度与矢量大小即运动速度成正比）来表示，并叠加在原始图象上逐块进行3. 运动直方图表达 目标运动常比摄象机运动更不规范 运动矢量方向直方图 将从0度到360度的运动方向划分成若干个间隔，把运动矢量场上每一点的数据归到与它的运动方向最为接近的间隔 4. 运动轨迹表达 表达了目标在运动过程中的位置信息 由一系列关键点和一组在这些关键点间进行插值的函数构成7.2运动估计和检测 7.2.1利用图象差的运动检测1. 差图象的计算算术运算： 一般用于灰度图象 (1) 加法：记为p + q (2) 减法：记为p q (3) 乘法：记为p * q（也可写为pq和p q） (4) 除法：记为p q1. 差图象的计算逻辑运算： 一般用于二值图象(1) 与（AND）： 记为p AND q （也可写为pq）(2) 或（OR）： 记为p OR q（也可写为p + q）(3) 补（COMPLEMENT）： 记为NOT q（也可写为 )通过逐象素比较可直接求取前后两帧图象之 间的差别 差图象不为零处表明该处的象素发生了移动2. 累积差图象的计算ADI有三个功能：(1) ADI中相邻象素值间的梯度关系可用来估计目标移动的速度矢量，这里梯度的方向就是 速度的方向，梯度的大小与速度成正比(2) ADI中象素的个数（值）可帮助确定运动目标的尺寸和移动的距离(3) ADI中包含了目标运动的全部历史资料，有助于检测慢运动和尺寸较小目标的运动2. 累积差图象的计算由ADI图象获得的信息：(1)正ADI图像中的非零区域面积等于运动目标的面积(2)正ADI图像中对应运动目标的位置也就是运动目标在 参考图中的位置(3)当正ADI图像中的运动目标移动到与参考图中的运动 目标不重合时，正ADI图像停止计数(4)绝对ADI图像包含了正ADI图像和负ADI图像中的所有 目标区域(5)运动目标的运动方向和速度可分别根据绝对ADI图像 和负ADI图像来确定 7.2.2利用时-空梯度估计光流场7.2.3基于模型的运动检测 2. 基于双线性模型的全局运动检测 求出一组（大于4个）运动矢量观测值 获得8个方程解8个参数7.2.4频率域运动检测7.3运动目标分割视频图象是3-D图象：f (x, y, t)时间分割：分解为时间片段（常为镜头）空间分割：把独立运动的目标逐帧检测出来 三种策略(1) 先分割之后再计算运动信息 先获得区域边界，再估计区域运动模型(2) 先计算运动信息再分割 先计算全图运动矢量场，再分割运动矢量场 (3) 同时计算运动信息和进行分割 比较复杂，需要相当大的计算量3. 带全局运动补偿的算法 获得局部物体引起的运动矢量 具体步骤 (1) 设图象中所有点的初始局部运动矢量为零(2) 根据全局运动模型计算每一点的全局运动矢量(3) 计算每个象素点的实际运动矢量 7.3.3映射参数估计基于参数和模型的基本原理 每个独立的运动都可准确地用一组映射参数来描述 设有K组参数矢量（对应K个独立的运动目标），每一组在各个象素处定义一个光流矢量 由映射参数定义的光流矢量称为基于模型的或合成的光流矢量 分割是对在每个位置最接近的估计光流矢量赋一个合成光流矢量标号 7.4运动目标跟踪 卡尔曼滤波但目标的位置,速度,加速度的测量值往往