计算机视觉课件笔记

第一讲：介绍1什么是视觉：Visionistheprocessofdiscoveringfromimageswhatispresentintheworld,andwhereitis.2研究视觉的用处：对象识别、空间定位、运动跟踪、动作识别3什么是计算机视觉：ComputerVisionisthestudyofanalysisofpicturesandvideosinordertoachieveresultssimilartothoseasbymen.即为了近似于人眼观察结果而进行的图像和视频的分析研究4MAR计算机视觉理论：将视觉过程看做一个信息加工过程，把视觉图像的形成划分为三个阶段：1)二维1)二维基素图〔2-Dsketch〕：视觉过程的第一阶段，由输入图像而获得基素图。基素图主要指图像中强度变化剧烈处的位置及其几何分布和组织结构，其中用到的基元包括斑点、端点、边缘片断、有效线段、线段组、曲线组织、边界等.目的在于把原始二维图像中的重要信息更清楚地表示出来。(2)2.5维要素图：视觉过程的第二阶段，通过符号处理，将线条、点和斑点以不同的方式组织起来而获得2.5维图。视觉过程的这一阶段也称为中期视觉。2.5维图指的是在以观察者为中心的坐标系中，可见外表的法线方向、大致的深度以及它们的不连续轮廓等。其中用到的基元包括可见外表上各点的法线方向、和各点离观察者的距离〔深度〕、深度上的不连续点、外表法线方向上的不连续点等等。视觉的这一阶段是由一系列相对独立的处理模块组成的。这些处理模块包括：表达、运动、由外表明暗恢复形状、由外表轮廓线恢复形状、由外表纹理恢复形状等。它的作用是揭示一个图像的外表特征。Marr声称，早期视觉加工的目标就是要建立一个2.5维的要素图，这是把一个外表解释为一个特定的物体或一组物体之前的最后一步。(3)三维模型表征〔3-Dmodelrepresentation〕：视觉过程的第三阶段，由输入图像、基素图、2.5维图而获得物体的三维表示。视觉过程的这一阶段，也称为后期视觉。所谓物体的三维表示指的是在以物体为中心的坐标系中，用含有体积基元〔即表示形状所占体积的基元〕和面积基元的模块化分层次表象，描述形状和形状的空间组织形式，其表征包括容积、大小和形状。当三维模型表征建立起来时，其最终结果是对我们能够区别的物体的一种独特的描述。第二讲：视觉通路简介1可见光谱范围：380nm~780nm2眼球根本结构和功能：3视网膜：将光信号转变成电脉冲信号1光感受体：包括视锥细胞和视杆细胞。作用是将光信号转换为电脉冲信号。视锥细胞：亮视觉1光感受体：包括视锥细胞和视杆细胞。作用是将光信号转换为电脉冲信号。视锥细胞：亮视觉视杆细胞：暗视觉2中间层：构成视觉信息传输的直接和间接通道。3神经节细胞层：视觉信息在这里形成纤维束,离开人眼。光线---------4视觉通路概述：视觉传导通路：光线—角膜—瞳孔视觉传导通路：光线—角膜—瞳孔—晶状体—玻璃体—视网膜色素上皮细胞层—视锥视杆细胞层—双极神经原—节细胞—视神经—视交叉—视束—外侧膝状体—视辐射—大脑半球枕叶皮质。视觉反射通路：光线—角膜—瞳孔—晶状体—玻璃体—视网膜色素上皮细胞层—视锥视杆细胞层—双极神经原—节细胞—视神经—视交叉—视束—外侧膝状体—上丘臂—双侧上丘—中脑动眼神经副交感核—动眼神经—睫状神经节—节后纤维—瞳孔、睫状体—调节瞳孔对光反射和视觉反射外侧膝状体视皮层视网膜视束交叉：视束神经交叉的关键是内侧信号传输到对面,外侧信号传输方向不变3视觉通道假说模型3视觉通道假说模型大量的动物实验说明,灵长类动物视觉系统将图像的不同特征(例如,形状、运动、颜色、空间位置等)分成不同通路并行处理,各通路为串行的等级结构.在所有并行处理通路中,最重要的两条通路是背侧通路(DorsalPathway)和腹侧通路(VentralPathway).前者完成“在哪儿(Where)〞功能,后者完成“是什么(What)〞功能.第三讲：数学根底1线性代数知识复习：齐次坐标系、普通二维坐标和二维齐次坐标之间进行转换、行列式、行列式几何意义〔二阶行列式：平面平行四边形的有向面积；三阶行列式：平行六面体的有向体积；n阶行列式：n维平行多面体的有向容积〕、行列式性质、两个三维向量叉积、矩阵、任意一个矩阵其本身蕴含一个变换、矩阵与线性变换之间的关系〔矩阵变换就是线性变换〕、二阶矩阵对应线性变换的平面几何图形小结、矩阵的秩〔初等变换不改变矩阵的秩〕、矩阵的K阶子式、满秩矩阵、满秩矩阵的逆矩阵、反对称矩阵、二元/三元线性方程组解的行列式表示、Gramer(克拉姆)法则、三点共线的判定〔三点的齐次坐标行列式的值为0〕、***反对称矩阵***性质(1)对任意两个三维向量x1,x2：(2)(3)***结束******二阶矩阵对应线性变换的平面几何图形小结******结束******矩阵蕴含变换***3*3矩阵A把一个三维向量d映射到一个三维向量e；2*3矩阵A把一个三维向量d映射到一个二维向量e;1*3矩阵A把一个三维向量d映射到一个一维向量e；***结束******关于向量叉积***向量的叉积：

假设存在向量u(ux,uy,uz),v(vx,vy,vz),求同时垂直于向量u,v的向量w(wx,wy,wz).

因为w与u垂直，同时w与v垂直，所以w.u=0,w.v=0;即

uxwx+uywy+uzwz=0;

vxwx+vywy+vzwz=0;

分别削去方程组的wy和wx变量的系数，得到如下两个等价方程式：

(uxvy-uyvx)wx=(uyvz-uzvy)wz

(uxvy-uyvx)wy=(uzvx-uxvz)wz

于是向量w的一般解形式为：

w=(wx,wy,wz)=((uyvz-uzvy)wz/(uxvy-uyvx),(uzvx-uxvz)wz/(uxvy-uyvx),wz)

=(wz/(uxvy-uyvx)*(uyvz-uzvy,uzvx-uxvz,uxvy-uyvx))

因为：

ux(uyvz-uzvy)+uy(uzvx-uxvz)+uz(uxvy-uyvx)

=uxuyvz-uxuzvy+uyuzvx-uyuxvz+uzuxvy-uzuyvx

=(uxuyvz-uyuxvz)+(uyuzvx-uzuyvx)+(uzuxvy-uxuzvy)

=0+0+0=0

vx(uyvz-uzvy)+vy(uzvx-uxvz)+vz(uxvy-uyvx)

=vxuyvz-vxuzvy+vyuzvx-vyuxvz+vzuxvy-vzuyvx

=(vxuyvz-vzuyvx)+(vyuzvx-vxuzvy)+(vzuxvy-vyuxvz)

=0+0+0=0

由此可知，向量(uyvz-uzvy,uzvx-uxvz,uxvy-uyvx)是同时垂直于向量u和v的。

为此，定义向量u=(ux,uy,uz)和向量v=(vx,vy,vz)的叉积运算为：uxv=(uyvz-uzvy,uzvx-uxvz,uxvy-uyvx)

上面计算的结果可简单概括为：向量uxv垂直于向量u和v。

根据叉积的定义，沿x坐标轴的向量i=(1,0,0)和沿y坐标轴的向量j=(0,1,0)的叉积为：

ixj=(1,0,0)x(0,1,0)=(0*0-0*1,0*0-1*0,1*1-0*0)=(0,0,1)=k

同理可计算jxk:

jxk=(0,1,0)x(0,0,1)=(1*1-0*0,0*0-0*1,0*0-0*0)=(1,0,0)=i

以及kxi:

kxi=(0,0,1)x(1,0,0)=(0*0-1*0,1*1-0*0,0*0-0*0)=(0,1,0)=j

由叉积的定义，可知：

vxu=(vyuz-vzuy,vzux-vxuz,vxuy-vyux)=-(uxv)***结束***2无穷远点：齐次坐标：x,y至少有一个不是0；无穷远点没有欧式坐标；无穷远点被视为“理想点〞无穷远直线：齐次坐标平面上所有无穷远点构成的直线通常的直线加一个无穷远点就是无穷远直线直线平行：通过同一无穷远点的所有直线平行。一平面内两条平行的直线交于无穷远点。无穷远点和无穷远直线的引入打破了原本只有两条直线不平行才可求交点的限制。3射影平面〔二维射影空间〕：欧式平面与无穷远直线的并集所形成的扩展平面对偶原理：在射影平面内，点和线是一对互为对偶元素。在包含“点〞和“线〞元素的命题中如果将两个元素的角色互换，则对应的命题也成立，并称它们是一对互为对偶命题。如果p1,p2是射影平面上的两个点，则表示通过这两点的直线。命题1.1：两点p1,p2连线的坐标是三点共线的充要条件是命题1.2：两直线p1,p2的交点坐标是三线共点的充要条件是4共线点的参数化：直线上的点只有一个自由度因此用二维齐次坐标来表示。给定直线l上两个不同点的齐次坐标p1,p2，则直线上任何一个点p的坐标均可以表示为：直线上所有点都可以用二维向量表示：此二维向量为直线上点的参数化表示。显然P1的参数化为P2的参数化为这种参数化过程实际上是建立直线坐标系的过程，直线上点的参数化不唯一，不同的参数化对应不同的坐标系。5共线点的交比：设为四个共线点，他们在某种参数化的其次坐标分别为交比定义：共线点的交比不依赖点的参数化选择，直线坐标系的选择将p3,p4在平面上的其次坐标分别表示为常用的交比计算公式6共点直线的交比：给定共点直线束的两条不同直线的齐次坐标，则直线束中任一条直线l的坐标都可以表示为，这样利用直线束中的两条直线，其他的直线都可以用二维向量来表示：设为四个共线点，他们在某种参数化的其次坐标分别为命题1.3:如果四条有穷点直线的斜率分别为，则他们的交比为：命题1.4：如果4条直线被任意直线截于四点则交比是射影变换的不变量7二次曲线：二次曲线方程表示：矩阵形式：令：则C为一个对称阵，二次曲线的矩阵表示：二次曲线的维度：5个，需要确定的5个参数：a/f,b/f,c/f,d/f,e/f非退化二次曲线：就是正常的二次曲线，C是满秩；P为非退化二次曲线C上一点，则过该点的直线l为C的切线，l=Cp退化二次曲线：C不满秩，由两条直线构成或是两条重合直线构成8二维射影变换：射影变换是射影平面上的可逆齐次线性变换，可以由3X3的矩阵来表示：射影变换：投影中心不在物体平面上的中心投影中心投影将物体平面上的点投影到图像平面上得到像点，像点是物体平面点和投影中心的连线与像平面的交点。物体平面点到像点之间的变换是一个射影变换。射影变换：投影中心不在物体平面上的中心投影中心投影将物体平面上的点投影到图像平面上得到像点，像点是物体平面点和投影中心的连线与像平面的交点。物体平面点到像点之间的变换是一个射影变换。射影变换：点-点；直线-直线；点共线-点共线；任何射影变换的逆变换〔对应与单应矩阵的逆〕都是射影变换，任意两个合成〔对应两个单应矩阵的积〕也都是射影变换，因此射影变换的全体构成射影平面上的一个变换群。9变换群与不变量等距变换：保持距离不变的变换。相当于是平移变换和旋转变换的复合。R={{r11,r12,tx},{r21,r22,ty},{0,0,1}}三个自由度：旋转、x方向平移、y方向平移不变量：两点的距离，两线的夹角，图形的面积等距变换群：等距变换的逆变换、合成变换都是等距变换，等距变换的全体构成一个等距变换群相似变换：等距变换和均匀伸缩变换的合成变换S={{s*r11,s*r12,tx},{s*r21,s*r22,ty},{0,0,1}}四个自由度：旋转、x方向平移、y方向平移、缩放因子s不变量：两线的夹角，长度的比值，面积的比值相似变换群：相似变换的全体仿射变换：平移变换和非均匀变换的复合。A={{a11,a12,tx},{a21,a22,ty},*三对不共线对应点唯一确定仿射变换{0,0,1}}*******对A作奇异值分解，得到A=UDVT,U,V为正交矩阵，D为对角为正数的对角矩阵。仿射变换是一个等距变换VT仿射变换是一个等距变换VT和一个均匀伸缩变换D以及另一个等距变换U的合成。与相似变换差异在于非均伸缩*******六个自由度：旋转4个，x方向平移、y方向平移不变量：平行性、面积比不变、共线线段和平行线段长度比不变、矢量线性组合不变、面积被缩放det(A)倍仿射变换群：仿射变换的全体.*是射影变换的特例射影变换:但凡利用中心投影或平行投影把一个图形映成另一个图形的映射都叫做射影变换讨论：k=0：当且仅当这个摄影变换把无穷远直线变换为通过坐标原点的直线。k!=0：一般情况，此时H分解为：其中k为行列式等于1的上三角正数矩阵，R为正交阵Hp:改变无穷远直线的射影变换Ha:保持面积比不变的仿射变换Hs:相似变换自由度：8个不变量：变换前后共点，共线，交比，相切，拐点，切线的不连续性和岐点保持不变。是一个最为广义的线性变换第四讲空间射影几何---数学根底知识对上一讲的知识回忆和补充：1空间点：在三维射影空间中没有定义，不能作为三维射影空间中点的齐次坐标2空间平面：平面方程：即空间点的齐次坐标平面的齐次坐标无穷远平面：空间点〔x0,y0,z0〕到直线Ax+By+Cz+D=0的距离：d=|Ax0+By0+Cz0|/sqrt(A^2+B^2+C^2)*平面上的无穷远直线代表了该平面的法向结论：〔1〕两平面平行的充要条件是，他们的交线为无穷远直线，或他们有相同的方向。〔2〕直线与直线(平面)平行的充要条件是他们相交于无穷远点三点确定一个平面计算：三平面确定一点：如果三面不共线，则系数矩阵的秩为3，否则共线于1，系数矩阵的秩为2，则不能唯一确定一点，而是在直线上的所有点。*面共线：面的法线共面空间平面点的参数化：给定平面π上不共线三个点的齐次坐标X1，X2，X3,则平面上任一点可表示为：X=αX1+βX2+γX3=(X1，X2，X3)x=(α,β,γ)为点X的参数化表示，也是平面点的齐次坐标。3空间直线：点表示：将直线作为两个点的连线点束：(x1*α+x2*β,y1*α+y2*βz1*α+z2*β,α+β)即各个分量都是线性组合~~空间中的点和平面是对偶的，直线是自对偶的。面表示：将直线作为空间中的点和平面是对偶的，直线是自对偶的。三维射影变换是三维空间中可逆的齐次线性变换，用4*4的矩阵H三维射影变换是三维空间中可逆的齐次线性变换，用4*4的矩阵H来描述H为射影变换，或单应矩阵。有15个自由度。可由15个参数确定。三维射影变换将空间上的点(线、面)变换到点(线、面)，并保持点的共线共面性，线的共面性。任何三维射影变换的逆变换也是三维射影变换。任意三维射影变换的合成也是三维射影变换。三维射影变换的全体构成三维射影空间上的变换群，称为三维射影变换群。仿射变换群：相似变换群：等距变换群：，是三维相似变换的子群。如果限制U为旋转矩阵，则为欧式变换。欧式变换的全体构成等距变换的子群。第五讲计算机视觉中的多视几何1单视几何主像点在图像平面中心：空间中某一点的非齐次坐标为：(Xc空间中某一点的非齐次坐标为：(Xc,Yc,Zc)对应的齐次坐标为：(Xc,Yc,Zc,1)射影到图像平面，对应的非齐次坐标和齐次坐标如下摄像机坐标系与图像平面坐标系之间的关系：*P：摄像机矩阵。表示一个从空间到平面的齐次线性变换主像点偏离图像平面中心：设主点在以图像平面坐标系下的坐标为：则空间中的点在图像平面中的非齐次坐标变化为：设主点在以图像平面坐标系下的坐标为：则空间中的点在图像平面中的非齐次坐标变化为：摄像机坐标系与图像平面坐标系之间的关系：2CCD摄像机：假设CCD摄像机的每个像素是矩形，长为dx，宽为dy.则在摄像机坐标系中空间点在图像平面中的齐次坐标离散化后为则其中fx=f/dx;fy=f/dy;一般CCD摄像机的像素是一个平行四边形，如：则在摄像机坐标系中空间点在图像平面中的齐次坐标离散化后为则：*K(I,O)为摄像机内参数矩阵3摄像机矩阵的一般形式：世界坐标系：令空间点在世界坐标系与摄像机坐标系的坐标分别为：世界坐标系中的点到摄像机坐标系的变换可以用一个正交变换矩阵R和一个平移变换矩阵T表示：=Rxyz+T=r11齐次坐标表示：其中，T=是世界坐标系原点在摄像机坐标系中的坐标，矩阵R是正交旋转矩阵，其矩阵元素满足：正交旋转矩阵实际上只含有3个独立变量，再加上tx,ty和tz，总共有六个参数决定了摄像机光轴在世界坐标系中空间位置，因此这六个参数称为摄像机外部参数其中表示摄像机中心在世界坐标系中的非齐次坐标。小结：摄像机矩阵的一般形式摄像机外参数矩阵：摄像机内参数矩阵：K(I,O)4世界坐标系与图像坐标系变换关系：z是什么含义？*M1:摄像机的内部参数矩阵0M2:摄像机的外部参数矩阵*上式就是摄影测量学中最根本的共线方程。说明物点、光心和像点这三点必须在同一条直线上。这是针孔模型或者中心投影的数学表达式。根据共线方程在摄像机内部参数确定的条件下，利用假设干个的物点和相应的像点坐标，就可以求出摄像机的六个外部参数。5摄像机矩阵的元素〔摄像机矩阵的几何意义〕摄像机的中心：摄像机矩阵的一般形式因为，所以是方程PC=0的一个解。故在摄像机矩阵的情况下，可以通过求解PX=0得到摄像机中心在世界坐标系下的坐标。求解：令,其中H为P的前三列构成的3*3矩阵，为第四维向量，从PX=0可以解出摄像机中心在世界坐标系中的齐次方程坐标原点与坐标轴方向;记摄像机矩阵为，其中为P的第j列向量。世界坐标系的原点坐标为,所以它的图像坐标为:即：摄像机矩阵的第四列向量是世界坐标原点图像的齐次坐标三个坐标轴与无穷远平面的交点分别为：所以他们的图像坐标为：*s0,s1,s2,s3都是可相差常数倍数因子即：摄像机矩阵的前三个列向量分别是世界坐标系3个坐标轴方向的图像点的齐次坐标主平面与轴平面:6具体求解摄像机矩阵：六点法：7平面测量：8欧式空间与射影空间：一般来说，摄像机模型可以被看做从三维射影空间到二维射影平面的映射，可用下面的合成矩阵表达：1〕如果，其中rank(A)=3,表示三维空间的仿射变换，则是世界坐标系为仿射坐标系的摄像机矩阵，称它为放射空间中的摄像机矩阵。2〕如果其中R是旋转矩阵，s为非零常数，表示三维空间的相似变换，则是世界坐标系为欧式坐标系的摄像机矩阵，称它为相似空间中的摄像机矩阵。3〕如果其中R是旋转矩阵，表示三维空间的欧式变换，则是世界坐标系为欧式坐标系〔量度为绝对量度〕的摄像机矩阵，称它为欧式空间中的摄像机矩阵。即前面所讲的摄像机矩阵。4〕如果，则是摄像机坐标系为世界坐标系的摄像机矩阵。9两视几何外极几何：研究两幅图像之间存在的几何，和场景结构无关，只依赖于摄像机的内外参数。研究这种几何可以用在图像匹配、三维重建方面。根本概念:基线：连接两个摄象机光心O〔O’〕的直线外极点：基线与像平面的交点外极平面：过基线的平面外极线：对极平面与图像平面的交线根本矩阵F：对应点对之间的约束根本性质：极平面上任意一点X在第一个摄像机平面上的投影m必位于极线上lX在第二个摄像机平面上的投影m’必位于极线上l’e是第二个摄像机光心e’在第一个摄像机平面的投影e’是第一个摄像机光心e在第二个摄像机平面的投影m的反投影线与的反投影线必相交于一个空间点X，因此反投影线确定一张通过两摄像机光心的平面π极线是反投影线在第二个摄像机下的投影，极线是反投影线在第一个摄像机下的投影。命题一：令是点对应，则m’位于m对应的极线上，m位于m’对应的极线上，即给定两摄像机下的图像(I,I’),极几何约束说明：*极几何约束与场景几何结构无关，是两幅图像间的固有射影性质。极几何的代数表示:根本矩阵:描述图像点与其极线的对应关系假设两个摄像机矩阵为P，P’，摄像机平面为I,I’,则两幅图像之间关系推导：令其中：X(s)是世界坐标系下的X坐标〔(第一个摄像机坐标系下X坐标)标准的，s是畸变因子，一般的，其中是P的广义逆，即〕C是第一个摄像机的光心，即PC=0.于是：----------------(2)记：---------------(3)小结：根本矩阵描述了点m与其对应极线的对应关系：=Fm----------------(4)由于图像点m’在第二幅图像上的对应点在极线上，所以必有：--------------(5)------(6)F:把第一个图像平面上的二维空间点齐次线性映射到第二个图像平面的共点线束上。F是齐次变换，3*3矩阵，8个参数。对于每个图像点对应，(5)为根本矩阵提供一个线性约束，，8对以上的点对应可以线性求解根本矩阵。根本矩阵F的估计方法：8点算法：一对对应点：，满足约束：其中：展开得到约束方程：对于n对对应的图像点对可以得到n个这样的方程，构造向量：构造矩阵：从而：Af=0评价：8点算法估计根本矩阵F的结果与图像点的坐标系有关。当图像数据有噪声，即对应点不精确时，由8点算法给出的根本矩阵F的解精度很低。10三视几何：三幅图像之间存在约束:三焦张量T(*四幅或更多图像之间不存在独立的约束，它们可以由F和T生成。)根本概念：三焦张量由三个33矩阵{T1，T2，T3}组成。一共有27个元素。三幅图像之间的约束：其中：l，l’，l’’为在三幅图像中对应的直线。根本矩阵与三焦张量之间存在的关系：由三焦张量和外极点可得到一组投影矩阵：第六讲：光学系统的近轴成像1小孔成像：小孔成像的特点：1小孔成像的特点：1小孔成像是由光的直线传播形成的2小孔成像与小孔形状无关3小孔成像中像就是光斑4像是倒立的实像2成像：光线分类：物理光线：光从一个由两个光孔限制的细长空间〔即光管〕中通过，假设光管的截面跟其长度比可以忽略时，这样的光管叫做物理光线。有直径有体积。几何光线：无直径无体积的纯几何线波面：光传播的空间〔波场〕中，振动相位相同的点在某一时刻所构成的曲面称为波面。在各向同性媒质中，光沿着波面法线传播。因此，通常说的几何光线实际指的就是波面的法线；跟波面对应的法线束就是通常说的光束。可以认为光束是光能的载体，在同一波面上通过的光束愈宽，其所携带的光能就愈多。单心光束(同心光束)：各光线〔或反向延长线〕交于同一点的光束。物点&像点：一个以Q点为中心的同心光束经光具组〔可以是透镜组，也可以是透镜跟面镜的组合等等〕折射〔或反射〕后，转化为另一个以Q′点为中心的同心光束。Q为物点；Q′为像点。实像&虚像：假设出射光束是会聚的，则为实像；假设出射同心光束是发散的，则为虚像。实物&虚物：虚物常出现在光具组联合成像的问题中。如一个光具组出射的是会聚光束，在会聚前就遇到了另一个光具组，那么，原来的那个会聚中心就是后一个光具组的虚物。物方&像方：物方(物空间)：物得光线所在的空间像方(像空间)：像的光线所在的空间理想成像：对任何一个物点成像后仍是一个点，即同心光束到同心光束理想光线系统〔光具组〕：能到达理想成像的光学系统,即使任何同心光束保持同心性的光具组，只有平面镜可做到理想成像，其他系统在一定限制下可接近理想成像像差：如果同心光束的像不成一点，这种情况就称系统有像差。物象之间的等光程性：根据费马原理，在均匀介质中的两点间〔直线传播〕、经平面反射的两点间，以及经平面折射的两点间的实际光路均是光程取极小值的情形。即成象系统的物点和像点之间各光线的光程相等。*推论：任意两波面间的光程相等*透镜在成像过程中只会改变波面的形状；不会引入附加相位差。3共轴球面组的傍轴(近轴)成像共轴球面光具组：由球心在同一直线上的一系列折射或反射球面组成的光学系统叫共轴光具组。各球心的连线为光轴傍轴光线：在共轴球面系统中，假设入射光线和出射光线靠近主光轴，且与主光轴的夹角μ很小，使sinμ≈tgμ≈μ，cosμ≈1近似成立，则相应的光线称为傍轴光线。此条件称为傍轴条件。在傍轴条件下共轴球面系统可近似看做理想光学系统。单个球面成像公式：引入S和，如下列图：物象成像公式推导：根本关系式：三角形正弦公式：------------------------------------------------------------------------------(1)用(1)式分别表示出和，带入根本关系式，调整得：---------(2)因为：展开,提公因式整理得：-----------------------(3)把(3)带入(2)得准确的物象成像公式如下：-----------------------------------------------------------(4)说明：一般情况下与有关。因此Q点发出不同倾角的光线，折射后不再与光轴交于同一点。未保持同心光束的同心性不能成像傍轴条件下的物距和像距公式：根本关系式：------------ni=ni傍轴条件下的物距相距公式：-----------------------------------〔5〕〔即〔4〕式右项为0，因为很小〕〔5〕式整理后得到单个折射球面的物象距公式：------------------------------------〔6〕*符号规定：实物实像时，和取正号；虚物虚像时，和取负号。凸面球迎着入射光线时，r取正号；凹面球迎着入射光线时，r取符号。*实际情况中非傍轴光线所推的结果与傍轴光线所推的结果的偏差称为像差，常作为对实际系统质量的一种量度。焦点、焦距和光焦度第一焦点：当点光源在主光轴上的F1点时，如果折射光为平行于主光轴的光线(像距为无限远),则F1称为第一焦点第一焦距：第一焦点到O点的距离称为第一焦距，用f1表示由公式(6)：，且为无穷大，故可得：f1=s==-------------------------------------〔7〕第二焦点：当平行于主光轴的光〔物距为无限远〕经折射而成的像在主光轴上的F2时，称F2为第二焦点第二焦距：第二焦点到O点的距离称为第二焦距，用f2表示同理，由公式〔6〕：，且s为无穷大，故可得：f2===---------------------------------------〔8〕f1和f2的大小表征着折射面的折射本领。共轴球面系统：几个折射球面的曲率中心在同一条直线上，该直线称为此共轴球面的主光轴共轴球面系统成像求解：透镜：是具有两个折射球面的光学系统，是最简单的共轴球面系统。透镜厚度：透镜两个曲面在主光轴上的距离薄透镜：透镜厚度与其球面半径比可忽略不计。薄透镜种类如下：薄透镜成像公式：第一次折射：-----------------------------〔1〕第二次折射：---------------------------〔2〕〔1〕+〔2〕，得薄透镜成像公式：----------------------------------〔3〕当透镜置于空气中，即=1时，薄透镜成像公式为：--------------------------------〔4〕薄透镜的焦点、焦距和焦度：第一焦点：当点光源在主光轴上F1点时，如果折射光为平行于主光轴的光线(像距为无穷远),则F1称为第一焦点第一焦距：第一焦点到透镜中心的距离为第一焦距，用f1表示将u=f1,v=∞带入〔3〕，得：第一焦距：薄透镜置于空气中时：第二焦点：当平行于主光轴的光〔物距为无限远〕经折射而成的像在主光轴上的F2时，F2为第二焦点第二焦距：第二焦点到透镜中心点的距离，用f2表示将u=∞,v=f2带入〔3〕，得：第二焦距：薄透镜置于空气中时：*凸透镜的焦距为正，凹透镜的焦距为负即薄透镜焦距：------------------------------(3)薄透镜成像：-----------------------------(5)将薄透镜的焦距公式带入薄透镜成像公式得：薄透镜成像公式的高斯形式：-----------------------------〔6〕其中：称为焦度薄透镜组合：复合透镜：两透镜之间的距离为0，在此条件下，第一透镜所成的像就是第二透镜的物。第一个透镜：第二个透镜：两式相加：令：则有：f称为透镜组的等效焦距。假设以焦度表示，则有：上式说明，实际情况下需要某一定焦度的透镜而没有时，就可用两只适当的透镜搭配起来。柱面透镜：透镜折射面不是球面的一局部，而是圆柱面的一局部，这种透镜称为柱面透镜凸柱面透镜凹柱面透镜柱面透镜成像：柱面透镜的横截面和球面透镜的截面相同。因此，在同一个水平面的入射光线将被会聚〔或发散〕。但是，柱面透镜竖直方向的截面〔纵截面〕却像一个平板玻璃。因此在同一竖直平面内的入射光线通过柱面透镜时，不改变进行方向，此方向称为柱面透镜的镜轴方向。例：一个点光源发出的光线，经凸圆柱透镜后，所成的像不是一个清晰的点，而是一条与镜轴平行的直线。透镜的像差：像差再次说明：光学系统实际成的像与理论计算结果有差异，这种差异叫做像差球面像差：在主光轴上以单色点光源发出的光线射到球面上往往不止是近轴光线，而是那些射到透镜边缘的光线，这样就会受到较大的偏折，以至于不能与近轴光线同交于一点，使得在近轴光线的成像点位置处不是一个点，而是一个小圆斑。这种像差是由于透镜外表呈球面引起的，因此叫球面像差。减小球面像差的方法：*在透镜前加一个光阑，以遮断射到透镜边缘的光线，*在透镜前加一个光阑，以遮断射到透镜边缘的光线，*配以适当的发散透镜，组成一个符合透镜，是射到透镜边缘的光线得到适当的发散，而与近轴光线会聚与一个交点上。色相差：不同颜色的光在不同的介质中折射率是不相同的。同一透镜对不同波长的光它们的焦距也不相同。即一束平行于主光轴的复合光经过透镜折射后，不能会聚在同一点上。这样一束平行于主光轴的白光通过透镜就不是形成一个清晰的点像，而是一个彩色亮斑，其中紫光的焦距最短，而红光的焦距最长。减小色相差方法：配以不同质料的，适当的发散透镜，配合成消色差透镜。人眼屈光*不考，详见课件《光学系统的近轴成像》第七讲：图像分割〔1〕1.基于边缘检测的分割常用的一些边缘检测方法：(标量场中某一点上的梯度指向标量场增长最快的方向，梯度长度表示最大的变化率)Roberts:交叉梯度算法Soble:Prewitt:2.基于阈值化分割最大类间方差法〔OTSU〕：具体实现方法：对于图像I(x,y)T:前景〔即目标〕和背景的分割阈值ω0:前景像素点数占μ0:ω1:3基于聚类的分割4.均值漂移MeanShift算法5基于SVM的图像分割6基于粒子群的分类优化方法7聚类：聚类方法：C均值聚类(HCM或K)均值聚类法FCM基于模糊均值聚类法KFCM模糊均值聚类核函数法第八讲：图像分割〔2〕1复习Hough变换2最小二乘直线拟合直线参数的估计：设直线方程为：(相关系数)r值范围介于-1与+1之间，即-1≤r≤1。当r>0时直线的斜率为正，称正相关；当r<0时直线的斜率为负，称负相关。当|r|＝1时全部数据点(xi,yi)都落在拟合直线上。假设r＝0则x与y之间完全不相关。r值愈接近±1则它们之间的线性关系愈密切。推导：定理〔充分条件〕：设函数z=f(x,y)在点(x0,y0)的某领域内连续且有一阶及二阶连续偏导数，又fx(x0,y0)=0，fy(x0,y0)=0，令fxx(x0,y0)=A，fxy(x0,y0)=B，fyy(x0,y0)=C，则f(x,y)在(x0,y0)处是否取得极值的条件如下：

〔1〕AC-B2>0时具有极值，且当A<0时有极大值，当A>0时有极小值；

〔2〕AC-B2<0时没有极值；

〔3〕AC-B2=0时可能有极值，也可能没有极值，还需另作讨论。定理〔必要条件〕：设函数z=f(x,y)在点(x0,y0)具有偏导数，且在点(x0,y0)处有极值，则它在该点的偏导数必然为零。对a0,a1分别求偏导：3最小二乘曲线拟合考虑图1的N个数据点，它们的坐标是(X1,Y1)，(X2,Y2)...，(XN,YN)。假设这些值中的X是严格的精确值，Y的值是测量值(含有一些误差)二次拟合函数：4稳健回归第九讲：贝叶斯分类1概率论根本知识：先验概率：事情还没有发生,求这件事情发生的可能性的大小是在缺乏某个事实的情况下描述一个变量通常是经验丰富的专家的纯主观的估计后验概率：事情已经发生,求这件事情发生的原因是由某个因素引起的可能性的大小是在考虑了一个事实之后的条件概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。贝叶斯公式：离散形式：A,B为离散随机变量连续形式：A为离散随机变量，B为连续随机变量2贝叶斯概率分类器：3多类贝叶斯分类器：4最小风险率Bayes分类5正态分布决策理论：正态分布判别函数：单变量正态分布：多维正态分布：正态分布决策理论：第十讲：运动目标跟踪技术〔1〕1.图像特征匹配算法基于低层次视觉特征的图像检索与匹配方法归纳起来大致如下：基于颜色特征的图像检索与匹配；基于纹理特征的图像检索与匹配；基于形状特征的图像检索与匹配；基于空间关系的图像检索与匹配。2基于颜色特征的匹配：方法：颜色直方图法直方图相交法距离法中心矩法颜色集颜色聚合向量颜色聚合向量法：颜色聚类：在建立颜色直方图前,为减少直方图的维数,有必要对颜色进行聚类.聚类的根本思想：是以量化点颜色为轴心,把与该颜色相似的颜色归并到这一类,在最低平均方差下聚类出最少数目的颜色.图像的颜色聚合向量：核心思想是将属于直方图每一个bin的像素分为两局部：如果该bin内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素，从而将每一个bin分为颜色聚合向量和颜色非聚合向量。颜色聚合向量的最大特点：克服了颜色直方图和颜色矩的缺点，将颜色在图像中的空间信息与颜色直方图结合了起来。这样既考虑了颜色分布的统计信息，又考虑了颜色的空间分布信息。假设，和分别代表直方图的第i个bin中聚合像素和非聚合像素的数量，图像的颜色聚合向量可以表达为。而显然，就是该图像的颜色直方图。由于包含了颜色分布的空间信息，颜色聚合向量相比颜色直方图可以到达更好的检索效果。算法性能及评价颜色聚合向量很好地解决了直方图没有考虑图像颜色空间分布信息的缺点，可以有效地减少检索的误差。在实际检索应用中，对于两幅图像算法性能及评价颜色聚合向量很好地解决了直方图没有考虑图像颜色空间分布信息的缺点，可以有效地减少检索的误差。在实际检索应用中，对于两幅图像I和I'它们的颜色聚合向量分别为他们的距离或者说不同可以表示为总结：颜色聚合向量算法在直方图的根底上增加了划分连通区域和判断聚合性等步骤，大大增加了计算量。尤其是实现判断连通区域的时候需要用到迭代与回溯算法，这对于计算量是很大的考验。为了减少计算量，尽量采取均匀量化的方法，并可以适当减小量化的阶数，即bin的个数。另外，也可以对于很大的图像，可以先做一些“模糊化〞的预处理，把某个小邻域内的值用平均值代替，这样也可以很大程度减少计算量。第十一讲:运动跟踪〔2〕多项式运动学：定义状态向量：状态方程：其中：〔T为K+1与k之间的时间间隔〕加速度一般不为常数，则设其在第k个间隔增量为n(k),那么速度的增量为n(k)T,位移的增量为那么三次运动模型可由方程来描述为：其中增量n(k)通常被描述为零均值白噪声方向上加速度的噪声第十二讲：运动跟踪〔3〕卡尔曼滤波：离散控制过程的系统：线性随机微分方程描述：X(k)=AX(k-1)+BU(k)+W(k)W(k)：过程噪声系统测量值：Z(k)=HX(k)+V(k)X(k|k-1)=AX(k-1|k-1)+BU(k)………..(1)式(1)中，X(k|k-1)是利用上一状态预测的结果，X(k-1|k-1)是上一状态最优的结果，U(k)为现在状态的控制量，如果没有控制量，它可以为0系统结果已经更新了，可是对应于X(k|k-1)的covariance还没更新。我们用P表示covariance：P(k|k-1)=AP(k-1|k-1)A’+Q………(2)P(k|k-1)是X(k|k-1)对应的covariance(协方差)，P(k-1|k-1)是X(k-1|k-1)对应的covariance，A’表示A的转置矩阵，Q是系统过程的covariance。式子1，2就是卡尔曼滤波器5个公式当中的前两个，也就是对系统的预测。X(k|k)=X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1))(3)其中Kg为卡尔曼增益(KalmanGain)：Kg(k)=P(k|k-1)H’/(HP(k|k-1)H’+R)…(4)观测噪声协方差R到现在为止，已经得到了k状态下最优的估算值X(k|k)。但是为了要另卡尔曼滤波器不断的运行下去直到系统过程结束，我们还要更新k状态下X(k|k)的covariance：P(k|k)=〔I-Kg(k)H〕P(k|k-1)………(5)其中I为1的矩阵，对于单模型单测量，I=1。当系统进入k+1状态时，P(k|k)就是式子(2)的P(k-1|k-1)。这样，算法就可以自回归的运算下去。记忆：X(k|k-1)=AX(k-1|k-1)+BU(k)………..(1)P(k|k-1)=AP(k-1|k-1)A’+Q………(2)X(k|k)=X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1))(3)Kg(k)=P(k|k-1)H’/(HP(k|k-1)H’+R)…(4)P(k|k)=〔I-Kg(k)H〕P(k|k-1)………(5)X(k|k-1)：利用上一状态预测的结果X(k-1|k-1)：上一状态最优的结果U(k)：现在状态的控制量，如果没有控制量，它可以为0A、B：系统参数,对于多模型系统，他们为矩阵A’：表示A的转置矩阵P(k|k-1)：X(k|k-1)对应的covariance(协方差)P(k-1|k-1)：X(k-1|k-1)对应的covarianceQ：系统过程的covariance。Kg：卡尔曼增益Z(k)：k时刻的测量值H：测量系统的参数，对于多测量系统，H为矩阵Z(K)-HX(k):=V(k):测量噪声因为：系统测量值Z(k)=HX(k)+V(k)R：观测噪声协方差H’：H的转置矩阵I：1的矩阵，对于单模型单测量，I=1注：任意给定初值均可，但是P!=0第十三讲：视频目标检测与跟踪技术目标跟踪常用算法：目标检测主要算法：(1)基于几何及亮度特征的跟踪方法(1)帧差法(2)基于光流场的跟踪方法(2)背景减法(3)基于频域的跟踪方法(3)光流法(4)基于区域匹配的方法(5)基于均值平移的方法背景减法：均值滤波W4模型码书模型高斯背景模型内核密度估计法均值滤波：(用的最多的背景图像重构方法)根本思想：先建立一个视频流滑窗用来缓存L(L>=1)帧视频图像，然后把缓存中所有视频图像同位置像素的平均值作为该处像素的背景值，即：特点：需要L帧大小的内存，其前提假设是像素在背景帧中停留的时间会超过缓存中一半以上的视频帧中停留的时间，其背景像素的分布是均衡的，即单模态的。改良：运行期均值法〔背景模板更新法〕思想：通过引入学习率λ来表达背景图像对场景变化的响应。λ通常取0.05，而λ越低，则前景的变化越不会影响背景。背景计算如下：优点：计算简单，速度快，在对准确性要求不是特别高的场合得到广泛的应用;缺点：它需要较大的内存来存储历史视频图像，并且均值滤波法只能用来检测那些面积不大运动连续的目标，对于大而慢的运动目标则需要很大的滑窗，即需要很大的内存来存储很多帧历史视频图像，否则检测的目标可能出现空洞现象。W4模型：(最简单的前景检测方法)将背景模型中的每个像素用三个值来描述：最大灰度值：MAXt(x,y)最小灰度值：MINt(x,y)最大邻间差分值：D