机器视觉算法与应用笔记

1、机器视觉算法与应用笔记1、相机的信噪比、SNR=1时（光强可探测到的 最小光强，绝对灵敏度），动态增益为光强.sat/ 光强.min （dB/位），量子效率是波长的函数：刀 =1（入）-CCD比CMOS灵敏，动态范围大。2、数据结构：图像、区域和亚像素轮廓图像：彩色摄像机采集的是每个像素对应的三个 采样结果（RGB三通道图像）、图像通道可被看 作一个二维数组，设计语言中的表示图像的数据 结构；两种约定：离散函数（点对点）R Rn、连续函数：R2 Rno区域：可以表示一幅图像中一个任意的像素子 集，区域定义为离散平面的一个任意子集：RWZ2 ,将图像处理闲置在某一特定的感兴趣区域（一幅图像可被看

2、作图像所有像素点的矩形感兴趣区域）。二值图像特征区域：用 1表示在区 域内的点，用0表示不在区域内的点；行程表示 法：每次行程的最小量的数据表示行程的纵坐 标、行程开始和行程结束对应横坐标值。行程编 码较二值图像节省存储空间（行程编码保存在 16位整数，须要24个字节，而采用二值图像描 述区域，每个像素点占1个字节，则有35个字 节）。行程编码保存的只是区域的边界。为描述 多个区域，采用链表或数组来保存采用形成编码 描述的多个区域，每个区域的信息是被独立保存 和处理的。亚像素轮廓：比像素分辨率更高的精度（亚像素 阈值分割或亚像素边缘提取）。轮廓基本上可被 描述成多表型，然后用排序来说明哪些控制

3、点是 彼此相连的，在计算机里，轮廓只是用浮点数表 示的横和纵坐标所构成的数组来表示。3、图像增强：硬件采集的图像质量不好，可应 用软件进行增强。灰度值变换：由于光源照明的影响，局部的图像 会产生对比度与设定值不一致，需要局部的去增 强对比度。为提高变换速度，灰度值变换通常通 过查找表（LUT）来进行（将灰度输入值变换后 输出保存到查找表中），最重要的灰度值变换是 线性灰度值比例缩放：f（g）=ag+b （ag表示对比 度，b表示亮度）。为了自动获取图像灰度值变 换参数a、b的值，通过图像感兴趣区域的最大 与最小灰度值设置出a、b的值（灰度值归一化 处理）。灰度直方图表示某一灰度值i出现的概 率

4、。对于存在很亮和很暗的区域，图像归一化时 需要去除一小部分最暗、最亮的灰度值（用2个 水平线截取区域），再进行图像归一化处理，将 对比度提高（鲁棒的灰度归一化处理）。辐射标定：传感器收集的能量与图像实际灰度值 的关系是非线性时候（一般需要是线性的，提高 某些处理算法的精确度），对非线性相应求其逆 响应的过程就是辐射标定。取 q=?对响应函数 求逆运算得到线性响应，求q的过程既是标定。 图像平滑：抑制由于多种原因产生的图像噪声（随即灰度值）。干扰后灰度值=图像灰度值+噪 声信号（将噪声看作是针对每个像素平均值为 0 且方差是6 2的随机变量），降噪方法之一、时域 平均法，采集多幅图像进行平均，标

5、准偏差将为 原来的1/根号n,求的平均值后，将任意一幅图 像减去平均，即为该幅图像的噪声；方法之二、 空间平均操作法，通过像素数 （2n+1）*（2m+1）的 一个窗口进行平均操作，会使边缘模糊（计算量 非常大，进行（2n+1）*（2m+1）次操作）；方法之三、 递归滤波器，在前一个计算出的值的基础上计算 出新的值，较方法一速度快了 30倍；满足所有 准则（平滑程度准则t,以及XXs滤波）的高斯 滤波器：高斯滤波器是可分的，所以可以非常高 效率的被计算出来，能够更好地抑制高频部分。若更关注质量，则应采用高斯滤波器；若关注执 行速度，首选使用均值滤波器。傅里叶变换：将图像函数从空间域转变到频率

6、域，可以再进行频率高低的滤波操作平滑。4、插值算法：图像被放大不清晰时，通过插值 增加放大的增多的像素最近像素插值算法：最近像素插值算法(NearestNeighbour Interpolation)是最简单的一种插值 算法，当图片放大时，缺少的像素通过直接使用 与之最接近的原有像素的颜色生成，也就是说照 搬旁边的像素，这样做的结果是产生了明显可见 的锯齿；双线性插值算法：双线性插值算法(BilinearInterpolation)输出的图像的每个像素都是原图 中四个像素(2为运算的结果，这种算法极大程 度上消除了锯齿现象；双三次插值算法：双三次插值算法(Bicubic Interpolati

7、on)是上一种算法的改进算法，它输出 图像的每个像素都是原图16个像素(4 M)运算的 结果，这种算法是一种很常见的算法， 普遍用在 图像编辑软件、打印机驱动和数码相机上。分形算法： 分形算法（Fractal Interpolation）是 Altamira Group提出的一种算法，这种算法得到 的图像跟其他算法相比更清晰、更锐利。这些算法主要应用在图像变换操作中。5、特征提取：区域的矩作为特征量，要对分割 出来的区域进行操作，需要确定一个或多个特征 量（特征），区域特征是能够从区域自身提取出 来的特征；灰度值特征还需要图像中区域内的灰 度值；轮廓特征是基于轮廓坐标的。区域特征：区域的面积就

8、是区域内所有点的总 和，对于二值图像累加项较行程要多得多 up.q=1Z rPcq-求出重心（ ni,o,no,i）归一化的矩 a （r ,c）二R推导出重心 （p+q2 ） 时，有：1up，q = （r - n1，0） （c-n0，1）（二阶中心距） a （r ,c） - R/通过计算椭圆的长轴、短轴与水平夹角或者矩形 的长宽和方位为确定区域大小和方位。在一定区域内，一个点集的凸包就是包含了区域 内所有点的最小凸集（如果任意两点练成的直线上的所有点都在点集中，这个点集就是凸集） 所以可以利用凸包来确定某区域（面积与该区域 凸包比值为凸性）；然后再跟踪区域边界获取一 个轮廓，获取到轮廓线段的欧

9、几里得距离， 进行 求和就得到轮廓长度 L,加上面积a引出紧性概 念 c = L2 / （4 n a）。灰度值特征：先引出区域内最大最小灰度值， 在 两个不同参考区域内计算平均灰度值可测量出 线性亮度变化，从而计算一个线性灰度值变换（平均灰度值是一个统计特征，另一个统计特征 是灰度值的方差和标准偏差。（基于矩的灰度值 特征与相应的局域矩的区域特性非常相似）使用 区域的特征函数作为灰度值时，灰度值矩就被简 化为区域矩（特征函数被用来解释1为像素在区 域内，0为像素在区域外，在处理小物体上，灰 度值矩能得到准确度更好地处理结果）；定义一 个模糊隶属关系：灰度值低于北京灰度值最小值 的每个像素，其隶

10、属关系值为0,高于前景灰度 值最大值的每个像素，关系为1,灰度值落在此 范围内，其隶属关系通过线性插值得到， 而这一 计算过程需要使用浮点图像，所以将隶属关系值 按比例放大到一个b位整数图像上（一般8位），再通过计算灰度值矩和中心灰度矩判断区域特征。轮廓特征：亚像素精度轮廓长度的计算容易些， 因为轮廓已经用于控制点S,。），假设一个闭合轮 廓通过S,ci）=（rn,cn）来表示，R表示轮廓围绕的亚像 素精度区域，则（p,q ）阶矩被定义为： mp,q= JJ rpcqdrdc ,与区域矩类似，可定义归一化 （r,c）三R的矩和中心距。轮廓的面积和重心计算公式为:1 na Z r _1。一 r

11、Ci）心2 i =1*1 .n .一 .一 1 Jm o =Z （门 re）（口+ 门）n0.1 一 乙（ri c _ rci -1）（c -1 c） 6a i 16a i 16、摄像机标定：是准确测量目标物体的必要过程，由于每个镜头的畸变都不一样， 通过标定校 正镜头畸变，同时可以得到在世界坐标系中目标 物体米制单位的坐标。建立摄像机模型（线阵摄像机）：P=（PQ,.cn）标 定就是确定摄像机参数o，.的过程。线阵摄像机的摄像机模型： 运动向量（vx，vy,vz）T世界 坐标系 摄像机坐标系 图像坐标系（变 换关系）。线阵相机中，由于目标与相机的相对 运动以及镜头的畸变，会使得目标(世界坐标

12、系) 的点投影到图像坐标系时产生错位。九个参数 (f,k,Sx,Sy,Cx,Cy,Vx,Vy,Vz)为摄像机的内参，它们确定了摄像 机从三维空间到二维图像的投影关系。主要的影 响因素有：镜头畸变以及运动与相机不匹配或者 方向不符。标定过程：为了进行摄像机标定，必须已知世界 坐标系中足够多三维空间点的坐标，找到这些空间点在图像中的投影点的二维坐标，然后再通过它们确定其它参数。利用平面标定板进行标定精 确：易于操作、精度高并且可应用在背光照明中； 步骤；将标定板利用阈值分割与背景分割出来， 找到含m*n个孔洞区域一一 利用亚像素边缘 提取标定板各个圆点的边缘，将提取边缘拟合成 椭圆一一 基于椭圆的

13、最小外界四边形可以很容 易的确定标定标记与它们在图像中投影之间的 对应关系，再根据四边形边角来确定方向从而确 定了标定标记及其投影关系一一 确定标记中心 点mi与通过投影计算得到的坐标兀(mlc)之间的距 离最小化来确定参数： d(c)=E X | mi-冗(Mi ,c)一min i 1(k=mn是标定板上标记的数量。内参可以通过 摄像机及镜头的参数说明得到，而外参则需要通 过之前椭圆尺寸的到一个初始值（最优化过程）C 在标定时，需要采集多幅图像多个不同标记进行 标定，因为摄像机模型参数不是唯一解， 可以成 倍放大或者缩小（简并性），为使精度更高，所 有图像中标定板的位置应该覆盖图像的四个角（

14、畸变性最高）。摄像机参数的准确度：（避免简并性）主距、焦 距、径向畸变等参数的不唯一性， 需要通过对多 幅图像的标定确定各自参数（相关性：每幅图像 都对相机参数有着制约性），最终确定出一最准 确参数。7、模板匹配：为经常发生变化的物体提供此类 被测物体原型即可对系统进行简单配置，从而可 以寻找所有类型的目标物的方法。计算模板的所 有相关位姿与图像各个位置之间的相似度（该项 目总体是目标位姿的平移），该模式也可以确定 图像中含有多少个目标物。三个关键词：一幅图像、感兴趣区域、相似度 基于灰度值的模板匹配： s（r,c） =st（u,v）, f（r+u,c+u）;（u,v）WT（S 为相似度,t

15、为模板 各点的灰度值，f为图像感兴趣区域的灰度值）， 最简单的方法是计算模板与图像之间差值的绝 对值的总和或所有差值的平方和（当然必须选择 一个阈值提取基准位置）。相似则相似度量为0, 不相似则相似度量大于0,该方法受光照影响较 大；不受光照线性变化影响的相似度量是归一化 相关系数（通过模板与图像的平均灰度值及所有 像素灰度值的方差）度量值 ncc（r,c）= 1时，模 板与图像之间才完全匹配，设定阈值判断是否能 达到完全匹配。使用停止标准（sadj（r,c）nts）可以提速比例为一个 常数，但不改变算法复杂度。使用图形金字塔进行匹配：复杂度O（whn）（基于灰 度，不适用停止标准）wh为图像

16、的长宽，n为 模板中点的数量一一 搜索策略1;将图像多次 缩小2倍建立起来的数据结构被称为图像金字 塔，均值滤波器是创建图像金字塔的首选滤波器（高斯滤波器耗时大，且有频率响应 问题），搜 索时区域越来越大（图像持续平滑和二次采样）， 到高层是回使得图像不清晰失真（马赛克效果）。 搜索策略：计算出搜索图像和模板的适当层数的 图像金字塔（必须保证最高层上目标能够清晰辨 别，然后进行一次完美的匹配）一一 在最高层 搜索的模板实例都将追踪到图像金字塔的最底 层（将找到的匹配点的坐标乘 2,直到找不到匹 配对象或者到金字塔最底层结束）一一 在高层， 图像灰度值会发生变化，需要将阈值放松，保证 找到所有可

17、能的匹配位置（SAD/SSD相似度量 需要提高阈值，NCC相似度量使用稍微低一点 的阈值）从高到低去搜索，先搜索再匹配，并且 最终追踪到最底层。基于灰度值的亚像素精度匹配：为了使模板位姿 的准确度更高，可以提取亚像素精度的局部最小 值或最大值，然后将局部最小值或最大值附件 3*3的邻域内相似度量拟合成一个多项式，然后 求该多项式的局部最大值或最小值。也可以利用 最小二乘法拟合匹配，但是该方法受光照影响较 大，需要建立明确的光照变化模型（复杂）。 可靠的模板匹配算法：为了能够在存在遮挡、混 乱和非线性光照变化的情况下找到目标物体，基于灰度的匹配算法不能够实现，需要更好更准确 的方法。A、方法一、

18、将图像边缘分割为多个几 何基元（分割为线段和圆弧）；方法二、基于边 缘的分割找到边缘上的突变点然后在图像匹配 这些突变点（点可以直接从图像中提取，不需要 首先提取边缘）。图像匹配算法中的一大类是基 于模板边缘与图像边缘之间的距离，计算分割后 搜索图像背景的距离变换，如果模板边缘点与图 像边缘点之间的平均距离小于一个阈值，则被认 为是模板的实例。基于边缘的均方差匹配算法不 受光照和混乱影响，但是精确度不高；基于边缘 的Hausdorff距离（图像边缘点和模板边缘点） 算法（运算量比较大），选取距离的r大距离需 要较准确，并且难以基于相似度量的内插值算法 得到亚像素精度的位姿；基于边缘像素点（组点） 显示梯度向量表示相应方向，通过霍夫变换得到 累计数组，再对图像进行阈值分割计算局部最大 值从而得到目标区域的位置。B、基于几何基元 的匹配算法：模板中包含 m个几何基元，而图 像中基元数量大于n,此时在模板与图像之间存 在o（nm）的指数关系：方法一、几何哈希法（基于 三个点可以定义二维平面的方法）：减少模板与 图像点之间对应关系的工作量，利用最小二乘法 或者选中的三个基准点进行仿射变换将图像变 换然后与模板匹配，但是该方法不适合在线状态（选中的三个基准点可能存在误差，则导致计算 结果均有误差）一一 以上算法基于图像基元； 最后一类算法基于几何基元（线段