立体匹配学习汇报 PPT课件

立体匹配学习总结第一讲 李宁 1 目录 content 2 解读专业名词 3 机器视觉 采用机器代替人眼来做测量和判断 机器视觉系统是指通过机器视觉产品 即图像摄取装置 分CMOS和CCD两种 把图像抓取到 然后将对图像传送至处理单元 通过数字化处理 根据像素分布和亮度 颜色等信息 来进行尺寸 形状 颜色等的判别 进而根据判别的结果来控制现场的设备动作 解读专业名词 1 4 计算机视觉 用计算机实现人的视觉功能对客观世界的三维场景的感知 识别和理解 它借助于几何 物理和学习技术来构筑模型 从而用统计的方法来处理数据 计算机视觉主要包含 画面重建 事件监测 目标跟踪 目标识别 机器学习 索引建立 图像恢复等计算机视觉系统需要具备的功能 图像获取 预处理 平滑去噪 提高对比度 调整尺度等 特征提取 检测和分割 筛选特征点 高级处理 验证数据 估测特定系数 目标归类 等 解读专业名词 2 5 立体视觉匹配 从不同视点图像中找到匹配的对应点 通过建立一个能量代价函数 通过此能量代价函数最小化来估计像素点视差值 实质 一个最优化求解问题 通过建立合理的能量函数 增加一些约束 采用最优化理论的方法进行方程求解计算机与人眼立体视觉的相比的优点 精度高 扩展能力强大 连续工作时间长 不易损坏 保密性好 没有培训成本 结果易于保存和复制等优点 应用领域 三维环境感知与建模 机器人导航 物体跟踪与检测 图像分割等 评价参数 均方根误差和误匹配率 解读专业名词 3 6 计算机视觉的三大顶级会议ICCV InternationalConferenceonComputerVision 国际计算机视觉大会CVPR InternationalConferenceonComputerVisionandPatternRecognition 国际计算机视觉与模式识别大会ECCV EuropeanConferenceonComputerVision 欧洲计算机视觉大会 扩展 7 精读论文介绍 一种快速双目视觉立体匹配算法 8 基于特征的立体匹配 稀疏的视差图 基于区域的立体匹配 致密的视差图 精读论文介绍1 引言 立体匹配 基于相位的立体匹配 可获得稀疏的视差图 经差值估计可获得稠密视差图 可提取点 线 面等局部特征 也可提取多边形和图像结构等全局特征 缺点 特征提取易受遮挡 光线 重复纹理等影响较大 差值估计计算量大 可获得稠密视差图 缺点 受图像的仿射畸变和辐射畸变影响较大 像素点约束窗口的大小与形状选择比较困难 选择过大 在深度不连续处 视差图中会出现过度平滑现象 选择过小 对像素点的约束比较少 图像信息没有得到充分利用 容易产生误匹配 假定在图像对应点中 其频率范围内 其局部相位是相等的 在频率范围内进行视差估计 采用图像表示的基元不同 采用最优化理论方法的不同 局部的立体匹配全局的立体匹配 采用局部优化方法进行视差值估计 局部立体匹配算法有SAD SSD等算法 通过能量最小化方法进行视差估计 在能量函数中 只有数据项 而没有平滑项 采用全局的优化理论方法估计视差 建立全局能量函数 通过最小化全局能量函数得到最优视差值 优点 结果较准确 缺点 运行时间较长 不适合实时运行 主要算法有图割 信念传播 动态规划等 自适应窗体立体匹配算法自适应权值的立体匹配算法多窗体立体匹配算法 9 精读论文介绍1 引言 匹配基元 在所有图像像素点上抽取量测描述子 像素灰度值 最简单 直接 但必须在同一光照条件下获得 局部区域灰度函数 主要是利用求得在各种大小不同窗口中灰度分布的导数信息 描述像素点周围的结构矢量 卷积图像符号 利用各种大小算子与图像进行卷积 用灰度梯度局部极大值或极小值作为特征信息 描述整个图像 图像特征 过零点边缘 由于边缘是图像特征位置的标志 对灰度值得变化不敏感 边缘是图像匹配的重要特征和描述子 角点 虽然其没有明确的数学定义 但大家普遍认为角点 即二维图像亮度变化剧烈的点或边缘曲线上曲率极值点 10 精读论文介绍1 引言 立体匹配约束 5个 极线约束唯一性约束视差连续性约束顺序一致性约束相似性约束 11 精读论文介绍1 引言 相似性判断标准 1 SSD像素点灰度差的平方和2 SAD像素点灰度差的绝对值和3 NCC归一化交叉相关4 ZNCC零均值交叉相关5 MNCCMoravec非归一化交叉相关6 KSDKolmogorov Smirnov距离7 Jeffrey散度8 Rank变换 是以窗口内灰度值小于中心像素灰度值的像素个数来替代中心像素的灰度值 9 Census变换 是根据窗口内中心像素灰度与其余像素灰度值的大小关系得一串位码 位码长度等于窗口内像素个数减一 12 A作用与算法基础 用来检测与描述景象中的局部性特征 高斯模糊半径 精读论文介绍1 引言 基于SIFT特征 B优点 稳定性好独特性好信息量大多量化高速性可扩展性 C应用 目标的旋转 缩放 平移图像仿射投影变换目标遮挡杂物场景 D步骤 尺度空间极值检测 关键点定位方向确定关键点描述 E缺点 实时性不强时间复杂度高 13 A优胜者全选 WTA 误匹配率较高 选取匹配代价最小点的差值作为视差 精读论文介绍1 引言 基于区域的匹配 B动态规划 引入平滑约束 求全局最优解精确度较高 C扫描线优化 D模拟退火 E图像分割 运算量很大 14 精读论文介绍2 快速双目立体匹配算法 第一步 特征点提取 15 精读论文介绍2 快速双目立体匹配算法 第二步 匹配算法 16 精读论文介绍2 快速双目立体匹配算法 第三步 结果分析 17 精读论文介绍2 快速双目立体匹配算法 优点 1 利用视觉的分段连续性 将匹配集中于视差不连续区域 而视差连续区域只进行简单的验证 从而极大的减少运算量2 可以跳过遮挡区域3 视差跳变边缘效果较好 18 精读论文介绍3 匹配算法评价 评价指标 均方根误差 误匹配像素百分比 19 精读论文介绍3 匹配算法评价 图像 无纹理区 在一个方窗内 水平梯度的均方值小于阈值遮挡区 大视差的前景遮挡小视差的背景而产生的视差不连续区 若该点与邻域的视差变化大于阈值 20 精读论文介绍4 实验结果与分析结论 仿真实验进行验证 条件 相同装置下 相同阈值 不同算法 比较误匹配像素百分比和时间结论 利用视差的分段连续性 将匹配运算集中于视差不连续区域 其余点只进行简单的验证 此算法大大减少了计算