Halcon在机器视觉中的应用举例.ppt

中国大恒 集团 有限公司北京图像视觉技术分公司 HALCON软件在机器视觉中的典型应用 主讲人 刘伟 软件层次 HALCON的实际应用 图像获取 前提 模板匹配 定位 比较 Blob分析 基础一 边缘提取 基础二 测量 结果 其它应用 HALCON实际应用 图像获取 获取高质量图像的前提条件合适的光源合适的镜头合适的采集设备合适的采集参数设置 HALCON实际应用 图像获取 应用程序 HALCON库 采集设备管理 图像处理 数据管理 加载动态库 HALCON实际应用 图像获取 图像获取接口特点图像获取链接库独立于其它图像处理链接库一致的代码模板 磁盘文件和图像采集设备 支持多个采集设备同步和异步采集支持外触发图像尺寸 图像位数 颜色空间可调支持颜色查找表支持与设备相关的参数调整 HALCON实际应用 图像获取 图像获取主要接口函数open framegrabber info framegrabbergrab image grab image async grab image startset get framegrabber paramclose framegrabber close all framegrabbers如果是单个磁盘文件read image HALCON实际应用 图像获取 打开采集设备 如果是序列磁盘文件 设备为 File 获取图像 grab image async 同步采集或异步采集 关闭设备 open framegrabber DahengCAM 1 1 0 0 0 0 default 1 gray 1 false default default 1 1 FGHandle while true grab image Image FGHandle Applyimageprocessingendwhile close framegrabber FGHandle HALCON实际应用 图像获取 通过图像获取助手 可快捷简单获取图像 并可生成代码 HALCON实际应用 图像获取 HALCON HALCON实际应用 图像获取 HALCON实际应用 模板匹配 模板匹配的优势应用于多数的应用不需要太多参数调整不需要分割健壮不需要任何的机器视觉知识 HALCON实际应用 模板匹配 模板匹配分类基于灰度的模板匹配 gray value based 利用模板图像的所有灰度值 不能适应光照变化 缩放变化 多通道图像等 用于简单图像基于形状的模板匹配 shape based 使用边缘特征定位物体 对于很多干扰因素不敏感 例如光照变化 聚焦模糊 缩放变化等 适用于多通道图像 不适用于纹理图像基于组件的模板匹配 component based 适用于组成部件有相对运动的物体 使用边缘特征定位物 对于很多干扰因素不敏感 例如光照变化 混乱无序等 适用于多通道图像 不适用于纹理图像 聚焦不清的图像和形状变形 基于相关的模板匹配 conrelation based 适用于纹理图像 聚焦不清的图像和形状变形 不是适用于光照变化 混乱无序等 也不适用于多通道图像基于描述符的模板匹配 descriptor based 对于很多干扰因素不敏感 例如光照变化 混乱无序 缩放变化等 不适用于纹理图像 聚焦不清的图像和多通道图像基于变形模板的模板匹配 deformable 对于很多干扰因素不敏感 例如光照变化 混乱无序 缩放变化等 适用于多通道图像 对于纹理图像比较困难基于点的模板匹配 point based 利用关键点的特征 图像金字塔 Level1 Level2 Level3 Level4 图像金字塔 金字塔中的模板 HALCON实际应用 模板匹配 模板匹配 参考图像 搜索图像 HALCON实际应用 形状模板匹配 GenerateROI readimagefromfileorframegrabberinspect shape model Image ModelImage ModelRegion 1 Contrast dev display Image dev display ModelRegion 模板生成 金字塔层 inspect shape model Image ModelImages ModelRegions 5 40 dev display Image dev display ModelRegions 匹配助手 从路径获得图像生成芯片的感兴趣区域检测模型检测感兴趣区域 HALCON实际应用 形状模板匹配 定位 HALCON实际应用 形状模板匹配 模板匹配支持旋转建模时的角度范围AngleStartAngleExtent角度用弧度表示 可通过函数rad 转换为了表示旋转角度 x 赋值如下AngleStart xAngleExtent 2x HALCON实际应用 形状模板匹配 对于对称物体 建模时需限制角度的旋转范围 HALCON实际应用 形状模板匹配 模板匹配支持缩放一般缩放范围取值ScaleMin 0 3 ScaleMax 2 模板匹配中的极性问题 通常物体的极性是不会改变的但一些情况下 物体的灰度值会翻转物体或者背景会变化或者明暗区域发生改变 Darkinside Brightoutside 模板匹配中的极性问题 Polaritymode use polarity Template Acceptedobjects 模板匹配中的极性问题 Polaritymode ignore global polarity Template Acceptedobjects 模板匹配中的极性问题 模板匹配 ignore local polarity 匹配 允许一定程度上交叠 模型和它的外接轮廓框 boundingboxes 外接轮廓框可以任意方向 匹配 允许一定程度上交叠 Overlap定义为两个外接轮廓框的相交比率 物体的交叠区域 外接轮廓框的交叠区域 基于灰度的匹配 gray value based 车牌字符识别 基于形状的匹配 shape based 可以适应缩放 旋转 交叠和不同极性的匹配 基于组件的模板匹配 component based 处理器 奔腾处理器1 73G图像分辨率 640 482 基于相关的模板匹配 conrelation based 能克服纹理背景和聚焦不清带来的影响 基于描述符的模板匹配 descriptor based 通过特征点进行描述匹配 基于变形模板的模板匹配 deformable 车门检测 即使车门在三维空间内变动 仍然能匹配 基于点的模板匹配 point based 多用于镶嵌图像时 大场景拼接 HALCON实际应用 Blob分析 Blob分析的基本思想 图像中相关联物体 前景 的像素可以通过其灰度值来标识 HALCON实际应用 Blob分析 Blob分析主要流程 获取图像 分割图像 提取特征 初始分割 形态学处理等 HALCON实际应用 Blob分析 一个简单的例子 非常理想的情况 read image Image particle threshold Image BrightPixels 120 255 connection BrightPixels Particles area center Particles Area Row Column HALCON实际应用 Blob分析 threshold定义threshold算子HALCON中速度最快使用频率最高的分割算法如果目标体与背景之间存在灰度差 则threshold首先被使用如果环境稳定 阈值可在离线状态下一次确定 HALCON实际应用 Blob分析 HALCON实际应用 Blob分析 动态阈值分割很多情况下由于背景不均一 无法确定全局阈值目标体经常表现为比背景局部亮一些或暗一些需要通过其邻域找到一个合适的阈值进行分割如何确定其邻域 可以通过一些平滑滤波算子来确定邻域 例如mean image等 HALCON实际应用 Blob分析 动态阈值分割 其中S为平滑后的输入图像 grayprofilesmoothedgrayprofile HALCON实际应用 Blob分析 全局阈值动态局部阈值通过均值滤波确定邻域滤波器mask尺寸大于字符笔画的宽度选择所有比其邻域暗的像素 mean image Image ImageMean 21 21 dyn threshold Image ImageMean Region 15 dark HALCON实际应用 Blob分析 形态学处理分割之后 往往需要对区域做进一步处理才能满足要求常用形态学相关算子connection select shape opening circle closing circle opening rectangle1 closing rectangle1 difference intersection union1 shaps trans fill up高级算子boundary skeleton等 HALCON实际应用 Blob分析 连通区域 阈值分割后 需要提取目标物体 为了提取目标物体不得不先找到连通区域提取连通域的关键是领域搜索的类型在Halcon所有的案例中8领域法是默认的 把白色部分分割出来计算连通域显示结果 Localthreshold Globalthreshold HALCON实际应用 Blob分析 形态学算子 HALCON的特点之一任意的结构元素任意尺寸的结构元素非常有效的处理巨大的算子集合 44个算子经典算子Erosion dilation opening closing高级算子top hat bottom hat hit or miss boundary特殊算子Fitting pruning thickening thinning skeleton Inputimage 2 Closingwithdiagonalrectangle Segmentation 1 Closingwithverticalrectangle 形态学示例 Union 定义Operatorunion1 Unionofallregionsinonevariableunion2 UnifyallregionsinthesecondparameterwitheachregioninthefirstparameterUsageGenerateregionsbycombiningprimitiveshapesCombinesegmentationresults Intersection DefinitionOperatorintersection IntersecteachregionofthefirstparameterwiththeunionofallregionsofthesecondparameterUsageGenerateregionsbycombiningprimitiveshapeUseasaresultthosepointswheretwomethodsreturnpixels Difference DefinitionOperatordifference SubtractfromallregionsofthefirstparametertheunionofallregionsofthesecondparameterUsageGenerateregionsbycombiningprimitiveshapeUseasaresultthosepointswhereonemethodbutnottheotheronereturnspixels Translation DefinitionOperatormove region translatearegionwithintegerprecisionUsageAdaptthepositionofamodelregionExtractoneborderside withdifference NoteResultsdependsonthesystemflag clip region Transposition Definition Reversible Increasing Entity invariant Dilation dilation R S Example Dilation Intersection Inputimage Segmentedregion threshold Connectedcomponents undesirabledecomposition Segmentedregionafterapplyingdilation circle diameter5 Connectedcomponents correctdecompositon Intersectionbetweenconnectedcomponentsandsegmentedregion Erosion erosion R S 输入图像 分割结果 连通区域 区域腐蚀 再次连通区域 区域膨胀 Example Erosion Dilation Closing dilation R S closing R S 输入图像 区域相减得到缺陷 分割结果 区域闭运算 Example Closing Opening erosion R S opening R S 输入图像 选取目标 分割结果 区域开运算 Example Opening 特征提取 特征描述了区域的特有属性区域特征 形状特征 描述了区域的几何特征 这些特征不依赖于灰度值用途 分割后 通过特征提取选择出所需的目标物体区域分类 比如OCR测量质量检测 提取特征常用相关算子area center smallest rectangle1 smallest rectangle2 compactness eccentricity elliptic axis area center gray intensity min max gray HALCON实际应用 Blob分析 区域特征 smallest circle Convexity 凸状性 区域面积和凸形外轮廓的比例Contlength 长度 区域边界长度Compactness 紧密度 区域特征 rectangularity 除了圆形和椭圆形外 长方形是一种典型的形状典型的形状特征比如比如roundness circularity 或者compactness不适用于选择长方形 HALCON提供了选择长方形的特征 FeatureInspection可视化工具 检测单个区域特征 检测所有区域特征 边缘提取 像素级边缘提取亚像素级边缘提取轮廓处理 像素级边缘提取 HALCON提供所有标准的边缘滤波算子 Sobel Roberts Robinson 或者Freifilters等 此外 还提供了预处理算子hysteresisthresholding或者non maximumsuppression一些高级算子确定了边缘的幅度和边缘方向 像素级边缘提取 航拍图片 提取道路 a 提取出来的边缘 b 分割边缘 像素级边缘提取 颜色边缘提取 a 运动场b 基于多通道图像的彩色边缘提取c 基于灰度图象边缘提取 实现流程 获取图像使用感兴趣区域图像滤波Standard sobel amp sobel dir edges imageAdvanced derivate gauss edges color提取边缘Standard threshold skeleton inspect shape modelAdvanced hysteresis threshold nonmax suppression dir边缘处理Standard background seg close edges close edges length opening circle split skeleton lines hough lines dir hough lines gen contours skeleton xld显示结果 亚像素级边缘提取 什么是亚像素 Sub Pixel 摄像机的成像面的分辨率以像素数量来衡量 但像素中心之间的距离有几个至十几个微米不等 为了最大限度利用图像信息来提高分辨率 提出了Sub Pixel概念 意思是说 在两个物理像素之间还有像素 称之为Sub Pixel 它完全是通过计算方法的出来的 HALCON亚像素精度达到1 50像素 亚像素级边缘提取 a 自动确定ROIb 边缘提取c 测量直径 亚像素级边缘提取 a 心脏的x ray图像b 提取血管 获取图像使用ROI区域提取边缘和线edges sub pix edges color sub pix lines gauss lines color确定轮廓属性get contour attrib xld get contour global attrib xld query contour attribs xld query contour global attribs xld处理XLDContours显示结果 实现流程 轮廓处理 a 边缘轮廓b 放大观察c 分割成直线和椭圆圆弧 亚像素级精度轮廓是Halcon的众多功能强大工具包之一 这些轮廓属于数据结构体XLD 轮廓处理 a 原始边缘b 处理后轮廓 实现流程 1 生成XLDedges sub pix edges color sub pix lines gauss lines facet等边缘提取后 可以得到XLD 在sobel amp edges image或bandpass image之后 使用二值函数得到的是Region 需要生成XLD 相应算子gen contour polygon xld gen contour polygon rounded xld处理XLDsegment contours xld s