Halcon在机器视觉中的典型应用PPT课件VIP

-,中国大恒（集团）有限公司北京图像视觉技术分公司,HALCON软件在机器视觉中的典型应用,主讲人：刘伟,-,软件层次,-,HALCON的实际应用,图像获取(前提）模板匹配（定位，比较）Blob分析（基础一）边缘提取（基础二）测量(结果)其它应用,-,HALCON实际应用:图像获取,获取高质量图像的前提条件合适的光源合适的镜头合适的采集设备合适的采集参数设置,-,HALCON实际应用:图像获取,应用程序,HALCON库,采集设备管理,图像处理,数据管理,加载动态库,-,HALCON实际应用:图像获取,图像获取接口特点图像获取链接库独立于其它图像处理链接库一致的代码模板（磁盘文件和图像采集设备）支持多个采集设备同步和异步采集支持外触发图像尺寸、图像位数、颜色空间可调支持颜色查找表支持与设备相关的参数调整,-,HALCON实际应用:图像获取,图像获取主要接口函数open_framegrabber,info_framegrabbergrab_image,grab_image_async,grab_image_startset/get_framegrabber_paramclose_framegrabber,close_all_framegrabbers如果是单个磁盘文件read_image,-,HALCON实际应用:图像获取,打开采集设备，如果是序列磁盘文件，设备为File获取图像，grab_image(_async)(同步采集或异步采集)关闭设备,open_framegrabber(DahengCAM,1,1,0,0,0,0,default,-1,gray,-1,false,default,default,-1,-1,FGHandle),while(true)grab_image(Image,FGHandle)*Applyimageprocessingendwhile,close_framegrabber(FGHandle),-,HALCON实际应用:图像获取,通过图像获取助手，可快捷简单获取图像，并可生成代码,-,HALCON实际应用:图像获取,HALCON,-,HALCON实际应用:图像获取,-,HALCON实际应用:模板匹配,模板匹配的优势应用于多数的应用不需要太多参数调整不需要分割健壮不需要任何的机器视觉知识,-,HALCON实际应用:模板匹配,模板匹配分类基于灰度的模板匹配(gray-value-based)利用模板图像的所有灰度值，不能适应光照变化、缩放变化、多通道图像等用于简单图像基于形状的模板匹配（shape-based）使用边缘特征定位物体对于很多干扰因素不敏感，例如光照变化、聚焦模糊，缩放变化等，适用于多通道图像不适用于纹理图像基于组件的模板匹配(component-based)适用于组成部件有相对运动的物体，使用边缘特征定位物对于很多干扰因素不敏感，例如光照变化、混乱无序等，适用于多通道图像不适用于纹理图像，聚焦不清的图像和形状变形,-,基于相关的模板匹配（conrelation-based）适用于纹理图像，聚焦不清的图像和形状变形不是适用于光照变化、混乱无序等，也不适用于多通道图像基于描述符的模板匹配(descriptor-based)对于很多干扰因素不敏感，例如光照变化、混乱无序，缩放变化等不适用于纹理图像，聚焦不清的图像和多通道图像基于变形模板的模板匹配(deformable)对于很多干扰因素不敏感，例如光照变化、混乱无序，缩放变化等适用于多通道图像对于纹理图像比较困难基于点的模板匹配(point-based)利用关键点的特征,-,图像金字塔,Level1,Level2,Level3,Level4,-,图像金字塔,金字塔中的模板,-,HALCON实际应用:模板匹配,模板匹配,参考图像,搜索图像,-,HALCON实际应用:形状模板匹配,*GenerateROI*readimagefromfileorframegrabberinspect_shape_model(Image,ModelImage,ModelRegion,1,Contrast)dev_display(Image)dev_display(ModelRegion),-,模板生成:金字塔层,inspect_shape_model(Image,ModelImages,ModelRegions,5,40)dev_display(Image)dev_display(ModelRegions),-,匹配助手,-,从路径获得图像生成芯片的感兴趣区域检测模型检测感兴趣区域,HALCON实际应用:形状模板匹配(定位),-,HALCON实际应用:形状模板匹配,模板匹配支持旋转建模时的角度范围AngleStartAngleExtent角度用弧度表示，可通过函数rad()转换为了表示旋转角度x,赋值如下AngleStart=-xAngleExtent=2x,-,HALCON实际应用:形状模板匹配,对于对称物体，建模时需限制角度的旋转范围,-,HALCON实际应用:形状模板匹配,模板匹配支持缩放一般缩放范围取值ScaleMin=0.3;ScaleMax=2,-,模板匹配中的极性问题,通常物体的极性是不会改变的但一些情况下，物体的灰度值会翻转物体或者背景会变化或者明暗区域发生改变,Darkinside,Brightoutside,-,模板匹配中的极性问题,Polaritymode:use_polarity,Template,Acceptedobjects,-,模板匹配中的极性问题,Polaritymode:ignore_global_polarity,Template,Acceptedobjects,-,模板匹配中的极性问题,模板匹配:ignore_local_polarity,-,匹配:允许一定程度上交叠,模型和它的外接轮廓框(boundingboxes)外接轮廓框可以任意方向,-,匹配:允许一定程度上交叠,Overlap定义为两个外接轮廓框的相交比率,物体的交叠区域,外接轮廓框的交叠区域,-,基于灰度的匹配(gray-value-based),车牌字符识别,-,基于形状的匹配（shape-based）,可以适应缩放、旋转、交叠和不同极性的匹配,-,基于组件的模板匹配(component-based),处理器：奔腾处理器1.73G图像分辨率：640*482,-,基于相关的模板匹配（conrelation-based）,能克服纹理背景和聚焦不清带来的影响,-,基于描述符的模板匹配(descriptor-based),通过特征点进行描述匹配,-,基于变形模板的模板匹配(deformable),车门检测，即使车门在三维空间内变动，仍然能匹配,-,基于点的模板匹配(point-based),多用于镶嵌图像时，大场景拼接,-,HALCON实际应用:Blob分析,Blob分析的基本思想：图像中相关联物体(前景)的像素可以通过其灰度值来标识,-,HALCON实际应用:Blob分析,Blob分析主要流程：获取图像、分割图像、提取特征,初始分割、形态学处理等,-,HALCON实际应用:Blob分析,一个简单的例子(非常理想的情况)read_image(Image,particle)threshold(Image,BrightPixels,120,255)connection(BrightPixels,Particles)area_center(Particles,Area,Row,Column),-,HALCON实际应用:Blob分析,threshold定义threshold算子HALCON中速度最快使用频率最高的分割算法如果目标体与背景之间存在灰度差，则threshold首先被使用如果环境稳定，阈值可在离线状态下一次确定,-,HALCON实际应用:Blob分析,-,HALCON实际应用:Blob分析,-,动态阈值分割很多情况下由于背景不均一，无法确定全局阈值目标体经常表现为比背景局部亮一些或暗一些需要通过其邻域找到一个合适的阈值进行分割如何确定其邻域？可以通过一些平滑滤波算子来确定邻域，例如mean_image等,HALCON实际应用:Blob分析,-,动态阈值分割，其中S为平滑后的输入图像,grayprofilesmoothedgrayprofile,HALCON实际应用:Blob分析,-,全局阈值动态局部阈值通过均值滤波确定邻域滤波器mask尺寸大于字符笔画的宽度选择所有比其邻域暗的像素,mean_image(Image,ImageMean,21,21)dyn_threshold(Image,ImageMean,Region,15,dark),HALCON实际应用:Blob分析,-,形态学处理分割之后，往往需要对区域做进一步处理才能满足要求常用形态学相关算子connection,select_shape,opening_circle,closing_circle,opening_rectangle1,closing_rectangle1,difference,intersection,union1,shaps_trans,fill_up高级算子boundary,skeleton等,HALCON实际应用:Blob分析,-,连通区域,阈值分割后，需要提取目标物体，为了提取目标物体不得不先找到连通区域提取连通域的关键是领域搜索的类型在Halcon所有的案例中8领域法是默认的,-,把白色部分分割出来计算连通域显示结果,Localthreshold,Globalthreshold,HALCON实际应用:Blob分析,-,形态学算子,HALCON的特点之一任意的结构元素任意尺寸的结构元素非常有效的处理巨大的算子集合:44个算子经典算子Erosion,dilation,opening,closing高级算子top-hat,bottom-hat,hit-or-miss,boundary特殊算子Fitting,pruning,thickening,thinning,skeleton,-,Inputimage,2.Closingwithdiagonalrectangle,Segmentation,1.Closingwithverticalrectangle,形态学示例：,-,Union,定义Operatorunion1:Unionofallregionsinonevariableunion2:UnifyallregionsinthesecondparameterwitheachregioninthefirstparameterUsageGenerateregionsbycombiningprimitiveshapesCombinesegmentationresults,-,Intersection,DefinitionOperatorintersection:IntersecteachregionofthefirstparameterwiththeunionofallregionsofthesecondparameterUsageGenerateregionsbycombiningprimitiveshapeUseasaresultthosepointswheretwomethodsreturnpixels,-,Difference,DefinitionOperatordifference:SubtractfromallregionsofthefirstparametertheunionofallregionsofthesecondparameterUsageGenerateregionsbycombiningprimitiveshapeUseasaresultthosepointswhereonemethodbutnottheotheronereturnspixels,-,Translation,DefinitionOperatormove_region:translatearegionwithintegerprecisionUsageAdaptthepositionofamodelregionExtractoneborderside(withdifference)NoteResultsdependsonthesystemflagclip_region,-,Transposition,Definition:Reversible:Increasing:Entity-invariant:,-,Dilation,dilation(R,S),-,Example:Dilation/Intersection,Inputimage,Segmentedregion(threshold),Connectedcomponents(undesirabledecomposition),Segmentedregionafterapplyingdilation(circle,diameter5),Connectedcomponents(correctdecompositon),Intersectionbetweenconnectedcomponentsandsegmentedregion,-,Erosion,erosion(R,S),-,输入图像,分割结果,连通区域,区域腐蚀,再次连通区域,区域膨胀,Example:Erosion/Dilation,-,Closing,dilation(R,S),closing(R,S),-,输入图像,区域相减得到缺陷,分割结果,区域闭运算,Example:Closing,-,Opening,erosion(R,S),opening(R,S),-,输入图像,选取目标,分割结果,区域开运算,Example:Opening,-,特征提取,特征描述了区域的特有属性区域特征(形状特征)描述了区域的几何特征，这些特征不依赖于灰度值用途：分割后，通过特征提取选择出所需的目标物体区域分类,比如OCR测量质量检测,-,提取特征常用相关算子area_center,smallest_rectangle1,smallest_rectangle2,compactness,eccentricity,elliptic_axis,area_center_gray,intensity,min_max_gray,HALCON实际应用:Blob分析,-,区域特征,smallest_circle:Convexity(凸状性):区域面积和凸形外轮廓的比例Contlength(长度):区域边界长度Compactness(紧密度):,-,区域特征：rectangularity,除了圆形和椭圆形外，长方形是一种典型的形状典型的形状特征比如比如roundness,circularity,或者compactness不适用于选择长方形,HALCON提供了选择长方形的特征,-,FeatureInspection可视化工具,检测单个区域特征,-,检测所有区域特征,-,边缘提取,像素级边缘提取亚像素级边缘提取轮廓处理,-,像素级边缘提取,HALCON提供所有标准的边缘滤波算子：Sobel,Roberts,Robinson,或者Freifilters等.此外，还提供了预处理算子hysteresisthresholding或者non-maximumsuppression一些高级算子确定了边缘的幅度和边缘方向,-,像素级边缘提取,航拍图片，提取道路(a)提取出来的边缘(b)分割边缘.,-,像素级边缘提取(颜色边缘提取),a)运动场b)基于多通道图像的彩色边缘提取c)基于灰度图象边缘提取,-,实现流程,获取图像使用感兴趣区域图像滤波Standard:sobel_amp,sobel_dir,edges_imageAdvanced:derivate_gauss,edges_color提取边缘Standard:threshold,skeleton,inspect_shape_modelAdvanced:hysteresis_threshold,nonmax_suppression_dir边缘处理Standard:background_seg,close_edges,close_edges_length,opening_circle,split_skeleton_lines,hough_lines_dir,hough_lines,gen_contours_skeleton_xld显示结果,-,亚像素级边缘提取,什么是亚像素（Sub-Pixel）?摄像机的成像面的分辨率以像素数量来衡量。但像素中心之间的距离有几个至十几个微米不等。为了最大限度利用图像信息来提高分辨率，提出了Sub-Pixel概念。意思是说，在两个物理像素之间还有像素，称之为Sub-Pixel，它完全是通过计算方法的出来的。,HALCON亚像素精度达到1/50像素,-,亚像素级边缘提取,a)自动确定ROIb)边缘提取c)测量直径,-,亚像素级边缘提取,a)心脏的x-ray图像b)提取血管,-,获取图像使用ROI区域提取边缘和线edges_sub_pix，edges_color_sub_pix，lines_gauss，lines_color确定轮廓属性get_contour_attrib_xld，get_contour_global_attrib_xld，query_contour_attribs_xld，query_contour_global_attribs_xld处理XLDContours显示结果,实现流程,-,轮廓处理,a)边缘轮廓b)放大观察c)分割成直线和椭圆圆弧,亚像素级精度轮廓是Halcon的众多功能强大工具包之一，这些轮廓属于数据结构体XLD,-,轮廓处理,a)原始边缘b)处理后轮廓,-,实现流程（1）,生成XLDedges_sub_pix,edges_color_sub_pix，lines_gauss,lines_facet等边缘提取后，可以得到XLD;在sobel_amp，edges_image或bandpass_image之后，使用二值函数得到的是Region，需要生成XLD。相应算子gen_contour_polygon_xld，gen_contour_polygon_rounded_xld处理XLDsegment_contours_xl