CN119006602B 基于图像轮廓特征与灰度匹配的芯片视觉定位系统及方法 （中国科学院长春光学精密机械与物理研究所）

基于图像轮廓特征与灰度匹配的芯片视觉种基于图像轮廓特征与灰度匹配的芯片视觉定后的待测芯片图像进行芯片门极键合区域的轮用改进的NCC视觉定位方法对芯片门极键合区域的中心点进行精确定位，获得视觉定位检测结2图像匹配定位模块用于对预处理后的待测芯片图像进行芯片门极键合区域的轮廓提局部矩形搜索区域及匹配角度并作为搜索区域，采用改进的NCC视觉定位方法对芯片门极轮廓提取单元用于采用基于边界跟踪的数字化二值图像拓扑方法对预处理后的待测轮廓精筛单元用于对经过粗筛的轮廓进行最小外接矩形的计算搜索区域截取单元用于在待测芯片图像中截取覆盖芯片门极键合区域的局部矩形搜模板图像截取单元用于在待测芯片图像中截取包含芯片门极键合区域计算模板图像中芯片门极键合区域的中心点坐标，将模板图像的长度stencil_w和宽度芯片图像的有偏样本标准差teststd和模板图像的有偏样本标准差stencilstd；;式中，S为与模板图像相同尺寸的搜索窗口，为搜索部矩形搜索区域积分图中对应的右下角坐标，为搜索窗口在待测芯片图像的局部3图像下采样单元用于采用图像金字塔方法对模板图像和局部矩形搜索区域图像进行;,各层以最大值时搜索窗口的所在位置作为最优匹配定位位置，获得芯片门极键合区域;坐标变换单元用于将芯片门极键合区域的定位位置坐标旋转，变换得到芯片门极键2.根据权利要求1所述的基于图像轮廓特征与灰度匹配的芯片视觉定位系统，其特征3.根据权利要求2所述的基于图像轮廓特征与灰度匹配的芯片视觉定位系统，其特征芯片的目标区域的尺寸为mxn，则相机与双远心镜头的参数满足下式：。4.根据权利要求2或3所述的基于图像轮廓特征与灰度5.根据权利要求1所述的基于图像轮廓特征与灰度匹配的芯片视觉定位系统，其特征数学形态学闭运算单元用于对二值化的待测芯片图像进行数数学形态学开运算单元用于对滤除黑点的待测芯片图像进行数学形态学开运算，46.一种利用权利要求1~5中任一项所述的基于图像轮廓特征与灰度匹配的芯片视觉定S2：控制光源照明模块以频闪模式对待测芯片进行S3：通过图像预处理模块基于数学形态学运算对待S4：通过图像匹配定位模块对预处理后的待测芯片计局部矩形搜索区域及匹配角度并作为搜索区域，采用改进的NCC视觉定位方法对芯片门S401：采用基于边界跟踪的数字化二值图像拓S403：对经过粗筛的轮廓进行最小外接矩形的S404：在待测芯片图像中截取覆盖芯片门极键接矩形的中心点与旋转角度设为局部矩形搜索区域的中心点与旋S406：在待测芯片图像中截取包含芯片门极键合区芯片门极键合区域的中心点坐标，将模板图像的长度stencil_w和宽度stencil_h中的较小标准差teststd和模板图像的有偏样本标准差stencilstd；;式中，S为与模板图像相同尺寸的搜索窗口，为搜索部矩形搜索区域积分图中对应的右下角坐标，为搜索窗口在待测芯片图像的局部S409：采用图像金字塔方法对模板图像和局部矩形搜索5;S410：按图像金字塔从顶层到底层的顺序，逐;S303：对二值化的待测芯片图像进行数学形6艺。率半导体器件的主要失效部位。为了保证键合封装后功率半导体器件的稳定性与可靠性，7[0011]图像匹配定位模块用于对预处理后的待测芯片图像进行芯片门极键合区域的轮设计局部矩形搜索区域及匹配角度并作为搜索区域，采用改进的NCC视觉定位方法对芯片[0021]数学形态学开运算单元用于对滤除黑点的待测芯片图像[0023]轮廓提取单元用于采用基于边界跟踪的数字化二值图像拓扑方法对预处理后的8[0026]搜索区域截取单元用于在待测芯片图像中截取覆盖芯片门极键合区域的局部矩[0027]搜索区域矫正单元用于将截取的局部矩形搜索区域旋转，以转正局部矩形搜[0028]模板图像截取单元用于在待测芯片图像中截取包含芯片门极键合区域的模板图度stencil_h中的较小值作为min_wh；待测芯片图像的有偏样本标准差teststd和模板图像的有偏样本标准差stencilstd；积分图中对应的右下角坐标，为搜索窗口在待测芯片图像积分图中对应的左上角[0033]图像下采样单元用于采用图像金字塔方法对模板图像和局部矩形搜索区域图像计算各层的归一化互相关系数n，各层以n最大值时搜索窗口的所在位置作为最优T8s为第i层模板图像与待测芯片图像的灰度卷积；[0040]一种利用上述的基于图像轮廓特征与灰度匹配的芯片视觉定位系统实现的芯片9度设计局部矩形搜索区域及匹配角度并作为搜索区域，采用改进的NCC视觉定位方法对芯小外接矩形的中心点与旋转角度设为局部矩形搜索区域的中心像中芯片门极键合区域的中心点坐标，将模板图像的长度stencil_w和宽度stencil_h中的样本标准差teststd和模板图像的有偏样本标准差stencilstd；积分图中对应的右下角坐标，为搜索窗口在待测芯片图像积分图中对应的左上角[0061]S409：采用图像金字塔方法对模板图像和局部矩形搜索区域图像进行L_1次下采T8s为第i层模板图像与待测芯片图像的灰度卷积；[0069]（1）本发明将基于图像特征的视觉定位方法与基于改进的NCC视觉定位方法相结合改进的NCC视觉定位方法对芯片门极键合区域的中心点进行精确定位。在保证定位精度的影响较小。[0072]图1是根据本发明创造实施例所述的基于图像轮廓特征与灰度匹配的芯片视觉定[0073]图2是根据本发明创造实施例所述的图像采集模块与光源照明模块的安装位置示基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另视觉定位系统包括前端和后端两个部分，前端部分包括图像采集模块1和光源照明模块2，用于吸取铜夹扣的吸嘴7，使相机11可以垂直向下对芯片框架料盘中的待测芯片进行图像[0095]图像预处理模块3用于基于数学形态学运算对待测芯片图像进行预处理，使得芯[0100]数学形态学开运算单元用于对滤除黑点的待测芯片图像[0101]图像匹配定位模块4用于对预处理后的待测芯片图像进行芯片门极键合区域的轮设计局部矩形搜索区域及匹配角度并作为搜索区域，采用改进的NCC视觉定位方法对芯片[0103]轮廓提取单元用于采用基于边界跟踪的数字化二值图像拓扑方法对预处理后的[0106]搜索区域截取单元用于在待测芯片图像中截取覆盖芯片门极键合区域的局部矩[0107]搜索区域矫正单元用于将截取的局部矩形搜索区域旋转，以转正局部矩形搜[0108]模板图像截取单元用于在待测芯片图像中截取包含芯片门极键合区域的模板图待测芯片图像的有偏样本标准差teststd和模板图像的有偏样本标准差stencilstd；积分图中对应的右下角坐标，为搜索窗口在待测芯片图像积分图中对应的左上角[0113]图像下采样单元用于采用图像金字塔方法对模板图像和局部矩形搜索区域图像计算各层的归一化互相关系数n，各层以n最大值时搜索窗口的所在位置作为最优T8s为第i层模板图像与待测芯片图像的灰度卷积；[0120]网络通信模块5基于套接字实现芯片视觉定位系统与键合封装设备控制终端的网软件平台采用基于pyhon语言的vscode软件，并安装对应版本的opencv库包。[0122]上述内容详细说明了本发明创造实施例提供的基于图像轮廓特征与灰度匹配的[0131]S301：调用opencv库中的cv2.cvcolor0度设计局部矩形搜索区域及匹配角度并作为搜索区域，采用改进的NCC视觉定位方法对芯轮廓特征对待测芯片图像进行粗定位，获取芯片门极键合区域的中心点坐标和旋转角度，为后续利用改进的NCC视觉定位方法对芯片门极键合区域的中心点坐标进行精确定位，剔[0146]S403：通过调用cv2.minAreaRec10函数对经过粗筛的轮廓进行对应于芯片门极小外接矩形的中心点与旋转角度设为局部矩形搜索区域的中心[0152]本发明通过粗定位获取了待测芯片图像中芯片门极键合区域的局部矩形搜索区[0153]利用改进的NCC视觉定位方法对芯片门极键合区域的中心点坐标进行精确定位的像中芯片门极键合区域的中心点坐标，将模板图像的长度stencil_w和宽度stencil_h中的样本标准差teststd和模板图像的有偏样本标准差stencilstd。积分图中对应的右下角坐标，为搜索窗口在待测芯片图像积分图中对应的左上角[0160]S409：采用图像金字塔方法对模板图像和局部矩形搜索区域图像进行L_1次下采利用上式计算图像金字塔的层数L，并根据层数L对模板图像与待测芯片T8s为第i层模板图像与待测芯片图像的灰度卷积。像金字塔中每一层的归一化互相关系数n，以每层n最大值时搜索窗口所在位置为最优匹[0168]当对图像金字塔进行顶层的匹配定位时，选择此层的待测芯片图像进行全局匹[0170]本发明将基于图像特征的视觉定位方法与基于NCC的视觉定位方法相结合，先以既解决了传统的基于NCC的视觉定位方法存在定位速度慢的缺点，又解决了基于图像特征[