CN120088256B 一种基于2d与3d复合成像的芯片封装质量检测优化方法 （安徽视创科技有限责任公司）

(19)国家知识产权局(12)发明专利(10)授权公告号CN120088256B(65)同一申请的已公布的文献号(73)专利权人安徽视创科技有限责任公司地址230008安徽省合肥市高新区天元路1号留学生园1号楼316室(72)发明人阚涛宋在和(74)专利代理机构合肥北极牛知识产权代理事务所(特殊普通合伙)34239专利代理师刘思伟审查员吴超一种基于2D与3D复合成像的芯片封装质量检测优化方法本发明公开了一种基于2D与3D复合成像的采集芯片封装区域的二维图像与三维结构图像；S2、进行空间配准与归一化处理，提取亮度梯度、基于图像融合特征集构建改进的Mumford-Shah调节边界长度项权重；S5、执行变分优化生成边缘响应图，提取边界轮廓形成芯片封装结构边界图；S6、融合边界图与三维结构图像构建边界图谱，提取图结构特征；S7、构建封装质量评分函21.一种基于2D与3D复合成像的芯片封装质量检测优化方法，其特征在于，包括如下步S1、采集芯片封装区域的二维图像与三维结构图像；S2、对所述二维图像与三维结构图像进行空间配准与归一化处理，提取亮度梯度、深度梯度与结构曲率，生成图像融合特征集；S3、基于所述图像融合特征集构建图像能量泛函模型，所述图像能量泛函模型为改进S4、在所述图像能量泛函模型中设置空间注意调节机制，依据芯片封装区域中不同结构分布对边界长度项的权重进行空间调节；S5、采用变分优化方法对所述图像能量泛函模型进行求解，生成边缘响应图，提取芯片封装区域的边界轮廓，形成芯片封装结构边界图；S6、将所述芯片封装结构边界图与所述三维结构图像融合，构建芯片封装区域的边界图谱，提取边界连续性特征、边界一致性特征与结构异常特征；S7、构建封装质量评分函数，将所述边界连续性特征、边界一致性特征与结构异常特征作为输入，生成芯片封装区域的缺陷类型、缺陷位置与封装质量评分值。2.根据权利要求1所述的一种基于2D与3D复合成像的芯片封装质量检测优化方法，其特征在于，所述二维图像包括可见光图像或X射线图像，所述三维结构图像包括由点云扫描设备或深度传感器获取的深度图像。3.根据权利要求1所述的一种基于2D与3D复合成像的芯片封装质量检测优化方法，其特征在于，所述区域平滑项基于所述图像融合特征集中的亮度梯度和深度梯度构建，定义于所述边界图谱之外的芯片封装区域内。4.根据权利要求1所述的一种基于2D与3D复合成像的芯片封装质量检测优化方法，其特征在于，所述重建保真项基于所述二维图像的像素值与图像模型的输出值之间的差异构建，定义于所述芯片封装区域全域。5.根据权利要求1所述的一种基于2D与3D复合成像的芯片封装质量检测优化方法，其S21、对所述二维图像与三维结构图像执行空间配准，建立二维图像坐标系与三维结构图像坐标系之间的对应关系；S22、对空间配准后的二维图像与三维结构图像分别进行归一化处理，将二维图像中像素值与三维结构图像中深度值标准化至区间[0,1];S23、在归一化后的二维图像中提取亮度梯度，在归一化后的三维结构图像中提取深度梯度与结构曲率；S24、在坐标位置(x,y)上，构建图像融合特征集向量F(x,y)=[VI(x,y),VD(x,y),k(x,y)],其中，x为图像横向坐标，y为图像纵向坐标，VI(x,y)为亮度梯度，VD(x,y)为深度梯度，K(x,y)为结构曲率。6.根据权利要求1所述的一种基于2D与3D复合成像的芯片封装质量检测优化方法，其3E(u,T)=λ1·Ja\rIVu(x,y)|²dxdy+λ2·Jnlu(x,y)-I(x,y)I²dxdy+λ3·集合，|Vu(x,y)|²为图像灰度函数在坐标(x,y)处的梯度模平方，ds为沿边界曲线积分S34、边界长度项通过在边界曲线集合厂上对边界加权函数W(x,y)进行路径积分构7.根据权利要求1所述的一种基于2D与3D复合成像的芯片封装质量检测优化方法，其装结构在坐标(x,y)处的结构复杂度函数；4其中，W(x,y)为边界加权函数，w(x,y)为经过空间调节后的边界加权函数，8.根据权利要求1所述的一种基于2D与3D复合成像的芯片封装质量检测优化方法，其S54、将边界轮廓中的像素坐标点表示为坐标序列(X;,yi),其中Xi为第i个边界点的9.根据权利要求1所述的一种基于2D与3D复合成像的芯片封装质量检测优化方法，其di=D(x;,yi),构成三维边界点集P={(x;,y;,d)|i=1,2,.….N},其中，510.根据权利要求1所述的一种基于2D与3D复合成像的芯片封S73、将每个边界点的空间坐标、缺陷类型标签与封装质量评分值进行关联，生成结果集合，所述结果集合包含芯片封装区域中各边界点的缺陷位置、缺陷类型与封装质量评分6一种基于2D与3D复合成像的芯片封装质量检测优化方法技术领域[0001]本发明涉及半导体制造检测技术领域，尤其涉及一种基于2D与3D复合成像的芯片封装质量检测优化方法。背景技术[0002]在半导体制造领域，芯片封装质量是影响集成电路可靠性与使用寿命的重要指标，尤其在高密度封装、三维堆叠封装等先进封装形式广泛应用的背景下，对芯片封装缺陷的检测精度和覆盖率提出了更高的要求。当前常用的封装质量检测技术主要依赖于二维可见光图像或X射线图像，通过图像处理算法识别焊点、引脚、键合线等封装结构的几何异常或连接缺陷。常见的图像处理方法包括边缘检测、形态分析、模板匹配与卷积神经网络分类等，其在光照条件良好、结构清晰的场景下具有一定的识别能力。但对于多层结构叠加、内部应力引起的轻微变形、焊盘遮挡、虚焊等非表层可视缺陷，则检测能力存在明显不足。[0003]为了提升深层结构信息的获取能力，部分研究引入了三维结构成像手段，如结构光扫描、点云重建与激光测距等方式获取芯片封装结构的三维深度图像，再结合二维图像形成多源信息融合的检测模式。这种2D与3D复合检测思路可在一定程度上弥补单一视角的缺陷表达不足问题。现有技术中，常采用深度图与二维图像进行像素级配准，再通过简单的图像叠加、平均滤波或几何特征拼接生成融合特征，再输入传统分类网络或基于阈值的规则算法中进行缺陷分类。然而，在封装结构复杂、边界不规则、表面反光或遮挡干扰严重的情况下，这类融合方法无法有效提取空间边界信息，且对封装缺陷的连续性与空间一致性缺乏刻画能力，导致最终的缺陷判定存在误检与漏检风险。[0004]此外，在现有的图像建模机制中，普遍采用边缘检测算子或基于灰度变化的图割算法作为封装结构边界提取的工具。此类方法难以适应封装图像中的灰度非均匀性、结构密度变化与噪声扰动问题。经典的Mumford-Shah能量模型为图像分割提供了一种数学优化框架，能够同时考虑图像平滑、边界精度与图像重建一致性，但其在灰度漂移严重或结构复杂场景下表现受限，传统模型未能结合三维结构信息调整边界项响应，因此在芯片封装检测任务中适用性不足。[0005]另一方面，尽管部分方法引入了深度神经网络进行缺陷分类，但其训练过程对数据集数量和标注精度高度敏感，且模型可解释性差，难以满足对可追溯性与物理合理性有强依赖的工业封装检测场景需求。现有模型普遍缺乏对封装结构边界在三维空间中连贯性与一致性进行建模的能力，特别是在存在焊点缺损、金属层偏移、键合错位等结构缺陷时，无法通过图结构或空间约束将局部异常扩展为全局判断依据，导致缺陷边界判定割裂、评分机制模糊。[0006]因此，如何提供一种基于2D与3D复合成像的芯片封装质量检测优化方法是本领域技术人员亟需解决的问题。7发明内容[0007]本发明的一个目的在于提出一种基于2D与3D复合成像的芯片封装质量检测优化方法，本发明充分融合了二维图像与三维结构图像的空间配准处理、图像能量泛函建模、边界图谱构建与图结构特征分析方法，详细描述了通过改进的Mumford-Shah模型提取封装结构边界，并基于图结构进行缺陷类型识别与封装质量评分的流程，具备特征表达清晰、边界建模准确与评分机制鲁棒性强的优点。[0008]根据本发明实施例的一种基于2D与3D复合成像的芯片封装质量检测优化方法，包括如下步骤：[0010]S2、对所述二维图像与三维结构图像进行空间配准与归一化处理，提取亮度梯度、深度梯度与结构曲率，生成图像融合特征集；[0011]S3、基于所述图像融合特征集构建图像能量泛函模型，所述图像能量泛函模型为改进的Mumford-Shah模型，包含区域平滑项、重建[0012]S4、在所述图像能量泛函模型中设置空间注意调节机制，依据芯片封装区域中不同结构分布对边界长度项的权重进行空间调节；[0013]S5、采用变分优化方法对所述图像能量泛函模型进行求解，生成边缘响应图，提取芯片封装区域的边界轮廓，形成芯片封装结构边界图；[0014]S6、将所述芯片封装结构边界图与所述三维结构图像融合，构建芯片封装区域的边界图谱，提取边界连续性特征、边界一致性特征与结构异常特征；[0015]S7、构建封装质量评分函数，将所述边界连续性特征、边界一致性特征与结构异常特征作为输入，生成芯片封装区域的缺陷类型、缺陷位置与封装质量评分值。[0016]可选的，所述二维图像包括可见光图像或X射线图像，所述三维结构图像包括由点云扫描设备或深度传感器获取的深度图像。[0017]可选的，所述区域平滑项基于所述图像融合特征集中的亮度梯度和深度梯度构建，定义于所述边界图谱之外的芯片封装区域内。[0018]可选的，所述重建保真项基于所述二维图像的像素值与图像模型的输出值之间的差异构建，定义于所述芯片封装区域全域。[0020]S21、对所述二维图像与三维结构图像执行空间配准，建立二维图像坐标系与三维结构图像坐标系之间的对应关系；[0021]S22、对空间配准后的二维图像与三维结构图像分别进行归一化处理，将二维图像中像素值与三维结构图像中深度值标准化至区间[0,1];[0022]S23、在归一化后的二维图像中提取亮度梯度，在归一化后的三维结构图像中提取深度梯度与结构曲率；8[0032]E(u,T)=λ1·farIVu(x,[0035]S35、图像能量泛函模型以图像融合特征集为输入，图像灰度函数为变分优化对象，边界加权函数为边界积分项的被积函数，片封装结构在坐标(x,y)处的结构复杂度函数；9[0041]w(x,y)=[0042]其中，W(x,y)为边界加权函数，w(x,y)为经过空间调节后的边界加权函数，φ(x,y)为空间调节函数；[0043]S43、将边界长度项中被积函数替换为空间调节后的边界加权函数，边界长度项表达式更新为,其中，T为芯片封装区域中提取的边界曲线集合，ds为边界曲线上的路径微元长度。[0045]S51、设定图像能量泛函模型作为变分优化的目标函数：[0046]E(u,T)=λ1·Ja\rIVu(x,y)|²dxdy+λ2·Snlu(x,y)-I(x,y)I²dxdy+λ3·Jrw图像在坐标(x,y)处的像素值，|Vu(x,y)|²为图像灰度函数的梯度模平方，W'(x,y)为空间调节后的边界加权函数，T为边界曲线集合，Ω为芯片封装区域的二维定义域，λ1、λ2、λ3为非负加权系数，ds为沿边界曲线积分路径的微元长度，x为图像横向坐标，y为图像纵向坐标；[0048]S52、对图像能量泛函模型执行变分优化，获得边缘响应图，边缘响应图为一张与原始图像尺寸一致的二维矩阵，每个像素位置对应一个边界响应值；[0049]S53、根据边缘响应图中像素值与边界响应阈值的比较结果，提取芯片封装区域的边界轮廓，边界轮廓由满足响应条件的像素坐标点集合构成；[0050]S54、将边界轮廓中的像素坐标点表示为坐标序列(x;,yi),其中Xi为第i个边界[0051]S55、将坐标序列(X;,yi)按照边界连通关系排列，构建芯片封装结构边界图，芯片封装结构边界图由边界曲线集合T表示。[0054]S62、将边界坐标集合B映射至三维结构图像中，在每个边界点(x;,yi)处度值di=D(x;,yi),构成三维边界点集P={(x;,y;,d)|i=1,2,.….,N},其中，D(x;,yi)为三维结构图像在坐标(x,yi)处的深度函数输出值，di为对应点的深度=(V,E),其中V为节点集合，E为边集合，节点Vi∈V表示三维边界点(x;,yi,di),边e;j∈E表示相邻节点之间的连接关系；11合亮度梯度、深度梯度与结构曲率的图像融合特征集，有效增强了封装边界与内部结构之间的辨识能力。同时，引入改进的Mumford-Shah图像能量泛函模型，将边界加权函数与空间注意调节机制相结合，构建包含区域平滑项、重建保真项与边界长度项的变分优化框架，提升了对灰度不均匀区域和结构曲率突变位置的边界响应精度。[0073]此外，本发明通过将边缘响应图与三维结构图像融合，构建芯片封装区域的边界图谱，并进一步提取边界连续性、边界一致性与结构异常特征，构建图结构特征向量，使得封装质量评估能够兼顾结构整体性与局部异常的联合表达。封装质量评分函数基于加权线性组合形式，形成可调参数模型，可量化评估不同类型结构缺陷对评分值的影响范围。缺陷类型的识别基于边界图谱与图结构特征联动实现，提升了对轻微缺陷、空间非对称结构异常的识别能力。附图说明[0074]附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：[0075]图1为本发明提出的一种基于2D与3D复合成像的芯片封装质量检测优化方法的整体流程图；[0076]图2为本发明提出的一种基于2D与3D复合成像的芯片封装质量检测优化方法的图像能量泛函模型构建与边界提取示意图；[0077]图3为本发明提出的一种基于2D与3D复合成像的芯片封装质量检测优化方法的边界图谱构建与封装质量评分输出示意图。具体实施方式[0078]现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。[0079]参考图1-3,一种基于2D与3D复合成像的芯片封装质量检测优化方法，包括如下步[0080]S1、采集芯片封装区域的二维图像与三维结构图像；[0081]S2、对所述二维图像与三维结构图像进行空间配准与归一化处理，提取亮度梯度、深度梯度与结构曲率，生成图像融合特征集；[0082]S3、基于所述图像融合特征集构建图像能量泛函模型，所述图像能量泛函模型为改进的Mumford-Shah模型，包含区域平滑项、重建[0083]S4、在所述图像能量泛函模型中设置空间注意调节机制，依据芯片封装区域中不同结构分布对边界长度项的权重进行空间调节；[0084]S5、采用变分优化方法对所述图像能量泛函模型进行求解，生成边缘响应图，提取芯片封装区域的边界轮廓，形成芯片封装结构边界图；[0085]S6、将所述芯片封装结构边界图与所述三维结构图像融合，构建芯片封装区域的边界图谱，提取边界连续性特征、边界一致性特征与结构异常特征；[0086]S7、构建封装质量评分函数，将所述边界连续性特征、边界一致性特征与结构异常特征作为输入，生成芯片封装区域的缺陷类型、缺陷位置与封装质量评分值。[0087]本发明通过构建面向芯片封装区域的二维图像与三维结构图像采集流程，建立了多模态信息基础，为后续图像融合与结构边界分析提供了完整输入条件，增强了模型对封装信息的获取能力。[0088]本实施方式中，所述二维图像包括可见光图像或X射线图像，所述三维结构图像包括由点云扫描设备或深度传感器获取的深度图像。[0089]本发明明确限定了二维图像与三维结构图像的来源类型，并采用空间配准与归一化处理手段，确保在统一坐标系下提取亮度梯度、深度梯度与结构曲率，提升了特征表达的准确性和融合效果的稳定性。[0090]本实施方式中，所述区域平滑项基于所述图像融合特征集中的亮度梯度和深度梯度构建，定义于所述边界图谱之外的芯片封装区域内。[0091]本发明通过基于亮度梯度与深度梯度构建区域平滑项，并在边界图谱之外的封装区域内定义其作用域，使得能量模型能够对封装区域内部特征变化进行连续性建模，增强了对结构过渡区的处理能力。[0092]本实施方式中，所述重建保真项基于所述二维图像的像素值与图像模型的输出值之间的差异构建，定义于所述芯片封装区域全域。[0093]本发明利用二维图像像素值与模型输出值之间的差异构建重建保真项，并将该项定义在芯片封装区域全域，有效维持了图像模型对原始图像结构信息的保真能力，提高了模型整体稳定性。[0095]S21、对所述二维图像与三维结构图像执行空间配准，建立二维图像坐标系与三维结构图像坐标系之间的对应关系；[0096]S22、对空间配准后的二维图像与三维结构图像分别进行归一化处理，将二维图像中像素值与三维结构图像中深度值标准化至区间[0,1];[0097]S23、在归一化后的二维图像中提取亮度梯度，在归一化后的三维结构图像中提取深度梯度与结构曲率；[0099]本发明详细规定了图像融合特征集的构建流程，包括二维与三维图像的空间配准、归一化处理、亮度与深度梯度计算和结构曲率提取，建立了清晰可执行的预处理过程，便于在封装检测任务中应用落地。处的像素值，G₆为标准差为σ的二维高斯核函数，0为高斯核的标准差，*为卷积算子，u(x,y)为图像灰度函数；[0106]其中，W(x,y)为边界加权函数，VD(x,y)为三维结构图像在坐标(x,y)处的深率调节函数的调节系数；[0108]E(u,T)=λ1·farIVu(x,[0109]其中，E(u,T)为图像能量泛函模型，Ω为芯片封装区域的二维定义域，T为边界曲线集合，|Vu(x,y)|²为图像灰度函数在坐标(x,y)处的负加权系数；[0110]S34、边界长度项通过在边界曲线集合Γ上对边界加权函数W(x,y)进行路径积象，边界加权函数为边界积分项的被积函数，[0112]本发明通过设定图像灰度函数与边界加权函片封装结构在坐标(x,y)处的结构复杂度函数；[0119]其中，w(x,y)为边界加权函数，w(x,y)为经过空间调节后的边界加权函数，φ(x,y)为空间调节函数；[0120]S43、将边界长度项中被积函数替换为空间调节后的边界加权函数，边界长度项表达式更新为,其中，T为芯片封装区域中提取的边界曲线集合，ds为边界曲线上的路径微元长度。[0121]本发明设置空间注意调节函数，并对边界加权函数进行调控，使得边界长度项在不同封装结构分布区域中具备自适应调整能力，从而提升了模型在结构复杂区域中对边界曲线的表达准确度。[0123]S51、设定图像能量泛函模型作为变分优化的目标函数：[0124]E(u,T)=λ1·Ja\rIVu(x,y)|²dxdy+λ2·Snlu(x,y)-I(x,y)I²dxdy+λ3·Jrw(图像在坐标(x,y)处的像素值，为图像灰度函数的梯度模平方，W(x,y)为空间调节后的边界加权函数，T为边界曲线集合，Ω为芯片封装区域的二维定义域，λ1、λ2、λ3为非负加权系数，ds为沿边界曲线积分路径的微元长度，x为图像横向坐标，y为图像纵向坐标；[0126]S52、对图像能量泛函模型执行变分优化，获得边缘响应图，边缘响应图为一张与原始图像尺寸一致的二维矩阵，每个像素位置对应一个边界响应值；[0127]S53、根据边缘响应图中像素值与边界响应阈值的比较结果，提取芯片封装区域的边界轮廓，边界轮廓由满足响应条件的像素坐标点集合构成；[0128]S54、将边界轮廓中的像素坐标点表示为坐标序列(x;,yi),其中Xi为第i个边界[0129]S55、将坐标序列((Xi,yi)按照边界连通关系排列，构建芯片封装结构边界图，芯片封装结构边界图由边界曲线集合T表示。[0130]本发明通过变分优化方法求解图像能量泛函模型，生成边缘响应图，并结合响应值提取封装结构边界轮廓，进一步构建芯片封装结构边界图，实现了从融合特征到边界图的结构转换过程。[0132]S61、对芯片封装结构边界图进行坐标提取，获得边界坐标集合[0133]S62、将边界坐标集合B映射至三维结构图像中，在每个边界点(x;,y;)处获取深度值di=D(x;,yi),构成三维边界点集P={(x;,y;,d)|i=1,2,.….,N},其=(V,E),其中V为节点集合，E为边集合，节点Vi∈V表示三维边界点(x;,yi,di),边[0143]其中，fe为结构异常特征，VD(x;,Yi)表示三维结构图像在点(x,y;)处的深结果集合，所述结果集合包含芯片封装区域中各边界点的缺陷位置、缺陷类型与封装质量评分值。[0151]本发明构建封装质量评分函数，以三类图结构特征作为输入生成评分值，并基于评分结果与结构信息对缺陷类型和位置进行标注，实现了芯片封装质量的定量评估与空间缺陷定位的联动表达。[0152]实施例1:[0153]为了验证本发明在实施中的可行性，将本发明应用于某芯片制造企业2024年第四季度批次芯片封装检测任务中。该企业封装生产线采用高密度倒装焊与多层BGA混合封装工艺，产品广泛用于消费电子与工业控制领域。由于封装结构复杂且存在多层叠加，传统仅基于二维图像的检测方法在识别微小翘曲、焊盘错位和虚焊等结构性缺陷方面效果不佳，[0154]在该封装检测场景中，检测系统部署在厂区一号产线检测工位，主要由双模成像模块、图像处理与分析模块及评分反馈模块组成。双模成像模块同时采集芯片封装区域的可见光图像与结构光扫描深度图，图像尺寸为2048×2048像素，深度精度为0.05mm。图像配准采用基于SIFT特征点匹配与RAN