CN119452394A 用于检测邻间空间的方法和装置 （阿莱恩技术有限公司）

2024.12.30PCT/US2023/0665212023.05.02WO2023/215767EN2023.11.09公开了一种用于细化三维(3D)模型的装置中标识的3D模型中的两个或更多个对象周围或两个或更多个对象之间的空间的边缘边界来细2使用从所述对象牙列的多个二维(2D)图像中标识的所述3D模型中的一颗或多颗牙齿输出所述细化的3D模型和/或与所述细化的3D模根据针对所述多个2D图像的标识的所述边缘边界来生成所述3D模型的潜在的新表面述空间周围的所述边缘边界中的一个或多个边缘边界内牙齿之间的所述空间的边缘边界包括：对于所述多个2D图像的至少一个子集中的每个子将标识的所述边缘边界映射到所述3D模型，并确定在上的多个点与所述相机在捕获所述对象牙列的2D图像期间相对于所述对象牙列的表面的在每条射线进入并离开所述3D模型的表面的位置处的所述3D模型的表面上的点之间3接收或生成作为所述对象牙列的同一扫描的一部分而被拍摄的与所述3D模型相对应使用从所述对象牙列的所述多个2D图像中标识的所述3D模型中的一颗或多颗牙齿周输出所述细化的3D模型和/或与所述细化的3D模接收或生成作为所述对象牙列的同一扫描的一部分而被拍摄的与所述3D模型相对应通过以下步骤根据所述对象牙列的所述3D模型生成细化的使用经训练的神经网络从所述对象牙列的2D图像中标识一颗或多颗牙齿周围或一颗通过将标识的所述边缘边界映射到所述3D模型，并在所述边缘边在捕获所述对象牙列的所述2D图像期间相对于所述对象牙列的表面的位置之间投射射线，使用与所述2D图像相对应的相机位置根据标识的所述边缘边界来生成所述细化的3D模型重复从2D图像中标识所述空间周围的所述边缘边界并且根据针对从不同位置拍摄的及从所述细化的3D模型中移除落在来自所述2D图像的所述空间周围的所述边缘边界中输出所述细化的3D模型和/或与所述细化的3D模接收或生成与所述3D模型相对应的所述对象牙列的多个使用从所述对象牙列的所述多个2D图像中标识的所述3D模型中的一颗或多颗牙齿周围或一颗或多颗牙齿之间的空间的边缘边界来细化所述3D模型，从而生成细化的3D模型；4根据针对所述多个2D图像的标识的所述边缘边界来生成所述3D模型的潜在的新表面中移除落在来自所述2D图像的所述空间周围的所述边缘边界中的一个或多个边缘边界内或所述一颗或多颗牙齿之间的所述空间的所述边缘边界使得所述系统能够针对所述多个列的所述2D图像中的每个2D图像的一颗或多颗牙齿周围或一颗或多颗牙齿之间的空间的成所述3D模型的潜在的新表面点使得所述系统能够使用与所述多个2D图像中的每个2D图将标识的所述边缘边界映射到所述3D模型，并确定在上的多个点与所述相机在捕获所述对象牙列的所述2D图像期间相对于所述对象牙列的表在每条射线进入并离开所述3D模型的表面的位置处的所述3D模型的表面上的点之间29.根据权利要求28所述的系统，其中，输出的所述信息包括两颗牙齿是否接触的指5接收或生成作为所述对象牙列的同一扫描的一部分而被拍摄的与所述3D模型相对应使用从所述对象牙列的所述多个2D图像中标识的所述3D模型中的一颗或多颗牙齿周围或一颗或多颗牙齿之间的空间的边缘边界来细化所述3D模型，从而生成细化的3D模型，且根据针对所述多个2D图像的标识的所述边缘边界来生成所述3D模型的潜在的新表面点；接收或生成所述对象牙列的三维(3D)模型，其中，所述3D模型基于所接收或生成作为所述对象牙列的同一扫描的一部分而被拍摄的与所述3D模型相对应使用机器学习从所述对象牙列的2D图像中标识一颗或多颗牙齿周围或一颗或多颗牙通过将标识的所述边缘边界映射到所述3D模型并确定在所述边缘边界上的多个点与相机在捕获所述对象牙列的2D图像期间相对于所述对象牙列的表面的位置之间形成的射重复从2D图像中标识所述空间周围的所述边缘边界并且根据针对从不同位置拍摄的从所述3D模型中移除落在来自所述2D图像的所述空间周围的所述边缘边界中的一个38.一种包括指令的非暂态计算机可读存储介质，当所述指令由设备的一个或多个处6接收或生成与所述3D模型相对应的所述对象牙列的多个使用从所述对象牙列的所述多个2D图像中标识的所述3D模型中的一颗或多颗牙齿周围或一颗或多颗牙齿之间的空间的边缘边界来细化所述3D模型，从而生成细化的3D模型；39.一种包括指令的非暂态计算机可读存储介质，当所述指令由设备的一个或多个处接收或生成作为所述对象牙列的同一扫描的一部分而被拍摄的与所述3D模型相对应使用从所述对象牙列的所述多个2D图像中标识的所述3D模型中的一颗或多颗牙齿周围或一颗或多颗牙齿之间的空间的边缘边界来细化所述3D模型，从而生成细化的3D模型，其中，细化所述3D模型包括从所述对象牙列的所述2D图像中标识所述空间周围的边缘边40.一种包括指令的非暂态计算机可读存储介质，当所述指令由设备的一个或多个处接收或生成作为所述对象牙列的同一扫描的一部分而被拍摄的与所述3D模型相对应使用机器学习从所述对象牙列的2D图像中标识一颗或多颗牙齿周围或一颗或多颗牙通过将标识的所述边缘边界映射到所述3D模型并确定在所述边缘边界上的多个点与相机在捕获所述对象牙列的所述2D图像期间相对于所述对象牙列的表面的位置之间形成型表面上的点之间生成所述3D模型的一个重复从2D图像中标识所述空间周围的所述边缘边界并且根据针对从不同位置拍摄的从所述3D模型中移除落在来自所述2D图像的所述空间周围的所述边缘边界中的一个根据所述3D信息生成所述对象牙列的表面7从捕获的所述2D图像中标识所述表面的边缘信息，其中，所述边缘信息使用从捕获的所述2D图像中标识的所述表面的所述边缘信43.根据权利要求41所述的方法，其中，输出的所述信息包括两颗牙齿是否接触的指通过将结构光图案投射到对象牙列的表面上并利用一个或多个相机捕获投射的结构使用对应算法或三角测量算法根据所述3D信息生成所述对象牙列的表根据所述结构光图案在牙齿中的渗透，从来自所述一个或多个相使用从捕获的各个2D图像中标识的所述表面的所述边缘信息来细化所生成的所述3D根据所述3D信息生成所述对象牙列的表面从捕获的所述2D图像中标识所述表面的边缘信息，其中，所述边缘信息8使用从捕获的所述2D图像中标识的所述表面的所述边缘信息来细化所生成的3D模型，54.根据权利要求52所述的系统，其中，输出的所述信息包括两颗牙齿是否接触的指通过将结构光图案投射到对象牙列的表面上并利用一个或多个相机捕获投射的结构使用对应算法或三角测量算法根据所述3D信息生成所述对象牙列的表从来自所述一个或多个相机的捕获的所述二维(2D)图像中标识所述表面的至少部分使用从捕获的各个2D图像中标识的所述表面的所述边缘信息来细化生成的所述3D模63.一种包括指令的非暂态计算机可读存储介质，当所述指令由设备的一个或多个处根据所述3D信息生成所述对象牙列的表面从捕获的所述2D图像中标识所述表面的边缘信息，其中，所述边缘信息使用从捕获的所述2D图像中标识的所述表面的所述边缘信息来细化生成的所述3D模964.一种包括指令的非暂态计算机可读存储介质，当所述指令由设备的一个或多个处通过将结构光图案投射到对象牙列的表面上并利用一个或多个相机捕获投射的结构使用对应算法或三角测量算法根据所述3D信息生成所述对象牙列的表根据所述结构光图案在牙齿中的渗透，从来自所述一个或多个相使用从捕获的各个2D图像中标识的所述表面的所述边缘信息来细化所生成的所述3D联的投射数据可以用于确定牙列内可能难以[0008]如本文所用，患者牙列的数字模型在本文中可等效地称为患者牙列的数字3D模何方法和装置可以包括使用经训练的神经网络来标识邻间区域。在邻间空间被定位之后，本文所述的方法和装置可以移除与邻间空间相关联的点云数据以细化3从与该3D模型相对应的对象牙列的多个二维(2D)图像中标识的3D模型中的一颗或多颗牙齿周围或一颗或多颗牙齿之间的空间的边缘边界来细化该3D模型，从而生成细化的3D模空间周围的一个或多个边缘边界内的新表面点的至少可以在与射线垂直且与标识的空间的切线垂直的方向上具有相关[0016]在一些示例中，用于细化一个或多个3D模型的方法可以包括向分割模块输出信法还可以包括使用从对象牙列的多个2D图像中标识的3D模型的一颗或多颗牙齿周围或一每条射线进入并离开3D模型表面的位置处的3D模型表面上的点之间生成3D模型的一个或[0021]在一些示例中，对象牙列的表面可以包括对象牙列的两述的方法和装置不限于使用结构光，而是可以与其他成像图像(可以从3D扫描数据中获得)中标识表面的至少一些边缘信息，例如根据渗透和杂散多颗牙齿周围或一颗或多颗牙齿之间的空间的边缘边界可以使得系统能够针对多个2D图行可以使得系统能够对每个所标识的边界的边缘进行平边界上的多个点与相机在捕获对象牙列的2D图像期间相机相对于对象牙列的表面的位置示例中的任何一个中，结构光图像本身可以代替2D图像与本文所述的方法和装置一起使使用如本文所述的2D图像来替代结构光图像或除了2D图像[0031]在一些示例中，系统可以包括一个或多个处理器和被配标识的3D模型中的一颗或多颗牙齿周围或一颗或多颗牙齿之间的空间的边缘边界来细化围的边缘边界，并根据多个2D图像的所标识的边缘边界来生成3D模型的潜在的新表面点，器，当所述指令由一个或多个处理器执行时使得系统能够：接收或生成对象牙列的三维并确定在边缘边界上的多个点与相机在捕获对象牙列的2D图像期间相机相对于对象牙列且根据针对从不同位置拍摄的多个2D图像标识的边缘边界来生成3D模型的潜在的新表面[0033]在一些示例中，系统可以包括一个或多个处理器和被配被拍摄的与3D模型对应的对象牙列的多个二维(2D)图像；细化3D模型以生成细化的3D模并确定在边缘边界上的多个点与相机在捕获对象牙列的2D图像期间相机相对于对象牙列且根据针对从不同位置拍摄的多个2D图像标识的边缘边界来生成3D模型的潜在的新表面上并利用一个或多个相机捕获投射的结构光图案来捕获对象牙列的表面的三维(3D)信息，到牙齿中的渗透从来自一个或多个相机的捕获的二维(2D)图像中标识表面的至少一些边颗或多颗牙齿周围或一颗或多颗牙齿之间的空间的边缘边界来细化3D模型从而生成细化包括从3D模型中移除落在来自2D图像的空间周围的一个或多个边缘边界内的新表面点的可以使得设备能够使用与多个2D图像中的每个2D图像相对应的点可以在与射线垂直且与标识空间的切线垂直的方向上具有相多个处理器执行时可以使设备能够执行操作，该操作包括：接收或生成对象牙列的三维图像中标识的3D模型中的一颗或多颗牙齿周围或一颗或多颗牙齿之间的空间的边缘边界中标识一颗或多颗牙齿周围或一颗或多颗牙齿之间的空间周围的边缘边界从而标识所述标识的边缘边界映射到3D模型并确定在边缘边界上的多个点与相机在捕获对象牙列的2D像中标识空间周围的边缘边界以及根据针对从不同位置拍摄的多个2D图像标识的边缘边[0047]在一些示例中，对象牙列的表面可以包括对象牙列的两[0053]生成细化的3D模型可以包括：从对象牙列的2D图像中标识空[0054]这些方法中的任何一种方法可以包括从3D模型中移除落在来自2D图像的空间周或多颗牙齿之间的空间的边缘边界包括：对于多个2D图像的至少一个子集中的每个子集，使用经训练的神经网络从该子集中对象牙列的每个2D图像中标识一颗或多颗牙齿周围或[0056]根据标识的边缘边界来生成3D模型的潜在的新表面点可以包括使用与多个2D图界上的多个点与相机在捕获对象牙列的2D图像期间相对于对象牙列的表面的位置之间投不同位置拍摄的多个2D图像标识的边缘边界来生成细化的3D模型的潜在的新表面点的步[0069]图4是示出了用于基于如图3中提到的二维(2D)图像来细化初步3D模型的示例性[0070]图5是示出了用于基于图4中提到的标识的边缘边界来生成3D模型的新的表面点[0075]图8示出了示例细化的3D模型，该细化的3D模型可以是图3_7中描述的操作的结设备120可以使用多个光源和传感器同时捕获患(例如由图像捕获设备120收集的图像数据)和可以由处理节点110确定(计算)的3D模型数过一个或多个图像捕获设备120捕获的图像数据。数据存储设备140还可以存储3D模型数[0084]数据存储设备140还可以包括非暂态计算机可读存储介质，其可以存储可以由处图像捕获设备120的图像数据和生成患者牙齿的3[0085]本文所述的方法可以由诸如图1所示的装置100来执行，或者可以使用由诸如图1齿之间的间隙和/或重叠区域，这些间隙和/或重叠区域会影响患者提供牙科治疗(包括正[0087]图2A示出了包括邻间空间201的对象牙列200的一部分的邻间空间清楚地显示了与邻间空间201相邻的牙齿是分开的。图2B示出了牙列的同一区域[0091]多个2D图像可以来自颊、舌和/或咬合方向。2D图像可以基于任何适当的成像模3D模型相关联的信息。例如，可以在显示设备130上渲染和显示细化的3D模型以供用户查[0095]图4示出了用于如至少在图3的框306中提到的基于2D图像来细化初步3D模型的方模型生成装置100可以使用机器学习(ML)训练模型来帮助标识边缘边界。该边界可被分成示例中，在边缘边界被标识之后，3D模型生成装置100可以对标识的边缘边界进行平滑处[0099]可以沿着射线找到新的表面点，该射线可以与来自框402的标识的边缘边界相关[0101]例如，图5示出了用于如至少在图4的框404中提到的基于标识的边缘边界来生成3D模型的新的表面点的方法500。3D模型生成装置100可以在502确定用于生成一个或多个2D图像的相机的位置。2D图像可包括与图3的框304相关的接收或生成的对象牙列的2D图像。相机位置的确定可以通过3D数据和/或根据用于生成一个或多个2D图像的相机内包括[0103]3D模型生成装置100可以在506在射线进入并离开3D模型的点之间确定3D模型的[0104]3D模型生成装置100然后可以在508确定与垂直于射线的方向上的法向量相关联[0107]例如，针对每个2D图像，可以通过插值3D捕获的位置和/或通过插值位置并添加于在3D模型600的两颗牙齿之间插入和定[0111]图7B示出了与图7A中相同的对象的3D模型700的平面图的另一示例，示出了第二以从构成3D模型700的点云中移除与射线730相关联的点740。移除这些点有助于在3D模型用3D泊松重建模型发现的每条射线相交的位置来移除点。由于模型(一般来说)是不透水如，可以针对包括标识的邻间区域视图的任意数量的2D图像重复上述步骤(生成射线和添[0117]耦合到处理器930的设备接口920可以用于与任何可行的输入和/或输出设备对[0118]图像捕获设备950和设备接口920之间以及显示设备960和设备接口之间的耦合可[0119]也耦合到存储器940的处理器930可以是能够执行存储在设备900中(诸如在存储器940内)的一个或多个软件程序的脚本或指令的任何一个或据接口(未示出)接收2D图像数据。2D图像数据9[0122]存储器940还可以包括可以存储3D模型细化软件模块946的非暂态计算机可读存型细化软件模块946包括程序指令，当由处理器930执行时，可以使设备900执行相应的功[0123]处理器930可以执行3D模型细化软件模块946来确定患者的一个或多个身体位置块946的执行可以确定与相机相关联的一条或多条射线。射线可以与3D模型相交并且与3D模型的牙齿相切。3D模型细化软件模块946的执行移除了3D模型中可能与和3D模型相交并且与牙齿表面相切的射线相关联的部分。因此，处理器930可以执行3D模型细化软件模块[0127]本文描述和/或说明的工艺参数和步骤顺序仅作为示例给出，并且可以根据需要一定需要以所说明或讨论的顺序执行。本文描述和/或说明的各种示例性方法还可以省略有存储非暂态计算机可读存储介质的存储器，该存储介质存储用于方法的过程的一组指[0129]虽然本文已经在全功能计算系统的语境中描述和/或说明了各种实施例，但是这[0130]如本文所述，本文描述和/或说明的计算装置和系统