CN119494904A 用于确定机器学习函数的方法、程序、存储介质和系统 （达索系统公司）

本公开特别涉及一种用于确定机器学习函置用于拍摄输入3D场景并且用于输出一个或多配置用于输出相机位置的第一神经网络的第一括基于所述第一数据集来训练所述第一神经网络以及基于所述第二数据集来训练所述第二神于输出3D场景的一个或多个相机视点的改进的2O形成(S20)用于训练第一神经网络的第一数据集，所述第一神经网络被配置用于获O形成(S30)用于训练第二神经网络的第二数据集，所述第二神经网络被配置用于获●基于所述第一数据集训练(S40)所述第一神经网络，并基于所述第二数据集训练所由所述机器学习函数输出的每个相机视点包括与所述第一神经网络输出的信息对应2.根据权利要求1所述的方法，其中，对于每个3●对于所述3D场景的每个相机视点，确定(S22)所述相机视点的相机位置与最接近的所述第一神经网络被配置为进一步将所述3D场景中的起始位置作为输入4.根据权利要求2或3所述的方法，其中，每组所述起始位9.根据权利要求1至8中任一项所述的方法，其中，所所述第一神经网络具有包括图形神经网络GNN模型和多层感知器MLP3所述第二神经网络具有包括图形神经网络GNN模型和多层感知器MLMLP模型将所述GNN模型的输出与所述第一神经网络输出的相机位置的坐标的级联作为输从通过将所述第一神经网络和所述第二神经网络应用于在所述输入3D场景的平面图对于每个相机视点，确定在从所述相机视点生成的2D渲染中可见的选择一个或多个所确定的相机视点，使得在从一个或多个所选择的相机个或多个2D渲染中可见的所述3D对象表示存在于所述3D场景中的所有3D对象的至少预定15.一种包括耦接到存储器的处理器的系统，所述存储器上记录有权利要求13所述的4推断最大化某些度量(诸如对象的从推断的视点可见的网格的面的数量)的视点来加速单对象为中心的球体上的坐标来确定找到的视点上的坐标)，但是出于明显的原因(搜索空间的5.EnablingViewpointLearningthroughDynamicLabelGeneration.InComputerGraphicsForum(Vol.40,[0012][2]Talebi,H.,&Milanfar,P.(2018).NIMA:Neuralimageassessment.IEEEtransactionsonimageponx_transformedpoints.Advancesinneuralinformationprocessi(2019).Planit:Planningandinstantiatingindoorsceneswithrelationgraph[0015][5]Corso,G.,Cavalleri,L.,Beaini,D.,Liò,P.,&P.(2020).Principalneighbourhoodaggregationforgraphnets.AdvancesinNeuralInformationProcessingSystems,33,13260_13271.(2021).Atiss:Autoregressivetransformersforindoorscenesynthesis.AdvainNeuralInformationProcessingSystems,34,12013_12026.[0017][7]Vaswani,A.,Shazeer,N.,Parmar,N.,Uszkoreit,J.,Jones,L.,Gomez,A.N.,&Polosukhin,I.(2017).Attentionisallyouneed.Advancesinneuralinformationprocessingsystems,30.P.,&Ropinski,T.(2022,September).LearningHumanViewpointPreferencesfromSparselyAnnotatedModels.InComputerGraphicsForum(Vol.4tolook:Data_drivenviewpointsetselectionfor3dscenes.arXivpreprint6arXiv:1704.02393.[0020][10]Roberts,M.,Ramapuram,J.,Ranjan,A.,Kumar,A.,BautistN.,&Susskind,J.M.(2021).Hypersim:Aphotorealisticsyntheticdatasetforholisticindoorsceneunderstanding.InProceedingsoftheIEEE/CVF[0021][11]Zhang,Y.,Song,S.,Yumer,E.,Savva,M.,Lee,J.Y.,Jin,H.,&Funkhouser,T.(2017).Physically一basedrenderingforindoorsceneunderstandingusingconvolutionalneuralnetworks.InProceedingsoftheIEEEconferenceon[0022]在此背景下，仍然需要用于输出3D场景的一个或多个相机视点的改进的解决方每个相机视点包括与第一神经网络输出的信息对应的相机位置和与第二神经网络输出的[0028]所述第一神经网络被配置为进一步将所述3D场[0030]每组所述起始位置基本上彼此等距。所述起始位置之间的距离对于每个3D场景[0031]每组所述起始位置被分布以在所述3D场景的平面[0033]所述第一输入表示和/或所述第二输入表示包括所述3D场景的3D对象的一组几7根据一个或多个相互布置关系的预定集合中的相互布[0035]所述一个或多个相互布置关系的预定集合包括邻接关系、邻近关系、距离关系[0036]所述第二神经网络还将由所述第一神经网络[0037]所述第一神经网络具有包括图形神经网络(G[0039]所述第二神经网络具有包括图形神经网络(G[0041]所述机器学习函数包括后处理块。所述后处理块被配置为在通过将所述第一神经网络和所述第二神经网络应用于在所述输入3D场景的平面图上规则地分布的一组起始位置中的每个起始位置而确定的一组相机视点中选择所输出的一个或多个相机视点；和/或点生成的一个或多个2D渲染中可见的所述3D对象表示存在于所述3D场景中的所有3D对象8基于所述库形成S20用于训练第一神经网络的第一数据集，所述第一神经网络被配置用于配置用于获取3D场景的第二输入表示并且用于输出与3D场景中的相机朝向相对应的信息。应的相机位置和与由第二神经网络输出的信息对应的相[0063]此外，考虑相机位置的第一神经网络和相机朝向的第二神经网络是特别相关外，考虑每个参数的特定神经网络是每个神经网络的专门化与训练难度之间的良好折衷。9所需的用户计算机交互的级别可取决于预见的自动的级别，并且与实现用户愿望的需要述系统可以包括耦接到存储器和图形用户界面(GUI)的处理器；所述存储器上记录有计算[0068]CAD系统另外意指至少适于基于建模对象(诸如CATIA)的图形表示来设计建模对特征的创建历史通常通过经由输入和输出链接将所述几何特征链接在一起的非循环数据或多个家具对象和/或一个或多个装饰对象。本文的任何家具对象可以在放置它们的房间括将所生成的一个或多个相机视点记录在例如用户可在线访问的数过程中，或者替代地可以在虚拟访问过程之前执行(过程生成的一个或多个相机视点来执行)。虚拟访问过程可以包括基于所生成的一个或多实对象可具有位于输入3D场景内的相应对象(表示新的真实对象，即，真实对象的虚拟模应对象定位在输入3D场景内的步骤(例如，使用包括新对象的虚拟表示的虚拟目录或通过从头开始创建表示每个新对象的相应对象)。表示新的真实对象的相应对象可在所生成的实房间设计过程可以包括根据所提供的3D场景(即，从头开始并且通过将对象放置在所提括提供对数据库中的3D场景库的访问。所述方法可以使于3D场景的每个相机视点的相机位置的信息相关联(每个关联对应于第一数据集的相应训之间定义的偏移向量。3D场景可以包括平面图和规则地分布在该平面图上的一组起始位对应于3D场景的每个相机视点的相机朝向的信息相关联(每个关联对应于第二数据集的相首先形成第一数据集时，可以基于已经形成的第一数据集执行第二数据集的形成S30。例如，第二数据集的形成S30可以包括向第一数据集的每个训练样本添加与由训练样本表示[0083]相机朝向可以是相机在3D场景空间中指向的方向的描述。可相对于参考坐标系度值表示由相机指向的方向与参考坐标系的相应向量之间况下，第二数据集的每个训练样本还可以包括与相练样本可以包括与对应于相机朝向和相机位置的信息相关联的输成S30，并且第一数据集的形成S20可以包括提取第二数据集的对应于第一数据集的部分确定S22偏移向量可包括确定偏移向量在参考坐标系中的坐标(每个坐标表示相机视点与对相机视点的推断。实际上，起始位置的组允许局部模式和去情境学习的分离[0089]3D场景的任何输入表示可以包括3D场景的(例如，所有)3D对象的一组几何特空间上的体素的规则网格。每个体素可包括关于在由体素界定的区域中存在对象的信息括确定3D场景的图形。确定图形可包括根据3D场景的对象确定图形的每个节点和每个弧。图的每个节点可包括对于节点在图中表示的3D场景的对象确定的定位、朝向和/或尺寸信集和第二数据集和/或所确定的机器学习函数(包括经训练的第一神经网络和第二神经网输出的相机视点提供给客户端计算机，该客户端计算机提供输入3D场景(或例如也由服务包括这些新创建的3D场景(例如，通过将新创建的3D场景及其相应的相机视点添加到第一[0098]所述方法可以包括训练神经网络(训练阶段)以从具有一些(很少)3D视点注释的置的最接近的合理相机位置，并且存储从合理相机位置到地面实况视点位置的偏移向量。数据集中的给定每个3D房间和对应初始相机位置的正确偏移向量。训练S40还包括可选地将由第一经训练神经网络针对合理相机位置组中的每个相机位置推断的偏移向量应用于[0101]所述方法允许训练用于自动推断可链接在一起以构建给定3D房间的虚拟访问的平移应用于起始位置与该3D房间的数据集的视点位向推断模型)将数据集的3D房间和从数据集的用于该3D房间的视点位置的相机位置作为输阶段S120包括可选地应用后处理步骤以保持确保3D房间在对应渲染中的特定覆盖并借助可对应于该对3D房间表示和该对3D房间现有技术参考文献的列表，这可以根据参考文献[3]的教导来执行。在此实施方[0121]让我们定义x0,y0,z0,x1,y1,z1为房间沿着每个轴的最小和最大坐标以及v=(x1_x0)+(y1_y0)+(z1_z0)为3D房间的体积。所述方法可包括用以下公式归一化每个对象包括过滤定义的规则2D网格的顶点以仅保持在房间的3D空间内的顶点(在此示例中由平面机位置)并从过滤后保留的网格的顶点中搜索最接方法包括基于图3所示的PNAConv块创建唯一网络以获过连接机制。在每个非最终层输出上应用ReLU激活。最后输出层的激活函数是f(x)=推断表示偏移向量的三维向量和表示输入位置的三维向义嵌入。然后，将该嵌入与所考虑的相机位置的3个坐标级联并馈送到多层感知器模型络和从该高级表示推断表示朝向向量的三维向量和表示输入位置的三维向量的第二神经将第一神经网络和第二神经网络应用于在输入3D场景的平面图上规则地分布的一组起始使用经训练的位置推断模型(第一神经网络)来针对所计算的组中的每个起始位置推断最推断步骤S122通过将经训练的朝向推断模型(第二神经网络)应用于最终位置来推断朝向述方法通过将第一神经网络和第二神经网络应用于在输入3D场景的平面图上规则地分布的一组起始位置中的每个起始位置来获得该一神经网络和第二神经网络应用于在输入3D场景的平面图上规则地分布的一组起始位置中的每个起始位置而确定的一组相机视点中选择输出的一个或多从一个或多个所选择的相机视点生成的一个或多个2D渲染中可见的3D对象表示存在于3D在选择呈现可以从推断视点组获得的最佳覆盖的最小数量的视点。下面讨论覆盖的定义。括用于存储针对每个视点看到的对象组以及用于存储有列表并选择包含相对于从所选视点的组可见的对象列表的最大数量的未看到对象的一[0155]使用以下度量分析结果：称为相对覆盖率的第一度量和称为总覆盖率的第二度平均总覆盖率为0.74。图4至图8示出了从由函数(推断步骤)推断的相机视点获得的2D渲出在此第一示例中使用的第一起居室，并且图5示出了从由该第一起居室的函数推断的三卧室的函数推断的三个相机视点获得的三个2D渲染。图8示出在该第二示例中使用的第二据集和/或第二数据集可包括具有高于10和/或低于50的每个场景的对象的平均数量(例