CN119416330A 基于大语言模型的开放域室内场景层级生成方法及系统 （山东省工业技术研究院）

基于大语言模型的开放域室内场景层级生及一种基于大语言模型的开放域室内场景层级根据用户需求及分层场景结构的定义构造提示对位置推理模块进一步推断具有文本空间关系2定义场景结构为三级层次结构，第一层是代表整个场景的根训练细粒度相对位置推理网络，推断具有空间关系设计分治布局优化策略，从具有细粒度相对位置的分层场景表示中2.根据权利要求1所述的一种基于大语言模型的开放域室内场景层级生成方法，其特c,、对应的三维模型M,以及物体定向边界框的大小s.、中心位置po、方向o,，即3.根据权利要求1所述的一种基于大语言模型的开放域室内场景层级生成方法，其特4.根据权利要求1所述的一种基于大语言模型的开放域室内场景层级生成方法，其特征在于，构建细粒度相对位置推理网络过程包括：根据分层场景结构，构造输入图G=(0,B)35.根据权利要求4所述的一种基于大语言模型的开放域室内场景层级生成方法，其特。6.根据权利要求5所述的一种基于大语言模型的开放域室内场景层级生成方法，其特,其中，和表示第k轮信息传递时节点嵌入，表示第k轮信息传递时边嵌入；7.根据权利要求1所述的一种基于大语言模型的开放域室内场景层级生成方法，其特,其中，LXC是边缘特征分量的高斯分布和后验分布之间的Kullback_Leibler散度，Lev是相对位置上的L1损失，LO和Lea是离散相对方向角和对齐的二进制指示符的交8.根据权利要求1所述的一种基于大语言模型的开放域室内场景层级生成方法，其特9.根据权利要求8所述的一种基于大语言模型的开放域室内场景层级生成方法，其特4,全局优化具体为：组织局部优化的区域以形成场景，每个功能区域,细粒度相对位置推理模块，被配置为：推断具有分治布局优化模块，被配置为：从具有细粒度相对位置的分5第一方面，本发明提供了一种基于大语言模型的开放域室内场景层级生成方法，用简单文本短语表示物体间的关系；根据用户需求及场景结构的定义构造提示词作为输训练细粒度相对位置推理网络，推断具有空间关系的物体之间的细粒度相对位设计分治布局优化策略，从具有细粒度相对位置的分层场景表示中优化场景布6平面图，根节点r包括大小属性sr和场景的文本描述t,，即r=ft,s，其中s:是一个二维坐标；此外，成对的空间关系e存储粗略的文本描述te以及细粒度的相对位置坐标pe首先是为LLM分配一个角色和任务描述，包括对节点含义及其连接的层次结构的结构，构造输入图G=(0,B，其中，表示物体节点的集合，。7,,其中，是边缘特征分量的高斯分布和后验分布之间的Kullback_Leibler散lo和Lea是离散相对方向角和对齐的二进制指示符的,8,TextEncoder得到的向量计算两者之[0017]第二方面，本发明提供了一种基于大语言模型的开放域室内场景层级生成系统,9[0020]图1为本发明实施例1中一种基于大语言模型的开放域室内场景层级生成方法示结构图b）为基础方法的输出结果c）为加入细粒度相对位置推理网络后的输出结果，图6为本发明实施例1中开放域室内场景生成任务的不同结果展示a）为同一需图8为本发明实施例2中一种基于大语言模型的开放域室内场景层级生成框架示[0026]尽管现有的工作定义了物体之间的密集关系来描述布局，但由于LLM的空间推理地指定它们的排列。[0028]分层场景结构中的每个节点都包含属性的定义。假设场根节点r包括大小属性s,和场景的文本描述t,，即r=ft,s}，其中，是一个二维向量，e=fton,0.}。节点嵌入h,和边嵌入hs是：。,,其中，是边缘特征分量的高斯分布和后验分布之间的Kullback_Liebler散,标和方向。REL(-)表示计算两个物体之间的相对位置，是网络预测的物体,分从Objaverse和3D_Front数据集中检索三维物体模型，即根据物体图像经过CLIPImageEncoder得到的向量和文本嵌入经过CLIPTextEncoder得到的向量计算两者之间的余弦[0041]应理解地，直接输出数值布局的方法是要求LLM可以利用原始知识和示例集直接[0042]应理解地，间接输出空间关系描述的方法旨在使用LLM生成文本场景描述并将其们以构建场景。HOLODECK和AnyHome要求LLM通过从一组预定义的原子关系中选择来描述[0043]为了验证算法的有效性，本发明在3D_Front数据集进行了比较实验和消融研真实场景的相对位置分布与生成的场景之间的平均KL_dive[0045]对于所有LLM辅助方法，使用GPT_4进行评估。设置Adam优化器以500个方法，即ATISS和DiffuScene，以及LLM辅助室内场景合成的方法，即LayoutGPT和本发明使用具有稀疏关系的分层场景结构以及神经网络来推断细粒度的相对位置。表2报与LLM生成的空间关系相匹配的百分比；#Obj.计算生成场景中的物体与LLM指定的物体相该调查评估了不同方法生成的场景质量。该调查向30名参与者展示了25个生成[0053]表3显示本发明的结果在场景有效性、物理可行性和布局合理性方面都获得了最如图8所示，本实施例提供了一种基于大语言模型的开放域室内场景层级生成系述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系