CN119166236B 虚拟场景生成方法及系统 （中国科学院自动化研究所）

号用从所述预设资源库中选择的程序化内容生成本公开可以解决难以提升生成虚拟场景的工作2所述规划智能体接收用户输入的场景生成指令，其中，所述所述规划智能体根据预设资源库中的插件注释信息，从所述述预设资源库中包括多个所述程序化内容生成插件以及与每个程序化内容生成插件对应所述执行智能体利用从所述预设资源库中选择的程序化内容生所述标注智能体通过以下方式向所述预设资源库中添加程序化内容生其中，所述结构化封装信息包括所述待添加的程序化内待添加的程序化内容生成插件的输入量和输出量以及使用所述待添加的程序化内容生成所述执行智能体从所述规划智能体接收当前子任务的任务信息，所述执行智能体根据从所述规划智能体接收的所述任务信息，从所所述助理智能体验证当前的任务计划是否正确，并且将验证结果发送件包括验证场景内容之间是否匹配和/或验证当前子任务的任务目标是否符合所述场景生3所述规划智能体响应于所述验证结果指示当前的任务计划不正确，修正所述任务计所述规划智能体响应于所述验证结果指示当前的任务计划正确，确定当前的任务计划所述执行智能体在执行当前子任务后将每个目标程序化内容生成插件的执行结果发所述评估智能体根据所述目标程序化内容生成插件的代码逻辑和基于所述执行结果所述规划智能体响应于所述评估结果指示当前子任务的执行结果满足预所述规划智能体响应于所述评估结果指示当前子任务的执行结果不满足所述预期要所述规划智能体或所述助理智能体实时展示所述任务计划的执行进的任务信息、展示当前子任务执行成功或失败和/或展示需要用户输入的执行当前子任务所述规划智能体或所述助理智能体响应于接收到用户输入的任务参所述规划智能体接收用户输入的场景生成指令，其中，所述所述规划智能体根据预设资源库中的插件注释信息，从所述述预设资源库中包括多个所述程序化内容生成插件以及与每个程序化内容生成插件对应所述执行智能体利用从所述预设资源库中选择的程序化内容生所述标注智能体通过以下方式向所述预设资源库中添加程序化内容生4其中，所述结构化封装信息包括所述待添加的程序化内待添加的程序化内容生成插件的输入量和输出量以及使用所述待添加的程序化内容生成其中，所述处理器可执行指令在被所述处理器运行时，促使所述处被至少一个处理器执行时实现根据权利要求1至5中任一项所述的虚拟5[0001]本公开涉及计算机领域和人工智能领域，尤其涉及一种虚拟场景生成方法及系述验证当前的任务计划是否正确包括：验证是否满足当前子任务的执行条件和/或验证执6场景内容之间是否匹配和/或验证当前子任务的任务目标是否符合所述场景生成指令中的述将当前子任务的任务信息发送给所述执行智能任务的任务信息中的参数，并将当前子任务的调整后的任务信息发送给所述执行智能体，和/或展示需要用户输入的执行当前子任务所需的任务参数；所述规划智能体或所述助理7所述处理器执行根据本公开的第一方面所述的虚拟场计算机可执行指令被至少一个处理器执行时实现根据本公开的第一方面所述的虚拟场景据用户输入的目标场景描述，自动化地生成目标场景，而无需用户深度参与PCG插件的选[0021]图3是根据本公开的示例性实施例的虚拟场景生成方法中执行任务计划的整体示[0023]图5是根据本公开的示例性实施例的虚拟场景生成方法中向预设资源库添加程序[0027]本申请为了使本领域普通人员更好地理解本公开的技术8[0034]根据本公开的示例性实施例的虚拟场景生成方法可以应用于用户与软件进行交行根据本公开的示例性实施例的种虚拟场景生成方法[0037]用户终端还可以利用从预设资源库中选择的程序化内容生成插件，执行任务计等)通过网络向服务器发送场景生成指令，服务器可以通过执行根据本公开的示例性实施拟场景生成方法可以执行于虚拟场景生成系统，虚拟场景生成系统可以包括多个智能体[0041]这里，虚拟场景生成系统中的每个智能体可以通过大语言模型(LargeLanguageModel，LLM)来实现，大语言模型例如可以是但不限于ChatGPT(ChatGenerativePre_9[0047]system_message＝“Youareablenderprocessdesigner.Youcompletetasksbyusingdifferentpcg.”[0049]“Thencallexecute_pcg(pcg_name)toexecutepcg.Beforeexecuting,pay[0050]llm_config＝[0054]system_message＝“Youareablenderpipelinedesigner.YouaregivenVariouspcg,andyouneed[0056]“youcanretrievelosmfilefirst”[0057]“Youneedtothinkabouteachstepfirst”[0058]“thenyoucancallget_pcg_and_run()”[0059]“Don’twriteanyformofcodeyourselfYouonlyneedtogivethePcgyouneedtouseineachstep”[0061]llm_config＝”providerenderingresultstothepl”[0067]llm_config＝llm_config,例的虚拟场景生成系统也可以具有其他结构，只要能够执行相应的虚拟场景生成方法即望加入到场景中的数据一并提供给虚拟场景生成系统，以引导系统更好地理解用户的描[0083]PCG插件可以是指通过预定算法或规则创建内容的过程。不同的插件可以实现不同的功能，这些功能包括但不限于对象创建(ObjectCreation)、资产管理(AssetManagement)、大场景布局生成(LargeSceneLayoutGeneration)、场景设置(Scene景生成任务过程使用。加的程序化内容生成插件的输入量和输出量以及使用待添加的程序化内容生成插件的限[0093]结构化封装模板中的自定义内容例如可以包括但不限于程序化内容生成插件的编译所有API的输入格式和输出格式，并且定义覆盖所有输入格式和所有输出格式的动态API转换接口。动态API转换接口解决了现有PCGAPI缺乏统一通信协议的问题，确保不同检索：可以利用预训练的CLIP(ContrastiveLanguage_ImagePre_training)模型将从插[0102]在该步骤中，标注智能体210可以将分类标签和结构化封装信息共同作为对插件[0106]“input”:“thenameoftheobjectbeingplacedandThenameofthe”objecttosupport.,”能体230从规划智能体220接收当前子任务的任务信息；执行智能体230根据从规划智能体[0121]执行智能体230可以负责管理所有PCG插件，利用标注的PCG插件处理3D设计软件[0122]执行智能体230可以根据规划智能体220提供的参数从PCG平台中选择合适的PCG插件的执行结果和相关资源将被记录和传递至后文将描述的评估智能体250进行综合评[0129]助理智能体240可以验证当前的任务计划是否正确，并且将验证结果发送给规划以包括验证场景内容之间是否匹配和/或验证当前子任务的任务目标是否符合场景生成指[0133]例如，在任务验证阶段，助理智能体240可以对当前要执行的子任务本身进行验后，助理智能体240可以告知规划智能体220进行参数生成并且传递给执行智能体230。而[0134]助理智能体240在任务开始前对每个子任务进行验证，确保执行条件的满足性和以包括：执行智能体230在执行当前子任务后将每个目标程序化内容生成插件的执行结果发送到评估智能体；评估智能体250根据目标程序化内容生成插件的代码逻辑和基于执行[0140]作为示例，对于代码逻辑，评估智能体250可以从诸如Python语言程序中读取代智能体250可以评估当前执行结果在代码逻辑以及视觉效果上是否合理，并且可以将评估或下一个子任务的任务信息、展示当前子任务执行成功或失败和/或展示需要用户输入的的多轮交互和视觉反馈，解决了诸如Blender的3D设计软件中可控元素层级结构复杂的问型3D虚拟场景的可控程序化内容生成方法，其可以基于PCG管理协议和多智能体框架两大[0151]通过实验验证表明，根据本公开的实施例的虚拟场景生成方法能够利用包括OSM[0154]规划智能体710根据预设资源库中的插件注释信息，从预设资源库中选择用于生满足当前子任务的执行条件包括验证场景内容之间是否匹配和/或验证当前子任务的任务目标是否符合场景生成指令中的描述；规划智能体710响应于验证结果指示当前的任务计以执行将当前子任务的任务信息发送给执行智能程序化内容生成插件的代码逻辑和基于执行结果得到的视觉效果，对执行结果进行评估，务信息、展示当前子任务执行成功或失败和/或展示需要用户