CN120104009B 一种基于ai大模型的裸眼3d数字人的人机交互方法 （深圳市易快来科技股份有限公司）

(19)国家知识产权局(12)发明专利GO6N3/006(2023.事务所(特殊普通合伙)专利代理师胡仕国一种基于AI大模型的裸眼3D数字人的人机本发明公开了一种基于AI大模型的裸眼3DS1:S1:Al大模型资源加载：对训练好的Al大模型加载裸眼3D数字人运行所需的资源，构建裸眼3D数字人运行的Al大模型，裸眼3D数字人运行所需的资源包括裸眼3D数字人资源、多模态输入设备资源和用户历史交互记录S2:多模态输入信息融合：基于S1得到的多模态输入设备资源户向裸眼3D数字人发起交互请求的多模态信息，再通过Al大模型进行融合，得到用户输入表示文本意图理解，得到用户意图理解向量S4:个性化策略生成：基于裸眼3D数字人运行的Al大模型，通过S3得到的用户意图理解向量生成个性化交互策略信息文本S5:裸眼3D数字人响应生成：基于棵眼3D数字人运行的Al大模型，根文本，并将裸眼3D数字人响应内容文本通过裸眼3D排图算法，生成裸56:通过大数据分析技术，对用户接收响应内容文本后的反馈参数进行分析，根据异常分析结果进行优化，并记录优化内容传输至管理员终端2S1:AI大模型资源加载：对训练好的AI大模型加载裸眼3D数字人运行所需的资源，构建裸眼3D数字人运行的AI大模型，裸眼3D数字人运行所需的资源包括裸眼3D数字人资源、多模态输入设备资源和用户历史交互记录；S2:多模态输入信息融合：基于S1得到的多模态输入设备资源，采集用户向裸眼3D数字人发起交互请求的多模态信息，再通过AI大模型进行融合，得到用户输入表示文本；S3:AI大模型意图理解：基于S2得到的用户输入表示文本进行意图理解，得到用户意图理解向量；S4:个性化策略生成：基于裸眼3D数字人运行的AI大模型，通过S3得到的用户意图理解向量生成个性化交互策略信息文本；S5:裸眼3D数字人响应生成：基于裸眼3D数字人运行的AI大模型，根据S4生成的个性化交互策略信息文本生成相应的裸眼3D数字人响应内容文本，并将裸眼3D数字人响应内容文所述S5中生成相应的裸眼3D数字人响应内容文本，包括以下步骤：D1:首先基于裸眼3D数字人运行的AI大模型，生成裸眼3D数字人的多模态响应向量MID,MID={m₁,m₂,..m..m}=Generator(IV,PSF),Gene表示第I模态响应向量，M表示多模态响应向量的数量，IV表示意图理解向量，PSF表示个性化交互策略信息向量；然后通过跨模态同步技术，对多模态响应向量进行时间戳绑定，得到多模态响应向量时间偏差△tsyne,△tsync=Z|△tkl≤t_th,△tπ表示第I模态响应与第k模态响应之间的时间偏差，t_th表示时间偏差阈值，I<K,I∈M,K∈M;其次得到裸眼3D数字人的情感匹配度EC,EC=cos_sim(VE,VF),cos_sim表示余弦相似度函数，若EC≤0,则为0,反之为EC值，VE表示语音情感特征向量，VF表示面部情感特征向量；最后通过大数据分析技术，结合时间偏差△tsync、情感匹配度EC和单位时间内视觉伪影出现的次数，得到裸眼3D数字人的多模态响应协调指数MRCI;D2:将裸眼3D数字人的多模态响应协调指数MRCI与阈值MRCI进行对比，若MRCI≥MRCI₀,说明裸眼3D数字人的多模态响应协调良好，输出相应的裸眼3D数字人响应内容文本，并将裸眼3D数字人响应内容文本通过裸眼3D排图算法，生成裸眼3D动画显示在屏幕上；反之则触发多模态响应协调机制，直到裸眼3D数字人的多模态响应协调指数MRCI≥MRCI₀则停止；S6:通过大数据分析技术，对用户接收响应内容文本后的反馈参数进行分析，根据异常分析结果进行优化，并记录优化内容传输至管理员终端。2.根据权利要求1所述的一种基于AI大模型的裸眼3D数字人的人机交互方法，其特征在于：所述S2中得到用户输入表示文本包括：A1:首先通过多模态信息采集设备，采集用户向裸眼3D数字人发起交互请求的多模态信息数据集MID,MID=[MI1,MI…MIi…MIn],MI,表示第i种模态信息，n表示多模态信息的种类数量；然后通过多模态识别技术，对相应的多模态信息进行识别，获取多模态信息识别数据集IRD,IRD=[IR₁,IR₂….IR.….IRn],IR表示第i种模态信息识别的结果，n也表示相应的模态信息识别的结果数量。3.根据权利要求2所述的一种基于AI大模型的裸眼3D数字人的人机交互方法，其特征3在于：所述S2中得到用户输入表示文本还包括：A2:首先通过分模态向量化技术，将A1得到的各种多模态信息识别数据进行统一维度的向量化，得到多模态识别数据向量化数据集VD1,VD1=[VD₁,VD2…VD.…VDn],VD表示第i种模态向量，n也表示多模态识别数据相应的向量化数量；然后通过大数据分析技术，结合多模态信息组合数量、模态信息i与模态信息j之间的时间差，i<j,i∈n,j∈n,得到t时刻的多模态信息一致性指数MCI,将MCI与阈值MCI₀进行对比，若MCI≥MCI₀,说明多模态信息一致性良好，反之则触发多模态信息采集机制；最后得到多模态信息一致性良好的多模态识别数据向量化数据集VD2。4.根据权利要求3所述的一种基于AI大模型的裸眼3D数字人的人机交互方法，其特征在于：所述S2中得到用户输入表示文本还包括：首先通过跨模态注意力机制，根据A2得到多模态识别数据向量化数据集，结合各模态向量、各模态得分、模态专属投影矩阵和t时刻的多模态信息一致性指数MCI生成融合特征向量Efusion;然后基于裸眼3D数字人运行的AI大5.根据权利要求1所述的一种基于AI大模型的裸眼3D数字人的人机交互方法，其特征B1:首先通过BERT模型对用户输入表示文本IRTtext进行分层编码，得到文本特征向量示前序对话文本特征向量；最后基于裸眼3D数字人运行的AI大模型计算意图理解向量IV,矩阵的维度为R×2d,N表示输出意图特征的数量，2d表示输入文本特征的总维度，结合意图向量IV的最大值、最小值和平均值，得到文本意图一致性指数SICI;B2:将文本意图一致性指数SICI与阈值SICI₀进行对比，若SICI≥SICI₀,说明文本意图理解有效，输出用户意图理解向量IV;反之则触发意图理解澄清机制，直到文本意图一致性指数SICI≥SICI则停止。6.根据权利要求1所述的一种基于AI大模型的裸眼3D数字人的人机交互方法，其特征在于：所述S4中生成个性化交互策略信息文C1:首先基于用户意图理解向量，通过MLP模型，为每个用户生成个性化交互策略信息向量PSF,PSF=MLP([IV;IVhis]),IVhis表示目标意图下的历史交互意图理解向量，IV表示意图理解向量；然后结合查询矩阵、键矩阵和值矩阵，计算意图理解向量的3D空间特征向量Adisp;最后通过大数据分析技术，计算个性化交互策略信息向量PSF与目标意图下的历史交互策略信息向量余弦相似度，再结合意图理解向量的3D空间特征向量，得到个性化策略生成效能指数PEI;C2:将个性化策略生成效能指数PEI与阈值PEI。进行对比，若PEI≥PEI₀,说明个性化交互策略生成有效，输出个性化交互策略信息文本；反之则触发交互策略调整机制，直到个性化策略生成效能指数PEI≥PEI则停止。7.根据权利要求1所述的一种基于AI大模型的裸眼3D数字人的人机交互方法，其特征E1:通过大数据技术，记录用户与裸眼3D数字人交互的总交互次数N_tot和正确理解用户意图的交互次数N_cor,交互响应延迟t_del,得到裸眼3D数字人交互能力分析指标ICAI;4E2:将裸眼3D数字人交互能力分析指标ICAI与相应的阈值ICAI₀进行对比，若ICAI≥ICAI₀,说明裸眼3D数字人交互能力良好，反之则说明分析异常，根据异常分析结果进行优化，并记录优化内容传输至管理员终端。5一种基于AI大模型的裸眼3D数字人的人机交互方法技术领域[0001]本发明涉及人机交互技术领域，具体为一种基于AI大模型的裸眼3D数字人的人机交互方法。背景技术[0002]随着科技的不断发展，人机交互技术取得了显著的进步；数字人作为一种新兴的人机交互载体，能够以拟人化的形象与用户进行互动，在多个领域得到了广泛的关注和应用；裸眼3D技术无需借助特殊的眼镜等设备，用户即可直接观看到具有立体效果的数字人形象，增强了交互的沉浸感和吸引力。[0003]现有的数字人交互方法多基于规则的自然语言处理交互，通过依据预先设定的规则和语法来解析用户输入的自然语言；使用通用的交互模板与所有用户进行交互，比如无论用户兴趣、偏好如何，都以同样的话术和流程回应；在生成裸眼3D数字人的响应动作、表情和语音回复时，采用传统的计算和渲染技术等实现数字人的交互。[0004]然而，当前基于裸眼3D数字人的人机交互仍存在诸多问题：依据预先设定的规则和语法解析难以准确理解用户的真实意图，容易产生误解或无法给出准确的回应，导致语义理解不准确；使用通用的交互模板，无法根据用户的个性化特征提供定制化的交互服务，难以满足用户多样化的需求，交互缺乏个性化；在生成裸眼3D数字人的响应动作、表情以及语音回复时，由于涉及到复杂的计算和渲染过程，部分系统存在响应延迟的问题，导致交互发明内容[0005]为了克服现有技术的上述缺陷，本发明的实施例提供一种基于AI大模型的裸眼3D数字人的人机交互方法，以解决上述背景技术中提出语义理解不准确、交互缺乏个性化、实时性不足等问题。[0006]为实现上述目的，本发明提供如下技术方案：一种基于AI大模型的裸眼3D数字人[0007]S1:AI大模型资源加载：对训练好的AI大模型加载裸眼3D数字人运行所需的资源，构建裸眼3D数字人运行的AI大模型，裸眼3D数字人运行所需的资源包括裸眼3D数字人资源、多模态输入设备资源和用户历史交互记录；[0008]S2:多模态输入信息融合：基于S1得到的多模态输入设备资源，采集用户向裸眼3D数字人发起交互请求的多模态信息，再通过AI大模型进行融合，得到用户输入表示文本；[0009]S3:AI大模型意图理解：基于S2得到的用户输入表示文本进行意图理解，得到用户意图理解向量；[0010]S4:个性化策略生成：基于裸眼3D数字人运行的AI大模型，通过S3得到的用户意图理解向量生成个性化交互策略信息文本；[0011]S5:裸眼3D数字人响应生成：基于裸眼3D数字人运行的AI大模型，根据S4生成的个6性化交互策略信息文本生成相应的裸眼3D数字人响应内容文本，并将裸眼3D数字人响应内容文本通过裸眼3D排图算法，生成裸眼3D动画显示在屏幕上；[0012]S6:通过大数据分析技术，对用户接收响应内容文本后的反馈参数进行分析，根据异常分析结果进行优化，并记录优化内容传输至管理员终端。[0013]本发明的技术效果和优点：[0014]1、本发明通过各种传感器技术和识别技术，通过用户站在裸眼3D数字人设备前发起的交互请求，采集多模态交互信息并进行识别、整合，形成统一的用户输入表示，为后续的意图理解提供更全面、丰富的信息，进而更准确地确定用户的意图对象；[0015]2、本发明通过构建裸眼3D数字人运行的AI大模型，实现了多模态信息的融合交互，能够深入理解用户的意图和需求，结合用户的历史交互记录和实时情境，提供个性化的回复和服务，满足不同用户的多样化需求，使裸眼3D数字人与用户之间的交流更加自然、流[0016]3、本发明通过接收用户的反馈与对AI大模型进行优化，能够不断改进人机交互的质量；同时根据用户的新需求和偏好，更新个性化交互策略，为下一次交互提供更好的服务，进而使裸眼3D数字人的智能水平和交互能力随着时间的推移不断提升。附图说明[0017]图1为本发明的整体流程示意图。[0018]图2为本发明的方法流程示意图。具体实施方式[0019]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它[0020]请参阅图1所示，本发明提供一种基于AI大模型的裸眼3D数字人的人机交互系统，包括AI大模型资源加载模块、多模态输入融合模块、AI大模型意图理解模块、个性化交互策略生成模块、裸眼3D数字人响应生成模块以及裸眼3D数字人的人机交互反馈与优化模块。[0021]所述AI大模型资源加载模块与其余所有模块连接，多模态输入融合模块与AI大模型意图理解模块连接，个性化交互策略生成模块分别与AI大模型意图理解模块和裸眼3D数字人响应生成模块连接，裸眼3D数字人的人机交互反馈与优化模块与裸眼3D数字人响应生成模块连接。[0022]AI大模型资源加载模块：用于对训练好的AI大模型加载裸眼3D数字人运行所需的资源，构建裸眼3D数字人运行的AI大模型，裸眼3D数字人运行所需的资源包括裸眼3D数字人资源、多模态输入设备资源和用户历史交互记录；[0023]多模态输入融合模块：基于AI大模型资源加载模块得到的多模态输入设备资源，采集并融合用户向裸眼3D数字人发起交互请求的多模态信息，并将融合后的用户请求信息传输至AI大模型意图理解模块；[0024]AI大模型意图理解模块：基于裸眼3D数字人运行的AI大模型，对融合后的用户请7求信息进行意图理解，得到用户意图理解向量，并传输至个性化交互策略生成模块；[0025]个性化交互策略生成模块：基于裸眼3D数字人运行的AI大模型，通过得到的用户意图理解向量生成个性化交互策略信息文本，并传输至裸眼3D数字人响应生成模块；[0026]裸眼3D数字人响应生成模块：基于裸眼3D数字人运行的AI大模型，根据生成的个性化交互策略信息文本生成相应的裸眼3D数字人响应内容文本，并传输至裸眼3D数字人的人机交互反馈与优化模块；[0027]裸眼3D数字人的人机交互与优化模块：通过大数据分析技术，对用户接收响应内容文本后的反馈参数进行分析，根据异常分析结果进行优化，并记录优化内容传输至管理大模型资源加载：对训练好的AI大模型加载裸眼3D数字人运行所需的资源，构建裸眼3D数字人运行的AI大模型、S2:多模态输入信息融合：基于S1得到的多模态输入设备资源，采集用户向裸眼3D数字人发起交互请求的多模态信息，再通过AI大模型进行融合，得到用户输入表示文本、S3:AI大模型意图理解：基于S2得到的用户输入表示文本IRTtext进行意图理S3得到的用户意图理解向量生成个性化交互策略信息文本、S5:裸眼3D数字人响应生成：基于裸眼3D数字人运行的AI大模型，根据S4生成的个性化交互策略信息文本生成相应的裸眼3D数字人响应内容文本、S6:通过大数据分析技术，对用户接收响应内容文本后的反馈参数进行分析，根据异常分析结果进行优化，并记录优化内容传输至管理员终端。[0029]S1:AI大模型资源加载：对训练好的AI大模型加载裸眼3D数字人运行所需的资源，构建裸眼3D数字人运行的AI大模型，裸眼3D数字人运行所需的资源包括裸眼3D数字人资源、多模态输入设备资源和用户历史交互记录；[0030]本实施例需要具体说明的是裸眼3D数字人所需的资源包括加载裸眼3D数字人的3D模型(如裸眼3D排图算法)、动画库以及相关的语音资源，语音资源包括不同情感、语调的个性化交互提供数据支持；对AI大模型进行加载，能够确保数字人在用户交互过程中能够[0031]S2:多模态输入信息融合：基于S1得到的多模态输入设备资源，采集用户向裸眼3D数字人发起交互请求的多模态信息，再通过AI大模型进行融合，得到用户输入表示文本，包括以下步骤：[0032]A1:首先通过多模态信息采集设备，采集用户向裸眼3D数字人发起交互请求的多模态信息数据集MID,MID=[MI₁,MI₂.….MIi…MIn],MI表示第i种模态信息，n表示多模态信息的种类数量；然后通过多模态识别技术，对相应的多模态信息进行识别，获取多模态信息识别数据集IRD,IRD=[IR1,IR₂….IRi…IRnJ,IR表示第i种模态信息识别的结果，n也表示相应的模态信息识别的结果数量；[0033]本实施例需要具体说明的是多模态信息包括但不限于语音、文本、手势、表情等多模态输入，例如，用户在商场中向裸眼3D数字人咨询商品信息时，可以直接说出问题(语音输入),也可以在旁边的交互终端上输入文字查询，或者通过特定的手势动作(如指向感兴8[0034]A2:首先通过分模态向量化技术，将A1得到的各种多模VD1=[VD₁,VD2…VD.…VDn],VD表示第i种模态向量，n也表示多模态识别数据相信息j之间的时间差，i<j,(i,j)∈n,得到t时刻的多模态信息一致性指数MCI,表示通过组合函数得到多模态信息组信息j之间的时间差，单位统一为ms,例如语音起始(t=1200ms)与手势起始(t=1210ms)差致性良好的多模态识别数据向量化数据集VD2;[0035]本实施例需要具体说明的是分模态合特征向量Efusion,Efusion=∑i=1αi·W;VDi+∑i<j 9型计算意图理解向量IV,IV=softmax(W×[Etext;M]+b),softmax特征的总维度，结合意图向量IV的最大值、最小值和平均值，得到文本意图一致性指数[0041]本实施例需要具体说明的是BERT(BidirectionalEncoderRepresentations据问题和文本段落提供相关答案等；本实施例需要具体说明的是LSTM(LongShort-Term络；然后结合查询矩阵、键矩阵和值矩阵，计算意图理解向量的3D空间特征向量Adisp, n表示余弦相似度函[0046]D1:首先基于裸眼3D数字人运行应向量进行时间戳绑定，得到多模态响应向量时间偏差△tsync,△tsync=∑|△trkl≤t_th,△tk表示第I模态响应与第k模态响应之间的时间偏差，t_th表示时间偏差阈值，例如语音响应与动作响应的偏差小于等于40ms,I<K,(I,K)∈M;其次得到裸眼3D数字人的情感匹配度EC,EC=cos_sim(VE,VF),cos_sim表示余弦相似度函数，若EC≤0,则为0,反之为EC值，VE表示语音情感特征向量，VF表示面部情感特征向量；最后通过大数据分析技术，结合时间偏差△tsync、情感匹配度EC和单位时间内视觉伪影出现的次数，得到裸眼3D数字人的多模态响应协调指数MRCI,MRCI=e-0.02-△tsyne.(EC+1)·,Nar表示单位时间内视觉伪影出现的次数；MRCI₀,说明裸眼3D数字人的多模态响应协调良好，输出相应的裸眼3D数字人响应内容文本，并将裸眼3D数字人响应内容文本通过裸眼3D排图算法，生成裸眼3D动画显示在屏幕上；反之则触发多模态响应协调机制，例如启用备用策略模板库，直到裸眼3D数字人的多模态[0048]本实施例需要具体说明的是裸眼3D排图算法通过拍摄不同场景、不同拍摄主体的多组左右视点图像，将属于同一被拍摄主体的左右视点图像输入至构建的三维卷积网络模型中经过模型处理后得到对应的左右视点融合视差图，后将视差值转化为深度距离值，并基于视差值、深度距离值、相机参数以及相似三角形原理计算被拍摄主体世界坐标系下的三维坐标进行三维重建。[0049]S6:通过大数据分析技术，对用户接收响应内容文本后的反馈参数进行分析，根据异常分析结果进行优化，并记录优化内容传输至管理员终端，包括以下步骤：[0050]E1:通过大数据技术，记录用户与裸眼3D数字人交互的总交互次数N_tot和正确理解用户意图的交互次数N_cor,交互响应延迟t_del,得到裸眼3D数字人交互能力分析指标,若(t_del-t_del)≤0,则为0,反之为计算的差[0051]E2:将裸眼3D数字人交互能力分析指标I