CN118737432B 基于多模态大模型的困境儿童依恋状态评估方法、装置 （中国科学院软件研究所）

号基于多模态大模型的困境儿童依恋状态评本发明涉及基于多模态大模型的困境儿童评估方法通过自动化的评估手段提升了评估效2从单轮对话数据中提取表情、动作和声学通道作为输入，由预训练模将多个所述多模态融合特征或困境儿童的依恋状态，输入基model为当前通道提取特征使用的预训练所述将多个所述多模态融合特征或困境儿童的依恋状态，输入基于将多个通过多模态大模型所提取的单轮多模理解特征或结果，进行2.根据权利要求1所述的基于多模态大模型的困境儿童依恋状态预测方法，其特征在所述基于多轮对话的困境儿童依恋状态评估模型的构通过基于序列计算架构的依恋状态评估模型捕捉多轮次对话中的长3.根据权利要求1所述的基于多模态大模型的困境儿童依恋状态预测方法，其特征在4.根据权利要求1所述的基于多模态大模型的困境儿童依恋状态预测方法，其特征在3对话轮次切分模块，用于通过自动化识别方法，对困境儿童与医生之依恋状态预测模块，用于将多个所述多模态融合特征或困境儿童的于多轮对话的困境儿童依恋状态评估模型中预model为当前通道提取特征使用的预训练所述将多个所述多模态融合特征或困境儿童的依恋状态，输入基于将多个通过多模态大模型所提取的单轮多模理解特征或结果，进行6.一种计算机设备，包括存储器、处理器及处理器执行时实现权利要求1至4中任一项所述的方4[0002]依恋理论(AttachmentTheory)是解析儿童及其成年后社会与情感发展的核心理[0004]现有的依恋状态评估方法存在若干显著的缺点。对5大语言模型进行数据融合，获得基于单轮对话的多模态融合特征或困境儿童的依恋状态，[0015]在一些实施例中，所述基于多轮对话的困境儿童依恋状态评估模型的构建方法[0016]通过基于序列计算架构的依恋状态评估模型捕捉多轮次6童的依恋状态，输入基于多轮对话的困境儿童依恋状态评估模型中预测困境儿童依恋状中的交互过程进行有效建模，在输出评估结果时充分考虑到在进行依恋相关访谈问答时，[0033]图1是本发明的基于多模态大模型的困境儿童依恋状态预测方法的一些实施例的[0036]图4是本发明的基于多模态大模型的困境儿童依恋状态预测方法的另一些实施例[0037]图5是本发明的基于多模态大模型的困境儿童依恋状态预测装置的一些实施例的7[0043]图1示出了本发明的基于多模态大模型的困境儿童依恋状态预测方法的一些实施次进行切分；该步骤使后续的多模态特征提取与融合理解能够根据单轮数据进行特征提8童的依恋状态，输入基于多轮对话的困境儿童依恋状态评估模型中预测困境儿童依恋状[0049]在一些实施例中，将多个通过多模态大模型所提取的单进行特征级或结果级融合，通过基于序列计算架构的深度学习模型预测困境儿童依恋状了现存自动化评估与检测方法中忽视采集数据过程中交互融合特征或预测结果输入基于多轮对话特征的依恋评估模型预测儿[0052]图4示出了本发明的基于多模态大模型的困境儿童依恋状态预测方法的另一些实频/音频描述词(I,t)带有标签的数据进行监督训练。其中I代表数据中的视频或音频输[0057]其中Θ代表QFormer和多层感知机组成的神经网络,LLM代表所使用的大语言模9[0060](6)将基于多模态大预言模型的特征提取器所提取的特征或结果输入到基于多轮[0061]本发明率先在依恋自动化评估领域引入基于预训练模型多模态特征提取_大语言[0062]图5示出了本发明的基于多模态大模型的困境儿童依恋状态预测装置的一些实施过大语言模型进行数据融合，获得基于单轮对话的多模态融合特征或困境儿童的依恋状[0066]依恋状态预测模块300，用于将多个从单轮对话数据获得的多模态融合特征或困[0067]关于一种基于多模态大模型的困境儿童依恋状态预测装置的具体限定可以参见上文中对于一种基于多模态大模型的困境儿童依恋状态预测方法的限定，在此不再赘述。上述一种基于多模态大模型的困境儿童依恋状态预测装置中的各个模块可全部或部分通被处理器执行时实现上述的基于多模态大模型的困境儿童依恋包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、