CN119150911B 一种多模式拟人生态重建系统及其方法 （南京超级头脑信息技术有限责任公司）

本发明公开了一种多模式拟人生态重建系过自动生成信号并据此进行模式策略的自动管2进行数据源识别，确定拟人生态的多模态数据的数据类型和来源对视觉数据、听觉数据以及文本数据进行预处理，将预处理后的多模使用多模态情绪神经网络对整合后数据进行情绪状态解析，并生成相应的情感反应，获取在进行数字人格反应与用户当前情境匹配过程中产生的获取在进行数字人格的反应与用户当前情境匹配过程中产生将获取到多模数据适配指数、多层次情景适应指数进行联立计算得到模获取交互中两个相邻声波峰值之间的时间间隔，计算在时间从用户交互中收集文本输入与数字人格对这些输入的文本响应，获取;获取数字人格在实时交互响应过程中响应用户输入的速度，3。对视觉数据中所采集的图像进行裁剪和缩放，并使用高斯模糊技术去除图像中的噪在图像边缘提取后，使用尺度不变特征变换算法来检测对听觉数据使用梅尔频率倒谱系数确定听觉数据中声音信号的特征，后，使用尺度不变特征变换算法来检测图像中的关键点和描述符并作为视觉数据的特征，构建高斯差分尺度空间，对原始图像应用不同尺度的高对高斯差分尺度空间中的每个像素点，比较像素点与相邻点的大小，若在每个关键点周围的邻域内，根据关键点的尺度选取相应大小进行情感数据库构建，即创建一个包含情感反应的数据库，情感反应4获取联立计算得到的模式匹配稳定系数，将模式匹配稳定系数与若模式匹配稳定系数大于或等于重建调整阈值，则生成拟人若模式匹配稳定系数小于重建调整阈值，则生成模式重建信号6.一种多模式拟人生态重建系统，用于实现权利要求1_5中任一项所述的一种多模式数据采集处理模块，用于进行数据源识别，确定拟人生态的多模场景匹配分析模块，用于使用多模态情绪神经网络对整合后数据进行情绪状态解析，模式调控模块，用于获取在进行数字人格反应与用户当前情境匹配5678[0052]听觉数据获取是使用环境麦克风阵列收集用户的语音信息，分析环境中的背景有效，使用高斯模糊技术去除图像中的噪声，提高图像质量，高斯模糊的表达式为：[0056]使用Sobel或Canny算法提取图像边缘，对于后续的图像进行形状分析和物体识9D(x,y,o)=G(x,y,ko)-G(x,y,o)，其中k是一个常数，表示尺度空间中相邻尺度的比率。这个比率用于决定两个用于生成DoG图像的高斯模糊层之间的尺度分离程关键点的描述符作为视觉数据的特征用于后续计算机数作为特征向量的元素；[0075]这一过程将文本转化为数字信号（通过BOW再利用这些数字信号进行情绪和意,,[0084]利用生成对抗网络(GAN)生成新的情感表达，以增强数字人格的反应多样性和真适应信息确定数字人格反应与用户当前情境是否相匹配，能够满足多模式拟人生态的需[0086]多模情景信息包括多模数据适配指数并标定为DMS，情景适应信息包括多层次情互过程中，数字人格生成的情感反应与用户当前展示的情绪状态及交互情境的匹配程度，[0088]多模数据适配指数衡量识别的用户情感与用户实际表达的情感之间的匹配程[0089]多模数据适配指数可以提高用户体验，通过确保情感反应的准确性和情境适应积，表示生成表情特征向量的欧氏范数（即向量的长度llvusell表示面部表情特。[0096]情景适应信息中的多层次情景适应指数衡量数字人格在与用户互动中对多维度[0097]通过时间序列行为适应性衡量数字人格如何随时间适应[0098]多层次情境适应性指数通过精确地调整数字人格的行为以更好地符合用户的实。被认为比早期的行为更能反映当前的用户需求和情境，使用λ能有效地模拟这种时间上的0。未能准确匹配用户的实际情绪和行为意图，这可能导致用户感受到数字人格的反应不自[0107]多模数据适配指数较低意味着数字人格在理解和适应用户的具体情境（如时间、[0109]这些指标的低值提示开发者和设计师需要对数字人格的设计和实现进行深入分[0111]高多模数据适配指数表明数字人格能够有效地整合和响应来自不同模态的输入[0112]高多层次情景适应指数意味着数字人格在理解和适应用户的具体情境（如时间、[0113]高模式匹配稳定系数表明数字人格在与用户的交互中显示出高度的适应性和稳