CN111352348B 设备控制方法、装置、电子设备及计算机可读存储介质 （北京三星通信技术研究有限公司）

US9774608B2,2017.09.26US2014358829A1,20142基于所述获取的信息以及所述设备控制指令，进行领域分类处若至少一个设备的执行概率不小于第一预设阈值，基于获取的信在所述控制功能的执行概率小于第二预设阈值的情况下，输的操作结果，否则根据所述控制功能的执行概率确定所述设备控制指令对应的目标功能，基于处理模型和所述获取的信息，控制至少一个目标设备按照目根据训练数据中的参数信息、以及所述处理模型的预测的参数信基于获取的训练数据，并通过目标损失函数，训练对设备控制3所述用户不具备针对所述至少一个目标设备的控制权限；所述用户基于获取的信息和所述设备控制指令，确定所述设备控制指令基于所述至少一个目标设备和/或所述目标功能，控制至少一个目标设备执行相应操若各设备的执行概率均小于所述第一预设阈值，则输出拒当满足下述至少之一时，控制所述至少一个目标设备按照目标参数信息执行相应操所述设备控制指令中包含的参数值不属于由所述获取的信息确定出的参数值范围中基于设备控制指令中的参数信息以及所述获取的信息，通过逻辑回基于设备控制指令中的参数信息以及所述获取的信息，确定出更改后的目标参数信基于设备控制指令中的参数信息以及所述获取的信息，通过设备控制指令；设备控制指令中的参数信息；设备控制指令中参4基于各个训练数据中的设备控制指令中的参数信息、以及所述模型的基于各个训练数据中的设备指令中参数是否更改的指示信息，以及所基于各个训练数据中的更改后的参数信息以及所述模型预测出的更改后的参数信息，基于所述第一损失函数、所述第二损失函数以及所述第根据转换后的连续稠密向量以及所述获取的信息中的连续信息基于获取的信息和所述设备控制指令，控制至少一个目标设备按基于所述获取的信息对应的信息表示向量和所述设备控制指令通过用于将离散值转换为连续稠密向量的编码矩阵，将所述获取的信息中的离散信一个或多个应用程序，其中所述一个或多个应用程序被存储由所述处理器加载并执行以实现如权利要求1-15任一项5未考虑其他可能影响设备运行的因素，从而可能导致设备控制过程的安全性及灵活性较6现有技术只根据用户输入的控制指令来进行设备控制的方法，本申请在进行设备控制时，[0024]图3a为本申请实施例一通过获取的信息(多模态信息)得到获取的信息对应的信[0039]图15为本申请实施例三通过获取的信息(多模态信息)得到获取的信息对应的信78容易给用户带来健康隐患，但是现有技术并未根据环境的相关信息给出相应的保护措施，9备针对设备控制指令对应的目标功能的控制权限时可以输出拒绝执行设备控制指令的操的用户的用户信息；设备信息可以包括用户的设备控制指令对应的目标设备的设备信息；户信息，也可以包括用户控制设备的历史信息(如用户之前在控制空调时一般会设置空调一个目标设备的工作环境不满足设备控制指令对应[0086]本申请实施例的另一种可能的实现方式，控制至少一个否则基于各设备的执行概率确定设备控制指令对应的至少一个若各控制功能的执行概率均小于第二预设阈值，则输出拒绝执行设备控制指令的操作结过结合用户信息、环境信息与设备信息中的至少一项可能影响设备运行和/或用户安全的[0092]本申请实施例的另一种可能的实现方式，步骤S1022具体可以包括：步骤S10222[0097]设备控制指令中包含的参数值不属于由获取的信息确定出的参数值范围中的参[0112]步骤Sc3、基于各个训练数据中的更改后的参数信息以及模型预测出的更改后的以及用户在操作过程中的人身安全；又例如，当用户设备指令为“将空调温度调整为100中的至少一项信息以及用户输入的设备控制指令，能够基于获取的信息和设备控制指令，[0123]通过获取到的用户信息和/或环境信息和/或设备信息以及用户输入的设备控制指令，可以确定所述设备控制指令对应的至少一个目标设备和/或设备控制指令对应的目可以根据设备信息和/或环境信息以确定用户是否有操作目标设备和/或目标功能的权限。[0128]对于本申请实施例，用户信息包括：用户画像信息和/或用户的设备控制权限信中的每个用户的用户声纹识别模板进行对比认证，确定用户身份(考虑到智能家居场景中[0140]当认证通过时(即说话人特征与已有用户画像数据库中某个用户的声纹识别模板定设备控制指令对应的至少一个目标设备和/或设备控制指令对应的目标功能，如步骤应的至少一个目标设备和/或设备控制指令对应个目标设备和/或设备控制指令对应的目标功能具控制指令对应的至少一个目标设备和/或设备控制指令对应的目标功能；也可以根据设备控制指令输入用户的年龄信息和/或性别信息，确定设备控制指令对应的至少一个目标设备和/或设备控制指令对应的目标功能；还可以基于设备控制指令输入用户所属用户组信息以及设备控制指令输入用户的年龄信息和/或性别信息，确定设备控制指令对应的至少于获取的信息(多模态信息)和设备控制指令，通过训练后的意图分类器(Intent该条语句分类结果为第k个设备，如果则表示所有设备的执行概率均小于第一预可以为将用户输入的语音格式的设备控制指令通过语音-文本转换后的设备控制指令，文数(f(1),f(2),f(3))是词向量的位置索引的函数(具体地，在每一个词向量后面拼接一个使得模型能够参考当前用户画像信息和/或和环境信息和/或设备信息进行领域分类(确定大的执行概率的设备确认为目标设备，并将指令传输为该目标设备进行后续操作(如意图行后续操作(如意图分类处理或序列标注处理等)，或者设备A继续执行意图分类处理等操最大的执行概率的控制功能确认为目标功能，并将指令传输为目标设备进行后续操作(如收到的设备控制指令进行意图分类，如果每个控制功能的执行概率均小于第二预设阈值，则可以输出拒绝执行设备控制指令的操作结果，如果最大的执行概率不小于第二预设阈分类器的权重可以通过一些方法进行初始化(如：将一些多模态信息对应的向量作为分类控制指令分类结果为第k个功能(目标功能)，如果i<c,则表示该设备控制指令属于被可以为将用户输入的语音格式的设备控制指令通过语音-文本转换后的设备控制指令，文文本表达向量，经多模态信息处理模块对多模态信息进行处理后得到多模态信息表示向采用词向量转换和位置编码结合的编码形式，编码后每个词被表示为一个固定维度的向[0201]进一步地，针对实施例一还介绍了一种设备控制系统(以用户通过语音方式输入语音合成模块，执行模块。语音转换模块也可以称为自动语音识别(ASR，AutoSpeechRecognition)模块，语义理解模块也可以成为自然语言理解(NLU，NaturalLanguage进一步的，在DM模块中还可以进一步包含自然语言生成(NLG，NaturalLanguage在进行语义理解时，也并未考虑多模态信息(图6a中仅示出了多模态信息包含用户信息的输出的人脸认证信息与用户画像数据库中的每个用户的用户人脸识别模板进行对比认证，解决上述技术问题二中的技术问题(其中，本实施例中在确定设备控制指令对应的至少一对应的至少一个目标设备和/或所述设备控制指令对应的本形式输入的设备控制指令，或者将用户以语音格式输入的设备控制指令通过语音-文本转换后的文本格式的设备控制指令，文本格式的设备控制指令经过词编码(词向量转换和位置编码)后得到编码向量，再经过卷积神经网络和自注意力(self-attention)模型后可式输入的设备控制指令，或者将用户以语音格式输入的设备控制指令通过语音-文本转换后的文本格式的设备控制指令，文本格式的设备控制指令经过词编码(词向量转换和位置编码)后得到编码向量，再经过卷积神经网络和自注意力(self-attention)模型后可以得[0215]本申请实施例中在基于领域分类器确定设备控制指令对应的至少一个目标设备[0217]本申请实施例对步骤S301、步骤S302以及步骤S303之间的执行顺序不做任何限注器对设备控制指令中参数信息进行更改后的参数信息；若设备控制指令不满足预设条[0226]设备控制指令中包含的参数值不属于由获取的信息确定出的参数值范围中的参[0235]针对步骤S30411-步骤S30413中通过逻辑回归以及线性回归确定设备控制指令中被表示为一个固定维度的向量，然后使用LSTM层进行编码，提取每个词的特征h1，[0236]其中，逻辑回归的结果决定在k+1时刻是否更改参数(即输出结果为更改或不更线性回归会把100度改写为环境数据库中空调的上限温度30度(或者修改为用户画像数据[0239]而现有序列标注模型中的MLP得到下一个时刻的标签yk+1时候，直接作为输出结对设备指令信息中不合理的参数信息或者不清楚的参数信息修改为合理清楚的参数信息，i表示输入的设备控制指令对应文本信息，yi表示该条设备控制指令对应的BMO标签步骤S304(步骤S30411-步骤S30413)得到的目标参数信息，控制至少一个目标设备执行相[0253]进一步地，针对实施例二还介绍了一种设备控制系统(以用户通过语音方式输入少一个目标设备和/或目标功能，以及结合获取的信息(多模态信息)确定设备控制指令中以及客人用户组可以使用设备的类别和每个设备可以使用的功能列表，对于儿童用户组，模板进行对比认证，确定用户身份(考虑到智能家居场景中摄像头往往安装在电脑，电视[0265]当认证通过时(即说话人特征与已有用户画像数据库中某个用户的声纹识别模板应的至少一个目标设备和/或设备控制指令对应控制指令对应的至少一个目标设备和/或设备控制指令对应的目标功能；也可以根据设备控制指令输入用户的年龄信息和/或性别信息，确定设备控制指令对应的至少一个目标设备和/或设备控制指令对应的目标功能；还可以基于设备控制指令输入用户所属用户组信息以及设备控制指令输入用户的年龄信息和/或性别信息，确定设备控制指令对应的至少应的至少一个目标设备和/或设备控制指令对应的目标功能；基于获取的信息(多模态信息)和设备控制指令，并通过训练后的意图分类器(IC)，确定设备控制指令对应的目标功该条语句分类结果为第k个设备，如果i<c,则表示该语句属于被保护的情况，拒绝执行可以为将用户输入的语音格式的设备控制指令通过语音-文本转换后的设备控制指令，文到文本表达向量，然后多模态信息表示向量与文本表达向量连接后得到联合向量(比如向连接层和sigmoid激活函数后得到获取的信息对应的信息表示向量(多模态信息表示向能够参考用户信息和/或设备信息和/或环境信息进行领域分类(确定至少一个目标设备)。练模型(意图分类器)，具体的方式如下所示：通过下述损失函数，训练该模型(意图分类制指令分类结果为第k个功能(目标功能)，如果则表示该设备控制指令属于被保注器对设备控制指令中参数信息进行更改后的参数信息；若设备控制指令不满足预设条[0306]设备控制指令中包含的参数值不属于由获取的信息确定出的参数值范围中的参为隐状态C，使用C和h1，h2.....hm经过注意力层计算出向量d，d经过多层感知机器模型标注出参数后，经过逻辑回归和线性回归会把100度改写为环境数据库中空调的上i表示输入的设备控制指令对应文本信息，yi表示该条设备控制指令对应的BMO标签[0327]其中，Loss中的第一项表示标注误差，yij表示第i个训练数据的中第三项为模型输出的修改值和标签修改值vi的差[0328]步骤S405a(图中未示出)、基于至少一个目标设备和/或目标功能和/或目标参数[0329]对于本申请实施例，若步骤S403确定出至少一个目标设备和/或设备控制指令对[0331]对于本申请实施例，当通过步骤S403确定无法执行用户一个目标设备的工作环境不具备设备控制指令对[0335]进一步地，针对实施例三还介绍了一种设备控制系统(以用户通过语音方式输入[0341]本申请实施例中的TTS模块可以针对回复文字生成带情感的语音，例如可以得到不同语调、不同语速和/或不同音量的语音，该处理过程可以称为情感TTS(Emotional处理模块的处理结果和图像处理模块的处理结果进行情感识别处理后得到用户情感信息；身份认证采用图像处理模块输出的人脸认证信息与用户画像数据库中的每个用户的用户在权限数据库中查询相应用户组的用户权限并输出；通过环境监测模块获取环境信息(当标签(fulllabel)特征等，以及对情感语音样本提取对应的音频特征(也可以称为声学特接得到输入特征。根据得到的输入特征和预处理得到的声学特征，训练双向长短时记忆模态信息中可以确定出用户期望的回复的情感类别(可以称为期望情感类别，即用户期望征(如可以直接将文本的特征和用户的期望情感类别对应的情感编码进行连接从而得到输[0349]本申请实施例的上述TTS模块可以针对回复文字生成带情感的语音，例如可以得[0352]第一获取模块1701，用于获取用户输入的设备控制一个目标设备的工作环境不满足设备控制指令对应功能的执行概率确定设备控制指令对应的目[0367]设备控制指令中包含的参数值不属于由获取的信息确定出的参数值范围中的参[0385]第五确定单元，用于基于各个训练数据中的设备指令中参数是否更改的指示信息中的至少一项信息以及用户输入的设备控制指令，能够基于获取的信息和设备控制指[0396]