多模态人机交互中的说话人意图识别研究

多模态人机交互中的说话人意图识别研究,李东亮,对话言语意图识别,对话言语分类（口语短文本分类）提取关键信息完成系统模块一个信息采集工具,一、语料及图像采集工具,用于采集数据获取机器人的图像信息远程控制机器人与人交谈存储聊天记录并记录摄像头拍摄下的影像信息,一、语料及图像采集工具（二）,二、语料采集以及口语语料分析,需要对应用场景进行限定本系统主要将对话意图分为六类：教、肯定回答、否定回答、判断性询问、询问、其他，其中前五类与场景相关。,二、语料采集以及口语语料分析,现阶段我们采集了15名志愿者的人机对话样本（模拟认知过程），每个人采集10分钟左右，共得到人的谈话记录900条左右（仅人不包括机器人答语），也得到了相应数量的图片信息。,人的谈话记录900条左右场景相关分为2类（相关与不相关），意图分类分为六类。,三、特征提取,A：手动提取此方案特征的选取，是针对人表现意图的特点，所选的特征大体分为下几个方面：1）句法作用类似：么、呢2）同一类词：红色、黄色、白色等3）相似语义：不对和不是。4）句子长度等特征1: 0, 2: 1, 3: 0, 4: 1, 5: 0, 6: 0, 7: 1, 8: 0, 9: 0, 10: 0, 11: 0, 12: 1, 13: 0, 14: 0, 15: 1, 16: 0, 17: 0, 18: 0, 19: 0, 20: 0（“这是一个黄色圆形的苹果”）,三、特征提取,提高覆盖能力知网词汇-概念-义原 并不是简单的将所有的“概念”归结到一个树状的概念层次体系中， 而是试图用一系列的“义原”来对每一个“概念”进行描述 根据义原的上下位关系，所有的“基本义原”组成了一个义原层次体系,概念相似,词的相似度,假设：词B在对话中出现，则表现出的概念为最与特征词相近的概念。,示例,“这是一个黄色圆形的苹果”为例，我们得到的特征为：1: 0.021052632480859756, 2: 1.0, 3: 0.00062353862449526787, 4: 1.0, 5: 0, 6: 0, 7: 1, 8: 0.52899998426437378, 9: 0.55000001192092896, 10: 0, 11: 0, 12: 1.0, 13: 0.49166667461395264, 14: 0.021052632480859756, 15: 1.0, 16: 0, 17: 0, 18: 0, 19: 0, 20: 0.024242425337433815需调权重,三、特征提取,C：统计特征贝叶斯分类器分词+统计每个词在每类中出现的频率。Laplace平滑,特征,四、分类器设计,基本分类器：SVM、KNN、Nave Bayes使用策略扁平分类：意图分类层级分类：场景相关+意图分类,五、分类器性能测试分析,KNN中K值选择,贝叶斯去停用词？,使用特征A、C分类效果,知网特征权重,使用特征B、C分类效果,层级分类器场景相关+意图分类Bayes+SVM,最终方案,六、平台及框架的设计与搭建,七、信息抽取,本模块主要提取的信息包括：颜色信息、形状信息、物品名称、像不像等信息。由于每类情况不同，所以实际中，针对每个类型分别编写了不同的信息提取模块。,颜色提取,整句+正则表达式，“黑白相间”分词+正则表达式，一般性的分词+关键词模版，“五颜六色”,颜色提取,整句+正则表达式，“黑白相间”分词+正则表达式，一般性的分词+关键词模版，“五颜六色”,识别修正,“太棒了，你好聪明啊”“它是黄色的，对不对