自然语言处理 课件 项目10-12 问答系统、聊天机器人、系统

问答系统概述发展历程应用场景问答系统分类目录01020304问答系统概述

问答系统(QuestionAnsweringSystem,QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。问答系统是信息检索和自然语言处理(NLP)领域内的一门计算机科学学科，是自然语言处理（NLP）和计算机科学的一个子领域,其目的是建立能够自动理解和回答人类自然语言问题的系统。问答系统发展历程早期的问答系统可以追溯到1950年，著名的英国数学家、人工智能之父艾伦·图灵发表了里程碑式的论文’ComputingMachineryandIntelligence（计算机和智能）’，策划了被广泛称为"图灵测试"的"模仿游戏"第一个公认的QA系统出现在1961年，Green等人的设计的BASEBALL系统回答了与美国棒球联盟比赛有关的简单问题20世纪70年代，出现了阅读理解系统：耶鲁大学人工智能实验室开发的SAM20世纪90年代，问答系统的研究和开发热点转向基于大规模文档集的问答问答系统应用场景问答系统可以为教育和学习提供辅助，系统会提示正确的答案以理解这些概念问答系统可以应用于搜索引擎。例如谷歌使用此类系统来提出问题和答案问答系统可以应用到数据分析，HyperVerge是一家令人兴奋的公司，致力于根据用户以自然语言输入的查询生成分析报告问答系统分类FAQ(FrequentlyAskedQuestions)问答系统：目前应用最广泛的问答系统，基于FAQ的QA的核心是计算问题之间的语义相似性闲聊型对话系统：聊天机器人、Siri、微软小冰、小度等。它能模仿人的语言习惯，给出的答案较为人性化任务型对话系统：常被称为多轮对话系统，目前工业界有两种实现方式，一种是基于规则的实现方式，另一种则是基于End-to-End的实现方式知识图谱问答：又称Knowledge-basedQA或KBQA,是一种基于结构化知识库（即知识图谱）的智能问答方法。阅读理解的问答（MachineReadingComprehensionQuestionAnswering，MRCQA）是指给定文档库，通过理解用户的问题，从文档中找到能够回答用户问题的满足需求的细粒度的片段（如段落、句子）的过程感谢欣赏聊天机器人概述发展历程聊天机器人分类聊天机器人的未来目录01020304聊天机器人概述

聊天机器人是AI系统的典型示例，也是智能人机交互（HCI）的最基本和最广泛的示例之一。这是一种计算机程序，当通过文本或语音与人交谈时，它会像智能实体一样做出反应，并通过自然语言处理（NLP）理解一种或多种人类语言。聊天机器人发展历程第一个已知的聊天机器人是1966年开发的Eliza，其目的是充当心理治疗师，以问题的形式回复用户的话语对Eliza的一个改进是1972年开发的名为PARRY的聊天机器人1995年，聊天机器人ALICE被开发出来，并在2000年、2001年和2004年获得年度图灵测试Loebner奖近年，微软小冰、微软Cortana、阿里小蜜、京东JIMI、网易七鱼等各类聊天机器人层出不穷，并且这些聊天机器人逐渐渗透进人们生活的各个领域聊天机器人分类任务式聊天机器人是指专注于执行特定任务的单用途聊天机器人，它们使用规则、NLP技术和少量的ML技术，能够自动生成对用户查询的对话式响应。闲聊是一种开放式的对话环境，类似于两位好友的交谈，没有任何的话题和内容。闲聊式机器人通常被称为虚拟助理或数字助理，它们比面向任务的聊天机器人更复杂、更具交互性和个性化聊天机器人的难点与未来难点：人类语言的不明确性错误和不标准的语句语言表达和规划的不同聊天机器人未来研究的主题和建议方向：改善聊天机器人用户体验的设计建模和评估聊天机器人用户体验解释能力和上下文理解聊天机器人设计、开发和部署的新兴技术模拟人-聊天机器人协作人类与聊天机器人协作的实证研究聊天机器人用于社交针对不同用户群体的包容性设计感谢欣赏自然语言处理项目12推荐系统MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目录01020304认识推荐系统什么是推荐系统推荐系统(RecommenderSystem)是一种在大数据时代背景下，为了解决信息过载问题，根据用户需求、兴趣等，使用计算机方法从海量数据中提取用户感兴趣的项目（如信息、服务、物品等），并将结果以个性化列表的形式推荐给用户的计算机方法。推荐系统根据用户历史行为信息来构建用户兴趣模型并向用户推荐其可能感兴趣的信息，被广泛用于个性化服务领域，在推荐者和寻求推荐者之间做出良好匹配的能力。一个推荐系统在进行推荐时有3个要素：用户、物品、推荐算法。推荐系统的分类非个性化推荐系统是基于热度、流行度等向用户推荐最受欢迎的项目，如近期最受欢迎的前10部电影、最畅销的书籍、最常购买的产品。个性化推荐系统的研究与应用越来越多，最早是由Malone等研究者于1987年提出，最初个性化推荐系统应用于电子商务中，通过分析其他用户的评价信息向当前用户进行推荐。个性化推荐系统主要分为基于关联规则的推荐系统、基于内容的推荐系统、协同过滤的推荐系统等。协同过滤的推荐系统又分为基于用户的协同过滤的推荐系统和基于任务的协同过滤的推荐系统。推荐系统可分为非个性化推荐系统(NonPersonalizedRecommendationSystem)与个性化推荐系统(PersonalizedRecommenderSystem)两大类推荐系统中的技术介绍基于规则的推荐算法属于基于知识推荐中的一种，通过将待推荐项目的属性与用户属行进行匹配进行推荐，或者是根据数据挖掘中的规则进行推荐，这些规则可以通过关联计算得到，也可以由领域的专家事先定义好。规则的形式一般都是IF-THEN语句，规则通过将用户的属性、购买历史记录和待推荐项匹配起来，获得推荐列表，因此这种算法要求用户的属性结构特征必须与规则中的属性完全一致才能够精准匹配，只有成功匹配出一系列的规则，才能完成推荐。基于规则的推荐系统基于内容的推荐算法的应用场景基于内容的推荐是使用用户的历史记录，将用户已经选择过的项目内容和用户提供的个人信息进行相似度计算，建立用户的档案，分析用户的兴趣所在。在基于内容的推荐中，计算对象的特征与用户兴趣的相似度是推荐系统的核心，一般采用特征加权的方法。这种方法建立用户档案的关键词向量，并计算每个关键词的权重，之后对新的对象进行计算评分。基于内容过滤推荐系统协同过滤推荐系统协同过滤是目前推荐系统中应用最为普遍的技术之一。协同过滤的基本思想是项目评分相似的用户的兴趣爱好也比较相似，通过相似用户对某一待推荐项目的评分来预测指定使用者对某一候选待推荐项目的评分。根据问题解决方式，可以将协同过滤分为基于领域近邻和基于模型等两类不同的算法领域近邻又可分为用户近邻和物品近邻，基于用户近邻被称为基于用户的协同过滤，是统计用户共同交互物品的数量定义用户之间的相似度，寻找用户的近邻，然后为用户推荐近邻喜欢的但此用户未交互过的物品。基于物品近邻，是统计两两物品被多少相同用户购买，以共同用户在购买俩物品的所有用户中的占比作为物品之间的相似度，寻找物品的近邻，然后为用户挑选历史交互物品的近邻作为推荐结果01020304协同过滤推荐系统基于模型的协同过滤：基于模型的协同过滤是指使用机器学习的思想建模用户对物品的评分模型，然后预测用户未评分物品的分数，最后为用户推荐评分高的物品。根据寻找邻居方式的不同，又可协同过滤技术可以分为两种：基于用户的协同过滤（User-basedCF）推荐和基于项目的协同过滤（Item-basedCF）。基于用户的协同过滤：基于用户的协同过滤是最早