智能客服系统的构建与算法迭代

贝壳找房大平台贝壳智能客服的进化之路GTLCGeekbang>.TGO鲲鹏會极客邦科技GLOBAL

TECHLEADERSHIP

CONFERENCE全球技术领导力峰会500+高端科技领导者与你一起探讨技术、管理与商业那些事儿2019年6月14-15日上海圣诺亚皇冠假日酒店了解更多信息关于我□2015/07~2017/04:新浪微博-推荐算法工程师，负责相关推荐&视频推荐的研发口2017/04~2018/03:小米科技-算法工程师，负责IOT数据的算法探索与应用口2018/03~至今,贝壳找房-NLP算法工程师，负责搜索优化、智能客服、机器审核贝壳找房大平台22019KE.ALLSD贝壳业务价值10万门店100万经纪人？客服32019KE.ALLSD贝壳客服系统如何工作？打电话人工客服形成工单经纪人问题反馈智能客服IM人工咨询未解决解决离开客服42019KE.ALLSD贝壳我们如何做智能客服?52019KE.ALLSD贝壳62019KE.ALLSD贝壳知识生产流程政策法规职能部门知识管理系统知识库知识图谱客服工单问题挖掘知识质检72019KE.ALLSD贝壳知识生产提效同义聚类句子向量问题去重kmeans聚类热门问题发现内容推荐拓展问题推荐推荐关键词推荐标签推荐分类体系82019KE.ALLSD贝壳知识的挖掘CRFlayerBlllE如何/怎么+【事件动词】+【实体词】p1p2p3p4p5BiLSTMlayerr5r4r3r2r1HEDWPATTATTATTSBVVCBl1l2l3l4l5root链家网/n成交频道/n成交人/n展示规则/n是N什么/r?/wpembedinglayer使用继承权<实体，属性，属性值><实体，关系，实体>2019KE.ALLSD9贝壳知识的挖掘示例示例entityentity什么是房源录入?什么是房源录入?房源录入房源录入怎么提取公积金?怎么提取公积金?公积金公积金楼盘对应商圈不对如何修改?楼盘对应商圈不对如何修改?楼盘对应商圈不对楼盘对应商圈不对不动产抵押登记是什么?不动产抵押登记是什么?不动产不动产如何判断暂真房源和瑕疵房源?如何判断暂真房源和瑕疵房源?暂真房源瑕疵房源暂真房源瑕疵房源为什么备案经纪人需要是本店的?为什么备案经纪人需要是本店的?备案经纪人需要本店备案经纪人需要本店2019KE.ALLSD10贝壳用户问题数据分布工具使用知识咨询闲聊型其它112019KE.ALLSD2019KE.ALLSD贝壳贝壳知识的组织贝壳分实勘真房源公积金公积金薪资租赁租赁薪资实勘租赁租赁公积金薪资出租出租贝壳分析实勘实勘薪资真房源出租租赁真房源公私𡦈实勘分佣公积*薪资薪资实勘租赁实勤分佣薪资实勘分佣实勘分佣贝壳分贝壳法务人事品控系统使用楼盘字典申诉真房源交员工福利人事制度协议模板pcLink户型图属性字段基于离散符号的知识表示基于连续向量的知识表示RDF,OWL,各种RuleLanguage等Tensor,各种Embedding,神经网络表示等132019KE.ALLSD贝壳2019KE.ALLSD3贝壳贝壳智能客服系统架构接入层纠错情感分析句型识别智能CPC智能解决率中控层意图识别任务分发响应合并回答生成session管理转人工率精准解析槽位填充动作响应准确率任务层置信度计算相似检索召回率意图过滤语义匹配有结果率KBKG知识覆盖率数据层问题聚类图谱挖掘miss知识发现知识准确率数据标注标准问题拓展问题数据运营指标2019KE.ALLSD15贝壳智能客服系统核心模块单轮对话多轮对话闲聊上下文无关面向任务型不解决实际问题知识咨询工具使用闲聊162019KE.ALLSD贝壳NLU-意图识别改进版fasttextfasttextsvm172019KE.ALLSD贝壳NLU-意图识别算法算法准确率准确率svmsvm0.880320.88032fasttextfasttext0.96132+0.0810.96132+0.081改进版fasttext改进版fasttext0.96828+0.006960.96828+0.006962019KE.ALLSD18贝壳NLU-意图识别hierachicalsoftmaxhiddenlayer特征层v₁v₂v₄v₅v₆……vn-2vn-1什么是房源录入什么么是录入词特征字特征2019KE.ALLSD贝壳QABot工作流query三元组提取能够精准回答？生成图谱查询是是否精准匹配否return模糊查询意图识别都有哪些相似问法？语义召回关键词召回候选集过滤掉不可能候选意图过滤找出最有可能候选DSSM排序2019KE.ALLSDreturn20贝壳QABot-faiss语义召回房租如何交?租金怎么交?y₁,y₂,…,ynx_{1}支付宝可以交房租吗?内存索引房屋租赁的交?argmini=1,n∥x-yi∥²2019KE.ALLSD21贝壳QABot-意图过滤消息fasttext人事品控fasttextfasttext……员工福利人事制度真房源消息…………按照知识体系构建分类体系训练fasttext二级分类模型滤除与消息无关的候选222019KE.ALLSD贝壳0.9265COSsemanticfeaturesemanticfeature23QABot-DSSMP(D_{I}|Q)P(D_{2}|Q)P(D_{n}|Q)R(Q,D_{l})R(Q,D_{2})R(Q,D_{n})128128128128\{W_{4},b_{4}\}300300300300…\{W_{3},b_{3}\}300300300300\{W_{2},b_{2}\}30k30k30k30kW_{l}500k500k500k500kQD_{I}D_{2}D_{n}2019KE.ALLSD带看房源录入错误经纪人录带看不小心录错怎么办贝壳产品效果傍晚6:1888Y我的客服常用应用常见问题换一换全部系统使用常见问题换一换全部系统使用Link系统中，合同修改后，合同状态为何变成【起草中】?Link系统中，合同修改后，合同状态为何变成【起草中】?商业地产业务(珍珠系统)中，如何使用珍珠小程序?商业地产业务(珍珠系统)中，如何使用珍珠小程序?Link.APP某著名企业端，支持收款/吗?Link.APP某著名企业端，支持收款/吗?房源热推展现规则是什么?房源热推展现规则是什么?A+系统中，录入人为SSC/BOD时，房源成交录入人业绩…A+系统中，录入人为SSC/BOD时，房源成交录入人业绩…智能机器人我的客服Hi，的进度>常用应用IT报修问题反馈举报招生简章政府部我今天心情好好啊你好呀，心情这么好不如问小贝个问题吧，小贝一定竭尽全力为您解答！六街八层的打印机用不了了我的客服Hi，的进度>常用应用IT报修问题反馈举报招生简章政府部智能机器人互助金是什么您好，互助金是2008年链家集团与员工一起共同筹建的爱心基金，当链家员工或其亲属遭受“重”“急”等重大事宜，对个人和家庭产生重大影响事件时，给予一定的资金帮助，所有员工一起共度难关。互助金救助条件员工或员工家属因疾病治疗自费金额达1万元以上，可以申请互助金救助；因意外智能机器人2.已经审核通过的业主自荐，业主不想在链家网展示业主自荐怎么办?3.在链家网不展示的房源，业主是否可以写业主自荐?查看更多>有帮助无帮助变更手机号您是否想问以下问题?1.举证期间房源是否可以修改手机号2.修改手机号如何举证3.房源修改手机号如何验真举证?查看更多>有帮助242019KE.ALLSD贝壳252019KE.ALLSD贝壳如何评价系统效果业务指标-线上咨询量占比、智能解决率、转人工率9%54%智能场景48%转人工率智能场景解决问题比例线上咨询问题比例2019KE.ALLSD26贝壳如何评价算法效果技术指标-有结果率、召回率、准确率、知识的准确率、知识覆盖率27问题问题智能回答智能回答有结果有结果有召回经纪人带看录入错误怎么办经纪人带看录入错误怎么办带看录入错误带看录入错误111服务费支付方式中支票支付的方式服务费支付方式中支票支付的方式租赁服务费可以用支付宝扫码支付吗租赁服务费可以用支付宝扫码支付吗1102019KE.ALLSD贝壳数据决定迭代目标评测数据n有效query无效query92.3%7.7%模糊提问精准提问45.6%46.7%匹配未匹配未解决解决40.2%5.4%21.6%25.1%知识缺失算法原因8.3%18.7%召回原因排序原因8.9%9.7%语义召回意图识别同义扩展纠错问题DSSM排序核心词典5.3%1%1.1%0.3%8.9%2.1%282019KE.ALLSD贝壳总结数据算法292019KE.ALLSDGeekbang>.InfoQ

极客邦科技极客邦科技ArchSummit深圳ArchSummit北京全球架构师峰会全球架构师峰会会议推荐2019大会:7月12-13日大会:12月6-7日培训:7月14-15日培训:12月8-9日5月6月7月10月11月12月QCon北京GTLCQCon上海GNTC深圳GLOBAL

TECHLEADERSHIP

CONFERENCE上海全球软件开发大会全球软件开发大会全球大前端技术大会大会:5月6-8日技术领导力峰会大会:10月17-19日大会:11月8-9日培训:5月9-10日时间:6月14-15日培训:10月20-21日培训:11月10-11日QCon广州GNTC北京AiCon北京全球软件开发大会全球大前端技术大会全球人工智能与机器学习大会培训:5月25-26日大会:6月20-21