人工智能边缘设备应用 (微课视频版) 课件 模块12：智能客户服务系统搭建

模块12：智能客户服务系统搭建智能客服的背景与意义边缘设备在智能客服中的应用边缘设备应用案例分析PARTONEPARTTWOPARTTHREE智能客服的背景与意义人工智能边缘设备应用01人们生活节奏的加快，使人们追求更高质量的生活，对服务也提出了更高的要求，能不能及时、准确的解决生活中遇到的问题是人们评价提供的服务好坏的重要指标。人工智能技术的进步，语音识别技术、自然语言处理等技术的成熟，智能客服的发展很好的承接当下传统人工客服所面临的挑战。智能客服能够24小时在线为不同用户同时解决问题，工作效率高等特点，这是传统人工客服不能替代的，它能为公司节省大量的人工客服成本。1智能客服的背景与意义目前智能客服应用场景比较广泛，涉及到金融、房地产、教育等行业，主要有智能外呼、在线客服等应用场景。在线客服中，主要是通过语音助手等形式，用户和机器人进行交互，机器人会根据用户的问题，通过自然语言处理，解析用户的问题，反馈给用户相关的答案，例如阿里小蜜、百度智能语音等。外呼场景里主要用在贷款催收、房屋销售、活动邀约等，通过机器的话术引导与用户对话，筛选出意向用户，对用户进行分类。1智能客服的背景与意义多客服接待智能客服系统快捷回复聊天记录长久保存机器人客服智能客服系统包括4个主要功能：多客服接待、快捷回复、聊天记录长久保存、机器人客服。1智能客服的背景与意义多客服接待支持多个客服同时在线，并为访客智能分配专属客服，避免客服接待混乱的问题。在线客服支持多个渠道接入，并能在后台统一管理消息，在系统及时同步更新所有消息进行回复，缩短访客等待时间，提高客服工作效率。快捷回复强大的知识库功能为客服沟通效率提供有力保障，支持一键快捷回复。在线客服提供智能客服机器人，在访客咨询时，及时回复，通过识别访客问题关键词，然后快捷回复，或者引导访客自助查询，另外，当机器人回答不了的可以转到人工坐席，这样可以节省时间让客服优先处理更为重要的问题，提高客户满意度。聊天记录长久保存聊天记录长久存储，随时抽调客户的营销状态，掌握客服人员的话术情况。客服管理在客服工作的每个环节都有涉及，例如访客分配、会话质检、客服绩效管理等。客服管理是客服运营的核心部分，智能客服管理就是将人工智能技术应用到以上客服管理工作中。机器人客服智能AI机器人客服每时每刻都在线，解决常见问题。智能客服对用户来说，可以直接为用户提供优质的服务质量，标准化的服务流程，高效的工作效率，为客户第一时间解答困惑，提供服务。对于企业来说智能客服系统能帮助企业提高客户满意度，降低企业成本。边缘设备在智能客服中的应用人工智能边缘设备应用02人工智能代理是一种实体软件，主要是以各知识库作为依据，及时完成相关任务，分析、处理信息数据，是由各领域知识库、数据库、解释推理路、相关通讯部分组成。在用户自定义的基础上，人工智能代理管理能够将信息传输到制定位置上，对信息进行搜索，为用户提供更加人性化、智能化的服务。例如：通过分析、处理信息的方式，人工智能代理管理技术向用户传递有效的信息，用户可以通过计算查找到所需的信息，能够为用户节省大量的查找时间。2.1边缘设备在智能客服中的应用-人工智能代理管理智慧交通语音导航是结合人工智能领域的自动语音识别技术、自然语言处理技术以及语音合成技术形成的综合应用，智慧交通语音导航通过对接传统车载系统，形成了扁平化的业务语音导航菜单服务模式。允许电话呼入的用户以开放的方式表述业务需求，也就是说，用户可以直接说出自己想要的服务诉求，系统识别用户语音信息，分析用户诉求并联动其他车载系统进服务。2.2边缘设备在智能客服中的应用-智慧交通语音导航智能语音外呼机器人系统提高了智能服务水平，系统针对电话销售、电话营销为主要目的业务流程而量身定制。通过预先设定的语音外呼流程，系统可以实现用户进行身份确认、营销引导、营销信息确认等营销流程。智能营销外呼机器人系统自然流畅的声音、规范统一的标准，能轻松完成原由人工承担的大部分的重复外呼工作，并且可以实时与人工外呼进行切换互补，实现"智能营销外呼机器人+人工外呼坐席"结合的模式，准确把握每个高价值客户的销售机会，极大降低营销成本，提高营销效率。2.3边缘设备在智能客服中的应用-智能语音外呼边缘设备应用案例分析人工智能边缘设备应用03某房地产集团产业庞大，楼盘种类丰富，长期以来依赖传统人工呼叫与人工客服通知开盘，邀约看房交房等，随着用人成本的持续上涨、伴随人员流失严重、新员工培训难度大等困扰，因此希望引入智能外呼释放重复人力劳动，让员工把时间和精力投入到客户二次跟进与更复杂的需求满足上。3边缘设备应用案例分析-核心诉求1.语音转写问题语音转写过程也会存在转写漏字、多字、错字的问题，这也就导致机器在解析用户问句的时候存在问题。目前主要解决的方法就是通过语料训练语音识别的模型，对于敏感的、容易出错的字着重训练，最好模型具备一定的纠错功能，这样才能更好的为后面的语义解析服务。3边缘设备应用案例分析-核心诉求2.模型训练和数据准备问题语义解析的好坏主要跟模型和训练的数据有关，目前训练模型主要是用机器的深度学习来完成，主要有卷积神经网络（CNN）、循环神经网络（RNN）以及深度置信网络（DBN），不同的学习模型出来的结果也是不一样的。训练的数据以及训练数据知识覆盖面的程度越广，能解析的知识点就会越多。3.用户问句存在上下文问题用户对问题描述如果存在上下文的句子也会影响到解析的效果。用户对一个问题的描述只有一半，就不知道用户具体想要表达什么，解析的效果就会大打折扣，这时就需要配置上下文的服务，通过引导反问用户，来达到解决用户问题的效果。公司使用百度AI语音识别技术、理解与交互技术UNIT打造了一款智能客服系统，用以解决该房地产集团的多种业务诉求。包括轻松筛选海量意向客户，快速通知并与客户交流现场看房和开盘活动预热暖场等，使智能客服系统具备智慧大脑，可以顺畅达成外呼任务。3边缘设备应用案例分析-解决方案发音流畅，拟人度高采用基于拼接和神经网络声码器相结合的技术方案，合成音情感丰富，高度拟人，流畅自然，适合客服场景。更高识别准确率采用呼叫中心专属语音模型，为智能客服，营销助手等场景提供比普通语音识别更高的识别准确率。语速、音调可调节支持多种参数配置，可根据场景需求对语速、音调、音量进行灵活设置，满足个性化需求。语音实时识别采用针对呼叫中心场景专门训练的语音识别模型，将电话语音实时精准识别为文字模块12：智能客户服务系统搭建案例实现模块小结知识拓展PARTONEPARTTWOPARTTHREE案例实现:基于语音识别的智能客户服务系统搭建人工智能边缘设备应用01人工智能边缘设备开发环境配置基于模块描述与知识准备的内容，基本了解智能客服系统的常用方法、边缘设备的相关应用案例及实现流程。在前面的课程中已经学习了如何将模型进行本地部署、调用和测试，本模块中将学习使用API调用的方式实现语音识别功能。（1）创建语音识别应用。创建用于识别音频文件的语音识别应用，后续可将音频文件发送到该应用中进行识别。（2）编写语音输入函数。编写相关代码调用麦克风设备，实时录制音频文件，并将文件进行保存。（3）编写语音识别函数。编写相关代码将语音识别应用所需的音频文件、API接口等参数封装请求体，用于后续发送请求。（4）语音识别测试应用。编写相关代码将定义好的请求体发送到语音识别API接口中进行识别，并将结果进行输出和指定文件写入保存。任务1：创建语音识别应用接通边缘设备电源，通过本地连接或者远程连接的方式进入边缘设备的桌面，在边缘设备的桌面中找到“ChromiumWebBrowser”的浏览器图标，双击图标打开浏览器，如图所示。双击浏览器图标后，若弹出解锁窗口，如图所示，则在输入框中输入“dongguan”后，接着单击“Unlock”按钮解锁，即可打开浏览器。▲解锁窗口▲打开浏览器任务1：创建语音识别应用1.注册百度账号在开始使用百度智能数据服务平台之前，需要先注册百度账号。通过以下步骤注册百度账号，与百度APP、百度贴吧、百度云盘、百度知道等产品通用。若已有百度账号，则可忽略此步。当账号注册完成则使用百度账号登入到“百度AI开放平台”进行语音识别的应用创建。▲百度账号注册界面▲百度搜索界面任务1：创建语音识别应用2.完成开发者认证百度账号注册完成后，再次登录后将会进入开发者认证页面，可通过以下步骤填写相关信息完成开发者认证。若已经是百度云用户或百度开发者中心用户，则可忽略此步。▲百度控制台▲开发者认证中心任务1：创建语音识别应用3.登入“百度AI开放平台”完成开发者认证后，即可使用百度AI大脑平台上的各种工程工具和开发平台，包括智能数据服务平台。接下来，通过以下步骤，进入百度AI开放平台，熟悉平台的基本操作。▲百度AI开放平台功能导航栏▲百度AI开放平台控制台任务1：创建语音识别应用4.领取免费资源在控制台左侧的导航栏中，单击“产品服务”->“语音技术”按钮，进入语音技术的概览界面，如图所示。在概览界面单击“免费尝鲜”可以领取免费资源。将语音识别、呼叫中心语音、语音合成的全部接口进行免费领取，领取后等待一段时间即可使用。▲领取免费资源界面任务1：创建语音识别应用5.创建语音识别应用完成免费资源的领取，重新回到语音技术的概览界面，完成语音识别应用的创建。创建完成后，平台将会分配该应用的相关凭证，主要包括AppID、APIKey、SecretKey。以上三个信息是在该应用实际开发的主要凭证，每个应用之间各不相同。▲应用详情界面▲应用创建界面任务2：编写语音输入函数在边缘设备的桌面中单击右键，选择“OpenTerminal”选项打开终端命令行。打开终端命令行后，在命令行中依次输入命令，切换到本次案例的文件夹并创建vioce.py代码文件用于编写实现语音识别功能的代码。在终端命令行中输入上述命令后，即可打开一个名为voice.py的文本编辑窗口，如图所示，接下来即可编写相关代码，实现音频文件的录制。cdDesktop/projects/char12/geditvoice.py任务2：编写语音输入函数1.导入库函数在语音识别的过程中需要对数据进行编码和解码以及调用百度API进行语音识别等操作，导入相关的库函数可以有助于功能的实现，代码如下。importjsonfromurllib.requestimporturlopenfromurllib.requestimportRequestfromurllib.parseimporturlencodefromutilsimportfetch_tokenfromutilsimportmy_record函数名函数的作用json用于将数据格式转换为Json格式urlopen对目标网址进行访问Request用于发送网络请求urlencode将信息转换为可用于访问的网址fetch_token获取访问令牌tokenmy_record录制标准音频任务2：编写语音输入函数2.录制标准音频对于音频文件的准备，使用my_record()函数录制标准的音频。首先指定需要识别音频文件名称，设置音频的标准采样率为16000Hz，音频录制的时长为3秒，最后调用my_record()函数进行音频的录制。#需要识别的文件路径，支持pcm/wav/amr格式AUDIO_FILE='16k.wav'#音频采样率，音频格式必须满足采样率RATE=16000#音频时长time=3my_record(audio_name=AUDIO_FILE,time=time,framerate=RATE)任务3：编写语音识别函数1.配置语音识别参数录制了标准的音频后，需要对语音识别的相关参数进行配置，代码如下。除了使用普通话，还可以识别英语、粤语、四川话等。不同的语言对应的模型也不一样，通过设置DEV_PID参数进行选择，参数的选择如下表所示。#文件格式FORMAT=AUDIO_FILE[-3:]#唯一标识符CUID='123456PYTHON'#1537表示识别普通话DEV_PID=1537#语音识别地址ASR_URL='/server_api'#设置语音识别功能的功能名称SCOPE='audio_voice_assistant_get'DEV_PID语言模型是否有标点备注1537普通话（纯中文识别）语音近场识别模型有标点支持自定义词库1737英语英语模型无标点不支持自定义词库1637粤语粤语模型有标点不支持自定义词库任务3：编写语音识别函数2.获取访问令牌在调用API接口时，需要进行授权认证，即Token认证。为了获取令牌，调用获取令牌函数fetch_token，利用APIKey和SecretKey两个信息来获取访问令牌。首先设置APIKey和SecretKey两个信息，以下代码中API_KEY和SECRET_KEY的值为空，需要填写为任务1中获取到的应用信息，接着调用函数获取访问令牌，代码如下。此时token返回的是访问令牌，使用token即可完成语音识别等工作。#设置APIKey和SecretKeyAPI_KEY=''SECRET_KEY=''#设置用于请求TOKEN的请求地址TOKEN_URL='/oauth/2.0/token'token=fetch_token(API_KEY,SECRET_KEY,TOKEN_URL)任务4：语音识别测试应用1.读取音频根据音频文件的地址，利用Python对音频文件进行读取。为了防止音频不存在或者音频没有语音信息的情况，通过统计读取音频的长度进行判断，如果可以正常读取音频文件，则程序会顺利执行，获取音频的信息，反之会打印出错误信息，代码如下。#定义空列表存储读取的音频信息speech_data=[]#读取音频withopen(AUDIO_FILE,'rb')asspeech_file:speech_data=speech_file.read()#统计读取的音频的长度length=len(speech_data)#如果读取的音频长度为0，说明音频信息不存在，打印出错误信息iflength==0:raiseDemoError('file%slengthread0bytes'%AUDIO_FILE)任务4：语音识别测试应用2.语音识别利用获得的访问令牌和读取的音频信息对音频进行识别，将识别的结果打印在屏幕中。参数字典创建及编码：创建字典存储用于语音识别的所有参数，包括唯一标识、访问令牌和识别的语言类型。利用urlencode函数对创建的参数字典进行编码。创建消息头：创建字典用于存储消息头的相关信息，包括读取音频的类别和音频的长度。地址访问：通过语音识别的地址和参数字典的编码信息获取访问的地址，利用request对地址进行访问获得语音识别的结果。结果输出：将语音识别的结果进行读取，打印出识别的信息，并将结果保存在TXT文件中。开始参数字典创建及编码创建消息头地址访问结果输出结束任务4：语音识别测试应用2.语音识别了解完语音识别的流程后，接下来进行代码编写，代码如下。#创建字典参数params={'cuid':CUID,'token':token,'dev_pid':DEV_PID}#对参数进行编码params_query=urlencode(params)#创建消息头字典headers={'Content-Type':'audio/'+FORMAT+';rate='+str(RATE),'Content-Length':length}#获取访问的地址url=ASR_URL+"?"+params_query#对地址进行访问req=Request(ASR_URL+"?"+params_query,speech_data,headers)f=urlopen(req)#获得语音识别的结果result_str=f.read()#将结果转换为utf-8result_str=str(result_str,'utf-8')#打印结果print(result_str)#将语音识别结果保存在