智能语音技术及应用开发 课件 单元7 语音技术综合实践

综合实践2023年2月单元七设计虚拟主播单元七：任务1

众多专业性较高的展馆蕴含着丰富的文化底蕴，这对于一般观众而言，往往构成了一定的理解障碍。为了克服这一难题，我们可以围绕展馆的核心精髓，精心打造人性化的虚拟主播形象，使之成为展馆的虚拟导览员、讲解员及客服代表。这些虚拟角色将以新颖有趣的方式，向广大观众深入浅出地普及展馆内容与文化精髓，从而使宣传效果更加深入人心，引人入胜。项目导入目录CONTENTS1了解虚拟主播2虚拟主播的主要技术3虚拟主播的平台实现知识目标了解虚拟主播的概念、术语、类型、发展以及优缺点和应用场景理解虚拟主播的主要技术熟悉虚拟主播构建流程能力目标能够熟练使用平台能够设计虚拟主播实现框架能够完成虚拟主播平台实现思政目标感悟脚踏实地、勤恳敬业、精益求精的大国工匠精神学习爱岗敬业的社会主义核心价值观PART01了解虚拟主播了解虚拟主播什么是虚拟主播？狭义上：以原创的虚拟人格设定和形象在视频网站或社交平台上进行活动的主播。广义上：虚拟主播是指以虚拟形象在视频网站上进行投稿活动的主播，并不对是否为虚拟人设进行限制。人工智能主播：以大数据处理与学习、虚拟合成与分身、人机交互等人工智能技术为驱动，在广播、电视、电子出版及互联网等媒介中担负主持与播报任务的智媒产品。了解虚拟主播目前主流的虚拟主播有两种类型：Avatar式虚拟主播和AI虚拟主播。请阅读教材了解这两种类型的虚拟主播并简要描述。了解虚拟主播虚拟主播的优势和缺点优势：1.去时间化；2.去地点化；3.去人力化缺点：1.形象单一、词库受限2.无社交性，难以处理突发事件和表达情感。了解虚拟主播虚拟主播的应用场景1.动画类的教育软件中2.贫困地区支教3.课堂上了解虚拟主播想一想，除此之外还有哪些应用场景呢？PART02虚拟主播的主要技术虚拟主播的主要技术1.建设虚拟主播的模型2.面部或全身动作捕捉3.智能语音合成技术虚拟主播的主要技术1.建设虚拟主播的模型

一般的虚拟主播可以分成2D和3D两类，制作者可以通过Photoshop、3dsMax、Maya等绘图软件来制作。虚拟主播的主要技术2.面部或全身动作捕捉

通过相机阵列进行画面捕捉，通过动态捕捉设备捕捉真人动作和表情，并映射到虚拟模型上。相机阵列动态捕捉设备虚拟主播的主要技术2.面部或全身动作捕捉

目前市面上主流的是直接用手机或计算机摄像头自动捕捉，如iPhone的前置摄像头就安装了红外镜头来支持Animoji的面部捕捉，还有专业的面部捕捉设备MocapCameras等。

获取面部数据通常两种方法：

（1）结构光方法

（2）相机阵列方法虚拟主播的主要技术3.智能语音合成技术

智能语音合成是通过机械的、电子的方法产生人造语音的技术，是将计算机产生的或外部输入的文字信息转变为可以听得懂的、流利的口语输出的技术。主要分为两个步骤实现：

（1）收集足够多的数据生成语音原料数据库（语音库）。

（2）语音合成（包括参数法、声道模拟法、拼接法等多种方法）。PART03虚拟主播的平台实现虚拟主播的平台实现虚拟主播的平台实现讯飞开放平台提供了一套AI虚拟主播系统，它是“一站式虚拟主播视频生产和编辑服务”的系统。它像一个虚拟的“AI演播室”，简单地输入文稿，指定AI主播，即可一键完成视频的生产输出。AI主播支持多语言、多方言，同时可变换姿态、变换造型等。除了强大的AI主播生成能力，系统还具备视频音画的多轨混编、智能拼接、画中画编辑等完善的视频处理功能，可一站式完成成品视频的编辑生产，满足不同平台视频发布需求，大大提高了内容生产效率。请同学们按照教材中任务实施步骤完成虚拟主播的平台实现。感谢观看综合实践2023年2月单元七设计防控区智能客服系统单元七：任务12021年全国两会期间，习近平总书记对做好常态化疫情防控工作、织牢织密公共卫生防护网、防范化解重大疫情和突发公共卫生风险提出重要要求。在常态化疫情防控中，基层防疫工作人力不足，特别是在疫情防空初期排查和落实中压力巨大。为助力国家动态清零防疫总方针，践行“防疫不防爱，隔离不隔心”为人民服务的宗旨，设计防控区智能客服系统，减轻基层防疫人员工作压力，以实际行动守护人民生命安全项目导入目录CONTENTS1人工智能训练师职业认知2人机交互与智能客服3初步实现防控区智能客服系统知识目标了解智能客服系统设计的一般流程理解智能客服系统设计思路了解话术的概念能力目标能够熟练使用平台能够可视化配置智能客服能够搭建智能客服系统思政目标感悟脚踏实地、勤恳敬业、精益求精的大国工匠精神学习爱岗敬业的社会主义核心价值观PART01人工智能训练师职业认知人工智能训练师职业认知人工智能训练师做什么工作？人工智能训练师是指使用智能训练软件，在人工智能产品实际使用过程中进行数据库管理、算法参数设置、人机交互设计、性能测试跟踪及其他辅助作业的人员。本任务需要完成智能客服系统设计，属于人工智能训练师职业中的岗位任务之一。人工智能训练师职业认知2020年02月25日，人社部发〔2020〕17号，《人力资源社会保障部办公厅市场监管总局办公厅统计局办公室关于发布智能制造工程技术人员等职业信息的通知》，发布新增16个新职业信息，“人工智能训练师”位列其中。人工智能训练师职业认知2021年11月，人社部发布《人工智能训练师》国家职业技能标准，国家职业技能标准是在职业分类的基础上，根据职业活动内容，对从业人员的理论知识和技能要求提出的综合性水平规定，是开展职业教育培训和人才技能鉴定评价的基本依据。该标准由国家人社部职业技能鉴定中心、浙江省人社厅指导，阿里巴巴集团、科大讯飞股份有限公司、浙江省技能人才评价管理服务中心、北京百度网讯科技有限公司等单位主要起草，历时2年完成。人工智能训练师职业认知2022年4月，北京市人力资源和社会保障局印发《关于开展新职业技能等级认定工作的通知》，将对人工智能训练师开展技能等级认定工作，分为五个技能等级，分别是初级工（五级）、中级工（四级）、高级工（三级）、技师（二级）和高级技师（一级）。人工智能训练师职业认知PART02人机交互与智能客服人机交互与智能客服人机交互（Human–ComputerInteraction），英文缩写为HCI，是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。人机交互技术是计算机用户界面设计中的重要内容之一，与认知学、人机工程学、心理学等学科领域有密切的联系。人机交互与智能客服传统的人机交互是研究用户与计算机系统间往来的交互，系统和人之间存在着一般的输入和输出装置，在这些输入输出装置之间会发生一系列的相互作用，将人接触的系统的输入输出装置以及这些设备上显示的内容作为用户界面（UI）。新的人机交互可划分为人、计算机以及交互这三个要素。关注于人们可以亲眼看到、亲耳听到的界面设计或音效制作。人机交互与智能客服人机交互主要研究人和计算机之间的信息交换，主要包括人到计算机和计算机到人的两部分信息交换，是人工智能领域的重要的外围技术。人机交互是与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关的综合学科。人机交互与智能客服20世纪50年代末期，泛美航空公司建成世界上第一个提供7*24小时服务的呼叫中心，开启了呼叫中心产业发展的历史进程。伴随着现代科技的不断进步，特别是在互联网技术的推动下，传统呼叫中心以人工语音服务为主的服务方式逐渐演变为当下多媒体、全渠道、以在线服务方式为主的客服中心。广泛应用于政府、金融、保险、银行、电信、电子商务、物流、医疗等若干行业，走进生活的方方面面。人机交互与智能客服然而，客服中心服务渠道不断扩展的同时，企业服务客户的数量也呈现指数级增长，随之面临着人员短缺、工作重复性高、工作强度大、招聘难、培训效率低、运营成本高、客户关系维护困难等一系列问题。人工智能全面推动产业升级变革的今天，客服行业凭借强大的语音识别、语音合成、自然语言理解、声纹识别等核心技术等，以AI+客服的新思路解答了当前客服行业的发展谜题，客服领域迎来了新的机遇－智能客服机器人。剑桥大学发布调查报告，客服是最有可能被AI替代的行业之一，替代率将达到80%以上。人机交互与智能客服人机交互与智能客服随着人工智能技术的发展，智能客服也经历了多次迭代，从最初的基本应答系统到扩展的智能应答系统直至现在可视化多模态智能客服平台。人机交互与智能客服完成一项智能客服业务需要经历大量的工作，包括需求调研、可行性分析、产品设计、投入研发、批量测试、灰度上线、正式发布、数据分析、持续优化等过程。实施好智能客服产品的关键在于需要具备专业团队。专业的智能客服训机师团队包含行业专家、设计专家、运营分析专家和优化专家。行业专家熟知行业背景、行业产品，对策略、技巧具有至深的理论和实践经验；设计专家需要具备丰富的一线客户服务经验，对业务场景话术逻辑及语言设计经验丰富，注重客户情感互动及客户心理研究；运营分析专家根据业务考核需求对各维度数据深入分析，为策略制定、话术及产品优化效果提供重要保障；优化专家针对行业特性，提升电话机器人语音合成、语音识别效果，提升产品的易用性及客户服务体验。人机交互与智能客服人机交互与智能客服人机交互设计的最终目标，是要在人们使用数字产品或服务来工作或解决问题的过程中，向他们提供最佳和流畅的体验，智能客服机器人是企业数字化服务过程中的重要内容。未来智能客服领域的发展有三大趋势。人机交互与智能客服追求规模化定制能力。即在满足客户个性化需求的基础上实现产品生产的规模化，以提升企业生产效率与效益。为实现产品的规模化定制，以AI能力和项目经验的沉淀为基础，搭建对话机器人工厂为多数厂商的应对策略。人机交互与智能客服基于AI技术的产品迭代与性能优化。AI技术的发展突破将会为产品的生产使用带来优化甚至颠覆，对于AI企业来说，自研技术能力至关重要，厂商持续进行AI能力的自研扩张，深化自身在语音语义和知识图谱等领域的核心竞争力；同时，多模态、情感智能、多轮交互等技术也被厂商积极关注及研究。人机交互与智能客服追求新业务增长。新业务增长点分为新增业务场景的渗透和新增相关工具的拓展。目前在客服营销领域厂商竞争激烈，厂商或会以对话机器人产品为切入点，为客户打造一体化解决方案拓宽更多业务场景；或会开拓新兴领域或赋能场景进一步渗透。新增相关工具拓展包括基于现有对话机器人产品下的工具组件延伸、与RPA技术结合化身为数字员工等。PART03初步实现防控区智能客服系统初步实现防控区智能客服系统感谢观看综合实践2023年2月单元七设计社区居民情况调查智能客服系统单元七：任务2

在追求智慧社区建设的背景下，为了深入且精确地把握社区居民的多元化需求、生活现状及满意度水平，并进一步提升社区管理与服务的效能，我们计划研发一套针对社区居民情况调查的智能客服系统。此智能客服系统不仅能够迅速响应居民的各项需求，提供量身定制的解答服务，还兼备自动采集、整理及深度分析调查数据的功能。它将为社区管理者呈现一份详尽的居民需求分析报告，为社区制定更为科学、合理的服务策略与改进举措提供有力支撑，从而携手共创一个更加和谐、智慧且宜居的社区生活环境。项目导入目录CONTENTS1人工智能训练师职业认知2人机交互与智能客服3实现社区居民情况调查智能客服系统知识目标了解智能客服系统设计的一般流程理解智能客服系统设计思路了解话术的概念能力目标能够熟练使用平台能够可视化配置智能客服能够搭建智能客服系统思政目标感悟脚踏实地、勤恳敬业、精益求精的大国工匠精神学习爱岗敬业的社会主义核心价值观PART01人工智能训练师职业认知人工智能训练师职业认知人工智能训练师做什么工作？人工智能训练师是指使用智能训练软件，在人工智能产品实际使用过程中进行数据库管理、算法参数设置、人机交互设计、性能测试跟踪及其他辅助作业的人员。本任务需要完成智能客服系统设计，属于人工智能训练师职业中的岗位任务之一。人工智能训练师职业认知2020年02月25日，人社部发〔2020〕17号，《人力资源社会保障部办公厅市场监管总局办公厅统计局办公室关于发布智能制造工程技术人员等职业信息的通知》，发布新增16个新职业信息，“人工智能训练师”位列其中。人工智能训练师职业认知2021年11月，人社部发布《人工智能训练师》国家职业技能标准，国家职业技能标准是在职业分类的基础上，根据职业活动内容，对从业人员的理论知识和技能要求提出的综合性水平规定，是开展职业教育培训和人才技能鉴定评价的基本依据。该标准由国家人社部职业技能鉴定中心、浙江省人社厅指导，阿里巴巴集团、科大讯飞股份有限公司、浙江省技能人才评价管理服务中心、北京百度网讯科技有限公司等单位主要起草，历时2年完成。人工智能训练师职业认知2022年4月，北京市人力资源和社会保障局印发《关于开展新职业技能等级认定工作的通知》，将对人工智能训练师开展技能等级认定工作，分为五个技能等级，分别是初级工（五级）、中级工（四级）、高级工（三级）、技师（二级）和高级技师（一级）。人工智能训练师职业认知PART02人机交互与智能客服人机交互与智能客服人机交互（Human–ComputerInteraction），英文缩写为HCI，是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。人机交互技术是计算机用户界面设计中的重要内容之一，与认知学、人机工程学、心理学等学科领域有密切的联系。人机交互与智能客服传统的人机交互是研究用户与计算机系统间往来的交互，系统和人之间存在着一般的输入和输出装置，在这些输入输出装置之间会发生一系列的相互作用，将人接触的系统的输入输出装置以及这些设备上显示的内容作为用户界面（UI）。新的人机交互可划分为人、计算机以及交互这三个要素。关注于人们可以亲眼看到、亲耳听到的界面设计或音效制作。人机交互与智能客服人机交互主要研究人和计算机之间的信息交换，主要包括人到计算机和计算机到人的两部分信息交换，是人工智能领域的重要的外围技术。人机交互是与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关的综合学科。人机交互与智能客服20世纪50年代末期，泛美航空公司建成世界上第一个提供7*24小时服务的呼叫中心，开启了呼叫中心产业发展的历史进程。伴随着现代科技的不断进步，特别是在互联网技术的推动下，传统呼叫中心以人工语音服务为主的服务方式逐渐演变为当下多媒体、全渠道、以在线服务方式为主的客服中心。广泛应用于政府、金融、保险、银行、电信、电子商务、物流、医疗等若干行业，走进生活的方方面面。人机交互与智能客服然而，客服中心服务渠道不断扩展的同时，企业服务客户的数量也呈现指数级增长，随之面临着人员短缺、工作重复性高、工作强度大、招聘难、培训效率低、运营成本高、客户关系维护困难等一系列问题。人工智能全面推动产业升级变革的今天，客服行业凭借强大的语音识别、语音合成、自然语言理解、声纹识别等核心技术等，以AI+客服的新思路解答了当前客服行业的发展谜题，客服领域迎来了新的机遇－智能客服机器人。剑桥大学发布调查报告，客服是最有可能被AI替代的行业之一，替代率将达到80%以上。人机交互与智能客服人机交互与智能客服随着人工智能技术的发展，智能客服也经历了多次迭代，从最初的基本应答系统到扩展的智能应答系统直至现在可视化多模态智能客服平台。人机交互与智能客服完成一项智能客服业务需要经历大量的工作，包括需求调研、可行性分析、产品设计、投入研发、批量测试、灰度上线、正式发布、数据分析、持续优化等过程。实施好智能客服产品的关键在于需要具备专业团队。专业的智能客服训机师团队包含行业专家、设计专家、运营分析专家和优化专家。行业专家熟知行业背景、行业产品，对策略、技巧具有至深的理论和实践经验；设计专家需要具备丰富的一线客户服务经验，对业务场景话术逻辑及语言设计经验丰富，注重客户情感互动及客户心理研究；运营分析专家根据业务考核需求对各维度数据深入分析，为策略制定、话术及产品优化效果提供重要保障；优化专家针对行业特性，提升电话机