人工智能通识课件 第8章 数字人生产应用（8.2 数字人的技术基础）

选用《信息技术课程标准（2021年版）》新型活页式教材我们毕业啦其实是答辩的标题地方数字人的技术基础第8章数字人生产应用深度学习、自然语言处理、计算机视觉、语音合成与识别课前答题1。。。。。2。。。。。3。。。。。4。。。。。教学重点：1.深度学习在数字人中的应用；2.计算机视觉技术在数字人中的应用；3.自然语言处理技术在数字人中的应用；4.语音合成与识别技术在数字人中的应用。教学重点：1.数据标注和模型训练；2.AI数字人应用。课前答题1。。。。。2。。。。。3。。。。。4。。。。。虚拟教师个性化学习计划根据学生的学习情况和兴趣，数字人可以提供个性化的学习计划和资源推荐，提高学习效果。在线课堂互动通过数字人技术，实现在线教师与学生之间的实时互动，包括问答、讨论和演示等。虚拟教师形象设计根据教学需求，设计虚拟教师的形象、动作和语音，提高线上教学的吸引力和互动性。深度学习在数字人中的应用循环神经网络（RNN）RNN是一种专门用于处理序列数据的神经网络模型。它能够记住之前的信息并将其与当前的信息相结合，从而生成连贯的输出。在数字人中，RNN被用于处理对话、问答等序列任务，使数字人能够理解和生成连贯的语言。神经网络神经网络模拟人类神经系统的结构和功能，对输入数据进行处理和分析，并生成相应的输出。在数字人中，神经网络被广泛应用于语言理解、图像识别、情感分析等多个方面。卷积神经网络（CNN）CNN是一种专门用于处理图像数据的神经网络模型。它通过卷积层、池化层等结构自动提取图像中的特征，如边缘、纹理、形状等。在数字人中，CNN被用于识别人类的面部表情、手势等非语言信息，为数字人的视觉感知提供有力支持。030102自然语言处理在数字人中的应用语义理解语义理解是NLP的核心任务之一，它使数字人能够准确理解人类的指令和意图。在数字人中，语义理解技术被用于解析用户的输入文本，提取其中的关键信息，并生成相应的回复或动作指令。对话生成对话生成技术结合深度学习中的序列到序列（Seq2Seq）模型、注意力机制等技术，使数字人能够根据上下文生成连贯、有逻辑的回复。情感分析情感分析技术通过分析用户的输入文本、语音或面部表情等信息，判断用户的情感状态（如高兴、悲伤、愤怒等），并生成相应的回复或动作指令，从而建立更加紧密的情感联系。计算机视觉在数字人中的应用动作捕捉在数字人中，动作捕捉技术被用于模拟人类的自然动作，如走路、跑步、跳跃等。通过动作捕捉技术，数字人能够呈现出与真实人类无异的动作表现，从而增强交互的真实感和沉浸感。表情合成在数字人中，表情合成技术通过分析人类的面部表情数据生成相应的表情动画并应用到数字人模型上。这种技术使得数字人能够表达出更加丰富的情感状态，增强交互的真实感和亲切感。人脸识别人脸识别是计算机视觉中的重要任务之一，它使数字人能够准确识别出人脸的特征。在数字人中，人脸识别技术被用于识别用户的身份、表情等信息，从而实现个性化的交互体验。语音合成与识别在数字人中的应用TTS技术被用于将数字人生成的文本回复转化为自然流畅的语音。数字人能够用自己的声音与用户进行对话和交流，增强交互的真实感和亲切感。文本转语音ASR技术被用于识别用户的语音输入，并将其转化为文本信息供数字人进行处理和理解。通过ASR技术，数字人能够“听”懂用户的话，并根据用户的指令或需求进行相应的回复或动作。语音自动识别应用实践任务二：数据标注和模型训练任务目标：(1)熟练掌握AdobeAudition和GoldWave软件的基本操作，包括音频标记、静默检测和处理、音频片段的导出与导入。(2)学会按照规定的静默时长标准对音频进行编辑。(3)掌握文本标注的技巧，确保文本与音频内容精确对应，并能按照格式要求进行文本排版。(4)了解数字人声音模型训练的整个流程，并能够在不同的训练平台上进行操作。(5)掌握数字人人像模型训练的方法，并能够在相应的训练平台上完成人像模型的训练。

数据标注和模型训练---音频标注（1）在AU（AdobeAudition）中打开已处理的音频文件，选择一段音频区域。通过鼠标右键点击并选择“标记”菜单下的“添加提示标记”如图所示，或者在英文输入模式下，直接按下M键来添加标记。

数据标注和模型训练---音频标注（2）完成一个标记后，继续使用相同的方法对整段音频进行标记。在Audition界面左侧的标记面板中，您将能够查看所有已创建的标记。（3）使用Ctrl+A快捷键选中所有标记，随后将选定范围内的音频导出为独立的文件，如图所示。

数据标注和模型训练---音频标注（4）弹出的“导出范围标记”对话框中，请遵循统一的命名规则（由英文小写字母、数字、下划线组成）来命名文件如图所示。接着，更改文件的存储位置，并点击“导出”按钮完成操作。

数据标注和模型训练---音频标注（5）启动GoldWave软件，并将经过标记处理的音频片段逐一导入。导入过程中的一个标记示例如图所示。

数据标注和模型训练---音频标注（6）检查静默持续时间：通过鼠标选择一段静默区域，状态栏下方将展示该区域音频的持续时长，如图中红色方框所示。

数据标注和模型训练---音频标注（7）移除不必要的静默段落：通过鼠标选中需要删除的音频段落（特别是那些静默时间过长的部分）如图所示，然后在顶部的菜单栏中点击“删除”按钮即可完成操作。数据标注和模型训练---音频标注（8）插入静默时长：在需要增加静默时长的位置，点击菜单栏中的“编辑”选项，接着选择“插入静音”，并输入相应的持续时间，如图所示。静默时长的规定如下：音频内部的静默时长不得超过0.5秒；句子与句子之间的静默应保持在0.3至0.5秒之间；并列的句子之间，即顿号连接的句子，静默时长应维持在0.15至0.25秒；一句话内部的停顿时长应在0.15至0.25秒之间；每条音频的开头和结尾处的静默时长应控制在0.1秒以内。数据标注和模型训练---文本标注（1）根据音频标注，将文本转换为相应的分段文字。即每个标记对应一段文字。如图所示。数据标注和模型训练---文本标注（2）仔细校对每个音频标记与文本内容，确保文本中的文字与音频中的对话精确对应，从而保证文字与声音的同步性。（3）在文本的每一段落前添加相应的音频文件名称，如图所示格式：数据标注和模型训练---文本标注（4）注意事项请将所有阿拉伯数字转换为汉字表述。每段落的结尾应使用适当的标点符号，即【。、？、！】中选择其一。对于连续的标点符号，如破折号、书名号、引号等，应予以删除，但冒号除外，它应与逗号保持相同的使用规则。每句话的总字符数，包括标点符号，不得超过35个字符。若遇到极短的句子，例如仅包含一两个字，应考虑将其舍弃或与邻近句子合并，以形成较长的句子。避免出现短于1秒的短句。数据标注和模型训练---数字人声音模型训练智能训练系统的训模端：声音训模专为开发与优化数字人声音模型而设计，能够生成涵盖多种语言和口音的声音模型，如图所示是智能训练系统的训模端。数据标注和模型训练---数字人声音模型训练数字人声音模型的训练流程如下：1）准备工作：首先调整音频标注的采样率，确保音频数据与当前数字人语音合成算法兼容。接着，将包含音频标注的文件夹压缩成ZIP格式的压缩包，并准备好相应的文本标注文件。2）操作步骤：点击“声音训模”选项，随后选择“添加声音训模”功能。3）在出现的“添加训模”对话框中，输入模型名称，选择相应的性别和语言选项，然后点击“选择文件”按钮，上传之前准备好的音频标注文件压缩包以及文本文件。文件上传完成后，点击“确认”按钮，系统将启动声音训模过程。4）训模启动后，系统界面将显示状态为“训练中”。5）一旦状态指示从“训练中”转变为“训练成功”，则表示声音训模已经完成。数据标注和模型训练---数字人人像模型训练智能训练系统的训模端：人像训模专为虚拟形象量身打造。在这个平台上，虚拟人像能够经历各种模拟训练，如图所示。数据标注和模型训练---数字人人像模型训练数字人人像模型的训练流程如下：1）首先，准备四段已经处理好的人像视频素材。2）接着，点击“添加视频训模”选项。3）此时，系统会弹出“添加模型”对话框，在其中输入人物模型的名称，并通过“选择文件”按钮上传已准备好的人像视频文件（注意，一次仅能上传一段视频）。上传完成后，点击“开始训模”，系统将启动人像模型训练过程。4）训练开始后，系统界面将显示“训练中”的状态。一旦该状态转变为“训模成功”，意味着第一个视频的人像模型训练已经完成，并且该视频中的动作现在可以使用。5）随后，点击“添加”按钮，在新的“添加模型”对话框中，再次点击“选择文件”上传第二个视频文件，并点击“开始训模”以继续训练第二个视频的人像模型。6）按照相同的方法，继续上传并训练剩余的两个视频文件，直至完成所有四段人像视频的训练。7）最终，当系统界面的状态从“训练中”变为“训练成功”，则表示人像模型训练过程已经全部完成。

应用实践任务三：AI数字人应用任务目标：（1）熟练掌握AI数字人音频的生成流程，包括声音模型的选择、语音文本的编辑、音频合成的操作以及音频文件的保存。（2）学会制作AI数字人形象，包括脚本准备、音频与动作模型的匹配、人像视频的合成与编辑。（3）掌握课程视频的生成方法，包括使用编辑界面、下载和应用模板、调整视频和音频设置、添加和编辑字幕、应用转场效果等。

AI数字人应用---生成AI数字人音频常见的生成AI数字人音频平台如下：（1）智能合成系统的合成端。（2）讯飞开放平台。AI数字人应用---生成AI数字人音频生成AI数字人音频流程如下：1）登录系统后，点击“新建课程”。随后，在弹出的“新建课程”对话框中，填写课程名称、所属学院、相关专业以及授课教师等详细信息。2）在“声音模型”下拉菜单中，选择已训练好的数字人声音模型。接着复制相应的语音文本，将其粘贴至编辑区域。之后，点击“音频合成”按钮。3）当底部出现“合成成功”的提示时，意味着音频合成已经完成。4）接下来，仔细聆听音频，并对发现的任何问题进行编辑。编辑区域的右上方提供了多个功能键，包括局部调整、可视化编辑、语言录入、常见多音字处理、连读效果、强调部分、停顿设置以及数字的正确读法。利用这些工具，您可以对音频中的问题部分进行精确修改，直至达到您的满意为止。5）在音频调整完成后，点击下方的“音频另存为”按钮。随后，弹出的设置对话框将允许您选择音频文件的存储位置。一旦确定了文件夹及路径，点击“确定”按钮即可保存。

AI数字人应用---生成AI数字人形象常见的生成AI数字人形象平台如下：（1）智能合成系统的合成端。（2）奇妙元平台。AI数字人应用---生成AI数字人形象生成AI数字人形象流程如下：1）请准备用于人物出镜的脚本，并将其复制到音频合成编辑区。接着，依照先制作音频的流程，创建与人物出镜相匹配的音频文件。音频文件一旦完成，便可以使用它来操控人像动画。2）点击“素材合并”按钮，在弹出的合成设置窗口中，选择“视频模型”选项，随后挑选“动作模型”。通常，每个视频模型都配有四个可供选择的动作模型。3）在合成设置中，选择“开始时间”和“结束时间”，然后点击“确定片段”。一旦动作选择被确认，接着点击“开始合成”。当屏幕最下方显示“合成成功”时，这意味着人像视频已经成功合成。4）合成过程完成后，在预览界面点击播放按钮，即可观看合成的人像视频。若需更改动作，可再次选择不同的动作片段进行重新合成。5）确认合成的人像视频符合要求后，点击“提交编辑端”按钮。6）在编辑端页面，选择“数字教师”选项。接着，进入第一个文件夹，点击视频右上角的下载图标以开始下载。AI数字人应用---生成课程视频常见的生成AI数字人形象平台如下：（1）智能合成系统的合成端。（2）AdobePremiere（PR）。PR是Adobe公司一款适用于视频开发制作者使用的专业高效的视频编辑软件，PR提供了调色、采集、剪辑、字幕添加、美化音频、输出等。AI数字人应用---生成课程视频生成课程视频流程如下：1）在编辑界面，您会发现包括本地、课程模板、素材、其他、数字教师、AI创意等多个板块。在“课程模板”板块中，您可以下载所需的模板，并根据需求对模板内的内容进行相应的调整。2）下载完成后，将模板拖拽至下方的时间轴，此时会弹出一个片段配置对话框。您可以选择使用默认的片段配置，或者根据需要进行自定义配置。在自定义配置选项中，您可以调整视频的宽度、高度、帧速率，以及音频的采样率，并为配置命名。3）配置完成后，课程模板内的素材将展示在时间轴上，接下来您可以根据课程设计制作相应内容。4）在时间轴上选中“课程名称”部分，您可以在右侧的“属性设置”区域输入课程名称，并设置课程名称文字的位置、字体、大小、颜色等详细信息。5）在“本地”页面，用户能够上传视频课程所需的课件和音频材料。6）在导入过程完成后，将课件内容拖拽至时间轴上，并将其定位在模板的主体区域。7）在时间轴上选中刚刚添加的课件元素，然后在右侧的“属性设置”面板中调整其宽度、高度和位置，确保