《虚拟仿真实验脚本与策划》课件-项目4.2：网络通信与AI对话模块

矿井灾害应急救援（火灾）虚拟仿真实验网络传输开发目录01网络传输开发常见概念、效果预览02工作任务验收检查本节内容的掌握程度Part1手势交互制作01网络传输开发常见概念■API

Key：一串随机字符串，是调用大模型的身份证+

钥匙■API：不同系统之间“对话”的标准化通道■Token：大模型处理文本的最小单位01网络传输开发效果预览■界面效果预览关键交互组件集成用户输入框、一键发送按钮、自动滚动的对话视图，以及支持动态加载的聊天气泡预制体，打造流畅的即时通讯体验AI对话面板01网络传输开发功能制作■WebRequest方法介绍WebRequest是.NET框架（C#）中用于发起HTTP/HTTPS/文件/FTP网络请求的抽象基类，属于System.Net命名空间，是.NET早期标准网络请求工具，用来代替底层Socket，简化网页、接口数据获取。网络请求发送01网络传输开发功能制作■APIKey变量介绍APIKey是调用接口的专属密钥，用作身份验证，控制接口访问权限。设为变量是为了统一管理、方便更换、避免密钥硬编码泄露，一般通过请求头或URL参数传入接口请求。APIKey的使用01网络传输开发功能制作■ModelId介绍ModelId是大模型服务商给每一个AI模型分配的唯一标识字符串。调用API时通过该变量指定要使用哪一款模型，搭配APIKey一同发起请求，切换模型只需修改此ID变量。Doubao大模型页面01网络传输开发功能制作■打开脚本，找到网络请求部分100行左右WebRequest核心作用：Unity引擎中用于发起HTTP/HTTPS网络请求的基础类，支持GET、POST等协议，是实现客户端与后端服务数据交互的底层入口。网络请求部分代码01网络传输开发功能制作■配置变量内容■APIKey与核心参数配置在ds.cs脚本头部可配置关键变量，是实现AI对话的基础：ChatApiKey：你的专属API身份密钥，用于接口鉴权

ChatModelId：指定要调用的AI模型版本或标识

ChatUrl：AI服务的接口请求地址，指向后端服务变量配置01网络传输开发功能预览■输入框输入文字即可提问核心交互体验：支持自然语言即时提问，AI以流式打字机效果动态返回结果，对话气泡左右分区布局，清晰区分用户与AI角色提升交互清晰感与便捷性。交流内容01网络传输开发功能预览■查看返回内容可视化实时预览AI返回文本展示效果接收返回信息01网络传输开发功能预览■拖动聊天框查看历史记录实时查看流式输出的回答与历史对话记录

查看接收到的信息01网络传输开发功能预览■设置面板组件变量内容脚本内通过公开变量统一管理AI接口、UI组件、过滤关键词三类配置，在Unity检视面板可视化赋值，无需修改代码即可完成项目配置。变量信息01网络传输开发网络传输原理■发送文字Input点击发送时间调用OnSendText方法点击发送按钮触发OnSendText方法，完整执行用户消息预处理、界面渲染、网络请求三步流程网络传输功能部分代码01网络传输开发网络传输原理■发送消息方法SendChatMessageSendChatMessage是对话请求中转方法，负责初始化状态并启动协程执行流式网络请求网络传输功能部分代码01网络传输开发网络传输原理■对话请求方法StreamDoubaoChat协程方法，完整封装流式POST网络请求全流程网络传输功能部分代码01网络传输开发网络传输原理■更新UIUpdateChatUI该方法负责实时刷新AI回复对话界面，搭配内容过滤方法完成流式文本渲染网络传输功能部分代码01网络传输开发网络传输原理■请求的数据结构■核心：结构化的请求实体为实现与API的精准通信，需严格定义数据载体类：1.DouBaoRequest：顶层请求类，封装模型ID、对话上下文列表及关键配置；2.DouBaoMessage：单轮消息类，明确角色与具体文本内容，确保请求结构与方舟API文档完全匹配。网络传输功能部分代码Part2工作任务验收02工作任务验收工作内容1■检查是否理解AI数字人对话模块中的逻辑原理，理解数据发送，接收的过程检测能否在了解基本网络传输的原理紧紧跟随科学技术的发展，加入AI相关的功能，了解AI相关的术语工作内容2■检查是否了解该功能模块中的各种概念，如API、APIKey、Token等感谢观看安全第一·预防为主矿井灾害应急救援（火灾）虚拟仿真实验APIKey的使用目录01APIKey的使用注册、使用流程02工作任务验收检查本节内容的掌握程度Part1APIKey的使用01APIKey的使用账号注册■搜索火山引擎■网站：■使用手机号进行注册火山引擎网页01APIKey的使用后台管理■点击账号管理进入安全与密钥配置的核心区域，该入口是获取APIKey、管理访问权限、配置子账号的基础入口。后台管理页面01APIKey的使用后台管理■查看账号信息可直观查看账号的基础档案，包括账号ID、实名认证状态、所属组织及权限等级等核心信息。这是管理APIKey的前置步骤，确保您拥有创建和管理密钥的合法权限后台管理页面01APIKey的使用后台管理■查看密钥状态：在后台管理的“开发者中心”或“API设置”模块，可直接查看已创建的APIKey列表、权限范围及使用状态。■智能小助手指引：若找不到创建入口，直接向平台智能助手提问“如何创建APIKey”，可快速获取步骤指引或直达配置页面的链接。后台管理页面01APIKey的使用后台管理■打开对应的后台管理页面，若为首次登录系统，页面会展示明显的“创建APIKey”操作入口，请点击该按钮以生成专属的访问密钥。后台管理页面01APIKey的使用后台管理■进入平台后台，在密钥管理模块点击“创建密钥”按钮，按提示完成操作。■生成后立即复制AccessKey与SecretKey，妥善保管于本地加密位置，切勿泄露或上传至公共代码库后台管理页面01APIKey的使用模型页面■在模型服务列表中，精准定位并开通“Doubao-Seed-2.0-Code”专属服务，这是调用核心模型能力的前提。■若项目涉及语音交互需求，需切换至语音模型专属页签，提前完成对应语音能力的开通与配置。模型信息页面01APIKey的使用如何开通模型■找到开通管理入口：进入豆包大模型的产品详情页面后，在功能导航区定位【开通管理】选项。模型信息页面01APIKey的使用如何开通模型■在控制台应用列表中，找到并开通Doubao-Seed-2.0-Code模型服务，这是代码开发的核心基础。■如需集成语音交互能力，请切换至“语音模型”页签，按提示完成相关服务的开通与配置。模型信息页面01APIKey的使用如何开通模型■在语音模型相关的功能列表中，找到“语音合成”服务入口，点击进入服务详情页后，完成服务的开通操作，即可启用该功能接口。模型信息页面01APIKey的使用如何开通模型■在火山引擎控制台的语音模型页签下，找到“流式语音识别”服务条目，点击开通按钮完成服务启用。开通后即可获取对应的API调用权限，为后续的语音转文字功能提供支持。模型信息页面01APIKey的使用如何开通模型■向网页小助手提问确定地址：直接在对话界面输入问题即可快速获取准确的Endpoint调用地址，这是获取接口信息最便捷高效的方式。获取地址01APIKey的使用如何开通模型■URL的使用URL是AI模型服务的网络访问端点，也是发起HTTP请求的目标地址。在Unity开发中，需将平台提供的API服务URL与APIKey、模型唯一标识（ModelID）进行参数绑定，作为请求的基础路径，确保客户端能精准连接到云端的AI推理服务，是实现模型调用的首要配置环节。URL使用功能代码Part2工作任务验收02工作任务验收工作内容1■检查是否注册平台账号，完成模型权限开通，包括语音合成、语音转文字、文字对话的开通完成模型开通后才可以使用对应的模型Key在保存后需要保存好，不能暴露工作内容2■检查是否保存请求地址，是否创建AccessKey和ApiKey感谢观看安全第一·预防为主矿井灾害应急救援（火灾）虚拟仿真实验添加麦克风输入语音目录01添加麦克风录制功能02工作任务验收检查本节内容的掌握程度Part1添加麦克风01添加麦克风使用麦克风添加录音功能■录音设置的变量MaxRecord：限制录音上限，控制音频文件时长与体积，按需适配语音留言、实时对话等场景。RecordFrequency：音质核心参数：数值越高音质越好，但文件体积、性能开销同步上升，常用16000/48000Hz。录音功能部分代码01添加麦克风使用麦克风添加录音功能■录音流程实现初始化录音设备→设置采样率与声道数→调用Start()开始捕获音频流→实时读取音频数据缓存，支持即时播放或存储为音频文件。录音功能部分代码01添加麦克风使用麦克风添加录音功能■核心设计：Recorder单例类

封装录音核心逻辑，以单例模式保证全局唯一实例，避免资源冲突与重复初始化，便于跨模块调用，提升音频功能可维护性与扩展性。录音功能部分代码01添加麦克风使用麦克风添加录音功能■核心控制方法封装封装录音控制接口：Start/Stop/Pause/Resume■权限与状态管理管理录音权限与状态，更新UI录音功能部分代码01添加麦克风使用麦克风添加录音功能

■触发停止的核心场景停止场景：松开按钮或超时■关键方法与数据处理停止后：封装音频并回调数据录音功能部分代码01添加麦克风使用麦克风添加录音功能■录音时的按钮状态更新，使用UpdateButtonState方法■获取当前录音状态，改变按钮状态录音功能部分代码01添加麦克风使用麦克风添加录音功能■LogAvailableDevices，检查当前可用的录音设备，确认设备连接状态与可选项。录音功能部分代码01添加麦克风使用麦克风添加录音功能■运行测试查看当前设备列表，确认麦克风设备已被系统正确识别与枚举。■检查音频权限配置，确保应用具备访问麦克风硬件的权限，避免录制功能异常。运行日志Part2工作任务验收02工作任务验收工作内容1■检查是否理解本节中检查录音设备的方法逻辑。检查是否理解录音单例类的使用，是否能够调用该类中的具体方法完成录音、停止录音等功能将录音方法封装后方便使用这里的按钮切换是交互优化的提升点工作内容2■检查是否能够完成按钮状态的切换、按钮状态的初始化感谢观看安全第一·预防为主矿井灾害应急救援（火灾）虚拟仿真实验使用API语音转文字目录01语音转文字制作流程02工作任务验收检查本节内容的掌握程度Part1语音转文字01语音转文字语音录入■找到录音功能，OnRecordButtonClickOnRecordButtonClick是录音按钮的点击事件，我们通过搜索这个函数找到整个录音功能的代码入口。■找到StartRecord的方法，定位到Finish后的回调StartRecord是启动录音的方法，我们要找到录音Finish结束后的回调，语音转文字的代码写在这里。语音录入代码01语音转文字核心方法■语音转文字核心方法，SpeechToText该方法能够把音频数据提交给接口，实现将语音转换成文字。语音转文字代码01语音转文字大模型平台设置■找到开通管理登录大模型平台的后台管理页面，找到开通管理板块，在这里可以开通语音转文字等相关API服务，获取调用接口所需要的权限与凭证。平台后台管理01语音转文字大模型平台设置■确认项目和语言模型保持一致在大模型平台后台，要保证代码里填写的项目信息与选择的语言模型，和平台后台开通配置的内容完全匹配，否则API调用会失败。平台后台管理01语音转文字大模型平台设置■打开对应的项目管理登录大模型平台后台，找到并进入当前业务所对应的项目管理页面，在此页面完成模型、权限等相关配置。平台后台管理01语音转文字大模型平台设置■查看管理资源的列表进入项目管理页面后，打开资源列表，在这里可以查看本项目已开通的语音转文字等模型资源平台后台管理01语音转文字语音模型设置■列表中开启后回到开通管理点击立即使用我们先在资源列表开启语音模型，之后返回开通管理页面，点击立即使用，获取调用语音转文字API所需的配置信息。平台后台管理01语音转文字语音模型设置■查看该模型详情进入语音模型页面，打开模型详情，可以查看接口地址、密钥等调用语音转文字API所需要的全部参数信息。平台后台管理01语音转文字语音模型设置■点击服务开通下的按钮，点击开通在语音模型设置页面，找到服务开通区域对应的按钮并点击开通，以此开启语音转文字模型的调用权限。平台后台管理01语音转文字语音转文字的方法■SendSpeechToTextRequest方法是向语音接口发起请求的方法，用来提交音频数据调用语音转文字服务。■文本为空字符串和空返回的排查，正常返回保存到text中语音转文字方法01语音转文字语音合成的SDK■开通管理，找到对应模型点击立即使用开通对应的模型01语音转文字语音转文字的方法■选择应用名称，选择服务详情在平台后台选中目标应用，打开对应的服务详情页面。■下拉找到SDK接入文档搜索SDK文档01语音转文字语音转文字的方法■SDK文档概览浏览SDK文档总览，包括SDK的适用平台、开发者、版本等信息。SDK文档01语音转文字语音转文字的方法■流式传输API浏览SDK文档总览，了解语音转文字开发所需的环境、接口、参数与示例代码，指导程序对接语音服务。SDK文档中转换的方法Part2工作任务验收02工作任务验收工作内容1■检查语音转文字的部分是否在平台设置完毕，是否开启对应的服务，查看API文档找到语音转文字对应的方案，按照相同的原理进行制作不同大模型平台接入的方法不同属于模块测试的一部分工作内容2■检查运行时是否能将语音转换为文字感谢观看安全第一·预防为主矿井灾害应急救援（火灾）虚拟仿真实验使用API文字聊天目录01使用API文字聊天制作流程02工作任务验收检查本节内容的掌握程度Part1使用API文字聊天01使用API文字聊天开启聊天服务、添加功能代码■先完成聊天服务的启动操作，再引入对应的功能实现代码，核查服务运行状态正常，完成AI接口、密钥、模型参数这类AI相关的配置工作。AI相关配置代码01使用API文字聊天开启聊天服务、添加功能代码■语音组件绑定在开启聊天服务、接入文字聊天功能代码的基础上，完成界面内语音相关UI组件和代码逻辑的绑定对接，后续依托这些绑定好的组件实现语音交互联动。AI相关配置代码01使用API文字聊天开启聊天服务、添加功能代码■按照控件预设的名称规则，调用框架接口自动完成前端UI组件和后端代码变量的绑定，简化手动绑定的操作流程，为后续API文字交互做好界面层的准备。AI相关配置代码01使用API文字聊天开启聊天服务、添加功能代码■对自动绑定方法进行封装封装通用泛型方法

FindChildComponent

，通过物体名称自动查找UI子物体并绑定对应组件，统一处理查找失败的告警逻辑，减少重复编码，提升UI绑定效率。AI相关配置代码01使用API文字聊天开启聊天服务、添加功能代码■实现Send发送信息的方法，封装调用AI聊天API的逻辑，完成用户消息的请求发送，是文字聊天功能的核心交互接口。发送信息给AI01使用API文字聊天开启聊天服务、添加功能代码■发送请求的方法SendAIMessage

：入口方法，重置流式播放相关状态、清空音频缓存，调用请求发送函数；SendChatRequest

：协程封装层，开启协程执行异步网络请求；StreamChatRequest

：核心请求层，构建聊天请求参数，开启流式对话交互。文字聊天功能部分代码01使用API文字聊天开启聊天服务、添加功能代码■开启StramChatRequest协程入口方法重置音频状态，中转方法启动协程，协程内组装对话上下文、开启流式传输并序列化为JSON请求体。文字聊天功能部分代码01使用API文字聊天开启聊天服务、添加功能代码■接收AI返回的信息UpdateButtonStates:读取录音状态，切换录音/停止按钮显隐，锁定录音时发送框交互权限，防止重复发消息。■创建Text接收返回的内容CreateChatTextObject:校验参数后克隆文本预制体，配置Text组件与字体，返回文本控件用于展示AI回复。文字聊天功能部分代码01使用API文字聊天开启聊天服务、添加功能代码■ChatBack方法传入responseChatBack

接收接口分片响应，校验数据后创建UI文本，累加过滤内容并实时刷新界面，可流式呈现AI回复。文字聊天功能部分代码01使用API文字聊天开启聊天服务、添加功能代码■将收到的文字内容显示在界面上通过

ChatBack

回调接收API流式分片数据，累加拼接内容并做过滤处理，首次接收时创建专属文本UI控件，后续持续更新文本内容，实现AI回复实时在聊天界面流式展示。文字聊天功能部分代码Part2工作任务验收02工作任务验收工作内容1■检查是否运行项目检查是否能在项目运行后，输入对应的文字信息点击发送收到对应的AI回复确保平台对应的SDK文档保持最新，保证接入正确可以使用md相关插件将返回内容进行优化工作内容2■检查是否文字请求和返回过程是否流畅、无bug感谢观看安全第一·预防为主矿井灾害应急救援（火灾）虚拟仿真实验使用API文字转语音目录01文字转语音制作流程02工作任务验收检查本节内容的掌握程度Part1文字转语音01文字转语音平台设置■登录火山引擎控制台后，在顶部导航栏确认当前所选的项目ID与空间环境，确保后续操作在正确项目空间内进行平台管理界面01文字转语音平台设置■在左侧导航栏找到语音模型选项，选择语音合成服务，点击立即使用按钮进入配置页面，开始开通语音合成的相关服务权限。平台管理界面01文字转语音平台设置■进入语音合成大模型页面后，查看服务详情和音色列表，确认服务已开通并处于正常状态平台管理界面01文字转语音平台设置■点击开发版标签页，打开模型设置的详细配置页面，查看可用的音色列表和服务接口认证信息平台管理界面01文字转语音AppID的使用■在服务接口认证信息区域找到AppID，同时记录相邻的AccessToken和SecretKey，这三个参数是调用语音合成API的必要认证凭证。平台管理界面01文字转语音代码配置■打开Unity项目中的代码文件，定位到绑定密钥的变量位置，将之前获取的AppID、AccessKey等参数填入对应字段，完成API认证信息的配置。平台管理界面01文字转语音语音合成大模型文档■在火山引擎文档中心找到语音合成大模型的API参考文档，仔细阅读接口说明和参数定义，了解请求格式和返回数据结构，为代码开发提供依据。文档内容01文字转语音语音合成大模型文档■查看请求头中参数的Value示例，该参数用于指定使用的语音模型版本，不同值对应不同的合成效果文档内容01文字转语音语音合成大模型文档■

详细阅读请求Body中各字段的含义和描述，包括用户信息、输入文本、模型参数、音频参数等，理解每个字段的作用和取值范围，确保代码中正确构建请求数据。文档内容01文字转语音功能的相关代码■查看代码中人物音色的设置，通过speaker参数指定使用的发音人，不同的speaker值对应不同的音色风格，可根据应用场景选择合适的语音音色。文字转语音部分代码01文字转语音功能的相关代码■完成发送请求后，通过回调函数处理返回结果，将聊天回复文本传入文字转语音方法，实现收到回复后自动进行语音合成的完整流程。文字转语音部分代码01文字转语音功能的相关代码■TextToSpeech方法是文字转语音的入口函数，负责获取待转换文本，调用语音合成请求方法，并处理音频片段的合并，最终完成完整的语音合成流程。文字转语音部分代码01文字转语音其他功能代码■OnStreamClip方法处理流式音频片段，将每段收到的音频添加到播放器队列；OnCombinClip方法负责音频片段的拼接合并，确保语音播放的连贯性和完整性。文字转语音部分代码01文字转语音其他功能代码■SendTextToSpeechRequest方法构建文本转语音的HTTP请求，设置请求URL、用户信息、文本内容和音频参数，将请求数据序列化为JSON格式后发送给服务器。文字转语音部分代码01文字转语音其他功能代码■SendTTSStream方法处理流式响应，通过协程持续接收服务器返回的音频数据，将字节流转换为音频片段并触发回调，实现语音的实时流式播放效果。文字转语音部分代码Part2工作任务验收02工作任务验收工作内容1■检查是否完成文字转语音的代码逻辑，检查请求的数据结构、音频拼接、文字转语音的逻辑检测能否在手柄和手势之间进行切换尤其是检查在demo场景中的UI交互工作内容2■检查运行项目查看语音转文字能否顺利实现，是否流畅运行无bug感谢观看安全第一·预防为主矿井灾害应急救援（火灾）虚拟仿真实验AI对话模块搭建目录01对话模块制作制作流程02工作任务验收检查本节内容的掌握程度Part1对话模块制作01对话模块制作AI机器人和面板功能■调取层级AIGroup容器整合机器人，交互按钮UI面板挂载ChangeAIState脚本，搭配LLM组件实现AI弹窗交互资源文件夹AIGroup01对话模块制作AI机器人和面板功能■

将层级完整AIGroup拖拽至资源面板，按钮弹窗切换开关全套交互组件，提前绑定脚本动画新建场景直接调AIGroup预制体制作01对话模块制作AI机器人和面板功能■新建空白测试场景拖入AIGroup预制体，右键解开预制体便于项目后期维护迭代。预制体管理01对话模块制作AI机器人和面板功能■联动Unity状态机与ChangeAIState脚本，运行状态脚本监听Toggle数值变化，下发切换指令同步控制机器人显隐。使用State来管理小机器人的状态01对话模块