智能终端应用开发基础 课件 第13章 语音功能介绍

第13章

语音功能介绍Contents01.语音识别框架02.TTS文字转语音03.配置语音识别功能包04.语音识别功能包05.总结与展望01语音识别框架麦克风阵列麦克风阵列是声场采样系统，关键组件为多个声学传感器。作用包括声源定位、噪声抑制、信号提取与分离，提升语音交互体验。声源定位利用麦克风阵列计算声源距离阵列的角度，基于TDOA实现对目标声源的跟踪。精准定位，助力高效语音交互与识别。信号提取与分离在期望方向上形成一个波束，仅拾取波束内的信号，从而达到同时提取声源和抑制噪声的目的。清晰拾音，降噪无忧。硬件介绍灯光控制平台支持设置主麦编号，并具备灯光点亮和关闭功能。操作简便，提升教室氛围与教学质量。智能管理，让教学更轻松。音频获取机器人教学平台通过麦克风阵列获取原始和降噪音频，并获取唤醒角度和主麦编号。设置灵活，满足多样化教学场景。教学平台麦克风教学平台采用平面式麦克风阵列，含6个麦克风，实现360度等效拾音，唤醒分辨率达1度。配置丰富，满足教学需求。混响去除麦克风阵列配合深度神经网络，有效去除混响，提升语音交互真实感与清晰度。技术革新，让声音更加自然悦耳。硬件介绍语音识别流程根据识别系统的类型选择能够满足要求的一种识别方法，并分析出这种识别所需的语音特征参数，作为标准模式存储起来。语音特征参数在专家知识库中进行判决，最佳匹配的参考模板即为识别结果。智能高效，精准识别，让语音交互更加顺畅。专家知识库判决选择要语音特征参数，将这些特征参数的时间序列构成测试模板，再将其与已存在的参考模板逐一比较，并进行测度估计。特征参数识别02TTS文字转语音03授权信息创建应用成功后，点击语音合成界面，记录下所创建应用的APPID、APISecret以及APIKey三个信息。01注册讯飞账号打开讯飞官网，注册并登录讯飞开放平台账号，进入语音合成界面。02创建应用在语音合成界面上，输入自定义应用信息，完成应用创建，并记录APPID、APISecret和APIKey。获取讯飞授权ID在xtark_audio.yaml文件中，根据实际需求调整音频相关参数，如采样率、比特深度等，确保与语音合成API兼容。配置完成后，保存对xtark_audio.yaml文件的修改，并确保文件路径和参数设置无误，随后退出VIM编辑器。将APPID，APIKey与APISecret参数引号中的值替换为用户所创建的语音合成应用的APPID，APIKey与APISecret值。通过SSH远程连接到机器人，切换到xtark_audio/config/路径下，利用VIM编辑器打开xtark_audio.yaml文件。保存并退出替换授权信息配置音频参数配置APPID配置xtark_audio功能包语音合成功能语音合成功能支持中文与英文，可以直接发布中文语句，机器人即可朗读中文语句，实现多种语言的语音合成与播放。启动语音合成通过SSH连接到机器人，启动语音合成launch启动文件，即输入命令$roslaunchxtark_audioxtark_tts.launch。查看话题列表新建一个终端，输入命令查看当前话题列表与话题消息类型，找到/speak话题及其消息类型std_msgs/String。发布语音数据在/speak话题上发布字符串类型数据，机器人即可合成相应语音并播放。例如直接用命令行发布‘Hello,world’字符串。运行xtark_audio功能包03配置语音识别功能包替换为离线资源：删除机器人默认离线语音资源，将讯飞SDK中的离线语音资源拷贝至机器人。确保语音资源与APPID匹配，提升识别准确性。下载离线SDK：在讯飞开放平台，找到已创建的应用，下载离线命令词识别的linuxSDK。下载完成后，得到一个压缩包，解压得到资源文件。下载SDK替换资源替换APPID：用VIM编辑器打开机器人存放APPID的文件，将APPID修改为自己在讯飞开放平台创建的应用APPID，确保语音识别的准确性。替换为自定义资源：将机器人中的离线语音资源和ID替换为自定义资源。这涉及删除默认资源，并拷贝下载的语音资源至指定路径。配置语音参数语音参数说明：语音参数包括唤醒词、录音时长、置信度阈值等，这些参数可以在config文件夹中的yaml文件中进行调整，以满足不同需求。用户参数配置：用户参数文件位于语音功能包的config文件夹中，可以根据备注说明修改参数，修改后无需编辑即可直接运行launch文件启动。04语音识别功能包主麦方向刷新结合里程计记录小车偏航值，以5Hz速度检测小车相对唤醒声源的方向，自动刷新主麦方向。雷达检测障碍语音控制小车的同时雷达检测小车周围的障碍物，当小车距离最近障碍物小于0.5m，并且小车运动是逐渐靠近障碍物的时候，小车自动停下。被动休眠连续15次语音指令识别失败或者输入空指令后，自动进入休眠状态，当累计5次和10次语音指令识别失败或者输入空指令时，用户界面会分别发出提醒。功能介绍LED灯01通过LED灯指示主麦方向以及录音/识别状态，灯亮代表在当前方向的主麦被设定，并且正在录音，此时可以大声说出指令;循环识别状态下，灯灭代表正在处理音频识别中。语音唤醒02默认唤醒词为“你好小克”，在使用过程中，随时可以唤醒或再次唤醒小车，唤醒小车后自动完成唤醒声源定位，后续可以依赖该定位寻找声源。语音识别的两种模式03固定录音时间和边录音边识别。固定录音时间将音频保存为文件后识别，边录音边识别则实时送入识别引擎。机器人教学平台采用边录音边识别方式。功能介绍程序具有音频端点检测功能（VAD），能识别静音0.8秒作为音频后端点。用户可开发vad参数，参考讯飞官网文档。若持续有音频输入。音频端点检测与录音时长置信度反映降噪音频与声学模型的匹配程度，范围0-100，数值大则匹配高、结果可信。设定阈值18，大于18认为结果可信并发布，小于18显示识别失败。置信度与识别结果处理语音功能包提供了主动休眠和被动休眠两个休眠功能，主动休眠说出指令进入休眠，被动休眠是连续识别失败15次后自动进入，累计5次和10次时终端提醒。休眠模式功能介绍040506确保网络配置在运行语音控制功能包之前，需确保机器人网络配置正确，并按照上节所述配置语音控制功能包，所有命令均在机器人端运行，需通过SSH连接到机器人。通过命令启动机器人底盘导航功能包，并加载自己构建好的地图。在启动导航功能包之前，确保已按照建图导航教程完成对环境地图的建立。导航节点启动后，打开一个新终端，使用命令启动麦克风模块驱动节点。启动成功后，麦克风模块驱动会进行联网鉴权，可能会出现卡在“开机中。重新打开一个新的终端，通过命令启动语音控制节点。启动成功后，终端会提示各个语音命令词。在语音唤醒机器人后，即可使用命令词控制机器人运动。按照前文所述的TTS配置将其配置完毕，启动语音播报功能。启动成功后，当机器人收到语音命令时，将会通过语音合成进行交互提示。启动底盘导航功能包启动语音控制节点启动语音播报功能启动麦克风模块驱动使用语音识别功能包唤醒机器人在距离小车2米以内，用“你好小克”唤醒机器人。若唤醒成功会同时完成捕获唤醒声源角度并发布ROS话题信息、根据角度设定主麦并点亮LED、启动循环录音识别。循环录音识别用户不讲指令即静音状态下，LED灯会点亮约3.5秒、接着熄灭约0.3秒，循环执行。灯亮代表在LED灯方向的主麦被设定，并且正在录音，灯灭代表正在处理识别信息并输出到终端。检测不到前端点全程静音(用户不讲指令)，算法在3.5秒内检测不到语音的前端点，会自动判断本次录音结束，输出空结果，重新启动一次录音识别。语音识别功能包使用技巧灯灭的0.3秒内会完成识别结果的处理，包括ROS端的通信等。有效语音信息被识别后且结果置信度大于预设的阈值(18)，则会被视为有效结果。若未进入休眠状态。语音输入方向需要在主麦方向、增强有效信号、衰减噪声、确保识别准确。启动导航节点保证运动与避障、LED指示状态、多线程随时唤醒、麦克风阵列识别声源方向。用户在灯亮的情况下开始讲话，程序检测到前端点，待用户说完指令，程序检测到0.8秒静音后判断语音指令已说完，接着灯灭输出识别结果。录音时间根据后端点自适应调整。用户在灯亮的情况下，开始讲话输入语音信号，并且一直滔滔不绝中间没有超过0.8秒的停顿，这样程序会一直录音，LED灯一直亮，直到录音时间达到最大值(15秒)。注意事项检测结果输出结果检测到前端点语音识别功能包使用技巧05总结与展望用户反馈与建议：收集用户反馈，持续优化功能包。欢迎提出建议，助力智能升级。您的满意，我们的动力。携手共创，让智能生活更加美好，期待你的宝贵意见。语音功能包总结：语音功能包总结全面，识别准确率高，支持多指令，灵活控制，提升用户体验。集成便捷，兼容性强，广泛应用前景广，引领未来智能新风尚。语音识别功能包总结语音识别技术展望定制化服务：未来语音识别将更加个性化与智能化，依据用户习惯与偏好，提供定制化识别服务。企业可根据自身需求，定制专属识别模型，提升识别效率与准确性。技术进步与创新：随着算法优化与硬件升级，语音识别技术将实