智能终端应用开发基础 课件 第13、14章 语音功能介绍、多机器人系统综合应用

第13章

语音功能介绍Contents01.语音识别框架02.TTS文字转语音03.配置语音识别功能包04.语音识别功能包05.总结与展望01语音识别框架麦克风阵列麦克风阵列是声场采样系统，关键组件为多个声学传感器。作用包括声源定位、噪声抑制、信号提取与分离，提升语音交互体验。声源定位利用麦克风阵列计算声源距离阵列的角度，基于TDOA实现对目标声源的跟踪。精准定位，助力高效语音交互与识别。信号提取与分离在期望方向上形成一个波束，仅拾取波束内的信号，从而达到同时提取声源和抑制噪声的目的。清晰拾音，降噪无忧。硬件介绍灯光控制平台支持设置主麦编号，并具备灯光点亮和关闭功能。操作简便，提升教室氛围与教学质量。智能管理，让教学更轻松。音频获取机器人教学平台通过麦克风阵列获取原始和降噪音频，并获取唤醒角度和主麦编号。设置灵活，满足多样化教学场景。教学平台麦克风教学平台采用平面式麦克风阵列，含6个麦克风，实现360度等效拾音，唤醒分辨率达1度。配置丰富，满足教学需求。混响去除麦克风阵列配合深度神经网络，有效去除混响，提升语音交互真实感与清晰度。技术革新，让声音更加自然悦耳。硬件介绍语音识别流程根据识别系统的类型选择能够满足要求的一种识别方法，并分析出这种识别所需的语音特征参数，作为标准模式存储起来。语音特征参数在专家知识库中进行判决，最佳匹配的参考模板即为识别结果。智能高效，精准识别，让语音交互更加顺畅。专家知识库判决选择要语音特征参数，将这些特征参数的时间序列构成测试模板，再将其与已存在的参考模板逐一比较，并进行测度估计。特征参数识别02TTS文字转语音03授权信息创建应用成功后，点击语音合成界面，记录下所创建应用的APPID、APISecret以及APIKey三个信息。01注册讯飞账号打开讯飞官网，注册并登录讯飞开放平台账号，进入语音合成界面。02创建应用在语音合成界面上，输入自定义应用信息，完成应用创建，并记录APPID、APISecret和APIKey。获取讯飞授权ID在xtark_audio.yaml文件中，根据实际需求调整音频相关参数，如采样率、比特深度等，确保与语音合成API兼容。配置完成后，保存对xtark_audio.yaml文件的修改，并确保文件路径和参数设置无误，随后退出VIM编辑器。将APPID，APIKey与APISecret参数引号中的值替换为用户所创建的语音合成应用的APPID，APIKey与APISecret值。通过SSH远程连接到机器人，切换到xtark_audio/config/路径下，利用VIM编辑器打开xtark_audio.yaml文件。保存并退出替换授权信息配置音频参数配置APPID配置xtark_audio功能包语音合成功能语音合成功能支持中文与英文，可以直接发布中文语句，机器人即可朗读中文语句，实现多种语言的语音合成与播放。启动语音合成通过SSH连接到机器人，启动语音合成launch启动文件，即输入命令$roslaunchxtark_audioxtark_tts.launch。查看话题列表新建一个终端，输入命令查看当前话题列表与话题消息类型，找到/speak话题及其消息类型std_msgs/String。发布语音数据在/speak话题上发布字符串类型数据，机器人即可合成相应语音并播放。例如直接用命令行发布‘Hello,world’字符串。运行xtark_audio功能包03配置语音识别功能包替换为离线资源：删除机器人默认离线语音资源，将讯飞SDK中的离线语音资源拷贝至机器人。确保语音资源与APPID匹配，提升识别准确性。下载离线SDK：在讯飞开放平台，找到已创建的应用，下载离线命令词识别的linuxSDK。下载完成后，得到一个压缩包，解压得到资源文件。下载SDK替换资源替换APPID：用VIM编辑器打开机器人存放APPID的文件，将APPID修改为自己在讯飞开放平台创建的应用APPID，确保语音识别的准确性。替换为自定义资源：将机器人中的离线语音资源和ID替换为自定义资源。这涉及删除默认资源，并拷贝下载的语音资源至指定路径。配置语音参数语音参数说明：语音参数包括唤醒词、录音时长、置信度阈值等，这些参数可以在config文件夹中的yaml文件中进行调整，以满足不同需求。用户参数配置：用户参数文件位于语音功能包的config文件夹中，可以根据备注说明修改参数，修改后无需编辑即可直接运行launch文件启动。04语音识别功能包主麦方向刷新结合里程计记录小车偏航值，以5Hz速度检测小车相对唤醒声源的方向，自动刷新主麦方向。雷达检测障碍语音控制小车的同时雷达检测小车周围的障碍物，当小车距离最近障碍物小于0.5m，并且小车运动是逐渐靠近障碍物的时候，小车自动停下。被动休眠连续15次语音指令识别失败或者输入空指令后，自动进入休眠状态，当累计5次和10次语音指令识别失败或者输入空指令时，用户界面会分别发出提醒。功能介绍LED灯01通过LED灯指示主麦方向以及录音/识别状态，灯亮代表在当前方向的主麦被设定，并且正在录音，此时可以大声说出指令;循环识别状态下，灯灭代表正在处理音频识别中。语音唤醒02默认唤醒词为“你好小克”，在使用过程中，随时可以唤醒或再次唤醒小车，唤醒小车后自动完成唤醒声源定位，后续可以依赖该定位寻找声源。语音识别的两种模式03固定录音时间和边录音边识别。固定录音时间将音频保存为文件后识别，边录音边识别则实时送入识别引擎。机器人教学平台采用边录音边识别方式。功能介绍程序具有音频端点检测功能（VAD），能识别静音0.8秒作为音频后端点。用户可开发vad参数，参考讯飞官网文档。若持续有音频输入。音频端点检测与录音时长置信度反映降噪音频与声学模型的匹配程度，范围0-100，数值大则匹配高、结果可信。设定阈值18，大于18认为结果可信并发布，小于18显示识别失败。置信度与识别结果处理语音功能包提供了主动休眠和被动休眠两个休眠功能，主动休眠说出指令进入休眠，被动休眠是连续识别失败15次后自动进入，累计5次和10次时终端提醒。休眠模式功能介绍040506确保网络配置在运行语音控制功能包之前，需确保机器人网络配置正确，并按照上节所述配置语音控制功能包，所有命令均在机器人端运行，需通过SSH连接到机器人。通过命令启动机器人底盘导航功能包，并加载自己构建好的地图。在启动导航功能包之前，确保已按照建图导航教程完成对环境地图的建立。导航节点启动后，打开一个新终端，使用命令启动麦克风模块驱动节点。启动成功后，麦克风模块驱动会进行联网鉴权，可能会出现卡在“开机中。重新打开一个新的终端，通过命令启动语音控制节点。启动成功后，终端会提示各个语音命令词。在语音唤醒机器人后，即可使用命令词控制机器人运动。按照前文所述的TTS配置将其配置完毕，启动语音播报功能。启动成功后，当机器人收到语音命令时，将会通过语音合成进行交互提示。启动底盘导航功能包启动语音控制节点启动语音播报功能启动麦克风模块驱动使用语音识别功能包唤醒机器人在距离小车2米以内，用“你好小克”唤醒机器人。若唤醒成功会同时完成捕获唤醒声源角度并发布ROS话题信息、根据角度设定主麦并点亮LED、启动循环录音识别。循环录音识别用户不讲指令即静音状态下，LED灯会点亮约3.5秒、接着熄灭约0.3秒，循环执行。灯亮代表在LED灯方向的主麦被设定，并且正在录音，灯灭代表正在处理识别信息并输出到终端。检测不到前端点全程静音(用户不讲指令)，算法在3.5秒内检测不到语音的前端点，会自动判断本次录音结束，输出空结果，重新启动一次录音识别。语音识别功能包使用技巧灯灭的0.3秒内会完成识别结果的处理，包括ROS端的通信等。有效语音信息被识别后且结果置信度大于预设的阈值(18)，则会被视为有效结果。若未进入休眠状态。语音输入方向需要在主麦方向、增强有效信号、衰减噪声、确保识别准确。启动导航节点保证运动与避障、LED指示状态、多线程随时唤醒、麦克风阵列识别声源方向。用户在灯亮的情况下开始讲话，程序检测到前端点，待用户说完指令，程序检测到0.8秒静音后判断语音指令已说完，接着灯灭输出识别结果。录音时间根据后端点自适应调整。用户在灯亮的情况下，开始讲话输入语音信号，并且一直滔滔不绝中间没有超过0.8秒的停顿，这样程序会一直录音，LED灯一直亮，直到录音时间达到最大值(15秒)。注意事项检测结果输出结果检测到前端点语音识别功能包使用技巧05总结与展望用户反馈与建议：收集用户反馈，持续优化功能包。欢迎提出建议，助力智能升级。您的满意，我们的动力。携手共创，让智能生活更加美好，期待你的宝贵意见。语音功能包总结：语音功能包总结全面，识别准确率高，支持多指令，灵活控制，提升用户体验。集成便捷，兼容性强，广泛应用前景广，引领未来智能新风尚。语音识别功能包总结语音识别技术展望定制化服务：未来语音识别将更加个性化与智能化，依据用户习惯与偏好，提供定制化识别服务。企业可根据自身需求，定制专属识别模型，提升识别效率与准确性。技术进步与创新：随着算法优化与硬件升级，语音识别技术将实现更高识别率与更低错误率。创新应用如跨语言识别、方言识别等将不断拓展其应用领域。语音助手发展趋势用户体验与服务：语音助手将更加注重用户体验与服务质量。通过持续优化交互方式、提高识别准确率、增强响应速度，为用户带来更加便捷、舒适、个性化的智能服务。语音助手发展趋势：语音助手从单一功能向多功能、场景化方向发展。未来，它将更深入理解用户意图，提供定制化、情感化服务，成为智能时代的重要入口。感谢您的观看与聆听第14章

多机器人系统综合应用Contents01.引言02.网络配置04.多机器人通信示例03.软件包部署与应用05.06.多机器人独立控制或同时控制多机器人导航框架总结与展望07.01引言多机器人系统挑战多机器人系统面临复杂环境适应、高效协作与精确控制等挑战。学习基础将奠定理解、设计、优化及运用多机器人系统的基石。ROS网络配置指南ROS网络配置是部署多机器人系统的关键。通过配置，机器人可相互通信、协作，实现复杂任务。指南将详细介绍配置流程与要点。多机器人通信框架通信框架是多机器人系统的血脉，促进数据交换与协同作业。章节将深入探讨通信机制、关键技术及实现方法，助力高效协作。多机器人学习基础虚拟机网络配置设置ROS_MASTER_URI环境变量，指向虚拟机或PC的IP地址，确保ROS网络中的Master节点运行于虚拟机端，便于多机器人管理。多机器人配置配置多台机器人时，每台机器人的~/.bashrc文件均需独立修改，确保各机器人端的环境变量正确指向虚拟机端的ROS_MASTER_URI。验证网络配置完成配置后，通过运行source~/.bashrc命令使配置生效，并在虚拟机端启动roscore以确保Master节点运行，随后在机器人端运行任意ROS功能。机器人网络配置修改机器人端的~/.bashrc文件，加入环境变量以指向虚拟机端的ROS_MASTER_URI，确保机器人能够与虚拟机端的Master节点通信。ROS网络配置指南一主多从通信01多机器人系统采用一主机多从机通信模式，主机为PC或虚拟机，从机为各机器人。此模式确保系统高效、有序地运行，实现复杂的任务分配与管理。ROS通信机制02基于ROS（RobotOperatingSystem）的通信框架，多机器人系统实现高效的数据交换与协同作业。ROS提供了多种通信方式，包括TCP/IP、UDP等。话题与消息传递03多机器人系统中，话题（Topic）作为消息传递的桥梁，连接各个机器人与主机。通过发布/订阅机制，信息在系统中自由流通，支持复杂的数据交换模式。多机器人通信框架02网络配置Sourcebashrcfile：修改完~/.bashrc文件后，需要运行source~/.bashrc命令使配置生效。这步确保虚拟机的环境变量设置正确。设置ros_master_uri：在虚拟机的~/.bashrc文件中，将ROS_MASTER_URI环境变量设置为uri://localhost:11311，确保虚拟机作为ROS主机运行。虚拟机网络配置机器人网络配置Restartrobot：在配置完成后，需要重新启动机器人，使新的环境变量设置生效。这步确保机器人能够正确连接到虚拟机端的ROS网络。Connecttorobot：使用终端连接到机器人，并修改机器人端的~/.bashrc文件，添加或修改ROS_MASTER_URI环境变量，确保与虚拟机端的设置一致。多机器人通信网络拓扑简图Networktopologydiag：网络拓扑简图展示了多机器人系统的基本架构，主机位于中心，从机围绕，清晰呈现主从关系。H-masters-slaves：在通信框架中，一主机多从机，PC主机或虚拟机为ROS主机，多机器人为从机，挂载到ROS网络。03软件包部署与应用机器人端软件包部署生效软件包：拷贝完成后，运行rospackprofile命令即可生效软件包。机器人端的软件包主要运行了软件包中的算法及驱动部分，导航算法以及机器人驱动算法。机器人端部署：将xtark_multirobot扩展包解压后，选择对应机器人型号的多机器人文件夹，将文件夹拷贝到每台机器人的~/ros_ws/src/文件夹下。xtark_multirobot软件包功能协同工作：在完成多机器人网络配置后，通过利用xtark_multirobot软件包的四大核心功能，用户可以轻松地实现多机器人的协同工作，以提高工作效率和增强任务执行能力。多机器人通信：xtark_multirobot软件包提供了多机器人通信的四大核心功能，包括多机器人通信示例、多机器人独立/同时控制、多机器人导航框架以及多机器人协同工作。VS多机器人驱动：xtark_driver_multirobot软件包实现了多机器人驱动在同一ROS网络中运行，各传感器及控制话题互不影响，并且可互相通信，为多机器人控制奠定了基础。机器人话题说明：机器人启动成功后，其发布以及接收的话题，均以设置的命名空间为前缀。里程计及IMU传感器的坐标系名称也均带有所设置的机器人命名。多机器人驱动支持04多机器人通信示例节点管理：roscore作为ROS网络中的主机节点，负责注册、管理和通信等核心功能。确保多机器人系统高效运行，实现各机器人节点间的无缝协同与交互。主机启动：在虚拟机/PC端，执行roscore命令，启动ROS核心服务。此步骤是设置ROS网络环境的基石，确保多机器人系统通信顺畅，实现分布式节点管理。启动roscore启动多机器人启动文件命名区分：每个机器人都应设置不同的命名空间，如robot0、robot1等，以确保多机器人系统中各机器人之间的通信和操作互不干扰，实现独立控制与协同作业。多机启动：在机器人端，使用roslaunch命令启动多机器人驱动启动文件，如xtark_bringup_multirobot.launch，并指定唯一的命名空间以区分不同机器人。机器人话题说明坐标标识：机器人发布的里程计和IMU传感器数据也包含其命名空间前缀，用于标识不同机器人的数据，便于在多机器人系统中进行精确的数据处理和坐标变换。话题命名：机器人发布和接收的话题均以其命名空间为前缀。例如，robot0发布的话题为/robot0/chatter，robot1则为/robot1/chatter，实现话题隔离与区分。启动talk节点消息发布：talk节点是多机器人通信的发布者Demo，用于测试多机器人网络配置及通信是否正常。通过发布“helloworld”消息，确保各机器人间通信顺畅。发布者：在任一机器人端，启动talk节点。该节点将开始在/chatter话题上发布带有时间戳的“helloworld”消息，频率为1Hz，持续进行。启动listener节点消息接收：listener节点是多机器人通信的订阅者Demo，用于验证多机器人网络配置及通信状态。通过接收并显示“helloworld”消息，确保各机器人间通信正常。订阅者：在任一机器人端，启动listener节点。该节点将实时监听/chatter话题，接收并显示来自其他机器人的“helloworld”消息，实现多机器人间的通信监听。05多机器人独立控制或同时控制机器人控制基础01单独控制机器人是多机器人系统控制的基础，通过确保每个机器人基本操作和功能得到实现，为开发多机器人控制算法提供前提。协同工作实现02单独控制每个机器人的能力，包括对其运动、感知、决策等方面的精确控制，是构建多机器人系统的基础，为实现多机器人协同工作提供可能。任务分配与协同03通过编程和算法设计，实现多个机器人之间的协同工作，可以更有效地完成复杂任务。例如，在救援行动中，多个机器人可以协同工作，提高救援效率。单独控制键盘遥控实现：利用键盘遥控节点，用户可以通过键盘输入控制多台机器人的运动。该技术基于ROS（RobotOperatingSystem）框架，实现多机器人的同步控制。同步控制应用：同时控制多台机器人进行同步运动，提高多机器人系统的整体效能。例如，在智能仓储中，多台机器人可协同工作，提高物资搬运效率。同时控制06多机器人导航框架根据SLAM章节使用机器人完成地图构建，将地图放在虚拟机端指定路径下。并修改xtark_map_server.launch文件中的map_file参数，指向用户所需的地图文件。地图构建与配置确保地图服务正在运行，以便为机器人提供导航所需的地图信息。可以通过在虚拟机端启动xtark_map_server.launch文件来启动地图服务，为机器人导航提供地图支持。导航框架准备修改launch文件启动地图服务为了启动地图服务，用户需要在终端中运行roslaunch命令，并指定xtark_nav_multirobot/xtark_map_server.launch作