智能化语音交互解决方案ppt课件

复杂声学环境下的语音交互 技术与实践 语音交互的意义 前端处理技术和方案 复杂的声学环境 落地案例 结语 语音交互是物联网的特质 互联网的端是电脑办公效率为中心 移动互联网的端是手机使用便捷为中心 物联网的端是万物沟通自然为中心 语音交互是人类交流最自然的方式 也将是物联网时代最基本的特质 从互联网 移动互联网到物联网的演进 均伴随着硬件终端的革新每一次硬件终端的革新也都伴随着人机交互方式的颠覆 语音交互的意义 前端处理技术和方案 复杂的声学环境 实际案例 结语 家远讲 方向性干扰 房间混响较高 车 扩散场噪声强 混响小 机场 展会房间混响高 扩散场噪声强 场景碎片化 语音交互的意义 前端处理技术和方案 复杂的声学环境 结语 落地案例 什么是前端处理 自然 意味着对语音交互的场合 使用模式等无约束 痛点问题 远讲交互 目标声源距离拾音设备较远 更易受到声学回声 干扰声源 背景噪声 房间混响等各种不利因素的影响 听不清 听清世界的声音 人类需要听清 语音通信 更低的处理延时更高的主观听感和可懂度 机器需要听清 语音识别更高的信噪比更好的声学模型适配 前端处理的意义 面对回声 干扰 噪声和混响等各种不利因素的挑战 综合运用信号处理 机器学习手段以及融合语义层面的信息 提高目标语音的信噪比 增强后续处理的声环境稳健性 一言以蔽之 前端处理是为了让获取的语音更加清晰自然 听清世界的声音 技术路线 1 传统信号处理 最小化均方误差 传统端侧信号处理 前端处理 回波抵消解混响 宽带空域滤波 背景噪声抑制自动增益控制 规则 子问题分而治之 针对不同的声学影响采用不同的信号处理算法加以解决优化目标 抑制非目标相关成分优化准则 最小化均方误差 客观物理模型音频时频空域特性 2 麦克风阵列的几个典型疑问 1 是不是一定需要麦克风阵列 3 阵列拓扑结构该如何选取 麦克风数量是不是越多越好 技术路线 2 信号处理与机器学习相结合 最小化均方误差 传统信号处理 最小化均方误差 基于深度学习的端侧信号处理 回波抵消 前端处理 解混响 宽带空域滤波 背景噪声抑制自动增益控制 客观物理模型与数据驱动模型相结合既遵从了声源和声传播的物理规律 又利用了先验数据统计建模带来的稳健性和性能提升优化准则未变 依然是最小化均方误差 规则 学习 客观物理模型音频时频空域特性 海量音频先验信息 深度学习 前端处理系统 技术路线 3 最小化均方误差 信号处理与机器学习相结合 最小化均方误差 传统信号处理 前后端联合优化 识别准确率 深度学习框架下的前后端联合优化 前端和后端都以语音识别准确率为优化目标 识别误差从后端声学模型反向传播回前端 用于指导前端的优化途径1 端到端 前后端融合成一个统一的模型 输入为原始语音 输出为识别结果途径2 将后端声学模型的梯度反向传播到前端 用于指导前端的神经网络训练 识别误差反向传播 软核方案 在主机中实现软件算法处理和语音交互功能 业界领先的语音前端信号处理 唤醒和离线识别等算法SDK封装 用于Linux Android和Windows等操作系统可定制配套麦克风阵列拾音模组 支持I2S USB接口 二元线阵 四元线阵 六元可变阵 七元环阵 硬核方案 内嵌不用的语音处理SDK 实现前端语音处理或全功能的语音交互功能 尤其适用于非语音设备的快速升级改造 支持低功耗使用模式 语音交互的意义 前端处理技术和方案 复杂的声学环境 落地案例 结语 物灵 luka阅读养成机器 人 京东热卖 极米科技 LightankW100 数字家圆 亲见H2 360 巴迪龙儿童陪伴机器人 360 小忆陪伴机器人 TCL TCL AlcatelXess平板电视 北美上市 海信电视 XT910 920 PX1900 海信电视 XT810 海信电视 MU9600 9800语音遥控 团队过往产品案例 海尔5代电视机 上海地铁语音购票 新闻采访机 你好斑马 你好斑马 主驾驶位 驾驶位 方向2收音 方向1收音 方向1唤醒 方向2唤醒 麦克风阵列 业界首创 车载语音交互 技术平台 以最小识别错误率为准则的前后端 联合优化算法 硬件方案 端 云一体的解决方案低成本 低 功耗 终端产品 痛点 面向具体场景和需求 精品 技术 内容 服