《智能电视技术》 课件 第6、7章 智能电视交互技术、伴音电路

智能电视技术第6章

智能电视交互技术6.1语音识别技术6.2手势识别技术6.3人脸识别技术6.4体感互动技术智能电视操交互技术：通过电视机人机交互界面（通常指用户可见的部分）进行的信息交换与操作过程，称之为人机交互。电视的传统交互技术（遥控器、键盘等）语音识别技术手势识别技术人脸识别体感互动技术第6章

智能电视交互技术

语音识别技术指让电视通过识别和理解过程把语音信号转变为相应的文本或命令的技术6.1语音识别技术一、定义语音识别视频：/v_show/id_XODAwMTcyMTEy.html/x/page/t30300z6e5d.html二、语音识别方式（一）智能电视本机识别（二）第三方设备识别（两种模式）6.1语音识别技术语音模块→智能电视→云服务器→控制智能电视语音模块→云服务器→控制智能电视二、语音识别方式（二）第三方设备识别（两种模式）6.1语音识别技术（一）静音切除三、语音识别原理6.1语音识别技术把首尾端的静音切除，降低对后续步骤造成的干扰（二）声音分帧把声音切开成一小段一小段，每小段称为一帧三、语音识别原理6.1语音识别技术特片包含了这帧语音的内容信息三、语音识别原理6.1语音识别技术（三）声学特征提取把帧识别成状态、把状态组合成音素、把音素组合成单词三、语音识别原理6.1语音识别技术（四）转换成文本音素：单词的发音由音素构成。对英语，一种常用的音素集是卡内基梅隆大学的一套由39个音素构成的音素集，参见TheCMUPronouncingDictionary‎。汉语一般直接用全部声母和韵母作为音素集，另外汉语识别还分有调无调。状态：这里理解成比音素更细致的语音单位就行啦。通常把一个音素划分成3个状态。三、语音识别原理6.1语音识别技术（四）转换成文本

手势识别，是指运用数学算法来分析外部摄像头捕获的来自人的手部的运动，结合当前软件环境，判断用户意图，并执行对应操作的技术。手势识别视频/video/av69663590?rt=V%2FymTlOu4ow%2Fy4xxNWPUZ0SuZjAkNMmIZuw0hQ6j1cU%3D/video/av69463181/一、手势识别的定义6.2手势识别技术二、手势识别的原理6.2手势识别技术（一）手势检测与分割：检测手的位置，将其与周围环境发割出来（二）手势建模：手势建模的目的是让电视能够识别用户的绝大多数手势；（三）手势分析：根据选择的手势模型来估算参数（四）手势识别：将输入目标数据与之前保存好的手势模板进行匹配6.2手势识别技术二、手势识别的原理

人脸识别，又称脸部识别、面像识别、面容识别等等，是一种生物特征识别技术，指利用摄像头等外部设备获取人脸视觉特征信息，进行身份鉴别的技术。/video/C10616/56e1e7c85c584fd583b9a620ddf614b1一、人脸识别的定义6.3人脸识别技术人脸识别视频二、人脸识别的几种方式6.3人脸识别技术（一）基于几何特征的人脸识别

利用人脸上的一些特征点(例如眼、鼻、嘴等)的相对位置和相对距离，再辅以人脸轮廓的形状信息特点

人脸千变万化，及其复杂，而且人脸图像的维数很高，想直接显式地表述人脸特征非常困难。

几何特征的提取对光照、表情、姿态等变化非常敏感，稳定性不高，识别率较低。二、人脸识别的几种方式6.3人脸识别技术（二）基于子空间分析的人脸识别

正面人脸图像具有对称性，局部像素之间又具有很强的相关性，说明人脸图像的像素之间具有很强的冗余性。将这些高维人脸空间中的点投影到另一个低维空间中，进行人脸训别，这种方法称为子空间分析的人脸识别特点

降维减少了计算量

在降维和去冗余的过程中，有可能造成特征值的丢失二、人脸识别的几种方式6.3人脸识别技术（三）基于弹性图匹配的人脸识别弹性图匹配方法是，首先寻找与输入图像最相似的模拟图，再对图中每个节点位置进行最佳匹配，这样产生一个变形的图，其节点逼近模型图的对应点的位置。弹性图匹配方法能够容忍一定姿态、表情和光照的变化。特点二、人脸识别的几种方式6.3人脸识别技术（四）基于隐马尔可夫模型的人脸识别

把人脸图像分割成不同的区域，每个区域看作是人脸图像的一个状态，其它变化人脸图像都是这些不同状态之间互相转移形成的结果，不同的人脸可用不同的模型来表示，每一个人都有其相对应的模型是通过统计分析和匹配学习找出人脸之间的区别，模型是通过样本学习而非人为设定来获得，更为合理特点

体感互动，通过捕捉并识别人体动作、表情进行交互的技术。主要应用于体感互动游戏、健康锻练中、购物辅助或病人的康复治疗。/x/page/a0170vgpo1g.html一、体感互动的概念6.4体感互动技术体感互动视频二、体感互动的原理6.4体感互动技术信号采集：深度图像的采集信号处理：图像差分计算引擎，景深处理AI，动作模型比对AI信号识别：识别体感动作的意图，并控制相关设备

深度图像的获取主要有以下三个途径Multi-Camera(多角成像)、StructureLight(结构光)、TimeofFlight(TOF，飞行时间)三、深度图像的获取6.4体感互动技术（一）Multi-Camera(多角成像)双目摄像机捕捉3D图像（二）StructureLight(结构光)

用投影仪投射特定的光信息到物体表面后及背景后，由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。三、深度图像的获取6.4体感互动技术（三）TimeofFlight(TOF，飞行时间)三、深度图像的获取6.4体感互动技术智能电视技术第7章

伴音电路7.1数字电视I2S数字音频传输协议7.2伴音功放电路7.3MS18机芯伴音电路信号流程分析1.串行时钟SCK7.1数字电视I2S数字音频传输协议一、I2S数据格式及协议（一）I2S时序及传输协议串行时钟，也叫位时钟，即对应数字音频的每一位数据，SCK都有1个脉冲2.帧同步帧时钟WS7.1数字电视I2S数字音频传输协议一、I2S数据格式及协议（一）I2S时序及传输协议用于切换左右声道数据的时钟信号3.SD串行数据7.1数字电视I2S数字音频传输协议一、I2S数据格式及协议（一）I2S时序及传输协议用二进制补码表示的音频数据4.主时钟MCLK7.1数字电视I2S数字音频传输协议一、I2S数据格式及协议（一）I2S时序及传输协议使系统间能够更好地同步1.16位数据格式7.1数字电视I2S数字音频传输协议一、I2S数据格式及协议（二）数据格式（1）数据的最高位出现在WS变化(也就是一帧开始)后的第2个脉冲处（2）1-16位为音频数据（3）17-24位为辅助数据2.24位数据格式7.1数字电视I2S数字音频传输协议一、I2S数据格式及协议（二）数据格式（1）数据的最高位出现在WS变化(也就是一帧开始)后的第2个脉冲处（2）1-24位为音频数据二、I2S的应用模式（一）发送端作为主导装置(master)由发送端产生位时钟信号、命令声道选择信号和数据7.1数字电视I2S数字音频传输协议二、I2S的应用模式（二）接收端作为主导装置由接收端产生位时钟信号、命令声道选择信号7.1数字电视I2S数字音频传输协议二、I2S的应用模式（三）复杂系统可能具有几个发送端和接收端，这样识别发送端就比较困难。在这样的系统中，可以设置一个控制器(controller)作为系统的主导装置以识别多种数字音频信号的数据流，此时发送端作为从属装置(slaver)，在外部时钟的控制下发送数据。7.1数字电视I2S数字音频传输协议一、模拟信号伴音功放（一）Class-D功放特点7.2伴音功放1.功耗小2.效率高3.积减小4.成本低5.适用于追求薄、轻结构一、模拟信号伴音功放（二）Class-D调制原理工作原理：将音频信号调制成高频脉冲信号

（脉冲宽度调制）进行放大，再通过低通滤波器提取音频信号，推动扬声器还原声音7.2伴音功放1.调制原理使用脉宽调制（PWM，PulseWidthModulation）技术，通过与一个高频三角波或锯齿波比较，将模拟输入转换为PWM，其中矩形波的占空比与音频信号的振幅成正比。7.2伴音功放一、模拟信号伴音功放（二）Class-D调制原理“H”形桥接输出级，FETl、FET4（或FET3、FET2）同时导通或截止，使接在桥路上的负载（扬声器）得到交变的电压电流。LC滤波器构成波滤电路，低通滤波产生平滑的“模拟”输出7.2伴音功放一、模拟信号伴音功放2.输出级（二）Class-D调制原理SDIN:I2S数字输入7.2伴音功放二、数字信号伴音功放（一）数字音频接口LRCLK:I2S左右声道时钟输入SCLK:I2S位时钟输入MCLK:系统主时钟输入SDAI2C数据输入接口

7.2伴音功放二、数字信号伴音功放（二）I2C通信接口SDAI2C时钟输入接口

作用：对伴音功放进行设置和控制调整输出阈值、偏移量及传递函数的斜率7.2伴音功放二、数字信号伴音功放（三）动态范围控制调整输出阈值、偏移量及传递函数的斜率7.2伴音功放二、数字信号伴音功放（三）动态范围控制O：偏移量；T：阈值；K：斜率自动检测采样率，针对不同采样率映射到对应频段。默认情况下，频段1用于32kHz模式，频段2用于44.1/48kHz模式，频段3用于所有其他速率。7.2伴音功放二、数字信号伴音功放（四）采样率转换器1.采有数字方式实现PWM调制7.2伴音功放二、数字信号伴音功放（五）PWM调制及H桥输出2.H桥输出结构与D类功放的通用结构一样7.3MS18机芯伴音电路信号流程分析一、MS18机芯伴音电路组成（一）BD3888集成电路（二）TAA2008集成电路（一）BD3888集成电路1.三路音频信号输入的切换13、14引脚为本机音频信号输入15、16引脚为外部HD音频信号输入17、18引脚为VGA音频信号输入7.3MS18机芯伴音电路信号流程分析一、MS18机芯伴音电路组成（一）BD3888集成电路2.实现自动增益、环绕声、低音控制3.

23、24及25、26引脚为音频输出7.3MS18机芯伴音电路信号流程分析一、MS18机芯伴音电路组成7.3MS18机芯伴音电路信号流程分析一、MS18机芯伴音电路组成（二）TAA2008集成电路1.2、30引脚音频信号输入2.Processing&Modulation模块实现PWM调制3.H桥路输出13、15引脚，10、12引脚7.3MS18机芯伴音电路信号流程分析二、MS18机芯伴音电路信号流程本机音频信号BD3888集成电路13\14引脚输入BD3888集成电路25\26引脚输出TAA2008集成电路2\30引脚输入TAA2008集成电路10\12,13\15引脚输出扬声器7.3MS18机芯伴音电路信号流程分析三、静音处理电路（一）为什么设置静音电路没有静音电路，在开机时，因电流的冲击，扬声器会发出爆破声（二）静音电路的作用仅在开机时，起静音作用7.3MS18机芯伴音电路信号流程分析三、静音处理电路（三）工作过程1.功放TAA2008的31脚为静音控制引脚，输入“1”为静音，“0”为不表静音7.3MS18机芯伴音电路信号流程分析三、静音处理电路（三）工作过程2.开机时的静音控制12V上电时，分两路，一路经D124后输出电压到Q114的发射极，另一路经R252后对电容CAll9充电。此时，由于三极管Q114的基极为低电平，故Q114