版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第3章短时时域处理技术3.1语音信号的短时处理方法3.2短时能量和短时平均幅度3.3短时过零率3.4短时自相关函数3.5基音提取2语音端点检测预加重分帧和加窗3.1语音信号的短时处理方法33.1语音信号的短时处理方法预处理的作用:在对语音信号进行特征提取之前,消除高次谐波失真、混叠、高频等现象对语音信号产生的负面影响,尽可能保证经过预处理后的信号更平滑、干净,方便有效地提取并表示语音信号所携带的信息图预处理流程图43.1.1语音端点检测端点端点检测(VoiceActivityDetection,VAD)也被称作语音活动检测,其目的主要是对一段音频区分语音部分与非语音部分,从而忽略噪声部分和静音部分,提取包含有效信息的语音端。带阈值的端点检测基于分类器的端点检测基于模型的端点检测端点检测带阈值的端点检测
63.1.2预加重预加重是一种在发送端对输入信号高频分量进行补偿的信号处理方式,增强信号的高频成分。而预加重对噪声并没有影响,因此能够有效地提高输出信噪比。73.1.3分帧与加窗语音信号通常是非平稳的,特别是低质量环境下的情感语音。因此,语音信号需要进行短时分析,即认为在短时间内该声音是平稳的,一般采取分帧与加窗处理。分帧将语音片段进行分段处理,一般的语音信号以10-30ms为一帧进行划分,划分后假定认为每一帧短时平稳。考虑到帧与帧之间具有相关性,相邻帧之间会保留一部分重叠从而上下帧之间平稳过渡,重叠部分称之为帧移。图帧移与帧长比例为1/4的分帧示意图加窗加窗的目的:让一帧信号的幅度在两端渐变到0,能够提高频谱的分辨率;同时,加窗能够使全局信息更加连续,避免出现吉布斯效应。窗的作用实际上是强调窗内的信号,削弱窗外信号。为了完全保留窗内信号的性质,理想的窗函数尽可能相当于脉冲形式,用来增加其频率分辨率,并具有无旁瓣(即频率漏泄)的特性。常见窗函数矩形窗海宁窗海明窗布雷克曼窗函数性质矩形窗具有最窄主瓣、最高频率分辨率,同时也有最大的频率漏泄、呈现更多噪声。布累克曼窗有最低的频率分辨率和最小的频率漏泄,表现在频谱上比其他窗形更平滑。海明窗的折衷效果较好,在语音分析窗中应用的也最为广泛。分析窗矩形海宁海明布累克曼48812旁瓣漏泄(dB)-13.3-31.5-42.7-58.1表窗的特性123.2短时能量和短时平均幅度短时能量:常用在端点检测,估测有声之音母或韵母的开始位置及结束位置;也用于区分清浊音。因此,当语音段信噪比较高时,可以用短时能量进行语音分类。133.2短时能量和短时平均幅度
上图音频的原始波形和短时能量
左图短时能量进行语音分类代码等主观音量曲线等主观音量曲线代表了人耳对于不同频率声音的灵敏程度,即人耳的频率曲线。主观音量除了和频率有关外,也和声音的内容,如音色、基本周期的波形等有关。例如,可以尽量使用相同的主观音量来录下几个发音比较单纯的元音,再用音量公式来算它们的音量,就可以看出音量公式和发音嘴型的关系。图等主观音量曲线等主观音量曲线上图元音/o/的音量曲线图左图绘制相应图像代码163.2短时能量和短时平均幅度短时能量:改进缺点:对信号电平值过于敏感。需要计算信号样值的平方和,容易产生溢出。短时平均幅度:优点:用绝对值代替平方和,简化运算,也能更好的表达清音的幅度变化173.3短时过零率
183.3短时过零率上图音频信号的短时过零率右图提取音频信号短时过零率代码193.3短时过零率计算过零率时常遇问题:由于有的信号恰好位于零点,过零率的计算就有两种,出现的效果也会不同。因此必须多加观察,才能选用最好的作法。大部分使用声音的原始整数值来进行计算,这样才不会因为使用浮点数信号减去直流偏移(DCBias)时,造成过零率的增加。203.4短时自相关函数自相关函数用于衡量信号自身时间波形的相似性,表示为平稳的自相关函数性质:1.对称性:R(k)=R(-k)2.在k=0时取最大值,即|R(k)|≤R(0)3.对于确定信号,R(0)对应能量;对于随机信号,R(0)对应功率213.4短时自相关函数上述的第2个性质中,如果是一个周期为P的信号,则在取样处,其自相关函数也是最大值,因此可以根据自相关函数的最大值的位置来估计周期信号的周期值。假设一段语音是浊音信号,则其短时自相关函数也呈现周期现象,且其自相关函数的周期等于原语音信号的周期;若语音是清音信号,则其自相关函数不存在周期性。223.5短时时域处理技术案例:基音提取基音是基于发声器官如声门、声道和鼻腔的生理结构而提取的参数,能够很好地刻画说话人的声带特征,在很大程度上反映了人的个性特征。目前,已经存在的很多基音检测算法是根据所在语音帧的清浊音分类结果进行检测。基音所受影响声道滤波的影响使声门激励呈现出非完美的周期性。例如,放松的说话和用力说话令声门波平滑或猛烈地关闭,基音随之变化。即使说话人努力地想保持说话方式或者声道的形状,基音也会随机地抖动,连续声门波的幅度也会放大或者削弱而无法令基音周期保持不变。在清浊音语音类型变化处,由于语音的平稳性遭到破坏,基音特性变化速度快。基音范围比较大,在50~400Hz之间,难以非常精确地检测基音。当清浊音同时存在的时候,基音难以准确检测。丰富的谐波信息的存在,基音难以准确检测。由于环境噪声的存在,比如人声喧哗处、汽车内或有其他声音的干扰,难以准确检测基音。24图中心削波法提取基音法流程图
3.5.1基音检测估计1:三电平削波法25左图去噪后的语音信号右图中心削波处理后的信号3.5.1基音检测估计1:三电平削波法263.5.1基音检测估计2:SHR谐波检测法提取基音时经常取到基音的倍频或者半频,引起基音检测的误差和基音提取的误判谐波-谐波比率(Subharmonic-harmonicRatio,SHR)基音提取方法273.5.1基音检测估计2:SHR谐波检测法图(a)
原始语音波形图(b)
噪声波形图(c)
原始语音加噪声波形图(d)
真实语音波形与带噪语音时域波形1.语音信号为什么要进行短时处理?是怎么实现的?2.假设一段语音采样频率为8000Hz,请实现语音信号的分帧和加窗,要求帧长为20ms,帧移为10ms,窗型为海明窗;并画出其中一帧语音加窗前后的波形。3.基音表示声音信号的什么特征?它由什么因素决定?对于男声、女声、小孩的声音,基音有什么特性?28练习题4.可以用什么特征来区分声音和噪声?
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初中八年级道德与法治暑假安全主题班会教学设计
- 高中英语人教版必修第二册Unit3 The Internet Project教学设计
- 掘金智能家居以旧换新下沉市场:小镇青年的消费潜力挖掘
- 技术平权时代 知识付费新品赛道 2026年珠三角知识付费新品牌A+轮融资创业计划
- 智慧养老监护赛道 2026年西南智慧养老监护内部创业孵化商业计划
- 关于广东省碳足迹管理SaaS项目A+轮融资商业计划
- 2026年日本移动应用趋势报告
- 专业售后服务反馈声明4篇范本
- 智慧农业传感器网络安全方案
- 对年度销售目标的达成确认函7篇范文
- 农村污水处理工程施工组织设计
- 雨课堂学堂在线学堂云《信息检索与科技写作( 理大)》单元测试考核答案
- 概念验证中心运营细则
- 期末考试质量分析报告写作模板
- 银行绿色信贷宣传课件
- 大学版画教学课件
- 食品生物技术专业教学标准(高等职业教育专科)2025修订
- 住院患者沐浴管理制度
- T/CADBM 51-2021室内装饰用竹木纤维集成墙板应用技术规程
- 妊娠合并下肢静脉血栓护理
- PowerSurfacing-威力曲面-中文教程
评论
0/150
提交评论