人工智能多媒体计算课件 音频处理-_第1页
人工智能多媒体计算课件 音频处理-_第2页
人工智能多媒体计算课件 音频处理-_第3页
人工智能多媒体计算课件 音频处理-_第4页
人工智能多媒体计算课件 音频处理-_第5页
已阅读5页,还剩45页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

CS330MIP–Lecture11音频信息处理Audio

ProcessingLecture11ContentsReview

ofLecture10语音合成之PSOLA语音压缩之MP3技术说话人识别之GMM语音通用深度神经网络6语音大模型之Whisper音频语音信息处理7个里程碑语音合成基音同步叠加算法1990语音压缩MP31991语音特征分析梅尔频率倒谱系数1980语音识别隐马尔可夫模型1980s说话人识别高斯混合模型1993语音通用深度神经网络2014语音大模型Whisper2022语音数字化之采样、量化和编码音频信号的数字化过程主要包括采样、量化和编码三个步骤:采样将连续的模拟音频信号转换为离散数字信号。在采样过程中,音频信号在时间上进行数字化,即按照固定的时间间隔抽取模拟信号的值。这个采样间隔称为采样周期,其倒数就是采样频率。采样频率越高,声波就越精确。采样得到的每个时间点的信号幅值会转换为数字信号。量化对采样得到的信号幅度进行数字化处理。在量化过程中,模拟音频信号的幅度在最大值和最小值之间被划分为多个量化区间,每个区间对应一个离散的数字值。量化位数决定了量化区间的数量,量化位数越多,声波幅度越精确,误差越小,但数据量也会相应增大。编码将量化后的信号转换成二进制数字码流,便于计算机存储和传输。在这个过程中,每个量化值被表示为一个或多个二进制数。这种转换是通过某种编码方法(如波形编码、参数编码或混合编码等)完成的。编码完成后,原始的模拟音频信号就被完全转化为数字形式,可以进行后续的处理、存储和传输。Nyquist奈奎斯特采样理论为了正确采样并恢复信号频率,我们必须使用的采样率至少应等于信号中最大频率内容奈奎斯特频率的两倍。它是特定采样率下可以编码的最高频率,以便能够重建信号。

最低采样率=2*奈奎斯特频率如果你的系统采样率为10Ms/s(每秒10,000,000个样本),那么你的系统奈奎斯特频率将为5MHz。由于人类听觉范围在20Hz至20KHz之间,因此采样率通常设置为44.1KHz。对于电话语音(300-3400Hz),采样率通常设置为8KHz。量化误差-SQNR量化的质量的特征在于模数转换器(ADC)的信噪比SignaltoQuantizationNoiseRatio(SQNR)量化噪声:模拟信号的实际值与最近的量化间隔值之间的差值。这个误差最多可以达到间隔的一半。对于每个样本N位的量化精度,SQNR可以表示为(简单均匀信号):脉冲编码调制PulseCodeModulation(PCM)1937年,法国数学家A.H.Reeves(里夫斯)提出了脉冲编码调制(PCM)理论方法,这是音频数字化的早期理论基础脉冲编码调制(PCM)简单地说就是通过采样和量化,将模拟信号转换为数字信号。量化包括选择幅度上的断点,然后将区间内的任何值重新映射到其中一个代表性的输出电平。PCM采样通常与其他数字音频处理技术结合使用,如位深度调整和通道配置等,以进一步优化音频信号的质量和传输性能。例如:PCM对信号每秒钟取样8000次;每次取样为8个位,总共64kb采样点(PCM间隔)梅尔频率计算公式MEL频率是基于人耳听觉特性提出来的,它与Hz频率成非线性对应关系。人类对不同频率语音的感知能力并不相同:对1kHz以下的频率,感知能力与频率成线性关系;而对1kHz以上的频率,感知能力与频率则成对数关系。随着频率的提高,人耳的感知能力逐渐下降。1000

Mel=1000

Hz倒谱的数学公式倒谱(cepstrum)就是将频谱(spectrum)的英文前四个字母反过来写。通过傅立叶变换得到。我们得到倒谱C的流程为:

声音信号X(t)->功率谱F(X(t))

->对数功率谱Log(F(X(t))->倒频谱F-1[Log(F(X(t))]

Mel频率倒谱系数梅尔频率倒谱系数(MelFrequencycepstrumcoefficient,MFCC)是一种语音特征提取方式,它的主要目的是模仿人耳的听觉特性并兼顾了语音的产生机制,因此大多数语音识别系统中广泛使用这种特征。预处理分帧、加窗DCTMel滤波器组logDFT线性谱域Mel谱域对数谱域MFCC语音信号基于MFCC的ASR自动语音识别音频信号预处理:对音频信号进行预处理,包括采样率转换、分帧、加窗和端点检测等MFCC特征提取:利用MFCC算法从预处理后的音频信号中提取特征。特征向量构建:将每帧的MFCC系数组合成一个特征向量,这些特征向量将代表音频信号的声学特性。模型训练:使用大量标注的语音数据训练一个识别模型。这个模型可以是基于机器学习的方法(如支持向量机、隐马尔可夫模型等),也可以是深度学习模型(如循环神经网络、卷积神经网络或Transformer等)。训练过程中,模型会学习如何将MFCC特征映射到对应的语音标签。语音识别:在模型训练完成后,将待识别的音频信号通过相同的预处理和特征提取步骤,得到其MFCC特征。然后,将这些特征输入到训练好的模型中,模型会输出识别结果,即音频信号对应的文本内容。音频语音信息处理7个里程碑语音合成基音同步叠加算法1990语音压缩MP31991语音特征分析梅尔频率倒谱系数1980语音识别隐马尔可夫模型1980s说话人识别高斯混合模型1993语音通用深度神经网络2014语音大模型Whisper2022语音识别语音识别是指让机器通过识别和理解过程把语音信号转变为相应的文本或命令的,从而实现与机器进行语音交流的能力。在21世纪的今天,语音识别已经有了大量的应用,如智能音箱、智能车载设备、语音助手Siri、语音输入法等等。语音识别的发展早期的语音识别大多是按照简单的模版匹配构造的特定人、小词汇量、孤立词识别系统。在训练阶段,用户将词汇表中的每一个词读一遍,并提取特征向量存入模版库。在识别阶段,将输入语音的特征向量序列依次与模板库中的每个模板库进行相似度比较,将相似度最高者作为识别结果输出。语音识别模版匹配法的代表算法是日本学者板仓提出的动态时间规整(DynamicTimeWarping,

DTW)算法,它将动态规划的概念用于解决孤立词识别时的说话速度不均匀的难题。模版匹配法的缺点是:如果需要识别较长的语段,并需要使用词、甚至是句来作为模板,那么可能需要大量的模版,这时候匹配算法将会非常耗时。语音识别的发展20世纪80年代,基于随机模型法的语音识别方法逐渐成为了主流。语音信号可以看成是一种信号过程,它在足够短的时间段上的信号特性近似于稳定,而总的过程可看成是依次从相对稳定的某一特性过渡到另一特性。随机模型法中的代表算法就是隐马尔可夫模型(HiddenMarkovModels,HMM),它利用概率统计的方式来描述上述的时变过程。自HMM被Baker和Jelinek等人引入语音识别技术以来,随机模型法已成为语音识别研究领域的主流研究方法。马尔可夫模型马尔可夫模型(MarkovModel)是一种统计模型,它基于马尔可夫性质,即一个给定过程的未来状态仅取决于其当前状态,而与过去的状态无关。马尔可夫模型有多种形式,如马尔可夫链、隐马尔可夫模型(HMM)、马尔可夫决策过程(MDP)和部分可观测马尔可夫决策过程(POMDP)等。这些模型根据系统状态是否完全可观测以及系统是自动的还是受控的而有所不同。马尔可夫模型在语音识别中的成功应用使其成为实现快速精确的语音识别系统的最成功的方法之一。通过隐马尔可夫模型,复杂的语音识别问题可以非常简单地被表述和解决。隐马尔可夫模型

HMM用于孤立字词语音识别

输入语音语音分析概率计算比较判断矢量量化HMM训练各语音的HMM模型识别结果训练识别作业11计算以下频率的Mel频率700Hz1400Hz5800Hz2600Mel对应的频率是多少?Lecture11ContentsReview

ofLecture10语音合成之PSOLA语音压缩之MP3技术说话人识别之GMM语音通用深度神经网络6语音大模型之Whisper音频语音信息处理7个里程碑之3语音合成基音同步叠加算法1990语音压缩MP31991语音特征分析梅尔频率倒谱系数1980语音识别隐马尔可夫模型1980s说话人识别高斯混合模型1993语音通用深度神经网络2014语音大模型Whisper2022里程碑3:语音合成之PSOLA基音同步叠加算法(Pitch-SynchoronousOverlap-Add,

PSOLA)是一种用于语音合成中对合成语音的韵律进行语音转换(Voice

Conversion)算法的算法。80年代末到1990年由法国研究人员F.Charpentier和E.Moulines等人提出。该算法的核心思想是在不改变语音信号的基本音质的前提下,将语音信号分成不同的基音周期,并通过移动、增减这些基音周期并重新叠加,通过调整语音信号的基频和时长来改变语音的韵律音高和持续时间。它的优点在于能够方便地控制合成语音的韵律参数。PSOLA包括时域PSOLA(TD-PSOLA)频域PSOLA(FD-PSOLA)线性预测PSOLA(LP-PSOLA)等语音合成语音合成技术是利用电子计算机或其他装置模拟人说话的技术,主要包括文本到语音(TTS:TextToSpeech)和语音转换(VC:VoiceConversion)两种技术路线.

语音转换是为了实现对合成语音中的韵律调整。韵律控制主要是修改单个语音波形的时长和音调,以达到韵律控制的目的。使用的主要算法是基音同步叠加(PSOLA)算法PSOLA算法步骤1-5具体描述窗函数与信号分割使用窗函数将输入的语音信号分割成多个帧,每一帧包含一个完整的基音周期基音同步分析和标注对于每一帧,算法会进行基音周期的分析。语音信号可以分为清音段和浊音段,这两者的标注方式是不同的。对于浊音段,算法会进行正常的基音周期标注。而对于清音段,由于它们缺乏稳定的基音周期,算法通常将其基音周期设定为一个固定的常数时间扩展或压缩根据需要改变语音信号的长度,算法可以对帧进行时间扩展或压缩。这通常是通过改变帧之间的间隔来实现的音高调整为了改变语音信号的音高,算法会调整每一帧的基音周期大小。更长的基音周期会导致更低的音高,而更短的基音周期则会导致更高的音高。重叠和相加在完成了上述所有调整后,算法会将调整后的帧进行重叠并相加,以生成新的语音信号。这个新的信号会具有所需的音高和时间长度的调整,而其他语音特性则保持不变。Lecture11ContentsReview

ofLecture10语音合成之PSOLA语音压缩之MP3技术说话人识别之GMM语音通用深度神经网络6语音大模型之Whisper音频语音信息处理7个里程碑之4语音合成基音同步叠加算法1990语音压缩MP31991语音特征分析梅尔频率倒谱系数1980语音识别隐马尔可夫模型1980s说话人识别高斯混合模型1993语音通用深度神经网络2014语音大模型Whisper2022里程碑4:语音压缩之MP3语音压缩是对编码后的数字语音进行压缩的方法。MP3算法(MPEGAudioLayer-3)是一种广泛使用的数字音频压缩格式,其全称是动态影像专家压缩标准音频层面3。它是在1991年由德国的的一组工程师发明和标准化的。它被设计用来大幅度地降低音频数据量。利用MPEGAudioLayer3的技术,将音乐以1:10甚至1:12的压缩率,压缩成容量较小的文件,而对于大多数用户来说重放的音质与最初的不压缩音频相比没有明显的下降。用MP3形式存储的音乐就叫作MP3音乐,能播放MP3音乐的机器就叫作MP3播放器。MP3算法的核心原理是基于人耳听觉特性的心理声学模型,通过去除人耳不易察觉的声音信息来实现数据压缩。MP3算法步骤步骤描述采样率转换将输入音频信号的采样率转换为固定的值,通常为44.1kHz。这是为了匹配人耳对于音频的感知范围,削弱或删除高于人耳感知范围的频率。分帧将音频信号分成一系列短时窗口,通常为23.2ms至46.4ms的长度。每个窗口内的音频数据被视为一个帧。使用重叠窗口技术减少帧之间的不连续性。快速傅里叶变换(FFT)对每个帧应用FFT变换,将时域中的音频信号转换为频域中的频谱表示。声学模型基于人耳的听觉特性,使用心理声学模型来确定哪些频率成分对人耳更重要,并舍弃部分人耳感知不灵敏的部分以进行更多的压缩。量化和编码使用掩蔽模型为每个频率成分确定对应的量化器步长。然后,将量化后的频谱系数进行熵编码,通常使用霍夫曼编码。霍夫曼编码是一种无损数据压缩算法,它基于频率较高的字符用较短的编码表示,而频率较低的字符用较长的编码表示的原理,实现对数据的高效压缩。MP3原理来源:mp3是如何骗过你耳朵的?【差评君】UP主:差评君/video/BV1D5411S71K/Q1:

MP3的心理声学压缩占了压缩的60%,MP3压缩的另外40%靠什么?

MP3压缩全流程Lecture11ContentsReview

ofLecture10语音合成之PSOLA语音压缩之MP3技术说话人识别之GMM语音通用深度神经网络6语音大模型之Whisper音频语音信息处理7个里程碑之5语音合成基音同步叠加算法1990语音压缩MP31991语音特征分析梅尔频率倒谱系数1980语音识别隐马尔可夫模型1980s说话人识别高斯混合模型1993语音通用深度神经网络2014语音大模型Whisper2022说话人识别Automatic

Speaker

Recognition说话人识别,也称声纹(Voiceprint)识别,是一种利用说话人的语音特征进行身份辨认或确认的技术,属于生物识别技术的一种。它的原理是通过分析处理说话人的语音信号,提取出包含在其中的个性因素,如发音器官和发音习惯的差异,从而将不同人的声音进行有效区分。在实际应用中,说话人识别可以分为说话人确认和说话人辨认两个应用范畴。说话人识别的理论基础是每一个声音都具有独特的特征,通过该特征能将不同人的声音进行有效的区分。这种独特的特征主要由两个因素决定,第一个是声腔的尺寸,具体包括咽喉、鼻腔和口腔等,这些器官的形状、尺寸和位置决定了声带张力的大小和声音频率的范围。因此不同的人虽然说同样的话,但是声音的频率分布是不同的,听起来有的低沉有的洪亮。每个人的发声腔都是不同的,就像指纹一样,每个人的声音也就有独特的特征。第二个决定声音特征的因素是发声器官被操纵的方式,发声器官包括唇、齿、舌、软腭及腭肌肉等,他们之间相互作用就会产生清晰的语音。而他们之间的协作方式是人通过后天与周围人的交流中随机学习到的。人在学习说话的过程中,通过模拟周围不同人的说话方式,就会逐渐形成自己的声纹特征。说话人识别与语音识别从目的上看,说话人识别是通过分析处理说话人的语音信号,提取出包含在其中的个性因素,如发音器官和发音习惯的差异,从而进行身份鉴别与认证。而语音识别技术的目标则是将人类语音中的词汇内容转换为计算机可读的输入,即让机器“听懂”人类口述的语言,包括理解口述语言中的要求或询问并做出正确响应。从原理上看,说话人识别是基于声纹识别的一种生物识别技术,通过分析语音信号中的个性因素来识别说话人的身份。而语音识别则是将语音信号转变为文本,然后将理解转变为指令的技术。里程碑5:说话人识别之GMM高斯混合模型(GaussianMixtureModel,GMM)是一种概率模型,它假设数据集是由多个高斯分布混合而成的。每个高斯分布被称为一个“成分”或“簇”,由其均值(mean)和协方差(covariance)定义。在说话人识别任务中,GMM通过训练为每个目标说话人语音建立一个特征模型,再通过匹配处理来获得最终的识别结果。在语音识别任务中,GMM也可以与HMM结合来提高语音识别的准确性。GMM说话人识别在说话人识别中,GMM的核心设定是将每个说话人的音频特征用一个高斯混合模型来表示。这种设定基于一个直观的理解:每个说话人的声纹特征可以分解为一系列简单的发音子概率分布,这些子概率分布可以近似的认为是正态分布(高斯分布)。GMM如需要训练出每个说话人的声音模型,因此需要大量的训练数据和时间成本。此外,如果针对开集新人员进行识别,需要重新训练模型,限制了GMM实用性。GMM-UBM(高斯混合模型-通用背景模型)主要用于开集的说话者辨认。UBM是从大量不同的说话人的背景数据中训练而来的,用于建模整个数据集中存在的变异性。然后,通过使用UBM的信息,对特定说话者的GMMs进行调整以更好地匹配其特征。UBM不会受到训练数据不足以及隐性数据(unseendata)的影响。Lecture11ContentsReview

ofLecture10语音合成之PSOLA语音压缩之MP3技术说话人识别之GMM语音通用深度神经网络6语音大模型之Whisper音频语音信息处理7个里程碑之6语音合成基音同步叠加算法1990语音压缩MP31991语音特征分析梅尔频率倒谱系数1980语音识别隐马尔可夫模型1980s说话人识别高斯混合模型1993语音通用深度神经网络2014语音大模型Whisper2022里程碑6:语音通用深度神经网络语音通用深度神经网络(通常简称为语音深度神经网络或DNN)是深度学习领域中的一种模型,专门用于处理和分析语音数据。这些网络利用大量的参数和复杂的结构来捕获语音信号中的复杂模式,并在各种语音处理任务中取得显著的效果。DNN可以与HMM结合,DNN学习特征表示和预测HMM中的状态转移概率,而HMM则描述语音信号的时序结构和状态转移关系。DNN-HMM模型使用深度神经网络对语音信号进行特征提取和转换,并输入到HMM中进行建模和解码,提高语音识别的性能。语音通用深度神经网络RNN循环神经网络(RecurrentNeuralNetwork,RNN)是一种专门用来处理序列数据的通用深度神经网络。与传统的前馈神经网络不同,RNN能够处理变长的序列输入,这使得它在处理诸如语言文本、时间序列数据、语音信号等连续数据时表现出色。语音处理领域中,RNN在语音处理的广泛应用的出现标志着语音识别等语音通用任务进入了深度学习时代。RNN语音处理RNN通过引入循环连接,使得每个时间步的输出不仅取决于当前的输入,还取决于之前的隐藏状态。这种机制使得RNN能够捕捉序列数据中的上下文信息和时序依赖关系,从而在处理语音信号时具有优势。在语音识别方面,RNN模型通常接收语音信号的声学特征序列作为输入,如MFCC(Mel频率倒谱系数)等。然后,RNN通过迭代计算每个时间步的隐藏状态和输出,将语音信号转换为对应的文本序列。同时基于注意力机制的RNN模型能够自动关注重要的语音片段,并忽略无关的信息。在语音合成方面,RNN模型可以接收文本序列作为输入,并生成对应的语音信号。这通常涉及到使用RNN来建模文本到语音的映射关系,并通过生成算法来合成语音。同时,基于序列生成模型的RNN方法可以提高语音的自然度和流畅性,能够生成更加逼真的语音信号RNN还可以结合其他通用深度学习模型来提高性能使用卷积神经网络(CNN)来提取语音信号的局部特征,并将其作为RNN的输入。使用双向RNN(Bi-RNN)或长短期记忆网络(LSTM)等改进版的RNN模型来增强对长序列的建模能力,进一步提高语音处理的性能。Lecture11ContentsReview

ofLecture10语音合成之PSOLA语音压缩之MP3技术说话人识别之GMM语音通用深度神经网络6语音大模型之Whisper音频语音信息处理7个里程碑之7语音合成基音同步叠加算法1990语音压缩MP31991语音特征分析梅尔频率倒谱系数1980语音识别隐马尔可夫模型1980s说话人识别高斯混合模型1993语音通用深度神经网络2014语音大模型Whisper2022里程碑7:语音大模型之WhisperWhisper模型是2022年OpenAI公司开发的一种的基于Transformer模型的预训练端到端模型,它集成了多语种ASR、语音翻译、语种识别的功能。在预处理阶段,它使用25毫秒的窗口和10毫秒的步幅计算80通道的logMel谱图表示。在训练阶段,超过68万小时的标记多语言和多任务监督训练数据使其能够适应不同的口音、背景噪音和技术术语。在识别阶段,Whisper模型使用的CTC(ConnectionistTemporalClassification)解码算法将神经网络输出的概率分布映射到最可能的文本序列。在后处理阶段,它通过语言模型纠正拼写纠错,进一步提高识别准确率,其转译效果已经接近人类专家。ASR与TTS的端到端模型传统的语音识别ASR系统需要首先提取声学特征,语音或者音素特征,语音统计特征构建声学模型/语言模型/语音模型3个步骤。传统的语音生成TTS系统需要构建文本分析,声学模型,语音合成几个步骤。这些步骤需要大量的行业知识。端到端的技术将以上的每个步骤直

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论