语音信号的译文.doc

学号：06446222 常 州 大 学毕业设计（论文）外文翻译（2011届）外文题目 Audio Signal Processing Using Time- FrequencyApproaches 译文题目 运用时域-频域方法处理音频信号 外文出处 万方数据库 学 生 徐 磊 学 院 信息科学与工程学院 专 业 班 级 电子072 校内指导教师 马正华 专业技术职务 教 授 校外指导老师 无 专业技术职务 无 二一一年三月1、正常的人能听到振动范围为20赫兹到20千赫的声音。可听见的声音信号才作为音频信号。创建，调制，解释音频的意义是将人从动物中分离出来最重要的能力之一。多年以来，声音信号的方法创新和处理带来了通信、娱乐甚至生物医学诊断工具的多方面的发展。随着技术的进步，音频处理自动化，不断提升。在电子计算机的帮助下，当代数字技术使音频处理更进一步。能快速的实现和执行复杂的音频处理任务。数字化和规格化的音频信号带来了高水平的抗噪声能力，保证了音频恢复的质量。然而，数字化的音频格式带来了大量的数据量，还有因特网上音频版权的保护的困难。另一方面，计算机的使用使得对音频信号分析和提取信息变得容易、灵活。这些音频信号的“功”与“过”促使了多种音频信号处理技术的发展。一般，大部分音频技术解决三方面的应用问题：压缩、分类、安全。每个方面的主要内容是不同的，有时甚至是对立的，这就给拥有一个统一的方法带来了困难。尽管带宽增大和更好的储存技术，但压缩技术在网络数据传输方面仍然占重要角色。对压缩的要求（保留主要音频元素）推动编码技术的前进的同时，音频分类要求精微、准确和有区分度的提取技术以组织或索引多样的音频信息。这涵盖了大范围的次级应用，其中，信息的提取准确度在重要的应用和生物测定中保证数据恢复和感知听觉环境起重要作用。与压缩不同的是，为了以一种安全的形式保护数字音频信息，需要分类的音频编码和信息提取，其可以保证音频的所有权。多出的外部信息应该不至于引起感知错乱并能防止被移除。鉴于上述要求，以一种方式处理上述领域问题会很困难，除非我们能够在TF框架内尽可能准确的模拟音频信号，适当的根据应用情况制定参数。2、时间-频率分析信号基于其特点可以分成不同类型。一种分类是确定信号和随机信号。确定信号是可以用数学函数表示或可以推导而得。随机信号有随机值，不能像确定信号那样用函数表示，但他们可用统计数据表示。当信号数据随时间变化，他们就形成一种不稳定信号的次级分类。不稳定信号与时变谱状信息有关，而且现实世界中大部分的信号都属于此范围。由于时变的特性，所以除理不稳定信号很难。早期的信号处理技术，主要使用如关联、卷积时域操作、内积和信号平均。虽然时域处理提供了一些有关他们的信息，但他们没有能力进行频率成分提取。傅立叶理论引入通过使问题在频域的分析得以解决。但是，傅立叶技术只提供的内容是全频率，而没有频率发生的对应时间。因此，没有时间域或频域的分析，足以分析时变信号的频率内容。为克服这个困难，并有效分析非平稳信号，能同时提供时间和频率信息是必要的。因此诞生了TF转换。在一般情况下，TF的转换可以分为两大类：信号分解方法和双线性分布（也称作为科恩类）。在以分解为基础的方法中，信号近似成小TF函数，其来源于转化、调节，并具有衡量有明确的时间和频率定位功能的函数。分布是带有高的TF分辨率的二维能能量表示。凭借方便的应用和战略的特征提取的方法，TF分解技术或TF分布方法可以使用。2.1 自适应时频变换（ATFT）算法分解方法该技术是基于ATFT与TF字典的匹配追踪算法1，2。ATFT具有良好的TF分辨率性能（优于小波和小波包技术），并由于其适应性性质（处理非平稳性），有没有必要将信号分割。灵活的信号表示可以根据TF字典的特点尽可能准确的实现。在ATFT算法中，任何信号x（t）可以分解成来自冗余的TF函数字典的函数gnTF线性组合。在这种情况下，冗余字典意味着字典非常完整，并包含所需最低还多的函数，即非正交函数集。其功能比规定的最低还大，以致能涉及给定的信号空间。用ATFT我们可以构造x(t)信号如下：xt=an gntan是扩展系数。g(t)窗函数的选择决定着TF字典的性质。TF函数字典根据方便应用既可适当修改又可选择。比例因子sn，也叫做八度音参数，用来控制窗函数的宽度。参数pn控制时间位置。fn和n分别代表指数函数的频率和相位。参数yn表示分解参数的特殊结合。在本论文的后面将描述TF分解原理过程，拥有最好的TF定位功能的Gabor字典应用于离散ATFT算法的实现，八度音的参数sn需要90 s到0.4 s相同时宽值；相位参数需要介于0到1的任何值，涵盖0到180度；频率参数需要在0到22050Hz之间的8192级中（样本频率44100Hz表示高频）。时间位置参数可取1到信号长度之间的值。信号x(t)和带有所有可能的量化解释和调制的TF函数的冗余字典对照。当x(t)为零散实信号时，就如现在描述的音频信号，我们将用离散实TF函数字典。由于字典的丰富内容的特性，选择最佳的信号结构拥有极大的灵活性。这灵活性使得能以最少数目的提供压缩近似的TF函数来完成对信号尽可能准确的模拟。重复寻找时，在Gabor字典搜寻和选择最佳的匹配函数。由于连续的TF函数选择，信号分解尤其是长信号的分解将花费更长的时间。为了解决这个问题，现有了在重复时删选多样TF函数的好方法。在重复多次后，信号可以表达如下：xt= Rnx gyngyn(t) + RM x(t)这其中的第一部分表示分解成TF函数M次，第二部分是剩余的，其将在接下来的重复中被分解。这过程将持续到所有的信号能量被分解。每次重复（分解）中，部分信号能量以TF框架中最佳的TF分辨率的函数模拟。随着分解的进行，可以看到获取的能量不断增加，剩余能量不断降低。对于一个信号的完整的分解，M值很大才能表示信号内容。带有不同级别的高斯TF函数的例子和调制参数将在Figure1中给出。一次ATFT算法的计算复杂度次序将由0（N log N）确定，其中N表示样本信号的长度。ATFT算法的时间复杂度根据模拟信号的要求，每次分解后的信号特点不同，随分解的次数的增加而增加。与次相比，在先进的音频编码中极少的应用的修改的离散余玄变换（MDCT）的计算复杂度是唯一的0（N logN）的。一旦信号以确定的时间和频率定位准确模拟或分解成TF函数，控制这TF函数的TF参数就能用来分析提取专门的信息。这里我们处理音频信号的TF分解参数是为了后面解释的音频压缩和分类。2.2 TF分布方法TF分布方法是指关于时域和频域的二维能量表示。在TFD方法范围的工作很多。下面是一些有名的TDF技术。2.2.1 线性TDF最简单的线性TDF是短时傅立叶变换的模量的平方，它认为信号在短暂的时间内是不变的，将信号乘以窗函数，并将窗函数部分进行傅立叶变换。这种联合TF表示时间上频率的位置；但是，不得不接受TF分辨率的减少的代价。2.2.2二次TFD 在二次TFD中，分析窗口调整以适应分析信号。为了达到这个目标，二次TFD变换了信号的时变自相关以获取分布在时间和频率上的信号能量表示。其中，Xwv是Wigner-Ville分布（WVD）。WVD比STFT有更高的分辨率；然而，当信号中含有不止一个元素时，WVD会含有交叉干扰项。干扰项不属于信号，是由于WVD的二次性引起的。他们产生对TFD的高振荡干扰，将导致对信号错误的解释。这样的缺点促使我在此介绍其他的TFD方法，譬如PWVD、SPWVD、CWD和Cohen内核分布，其是在歧义域定义了能除掉干扰的内核。这些分布属于叫作线性TF表示的Cohen类的通用类。这些TFD不总是正的。为了产生有益的特征，TDF的值在每一点都应为正的；否则，提取的TDF值无法解释，例如，WVD总是带来正的瞬间频率，但他给出是频率的方差，对于某个特定的时间，其值可能是毫无意义的负值。而且，很难解释负值的概率。2.2.3 正TDF他们能产生非负的信号TDF值，不含交叉项。Cohen和Posh一组无限正TDF的存在并发现了基于信号核的计算正TDF值的方程。然而，为了计算这些核，需要很多不知道的信号方程。因此，尽管正TDF值的存在，但是他们的来源处理很困难。2.4 匹配跟踪型TDFMP-TFD来源于1993年由Mallat和Zhang提出的匹配跟踪。匹配跟踪将一个信号分解成Gabor元素，其拥有大范围内的调制频率、相位、时间移位和周期。在M次分解后，所选元素总和表示信号的相关结合结构，剩余的表示信号的非相关结构。人们认为剩余的是随机噪声，因为它不具有TF定位特性。因此，分解剩余可被忽略，每M个元素的WVD按如下相加：其中，Wgyn是Gabor原子gyn的WVD，X是构造的MP-TFD。如前面所提到的，WVD是最后的TF表示；然而，当信号有多于一个元素时，TF的分辨率将受到交错项影响。在MP-TFD中，我们将WVD应用于单个元素并把它们加起来，因此，这样的汇总将消除交叉干扰。尽管TFD有量化现实世界信号的信息的潜在能力，他们主要用于可视化。我们将在下面回顾TFD的量化，然后解释所说的TFD的量化方法。2.3 基于TFD的量化在一些著作中，有通过移除剩余和保留TFD的具有代表性的部分来量化。在【9】中，作者思考了作为文本图像的音乐信号的TF表示，然后他们寻找给定乐器重复的部分作为这种乐器的代表特征。这种方法对音乐信号适用，然而，在环境中不存在这样结构的TF形式，声音分类就会效果不佳。另外一种TF量化方法是从TFD及时获得特征。首先要做的一步是Tacer和Loughlin的工作，它们从TF框架的二维时刻获得特征。这种方法可以方便地获得与每一点的信号谱状形式相关的每一个时间样本的瞬时特点。然而，特点的量化仍然很大。在【11，12】中，在分类处理代替直接应用及时特点，而使用这些特点的数据特性。尽管这种方法减少了及时特点的维度，但缺点是数据分析削弱了即使特点的时间定位。在最新的方法中，TFD是一个矩阵。然后矩阵分解技术应用到TF矩阵以获得重要的TF元素。这想法一直用于区分乐器，最近用于音乐分类。这种方法的优点是高维度的分解的基向量，因此他们不是为分类的特点。Figure2 描述了我们说过的量化方法。如图所示，信号被转化成TF矩阵V，这里的V是信号的TFD。接着，应用MD将TF矩阵分解成基和系数矩阵即V=WH。我们从每个基矩阵向量提取特点并用其作信号的联合TF特征。与之前的方法相比较，这方法极大地减少了TFD的维度。我们叫这种方法为TFM分解特点提取技术。之前我们对语音信号采用的TF分解特点提取方法是为了自动识别和衡量语音特性问题。我们从基矩阵和系数矩阵提取有意义的和独特的特点。我们发现这方法能从语音中提取有意义的和独特的TF特点，自动识别和测量信号的非正常性。我们用TFM来量化TFD，为自然界音频分类运用新的特征。基于TFM技术，为了提高自然界的音频分类准确性，现在我们的目的是提取新特点。2.4 TFM 分解一个信号的TFM就是VkN，其中N是信号长度，K是频率分辨率。含有r个分解的MD技术用于处理矩阵，这种方法中，TFM中的每个元素可书写如下：这里分解TF矩阵，W和H，定义如下：MD减少TF矩阵至基向量和系数向量，前者表示TF信号结构的谱状元素，后者表示与对应的时间上的谱状元素的定位。在著作中有一些著名的MD技术，例如，基本元素分析法PCA、独立元素分析法ICA和非负矩阵因数法（NMF）。每种MD技术考虑不同的标准以选择含有期望特性的分解矩阵，例如，PCA发现了能最小化重构数据的方差正交基组；ICA是一种将复杂数据集分解成尽可能独立的元素的技术；应用NMF技术处理一个非负矩阵，将矩阵分解成非负元素。MD技术适合TF量化，即分解矩阵能产生代表性的和有意义的特点。在这里，我们选择NMF作为MD方法，原因如下。在之前的研究中，我们发现，与其他MD技术相比，NMF元素有更好的代表性和定位性。因此，从NMF元素提取的特点表示了高的时域和频域定位特性。NMF将一个矩阵分解成非负元素。负的谱状和时间分布没有物理意义上的解释，所以将产生无意义的特点。因为PCA和ICA技术不能保证分解元素的非负性，所以取代直接使用W和H矩阵提取特点，用W和H。换句话说，不是从V=WH提取特点，而从如下定义的V的TFM提取：W和H的负元素在TF提取中会引起人工痕迹。NMF是保证分解元素的非负性的唯一MD技术，因此，与PCA和ICA相比较而言，它是提取MD技术更合适的方法。最终，NMF选为TFM分解的MD技术。NMF算法从对W和H的初步估计开始，不断最优化，以获得最佳的函数。在【20】中，Lee和Seung介绍了两种更新算法，其用了最小的方差和Kullback-Leibler 分歧作为成本函数。用于NMF分解的多样选择最小化策略在【21，22】中论述到。我们用在【23】中由Lin提出的投射梯度受限最小化方法。基于梯度的NMF计算力强，而且比标准方法能提供更佳的卷积特性。Figure2：此图表示TFM的量化技术。3音频编码为了解决音频压缩的高要求，多年以来，在无损音频质量的前提下，产生了很多致力于减少比特率的压缩方法。在此篇幅有限，不能介绍所有音频压缩技术，作者推荐了Painter和Spanias，可以对已有的音频压缩技术进行一次全面了解。音频信号不稳定性很高，分析他们的最佳方法是联合TF方法。这里介绍的编码方法基于ATFT，涉及类似变换的编码策略。基于变换的编码技术方法包含以下步骤：（i）将音频信号转化为频率或TF域的系数，（ii）用生理音质模式处理系数，计算音频截止门槛，（iii）用截止门槛控制量化器分辨率来，（iv）运用智能未分配方法，（v）在进一步无损的情况下提高压缩速度。基于ATFT的编码器几乎都遵循上述的通用状花编码方法；然而，不象现存的技术，压缩的大部份通过探索音频的联合TF特性而取得。ATFT编码器的图如Figure3所示。ATFT方法提供了比小波之类的TF技术更高的分辨率。高分辨率的分解使得我们能够获得在变换域的压缩表示。还有，因为ATFT的自适应性，不再需要信号分割了。新方法应用心理音质于TF分解参数，从而获得更好的压缩。现存的大部分的音频编码技术中，重要的分解元素或模块都是在带有相关的能量的频域。对于他们，很容易改变传统的有现成模型的音质技术以符合他们的编码方案。另一方面，在ATFT中，信号是用有确定时间和频率分辨率的TF函数模拟的，因此，必须调整现存的音质模式以适应TF函数。3.1 音频信号的ATFT任何信号都可以表达成有关的和无关的信号的结合。这里，有关的信号是指这些信号的结构有一个明确的TF定位或显示出与TF字典的关联性。一般，ATFT算法在前一百次重复中模拟相关信号结构，这包含了90%的信号能量。另一方面，如噪音般的非相关结构不易模拟，因为他们没有与字典中元素有确定的TF定位。因此，这些非相关信号被ATFT分解成小元素来寻找可能的相关结构。这过程不断重复，直到剩余信息全部分解掉。从压缩的角度来看，要求尽可能少的重复次数，同时，要保证没有感知错乱的情况下，有足够的时间模拟音频信号。鉴于这样的要求，需要设置自适应调整控制重复次数。可用能量获取率实现这个要求。通过观察随次数增加能量，我们可以当能量到达一定程度时设置限制来停止分解。在不产生感知错乱的情况下，模拟语音信号的最低重复次数取决于信号结构和长度。理论上，由于ATFT的自适应特性，没有必要分割这些信号。然而，由于计算能力的限制，需要在5秒内分解完信号。分解的时间越长，ATFT的模拟效果越佳。这是因为如果信号不太长的话，就不能有效利用更长的TF函数去近似信号。越多的TF函数覆盖越多的信号，也能在有限的重复次数下获取更多的能量，还可以减少模拟信号的TF函数的数量。每个TF函数都有一个确定的时间和频率定位，这意味着可以得到每个函数产生的信息。这样的灵活性可以帮助我么计算音质门槛而组构与音频信号短暂时间对应的TF函数。换句话是，音频信号的全长首先分解成TF函数，然后将与信号短暂部分时间向对应的TF函数组构在一起。作为对比，基于DCT和MDCT的大部分的技术都不得不把信号分割成块，依次处理。这就需要考虑与音频信号有关的不稳定性，还需保证在编码和解码时有延迟。在这5秒处理信号的技术中，分解的限制设为重复的次数，其必须获取99.5%的能量或达到10，000次，如下所示对于带有很少非相关信息的信号而言，99.5%的信号相比带较多的非相关信息的信号，其能量能以较少的TF函数模拟。在大部分的情况下，99.5%的能量几乎包含了信号的全部特点。为了减少计算负荷，重复的上限是10，000次。Figure 4显示样本音频信号所需的TF函数数量。数据上，下图显示了上图的样本信号的能量获取曲线，即X轴表示了TF的数目，Y轴表示标准化的能量。平均而言，取样44.1Hz频率时，可以看出需要6000个TF函数表示5秒长的信号。3.2 心理音质的实现大部分的基于变换现存的编码器根据基于音质门槛而控制量化分辨率实现压缩。与此不同的是，这技术获得了紧随其后的感知过滤的变换中的大部分压缩。也就是，与信号的长度相比，要求模拟信号的重复次数很低。仅需要ML位。L是量化五个表示TF函数的TF参数的所需位数。因此我们将研究工作限定在级别量化，研究的重点放在TF变换块和音质块上，而不是通常的数据压缩应用次级块。如前解释的，需要用五个参数表示TF函数和信号本身。这五个参数以一种方式量化，这种方式在获取好的压缩参数时，量化错误不可获知。每个参数都有其不同的特点和动态范围。对其进行仔细分析后，可做下面的位分配。在作出最终的未分配之前，要进行MOS测试，以在量化前后分别比较音频样本的质量。总之，在重构的信号中没有引进感知量化噪音时，需要用54位来表示TF函数。M个TF函数的数据最终的形式包含如下。（i） 能量参数=M12bit（ii） 时间位置参数=M15 bit（iii） 中心频率参数=M13 bit（iv） 相位参数=M10 bit（v） 八度音=M4 bit以上五个参数的总和就是要传递的或储存的总位数，表示五秒的音频信号。在标志压缩与扩展后的能量参数被认为是光滑的曲线。使曲线适合能量参数会进一步减少比特率。在简单的级别量化和能量参数的曲线适配下，这里的编码方法将获得很高的压缩比例。尽管级别量化是用来减少这里的编码器的计算复杂度的，但是可以结合复杂的向量量化技术来进一步提高编码效率。TF函数的五个参数当作一个向量，相应的用之前定义的编码书加以量化。一旦向量被量化，只需要为TF参数传输编码书的索引，从而减少了总位数。然而，设计编码书就和确定TF参数的范围一样困难。除了减少总比特位，还将在量化阶段控制比特率以适应CBR应用。3.4 压缩率由编码器产生的压缩比率按下面的八个样本宽带音频信号计算。这些信号是音乐类宽范围内的代表。（i） 如前面解释，表示每个TF函数的总位数是54位。（ii） 能量参数是纠正曲线，加给纠正曲线的第一个150点需要编码。（iii） 对于5秒的信号重复M次所需的总比特位是TB1=（M42）+（150+C）12），其中，C是曲线适配点的数目，M是重要函数的数目。（iv） 对与16位PCM技术CD质量的要求，五秒的信号所需总位数是TB2=44100516=3，528，000。（v） 压缩率可以表达成对同样的信号现有编码器所需的位数和CD质量所需的位数值比，即压缩比率= TB2/TB1 （vi）一个信号的整个压缩率是以两种通道的所有五秒信号的均值来定的。这里的编码器基于自适应信号转换技术，也就是说，信号内容和用来模拟信号的基本函数字典在决定压缩信号如何表示方面起重要作用。因此，VBR是最好的描述自适应分解方法的效果的方法。用来模拟信号的TF函数的数量有内在动态特性，因此压缩是使用ATFT的重点。尽管VBR更适合描述编码器运行特性，当以限定的延迟时间以恒定的比特率进行网络传输应用时，CBR也有自己的优势。这里的编码器也可运用CBR模式，即以固定的TF函数数量来表示信号分块，然而，由于编码器的信号自适应性，当为了无损再生，信号需要更多TF函数来表示，将对其折中。因此，我们选择以VBR的模式描述编码器结果。我们那这里的编码器和现有流行的先进的音频编码器（AAC），即MP3和MPEG-4比较。先进的编码技术是当今工业标准，其最初开发是为了多通道信号。因为在著作中有大量的MP3和MPEG-2/4的论述，这里就不再叙述AAC的具体情况了。如下所示，平均比特率用来计算MP3和MPEG-4 AAC的压缩比率。（i） 按照CD质量16位PCM技术计算一秒立体信号的比特率：TB3=24410016（ii） VBR模式下的平均比特率=TB4（iii） 压缩比率=TB3/TB4Table1 的第二、四、六列显示了对八个样本音频文件MP3和MPEG-4 AAC 和此处编码器所取得的压缩比率。从表中可以看出，这里的编码器有比MP3更好的压缩比率。当与MPEG-4AAC相比较，八个信号中的5个编码器没有它好。值得提一下的是，ATFT编码器比MPEG-4 AAC和MP3好三、四倍的效果。仅以压缩比率不能评价编码器。通过与原信号比较各方面的质量，对压缩音频信号进行主观评价。主观评价和压缩比率综合评估了编码器特性。在进行主观评价之前，得重构信号。重构过程是直接的将所有的TF函数与他们对应的TF参数线性相加。为了完成这个任务，首先，为减少比特率而修改的 TF参数得扩展为原始形式。在相同的五十长点上使用内插法恢复所有的曲线点之后，扩展标志压缩曲线。在信号分解时，能量曲线乘以标准化因素产生能量参数。保存的参数给ATFT重构信号。重构的信号需要用第三次序Savitzky-Golay【33】过滤器过滤并亦可播放的形式保存。Figure 5 展示了样本信号和重构版本、对应的谱状。从重构信号频谱和原始信号的频谱的比较可以很容易的看出ATFT技术是如何准确的从信号中过滤掉无关的部分。有ATFT算法支持的TF分辨率使得无关部分的自适应过滤有了准确性。3.5 ATFT编码器的感官评价音频信号的感官评价是用来评估编码器的效果的。尽管有一些客观的办法，比如，SNR、THD和屏蔽噪音率，但是他们不能给出对编码器的真实评估，尤其是当应用有损方案时。例如，实际上在感知编码器中，SNR失去了但是音频质量要求感知无损。这里，SNR测试不可能给出准确的编码器评估。我们使用由ITU-R标准推荐的感官评估法。它叫作“隐藏参考双盲三激励”。主管差别评级通过减去绝对分数计算，这分数是分配给隐藏的参照音频信号，而这信号是分配给压缩的音频信号的。如下所示：相应的SDG的范围是从-4到0，其意义是：（-4）表示不满意或厌恶，（-3）表示差或厌恶，（-2）表示一般或稍微厌恶，（-1）表示好或可能感知到但不令人厌恶。（0）表示非常好。随机选取的五十位听众参加了MOS调查，评估了三种编码器（在VBR模式下的MP3、AAC和ATFT）。计算了每个样本的平均SDG。表1的第三、五和七列分别显示了MP3、AAC和ATFT的SDG得分。MP3和AAC的SDG的得分很接近(0)区域，而ATFT的SDG得分从-0.53到-2.27。3.6 结果和讨论三个编码器的压缩率和SDG得分如Table1 所示。他们都在VBR的模式下进行测试的。对于这项技术，VBR是描述运用自适应分解方法效果的最佳方法。在ATFT中，信号的类型和TF函数的特点控制要求用来近似信号和压缩率的变换参数的数量。用来模拟信号的TF函数的数量的固有动态特性是使用ATFT的关键之一。因此，我们选择VBR模式下编码器进行比较。结果表明MP3和AAC编码器在压缩率为十处执行良好，有很不错的得分。这里描述的编码器对八个样本处理不佳。八个中的六个样本的SDG得分均在-0.53和-1之间，还有两个样本得分低于-1。得分在-0.53和-1之间的六个