CN114450973B 用于声学回声消除的音频处理系统、半导体装置及方法 （赛普拉斯半导体公司）

2022.03.24PCT/US2020/0497092020WO2021/061385EN2021.04.01US2017134849A1,2017.05.11在本文中描述了用于非线性声学回声消除学回声消除器(AEC)逻辑和加法器逻辑块。空间参考信号和来自麦克风阵列的多信道麦克风信生成的经空间滤波的信号携载包括在多信道麦克风信号中的线性回声和非线性回声两者。AEC多信道麦克风信号的线性回声和非线性回声两2麦克风阵列，其被配置成提供多信道麦克风信号，所述使用所述经空间滤波的信号应用线性自适应滤波器以生成消于所述输出信号周期性地计算所述线性自适号并基于所述多信道麦克风信号中的来自一个信道的麦克风信号来5.根据权利要求1所述的音频处理系统，还包括所述声学回声消除器逻辑的多个实例所述声学回声消除器逻辑的多个实例被配置成：生成所述消除信所述空间滤波逻辑还被配置成：基于所述多信道麦克风信号生成经所述逻辑块被配置成：基于所述消除信号和所述经空间滤波的麦克风将所述参考信号提供给所述扬声器和所述空器逻辑和所述逻辑块被布置在通过网络耦接至所述主机的3从麦克风阵列接收多信道麦克风信号，其中，所述多信道麦克风信号包使用所述参考信号和所述多信道麦克风信号应用空间滤波器以生成经空间滤波的信使用所述经空间滤波的信号应用线性自适应滤波器以生成消消除信号并基于所述多信道麦克风信号中的来自一个信道的麦克风信号生成所述输出信所述声学回声消除器逻辑的多个实例被配置成：生成所述消除信使用所述多信道输出信号应用所述空间滤波器以生成及基于所述消除信号和所述经空间滤波的麦克风信号生成所括被配置成生成所述输出信号的加法器逻辑从与所述扬声器声学邻近的麦克风阵列接收多信道麦克风信由处理装置通过使用所述参考信号和所述多信道麦克风信号应用空间滤波器来生成由所述处理装置通过使用所述经空间滤波的信号应用线性自适应滤波器来生成消除4所述多信道麦克风信号中的来自一个信道的麦克生成所述消除信号包括：使用多个线性自适应滤波器生成所述使用所述多信道输出信号应用所述空间滤波器以生成生成所述消除信号包括：使用所述多信道麦克风信号应用所述生成所述输出信号还包括：基于所述消除信号和所述经空间滤5[0002]本申请是于2019年9月27日提交的美国专利申请第16/585,750号的国际申请，其消除器(AEC)来估计房间冲激响应(RIR)传递函数，该房间冲激响应(RIR)传递函数表征声6用所述参考信号和所述多信道麦克风信号应用空间滤波器来生成经空间滤波的信号，其[0010]图2A至图2C示出了根据一些实施方式的用于非线性声学回声消除的示例方法的[0011]图3A至图3B示出了反映所描述的用于非线性声学回声消除的技术的模拟研究的性回声)。7施方式不旨在限制主题的范围，而是使得本领域技术人员能够实践、制造和/或使用本主[0017]本文描述了用于在提供音频处理的装置中进行非线性回声消除的技术的各种实[0018]通常，回声是通过音频系统中的部件的传递函数对声学和/或音频信号进行变换要的回声，前端音频处理系统通常使用声学回声消除器(AEC)在目标音频信号被发送至后需要被识别)可能在扬声器正在回放音乐或其他多媒体内容的同时正在讲话，并且这样的回放也作为回声与讲话者的语音一起被麦克[0019]由于音频系统部件的传递函数可以是线性和/或非线性的，因此音频系统通常生成线性回声和非线性回声两者。线性回声是通过线性传递函数对声学/音频信号进行变换声是通过非线性传递函数对声学/音频信号进行变换而产生的信号，该非线性传递函数的频系统中的回声是通过系统中的部件的线性传递函数和非线性传递函数对声学/音频信号率放大器和麦克风的传递函数以及表征声学信号在受限空间和/或系统的物理环境中的传[0020]典型的音频系统中的AEC仅能访问线性参考信号，因此它使用从目标音频信号中由系统生成的任何非线性回声都保留在目标这样的非线性信号失真可能是不想要的非线性回声的原因。与线性失真(其是由线性传递8当前物理状况——例如，扬声器部件的疲劳、扬声器组件的磨损以及扬声器锥体的状也可能由于扬声器组件和/或其部件的不可预测的振动而导致[0022]另外，AEC处理在计算上非常昂贵。该问题在具有有限计算能力的系统中更加严[0023]在扬声器播出的信号被麦克风捕获时产生的声学回声可以根据下面的等式(1)表如根据下面的等式(2)来获得声学回声估计信号d(n):[0030]非线性AEC的总体挑战是扬声器与麦克风之间的声学耦合不能简单地通过等式2考虑了系统的寿命期间所有可能的非线性的模型来设计实际解决9[0034](n)=fpne(x(n))5)它不能考虑实际系统中的非线性的变化)，并且不能正确地对非线性的时间可变性(例如，这是由扬声器的物理状况的逐渐退化导致的)考信号应用空间滤波器来去除非线性回声。只要目标讲话者和扬声器在空间上充分分离据所描述的技术的系统不需要如在常规方法下所需要的那样重新系统中的非线性的影响。空间滤波器fSF例如根据下面的等式(6)生成经空间滤波的参考信号(n):[0039](n)=fsr(J(n))(6)[0040]其中，式(n)是被引导朝向扬声器并且被用于自适包括线性参考信号和非线性参考信号两者)，(n)是从多个麦克风接收的多信道信号，并(n)被用作提供给具有线性滤波器的AEC的参考信号，以例如根据下面的等式(7)获得回声估计信号dn):进行处理的麦克风信号，w(n)是AEC的线性滤波器系数的向[0046]在一些实施方式中，本文所描述的技术可以在具有多个线性AEC或具有每个麦克同的空间滤波器fSF被用于引导朝向扬声器以提取非线性参考信号并且引导朝向主讲话者以提取目标语音估计信号S(n)。可以通过将相同的空间滤波器fSF(但是具有不同的系数)应用于AEC的多信道输出例如根据下面的等式(9)来获得语音估计信号S(n):i(n)=⃞,(n),dz(n),…,d,(n)l"是回声估计d,(n)=w:(n)"E(n)的向量，yi(n)是来自第i个麦克风的麦克风信号，wi(n)是用于与第i个麦克风相关联的线性滤波器的线性滤波器系数的向量，(n)是经空间滤波的参考信号(例如，如根据上面的等式(6)生成的输出信号的目标语音估计信号。数的空间滤波器fSF来提取经空间滤波的参考信号(n)(例如，如根据上面的等式(6)生成的)和经空间滤波的麦克风信号(n)。将经空间滤波的参考信号(n)引导朝向扬声器以提取任何非线性参考信号。经空间滤波的麦克风信号(n)包括经空间放大的语音估计信过使用适当的空间滤波器系数根据下面的等式(11)来[0052](n)=fsr(J(n))(11)且是被提供为经回声消除的输出信号的目标语音估计[0056]在一些实施方式中，本文所描述的技术可以用于具有自适应波束形成器的系统[0057]图1A至图1C分别示出了根据示例实施方式的用于非线性声学回声消除的系统统100A至100C的部件可以是通过一个或更多个网络和/或通信线路耦接的单独的元件。在体封装中或者被布置或安装在公共基板例如PCB上的多个半导体封装中的多芯片模块。在[0061]在一些实施方式中，空间滤波逻辑124可以实现BF逻辑或可以被实现为BF逻辑的可以对来自麦克风阵列114中的每个麦克风的数字信号应用时间延迟补偿，以便对可能由或以其他方式收集操作被配置成将一个或更多个空间滤波器(或其实例)应用于其输入信号。空间滤波逻辑124被配置成生成以朝向特定音频源的特定方向为目标的经空间滤波的传递函数由可变参数控制，所述可变参数可以在操作期间基于加法器逻辑128生成的输出输出。自适应滤波可以随时间推移在时域中以采样方式实现或在频域中以块方式(block-议期间当本地/近端讲话者和远程/远端讲话者同时讲话时使得本地语音信号和远程语音于，实时远程讲话者被可能正在回放所捕获的语音信号本身或多媒体信号例如音乐的装[0064]加法器逻辑128是对其输入数字信号执行数字求和并且生成输出信号129(例如，在图1A的系统100A、图1C的系统100C中)或多信道输出信号129a(在图1B的系统100B中)的个信号的第n个样本与另一信号的第n个样本相加或从另一信号的第n个样本减去，并且结中被实现为通过一个或更多个网络以通信方式连接至音频处理装置120的服务器计算机或频数据可以表示多媒体回放和/或远端语音。音频处理装置120(例如，其一个或更多个电路)最终将所接收的音频数据转换成被发送至扬声器112的参考信号x(n)111。麦克风阵列中的麦克风将所接收的声波转换成被发送至音频处理装置120的对应的模拟音频信号。音频处理装置120(例如，其一个或更多个电路)接收模拟音频信号并将它们转换成多信道数124将空间滤波器fSF124a应用于多信道麦克风信号(n)115，并生成经空间滤波的信号(n)=fi给AEC逻辑126，并且携载包括在多信道信号(n)115中的线性回声和非线性回声两者——性回声和非线性回声两者。AEC逻辑126自适应地计算线性自适应滤波器逻辑126a的系数w(n)。然后将线性自适应滤波器逻辑126a应用于经空间滤波的信号(n)125(例如，根信道信号(n)115的麦克风信号中的一个(例如，第i个)麦克风信号被作为输入提供给加列114的已知/固定布置)，或者可以在操作期间从多信道麦克风信号(n)115的信道中随机选择。加法器逻辑128基于消除信号dn)127a并基[0068]在图1A的实施方式中，参考信号x(n)111被提供给扬声器112和AEC逻辑126两AEC逻辑126被配置成利用参考信号x(n)111和经空间滤波的信号(n)125两者。例如，AEC逻辑126可以被配置成将参考信号x(n)111用于双端通话检测(DTD)。AEC逻辑126还可以被配置成将经空间滤波的信号(n)125用于其背景滤波器并且将参考信号x(n)111用于其前[0069]图1B示出了包括AEC逻辑126的多个实例的示例系统100B，其中每个麦克风信号/应用于多信道麦克风信号(n)115，并且生成经空间滤波的信号(n)=f125生成消除信号127b。因此，消除信号127b是估计包括在多信道麦克风信号(n)115中的线性回声信号和非线性回声信号两者的多信道回声估计信号。多信道消除信号i(n)127b和多信道麦克风信号J()115被作为输入提供给加法器逻辑128。加法器逻辑128基于多信道消除信号127b和多信道麦克风信号(n)115执行数字求和，并且生逻辑124-2还可以被配置成接收参考信号x(n)111、多信道麦克风信号J(n)115和/或多信道消除信号in)127b中的一个或更多个信号，并且在生成多信道输出信号e(n)129a时(n)129中消除线性回声信号和非线性回声信号两者。然后将输出信号e(n)1多个实例使用该多信道输出信号e(n)129a自适应地计算其相应线性自适应滤波器逻辑或更多个实例两者。AEC逻辑126的一个或更多个实例被配置成利用参考信号x(n)111和经空间滤波的信号(n)125两者。例如，AEC逻辑126的一个或更多个实例可以被配置成将参考信号x(n)111用于DTD。AEC逻辑126的每个实例还可以被配置成将经空间滤波的信号系统100C中，空间滤波逻辑124将空间滤波器fSF的一个实例124a-1应用于多信道麦克风信号(n)115，并且生成经空间滤波的信号(n)=isr(J(n))125(例如，根据上面的等式相同空间滤波器fSF的另一实例124a-2应用于多信道麦克风信号(n)115，并且生成经空间滤波的麦克风信号(n)=fsr(J(n))125a(例如，根据上面的等式(11))。经空间滤波的麦克风信号(n)125a是利用针对麦克风阵列114中的麦克风的滤波器系数生成的，并且因此携载包括在多信道信号(n)115中的经空间放大的语音估计信号$(n)和经衰减的作为输入提供给AEC逻辑126，并且经空间滤波的麦克风信号(n)125a被作为输入提供给自适应滤波器126a被应用于经空间滤波的信号(n)125以生成消除信号d(n)127c(例如，根据上面的等式(12))。消除信号dn)127c估计包括在经空间滤波的麦克风信号(n)115中的线性回声信号和非线性回声信号两者。消除信号dn)127c被作为输入提供给加法器逻辑128。加法器逻辑128基于消除信号dn)127c并基于经空间滤波的麦克风信号(n)125a执行数字求和，并且生成输出信号e(n)129(例如，根据上面的等式(12))。实际上，输出信号e(n)129近似于由麦克风阵列1声信号两者，并且避免了从输出信号e(n)中消除目标语音信号(例如，在双端通话的情况AEC逻辑126，该AEC逻辑126使用该输出信号e(n)129自适应地计算线性自适应滤波器逻辑[0072]在图1C的实施方式中，参考信号x(n)111被提供给扬声器112和AEC逻辑126两AEC逻辑126被配置成利用参考信号x(n)111和经空间滤波的信号(n)125两者。例如，AEC逻辑126可以被配置成将参考信号x(n)111用于DTD。AEC逻辑126还可以被配置成将经空间滤波的信号(n)125用于其背景滤波器并且将参考信号x(n)111用于其前景滤波器，其中，[0073]图2A至图2C示出了根据本文所描述的技术的用于非线性声学回声消除的示例方波逻辑、AEC逻辑和加法器逻辑执行的方法的描述应当被认为是说明性意义的而非限制性[0074]图2A示出了可以在具有单个AEC逻辑的系统(例如，诸如图1A中的系统100A)中实以其它方式提供的用于发射至扬声器的参考信号x被连续提供给空间滤波逻辑和AEC逻辑。多信道麦克风数字信号是基于来自与扬声器声学邻近的麦克风阵列中的多个麦克风的麦克风信号中的一个(例如，第i个)麦克风信号也被作为输入提供给音频处理装置的加法空间滤波的信号作为输入提供给音频处理装置的线性自适应滤波器与其系数w一起应用于经空间滤波的信号(例如，根据上面的等式(7)和等式(8))以生成消除信号d。消除信号估计包括在第i个麦克可以被配置成将参考信号x用于DTD。AEC逻辑还可以被配置成将经空间滤波的信号用于其背景滤波器并且将参考信号x用于其前景滤波器，并且选择来自背景滤波器的输出和来[0079]图2B示出了可以在具有AEC逻辑的多个实例——其中每个麦克风信号/信道应用一个AEC实例——的系统(例如，诸如图1B中的系统100B)中实现的用于非线性回声消除的至扬声器的参考信号x被连续提供给空间滤波逻辑。多信道麦克风数字信号是基于来自与扬声器声学邻近的麦克风阵列中的多个麦克风的音频信号生成的数字多信道信号。因道麦克风信号也被作为输入提供给音频处理装置的加法[0080]在操作214a中，基于参考信号x将空间滤波逻辑中的空间滤波器将经空间滤波的信号作为输入提供给音频处理装置的线性AEC逻辑的多个实例中的每个多信道麦克风信号的所有麦克风信号yi中的线性回声信号和非线性回声信号两者的多每个实例还可以被配置成将经空间滤波的信号用于其背景滤波器并且将参考信号x用于辑中的空间滤波器fSF以进行操作214b。[0083]在操作214b中，将空间滤波逻辑中的空间滤波器fSF应用多信道输出信号自适应地计算其相应的线性自适应滤波器的其相应的线性自适应系数将参考信号x和多信道麦克风数字信号作为输入提供给音频处理装置中具有空间滤波器字信号是基于来自与扬声器声学邻近的麦克风阵列中的多个麦克风的音频信号生成的克风信号J,并且生成经空间滤波的信号求=ir(J)(例如，根据上面的等式(6))。所生成为操作224的一部分，空间滤波逻辑中的空间滤波器fSF的相同或不同实例被应用于多信道麦克风信号以生成经空间滤波的麦克风信号j=ir(J)(因此携载包括在多信道信号中的经空间放大的语音估计信号和经衰减的两者(例如，j=d+$)。在生成之后，经空间滤波的信号被作为输入提供给线性AEC有其系数w的线性自适应滤波器应用于经空间滤波的信号(例如，根据上面的等式(12))以生成消除信号d.消除信号a估计包括在经空间滤波的麦克风信号j中的线性回声信号背景滤波器并且将参考信号x用于其前景滤波器，并且选择来自背景滤波器的输出和来自[0088]在操作228中，加法器逻辑接收消除信号和经空间滤波的麦克风逻辑基于消除信号和经空间滤波的麦克风信号执行数字求和，并且生成输出信号决方案既鲁棒又在计算上适于具有有限计算能力的系[0091]图3A至图3B示出了根据基于本文所描述的用于非线性回声消除的技术来验证所处理结果的可靠机制，并且经常被用作在数字信号处理领域构建实际解决方案中的第一统中的非线性进行建模。使用85个延迟线抽头对所模拟的系统的线性冲激响应进行建模，所述85个延迟线抽头被设置成以15kHz运行以模拟来自同一源信号的多个回声。对该系统[0092]图3A示出了三种不同的回声消除机制的平均误差幅度的曲线图300。具体地，线304示出了使用常规线性自适应滤波器而没有非线性回声消除的AEC的误差幅度结果。线306示出了根据本文所描述的技术使用线性自适应滤波器进行非线性回声消除的AEC的误除的AEC的误差幅度结果。如图3A中所示，根据本文所描述的技术的非线性回声消除(线描述的技术的非线性回声消除(线306)具有基本上等同于具有用于“已知”线性的非线性Volterra滤波器的AEC(线308)的回[0093]图3B示出了使用本文所描述的用于非线性回声消除的技术的建模线性响应(线316)相对于使用具有线性滤波器的AEC的常规方法的建模线性响应(线314)和理想响应(线能够比常规方法(线314)更好地对声学耦合进行建模，同时实现与所模拟的系统的理想回[0094]图3A和图3B中的模拟结果示出了本文所描述的用于非线性回声消除的技术具有与使用线性滤波器的常规AEC几乎相同的收敛特性，但是提供了超过常规方法10dB的额外扬声器和IoT边缘装置，并且可以取决于本地装置资源的可用性以固件和/或硬件来实现。智能扬声器是具有内置扬声器和麦克风的多媒体装置，其使得能够经由语音命令进行人机施方式中，本文所描述的技术可以显著地节省计算周期，同时不仅在BF方向改变之后提供后端系统增强由IoT边缘装置接收的语音信号。[0097]本文所描述的用于非线性声学回声消除的技术可以在各种类型的音频处理装置扬声器112耦接至音频I/O逻辑410中的数模转换器(DAC)电路系统。扬声器112被配置成接阵列114中的麦克风中的一些或全部麦克风可以通过合适的多路复用器和缓冲器共享到音的每个麦克风可以具有到音频I/O逻辑410中的ADC电路系统的单独的通信信道和ADC电路器112和麦克风阵列114可以是布置在被安装在扬声器-麦克风组件110的壳体内或壳体上[0100]音频I/O逻辑410包括被配置成处理在DSP420与扬声器-麦克风组件110之间传递DAC电路系统包括被配置成接收来自DSP420的调制数字信号并将其转换成用于扬声器112来自麦克风阵列114中的麦克风的模拟音频信号并将其转换成被发送至DSP420的调制数[0101]DSP420包括被配置成处理在音频I/O逻辑410与耦接至总线430的各种部件之间置成接收来自音频I/O逻辑410的调制数字信号并将所接收的信号转换成数字音频数据的422包括根据本文所描述的非线性回声消除技术配置的空间滤波逻辑块(具有空间滤波器fSF其他块和/或与音频处理装置400中的各种部件共享信号数据的共享存储器(例如，RAM)。BISS逻辑422还可以包括可编程状态机(PSM)。PSM可以被实现为包括其自身的微控制器的微代码引擎，其可以从微代码存储器提取指令并使用共享存储器获得针对其指令的操作单级或多级高级高性能总线(AHB)，该单级或多级高级高性能总线(AHB)被配置为将CPU接存储器访问(DMA)控制器等)之间提供主要数据和控制接口的高级可扩展接口(AXI)总[0103]CPU432包括被配置成执行可以被存储在ROM434、RAM436或闪速存储器(未示其他固件参数和设置的只读存储器(或其他合适的非易失性存储介质)。RAM436是被配置用于存储通过CPU432访问的数据和固件指令的易失性存储器。闪速存储器如果存在则可以是被配置用于存储数据、程序和/或其他固件指令的嵌入式或外部非易失性存储器(例[0104]主机接口438可以包括控制寄存器、数据寄存器和被配置成在DSP420与主机(未以将应用处理器(AP)实例化为耦接至主机接口438的片上主机以提供各种应用和软件程序音频I/O逻辑410将所接收的数字信号转换成被发送至扬声器112的模拟音频信号。麦克风阵列114中的麦克风拾取来自近端语音的声波以及来自扬声器112的线性回声和