CN115362689B 基于人工神经网络的方法及其用途、听觉设备及计算机程序产品 （根特大学）

2022.09.29PCT/EP2021/0586552021.04.01WO2021/198438EN2021.10.07US2005069162A1,2005.03.31提供了一种用于将听觉刺激转换为经处理的听行该方法以将听觉刺激转换为经处理的听觉输21.一种基于人工神经网络的方法，所述方法用于将听觉刺激转换为经处理的听觉输a.至少基于受试者的听觉神经纤维(ANF)和/或听觉神经突触(ANS)的完整性、所述受(ANF)和/或听觉神经突触(ANS)的完整性、内毛细胞(IHC)和外毛细胞(OHC)损伤的完整性而得出特定于受试者的听觉分布并包括该特定于受试者的听觉b.将所述个性化听觉反应模型的输出与基于神经网络的期望的听觉反应模型的输出网络的所述个性化听觉反应模型和基于神经网络的所述期望的听觉反应模型能够通过使c.使用所确定的可微的听觉反应差来开发所述受试者的基于神经网络的个体化听觉d.将基于神经网络的所述个体化听觉信号处理模型应用于所述听觉刺激以生成经处其中，所述外毛细胞(OHC)损伤分布保持可变，使得能够同时针对所述听觉神经纤维3.根据权利要求1或2所述的方法，其中，所4.根据权利要求1或2所述的方法，其中，基于神经网络的所号处理模型是被训练以对所述听觉输入进行处理并提供增强的听觉反应的信号处理神经6.根据权利要求1或2所述的方法，其中，训练所3所述经修改的听觉刺激被设计成对听力障碍进行补偿或产生增所述经修改的听觉反应与沿听觉通路的能够用于刺激听觉假体的特定处理阶4及被配置为执行该方法以将听觉刺激转换为经处理的听觉输出的计算究，但听力障碍的正确诊断和治疗仍不明朗。为了解决这个问题，人类听觉外围(periphery)的计算模型可以用作开发有效听觉信号处理算法的工具，旨在恢复例如由外计此类可以准确补偿不同种类的听力障碍的处理方法或创建有效处理复杂的刺激诸如语[0003]提供助听器中的音频信号处理的一示例：助听器算法通常经过优化以补偿内耳有包含与耳蜗内毛细胞和听觉神经之间的受损突触(突触病(synaptopathy))有关的感觉帮助那些仅基于增益解决方法(prescript5和听觉神经处理及其得出的群体反应的水平的自动语音识别(ASR)系统的输入，以模拟听力受成可以使反映人类听者的退化听力能力和感知的适当设计的度量最小化的基于NN的处理型代表具有听觉分布的受试者对听觉刺激的预期[0019]b.将个性化听觉反应模型的输出与基于神经网络的期望听觉反应模型的输出进[0020]c.使用所确定的可微的听觉反应差来开发受试者的基于神经网络的个体化听觉[0022]本发明还涉及一种用于将听觉刺激转换为经处理的听觉输出的基于人工神经网[0023]d.将个体化的基于神经网络的听觉信号处理模型应用于听觉刺激以生成经处理的听觉输出，该经处理的听觉输出在被给出作为到个性化听觉反应模型或受试者的输入6选还基于所述受试者的内毛细胞(IHC)损伤和/或外毛细[0026]b.将个性化听觉反应模型的输出与基于神经网络的期望的听觉反应模型的输出[0027]c.使用所确定的可微的听觉反应差来开发受试者的基于神经网络的个体化听觉[0028]d.将个体化的基于神经网络的听觉信号处理模型应用于所述听觉刺激以生成经[0034]在一些优选实施方式中，使用模拟听力正常听者的增强听力感知和/或能力的参[0038](ii)与沿听觉通路的例如可以用于刺激听觉假体诸如耳蜗植入物或深部脑植入7[0044]a.至少基于受试者的听觉神经纤维(ANF受试者的内毛细胞(IHC)损伤和/或外毛细胞(OHC)损伤的完整性，生成基于神经网络的个[0045]b.将个性化听觉反应模型的输出与基于神经网络的期望的听觉反应模型的输出[0046]c.使用所确定的可微的听觉反应差来开发受试者的基于神经网络的个体化听觉及[0047]d.将个体化的基于神经网络的听觉信号处理模型应用于所述听觉刺激以生成经置用于执行如本文所述的方法和/或其任何实[0054]设置在听觉设备上的输入设备，该输入设备被配置为从环境中拾取输入声波并[0056]设置在听觉设备上的输出设备，该输出设备被配置为从处理器生成经处理的听8[0059]图1呈现了用于确定听觉神经纤维和突触分布以及可选地使用参考数据来确定特[0060]图2呈现了用于确定ANS/ANF和OHC分布以及可选地使用参考数据来确定特定于受[0061]图3呈现了用于确定期望的听觉反应的优选步骤的流程图。所确定的听觉反应可[0063]图5示出了根据本发明的一些实施方式的用于设计用于听力障碍的补偿策略的闭[0064]图6示出了根据本发明的实施方式的用于设计听力障碍的模拟器的闭环法。在该处理算法提供的信号可以仿效具有这种外围的听者的听力[0065]图7示出了使用个性化听觉反应模型和参考听觉反应模型来基于它们的输出的差学任务诸如语音接收阈值(SRT)中的表现，来适配个体受试者。通过使用基于NN的听觉模[0066]图8示出了使用上述差信号作为损失函数来训练个体化的基于NN的听觉信号处理并生成适配个体化反应模型或人类听者的经[0067]图9示出了适配特定受试者的预训练个体化听觉信号处理模型的实时优化。在该9模型代表具有听觉分布的受试者对听觉刺激的预期[0080]b.将个性化听觉反应模型的输出与基于神经网络的期望听觉反应模型的输出进[0081]c.使用所确定的可微的听觉反应差来开发受试者的基于神经网络的个体化听觉[0083]本发明还涉及一种用于将听觉刺激转换为经处理的听觉输出的基于人工神经网[0084]d.将个体化的基于神经网络的听觉信号处理模型应用于听觉刺激以生成经处理模型代表具有听觉分布的受试者对听觉刺激的预期用心理声学任务的表现结果诸如语音清晰度或幅度调制(AM)检测任务来预先确定或来确型可以使模型中的参数的基于梯度的优化诸如梯度下降的使用能够准确地解决问题。因的数学前馈表达式的计算相比，这具有在专用芯片上实现时进一步显著加速计算的优点。[0095]连接个体化的基于神经网络(NN)的听觉信号处理模型和基于NN的音频信号处理力的经修改的听觉刺激或(ii)对应于沿听觉通路的例如可以用于刺激听觉假体诸如耳蜗[0101](ii)与沿听觉通路的例如可以用于刺激听觉假体诸如耳蜗植入物或深脑植入物目的是执行噪声降低或通过诸如音频信号起始或调制增强等手段增强某些神经反应特征[0104]该步骤优选地以使用敏感度量来测量受试者对特定声音刺激的生物反应(例如[0114]在一些实施方式中，使用基于耳声发射(OAE)和听觉诱发电位[0115]在一些实施方式中，特定于受试者的听觉损伤分布包括听觉神经纤维和/或突触[0121]在一些实施方式中，特定于受试者的听觉损伤分布包括听觉神经纤维和/或突触经纤维(ANF)和/或突触(ANS)的完整性以及[0123]开发的听觉外围的神经网络模型也可以在此步骤中通过提供一种更快的方式来将实验数据聚类到模拟输出使得可以以更好的准确性构建个体化的听力损失分布来提供可以指剩余ANF的功能中的一者或两者，以及传入耳蜗突触(ANS)对它们的神经支配。术语换地指定性测量或定量测量。通过将至少ANF和/或ANS完整性结合到基于网络的个性化听觉反应模型中，可以生成可以被个性化以适合个体的子组和/或适合单个个体的生物物理准确的模型。特定的听觉激励(音频激励或刺激)表现出强烈的反应的损伤分布可以扩展为还包括例如模拟和/或实验频率特定的OHC损伤分布。OHC损伤分量置基本上是来自耳道电极(tiptrode)或穿过鼓膜的经鼓膜电极(需要临床设置)的EEG记[0129]b.将个性化听觉反应模型的输出与基于神经网络的期望听觉反应模型的输出进[0132]听力正常的听觉外围可以模拟听力正常听者的听力感知/能力。增强特征的示例[0139]c.使用确定的可微的听觉反应差来开发受试者的基于神经网络的个体化听觉信[0142]在一些优选实施方式中，使用参考听力受损神经网络作为期[0143]在一些优选实施方式中，使用模拟听力正常听者的增强听力感知和/或能力的参[0144]在一些实施方式中，该方法包括通过OAE/AEP实验校准受试者的个体听力损伤模突触病分布进行模拟，即针对不同程度的ANF损伤。根据AEP的类型，例如听觉脑干反应(ABR)或包络跟随反应(EFR)，可以为每个模拟的耳蜗突触病分布构建包含时域峰和潜伏[0145]上述程序可以通过涉及OHC损失和突触病参数两者来进一步优化，以确定最佳匹而是所有OHC和ANF相关的模型参数现在可以迭代地运行以最小化实验特征集和模拟特征损伤的听力图)和/或通过将数据聚集到单个模型中(基于组合的听力损伤，例如OHC和/或IHC损伤)获得的；而个体化听觉反应模型是指所有包括的基于NN的模型的个体化(例如[0148]上述个体化受试者听觉反应模型可以提供使用闭环系统来设计个体化助听器模可微的，这可以使得在模型中使用基于梯度的参数优化诸如梯度下降来准确地解决问题。[0151]因此，通过提供由使听觉反应差可微的非线性运算组成供可用作惩罚/损失项来训练助听器模型的差度量。该度量用于通过基于NN的听觉模型进[0153]本发明还涉及一种用于将听觉刺激转换为经处理的听觉输出的基于人工神经网[0154]d.将个体化的基于神经网络的听觉信号处理模型应用于所述听觉刺激以产生经表达的两个模型的反应来最小化期望的听觉反应和听觉反应式中使用的听力正常模型和听力受损模型的输出之间的差的最小化可能并不总是可取的一系列模拟频率的总计耳蜗反应被用作脑干和皮层处理模型的输入以确定助听器模型的务中的表现。然后可以使用后端的输出来训练助听器模型，这最小化了听力受损和听力正务优化的后端可以是基于NN的自动语音识将噪声或混响引入听觉信号以概括这些模型在更现实场景中的性能。在这种情况下，还可以添加基于NN的噪声/混响抑制模型作为前端和后端之间的中间步骤。[0170]当输入声波的幅度超过生成的最[0172]当输入声波的幅度在生成的最小阈[0174]个体化信号处理(例如助听器)神经网络优选地被训练以便以最佳方式调整听觉[0179]在一些实施方式中，附加信号处理模型可以包括噪声/混响抑制阶段、字识别阶于受试者的AN纤维和突触完整性和/或OHC损伤分布的听觉反应之间的差然后可以形成到[0183]在为特定听者开发个体化助听器NN模型后，可以模拟该[0193]设置在听觉设备上的输入设备，该输入设备被配置为从环境中拾取输入声波并[0195]设置在听觉设备上的输出设备，该输出设备被配置为从处理器产生经处理的听[0205]提供多层卷积编码器解码器神经网络，该多层卷积编码器解码器神经网络包括积层的输入进行卷积以生成对应的多个激活[0207]至少一个非线性单元，用于将非线性变换应用于由神经网络的至少一个卷积层出序列对应于与跨耳蜗音调位置频率图的N个不同中心频率相关联的N个仿真耳蜗滤波器，毛细胞和/或外毛细胞和/或听觉神经反应，例如位置相关的时变性耳蜗基底膜振动和/或[0211]提供指示时间采样听觉刺激的预定长度的至少一个输入序列，并将该至少一个应参数的单个输出序列。解码器的连续卷积层中的最后一个连续卷积层之间的快出序列中的每个输出序列以使包含的耳蜗反应参数的数量等于多个输入样本中的指示听[0222]提供包括多个训练输入序列的训练数据集，多个训练输入序列各自包括指示时物理学准确验证模型的准确性程度是相对于指示耳蜗处理的实验测量的耳蜗反应参数进行评估的，实验测量的耳蜗反应参数例如耳蜗力学，例如耳蜗基底膜振动和/或内毛细胞和/或外毛细胞和/或听觉神经反应，例如位置相关的时变性耳蜗基底膜振动和/或内毛细[0224]为每个训练输入序列生成N个训练输出序列，N个训练输出序列中的每个训练输[0225]使用训练输入序列执行仿真方法，以针对相同的耳蜗音调图为神经网络生成对[0226]使用误差反向传播方法来更新神经网络权重参数，神经网络权重参数包括与每[0227]可选地，为不同的神经网络超参数集重新训练神经网络权重参数以进一步减少或可选地神经网络的任何一个卷积层中的卷积[0231]用于对检测到的听觉刺激进行采样以获得包括多个输入样本的输入序列的采样[0232]用于将由神经网络生成的输出序列转换为可听的时变性压力信号、耳蜗反应的[0235]参考图1讨论了根据本发明的优选实施方式的用于确定受试者的听觉神经纤维和[0236]100是听觉刺激物(例如声音)，它在沿着耳蜗的AN纤维和突触的群体中诱发听觉或实验频率和/或类型特定的ANF损伤分布210的数据。ANF损伤分布210可以根据实验数据[0238]可以模拟ANF群体的全部或子集的反应，以获得对听觉刺激的预测听觉反应建与不同ANF分布或其他输入参数相对应的各种听觉反应。听觉反应可以使用基于类别的[0239]受试者对当前听觉刺激100的EEG反应可以使用EEG设置进行实验测量(400)。EEG数据的处理允许计算受试者对所述刺激的特定EE[0240]可以使用预测模拟数据来解读经处理的受试者的EEG反应数据以将受试者分配给[0242]就上述实施例1进一步，可以扩展用于确定受试者的AN纤维和突触完整性的可能用于确定个体ANF和OHC损伤分布以及可选地使用受试者数据来确定特定于受试者的听觉频率特定的OHC损伤分布220。OHC损伤分布220可以基于频率特定的听力损失的实验数据找到最佳受试者匹配的匹配算法可以同时针对AN和OHC分布两者进行优化。例如，在本图中，根据受试者的实验性AEP记录以及与对许多听觉分布(包括ANF和OHC损伤)的模拟听觉ANS和/或OHC损伤的完整性的方法来修改所述受试者对声音的期望的听觉反应。该方法参用于修改产生期望的听觉反应的听觉刺激。确定的信号处理算法可以用于配置听觉设备，布可以包括在听觉外围模型中以模拟对任何声学刺激的听觉反应(600)。可以将单独模拟可以是例如来自听力正常受试者的反应或具有增强特征的反应。随后包括信号处理算法拟输出(对于所有模拟的CF或作为多个CF的段。这里示出了示例，其中输出到语音语料库的TL模型BM振动用于训练BM振动CoNNear模[0254]图7示出了使用个性化听觉反应模型和参考听觉反应模型来基于它们的输出的差[0255]图8示出了使用上述差信号作为损失函数来训练个体化基于NN的听觉信号处理模[0257]图9示出了适配特定受试者的预训练个体化听觉信号处理模型的实时优化