CN114065809B 一种乘用车异响识别方法、装置、电子设备以及存储介质（浙江吉利控股集团有限公司）

(19)国家知识产权局(12)发明专利(10)授权公告号CN114065809B(21)申请号202111293794.1(22)申请日2021.11.03(65)同一申请的已公布的文献号申请公布号CN114065809A(43)申请公布日2022.02.18(73)专利权人浙江吉利控股集团有限公司1760号专利权人吉利汽车研究院(宁波)有限公司(74)专利代理机构北京博思佳知识产权代理有限公司11415专利代理师林祥(56)对比文件审查员袁鸣骁权利要求书2页说明书7页附图4页(54)发明名称(57)摘要本发明涉及一种乘用车异响识别方法、装置、电子设备以及存储介质，该方法包括：步骤S1)针对有限的数据集，利用数据扩充技术完成数据集的增广；步骤S2)利用并行深度学习网络机制，完成对MFCC特征的空间及时序信息的提取，并完成训练以及分类；步骤S3)利用训练后的模型进行乘用车异响数据识别。与现有技术相(57)摘要2步骤S1)针对有限的乘用车各部位异常噪声的数据集，利用数据扩充技术完成数据集步骤S3)在并行深度学习网络机制中设置两条用于提取空间信息的并行CNN线路CNN1和CNN2,以及一条用于提取时序信息的编码器栈线路Transformer,以利用所述并行深度学习网络机制，完成对所述增广后数据集的MFCC特征的空间及时序信息的提取，并完成训练以及分类；步骤S4)利用训练后的模型进行乘用车异响数据识别。2.根据权利要求1所述的一种乘用车异响识别方法，其特征在于，所述的步骤S1)中有限的数据集为采集的各部位异常噪声，包括齿轮啸叫、减速器敲击、齿轮冲击、阀门系统异3.根据权利要求1或2所述的一种乘用车异响识别方法，其特征在于，所述的步骤S1)中的数据扩充包括音频裁剪和数据增强。4.根据权利要求3所述的一种乘用车异响识别方法，其特征在于，所述的音频裁剪具体为：将一段时长的音频切分成若干小时间块达到增加数量。5.根据权利要求3所述的一种乘用车异响识别方法，其特征在于，所述的数据增强包时间拉伸，在音高不变的前提下，改变音频信号的速度，通过设置拉伸参数v改变原音频的速度，当v∈(1,+∞)或v∈(0,1)理论上表示加快或减慢音频速率为原音频的v倍；时间平移，保持音高不变，在时域范围平移设定距离，其中平移参数σ可设置为正值或负值，分别代表音频数据向前或向后平移；增加噪声，为原音频数据增加背景噪声；音高修正，在音速不变的前提下，改变原音频的音高，通过设置修正参数p使音高向上或向下移动若干步。6.根据权利要求1所述的一种乘用车异响识别方法，其特征在于，对于输入的2D特征，在CNN1中设置了三个卷积层，采用3×3微型卷积核；在CNN2中同样设置三个卷积层，用3×1和1×3的非对称卷积核取代了3×3卷积核；在所述Transformer中，首先对输入的特征图做了池化，然后采用由若干编码器单元串联而成的编码器栈进行时序信息抓取；然后把三条并行线路提取到的空间时序信息合并串联起来再通过线性变换到全连接层，最后通过softmax分类器输出各噪声类型的概率。数据集增广模块，用于针对有限的乘用车各部位异常噪声的数据集，利用数据扩充技术完成数据集的增广；识别模型构建模块，用于在并行深度学习网络机制中设置两条用于提取空间信息的并行CNN线路CNN1和CNN2,以及一条用于提取时序信息的编码器栈线路Transformer,以利用所述并行深度学习网络机制，完成对所述增广后数据集的MFCC特征的空间及时序信息的提3数据识别模块，用于利用训练后的模型进行乘用车异响数据识别。8.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6中任一项所述的方法。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～6中任一项所述的方法。4一种乘用车异响识别方法、装置、电子设备以及存储介质技术领域[0001]本发明涉及车辆异响诊断技术，尤其是涉及一种乘用车异响识别方法、装置、电子设备以及存储介质。背景技术[0002]在车辆系统中存在大量的旋转机械部件和内饰部件。这些零部件由于加工误差或者工作过程中的物理因素会导致部件的磨损、位移等现象，机器零部件在运行期间若出现上述原因导致的损坏将直接关系到财产甚至安全的损失。目前，凭借大量且有效的数据集，基于各种信号的故障诊断技术已广泛的应用于工厂流水线、核工厂中。然而针对车辆系统中存在的异响问题，由于相关数据集的匮乏限制了本领域诊断技术的发展，大多数车辆企业和售后服务机构仍然利用在各种特定的实验环境下结合人工听诊的方式。这种方式不仅效率低而且严重依赖检测人员的专业知识和诊断经验，最终的诊断结果可能也会因人而异。因此基于易获信号的车辆异响诊断方法的开发也是很有必要的。[0003]经过检索，中国专利公开号CN105841797A提出了一种基于MFCC和SVM的车窗电机异常噪声检测方法，其提取了采集而来的异响音频的MFCC特征，以SVM作为分类器模型完成的汉宁窗，以及应用人工蜂群算法进行模型优化，使得此方法具有实用性强，可靠性高等优[0004]CN109949823A提供了一种基于DWPT-MFCC与GMM的车内异响声音识别方法，其同样具说明性，随后结合高斯混合模型(GMM)完成训练及分类任务。[0005]CN112149498A提出了一种面向汽车复杂部件异响在线智能识别系统和方法，其核心在于利用加入小波变换的FBank(WT-FBank)系数图谱，并作为卷积神经网络的输入(用于获得深层次异响特征),然后进行降维处理结合SVM分类器完成分类任务。此方法利用图谱[0006]CN112735468A为一种基于MFCC的汽车座椅电机异常噪声检测方法，其具体细节为：提取座椅异常噪声的MFCC特征(未做优化处理),利用BP神经网络完成训练及分类任务。其在特征提取部分节省了计算成本，并利用了BP神经网络在实际应用过程中可以更快的完成识别任务。附加了另外的信号处理知识，如，小波变换，二阶自卷积汉宁窗等，这无疑需要更多的先验知识，而且会增加计算机的计算成本，随着数据量的提升，上述方法将很难应对。另外，CN(2)其是典型的二分类数学模型，若想完成多分类任务，需在所有分类的任意两个样本之间5层非线性特征变换；CN112735468A采用的BP神经网络算法在训练过程中有趋于局部最小化的风险，更多地，其以梯度下降法的形式进行训练，使得训练效率偏低，而且不能有目标性练样本很难训练出泛化能力强的分类模型，然而针对本领域并没有一套科学且庞大的数据发明内容[0009]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种乘用车异响识[0010]本发明的目的可以通过以下技术方案来实现：[0012]步骤S1)针对有限的数据集，利用数据扩充技术完成数据集的增广；[0013]步骤S2)利用并行深度学习网络机制，完成对MFCC特征的空间及时序信息的提取，并完成训练以及分类；[0014]步骤S3)利用训练后的模型进行乘用车异响数据识别。[0015]作为优选的技术方案，所述的步骤S1)中有限的数据集为采集的各部位异常噪声，包括齿轮啸叫、减速器敲击、齿轮冲击、阀门系统异响、手扶箱异响、手套箱异响和座椅异[0016]作为优选的技术方案，所述的步骤S1)中的数据扩充包括音频裁剪和数据增强。[0017]作为优选的技术方案，所述的音频裁剪具体为：将一段时长的音频切分成若干小时间块达到增加数量。[0018]作为优选的技术方案，所述的数据增强包括：[0019]时间拉伸，在音高不变的前提下，改变音频信号的速度，通过设置拉伸参数v改变原音频的速度，当v∈(1,+∞)或v∈(0,1)理论上表示加快或减慢音频速率为原音频的v倍；[0020]时间平移，保持音高不变，在时域范围平移设定距离，其中平移参数σ可设置为正值或负值，分别代表音频数据向前或向后平移；[0022]音高修正，在音速不变的前提下，改变原音频的音高，通过设置修正参数p使音高向上或向下移动若干步。[0023]作为优选的技术方案，在所述的步骤S2)的并行深度学习网络机制中设置两条用于提取空间信息的并行CNN线路CNN1和CNN2,以及一条用于提取时序信息的编码器栈线路[0024]作为优选的技术方案，对于输入的2D特征，在CNN1中设置了三个卷积层，采用3×3微型卷积核；在CNN2中同样设置三个卷积层，用3×1和1×3的非对称卷积核取代了3×3卷积核；[0025]在所述Tansformer中，首先对输入的特征图做了池化，然后采用由若干编码器单元串联而成的编码器栈进行时序信息抓取；然后把三条并行线路提取到的空间时序信息合并串联起来再通过线性变换到全连接层，最后通过softmax分类器输出各噪声类型的概率。[0026]根据本发明第二方面，提供了一种乘用车异响识别装置，该装置包括：6[0027]数据集增广模块，用于针对有限的数据集，利用数据扩充技术完成数据集的增广；[0028]识别模型构建模块，用于利用并行深度学习网络机制，完成对MFCC特征的空间及时序信息的提取，并完成训练以及分类；[0029]数据识别模块，用于利用训练后的模型进行乘用车异响数据识别。[0030]根据本发明第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现所述的方法。[0031]根据本发明第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时所述的方法。[0032]与现有技术相比，本发明具有以下优点：[0033]1)本发明数据扩充方法很好的解决了车辆异响识别领域数据匮乏的现状；[0034]2)针对时序信号的分类识别任务，本发明所采用的并行机制可以同时兼顾信号的空间及上下文信息，且缓解了更深网络带来的计算成本。附图说明[0035]图1为本发明方法的工作流程图；[0036]图2为本发明装置的结构示意图；[0037]图3为本发明MFCC特征提取的流程图；[0038]图4为含有一个典型层和两个全连接层的简化CNN结构示意图；[0039]图5为编码器栈的示意图；[0040]图6为并行深度学习网络架构的示意图；[0041]图7为异响识别整体流程图；[0042]图8为训练过程中的损失曲线图；[0043]图9为噪声类型的混淆矩阵示意图。具体实施方式[0044]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。[0045]如图1所示，一种乘用车异响识别方法，该方法包括：[0046]步骤S1)针对有限的数据集，利用数据扩充技术完成数据集的增广；[0047]步骤S2)利用并行深度学习网络机制，完成对MFCC特征的空间及时序信息的提取，并完成训练以及分类；[0048]步骤S3)利用训练后的模型进行乘用车异响数据识别。[0049]本发明的具体过程如下：[0050](i)首先是对所采集的各部位异常噪声(包括齿轮啸叫、减速器敲击、齿轮冲击、阀门系统异响、手扶箱异响、手套箱异响、座椅异响)应用数据扩充方法：[0051]音频裁剪：将一段时长的音频切分成若干小时间块达到增加数量的目的，我们分析了每个异常噪声信号的波形图，确定异常频率之间的时间间隔，最终确定t=3s的小时间7原音频的速度，当v∈(1,+∞)或v∈(平移参数σ=fs/2,其中fs代表采样频率(48KHz),本文取σ={-fs/2,fs向上或向下移动若干步(以半音为单位，p为正代表向上移，反之向下),本文取[0063]使用汉明窗将信号分为若干短的时间段，每个短时间段称为分析帧，这样的话可8[0084]卷积神经网络目前仍然是计算机视觉主流思想。原因在编码器由多头注意力(Multi-Hea系信息，因此本文设置了深度卷积网络和Transformer编码器栈同时工作的架构来提高诊9断性能。[0091]图6展示了拟议并行架构，在架构中，输入为(ii)步骤中所提取的2维MFCC,其是一个40×282(MFCC特征阶数×时间维度)的特征矩阵。特征设置了两条用于提取空间信息的样设置三个卷积层，与CNN1不同的是：用3×1和1×3的非对称卷积核取代了3×3卷积核，这不仅极大的减少了计算参数，而且可以获得更加额外的空间信息。另外每个卷积层最后均设有池化操作用于降低参数数量从而加快训练速度。在Tansformer中，首先对输入的特征图做了池化(下采样)然后采用由若干编码器单元串联而成的编码器栈进行时序信息抓取。最终把三条并行线路提取到的空间时序信息融合再通过线性变换到全连接层，最后使用softmax函数输出各噪声类型的概率。并行线路可以实现CNN与Tansformer协同工作，避免了深层网络带来的计算负荷。网络还加入了批量归一化(BN)层，这对网络训练效率和优化梯度问题有明显的增益。对于反向传播中的梯度问题，选取了随机梯度下降(SGD)优化技卷积层中，为了避免丢失特征图中的边缘信息，我们统一采用零填充卷积。而在每个卷积层[0092]的池化级之后，我们均采用了Dropout技术，这种技术通过随机丢弃参数来避免模型由于过拟合带来的泛化能力差的问题。另外，交叉熵损失函数用来计算网络成本。[0093]本发明诊断流程：异响识别整体流程如图7所示，为了网络后期训练的准确性，数据扩充方法设置在划分数据集之后(避免来自同一原始音频的扩充数据同时分布到训练[0094]需要注意的是，为了验证模型的分类性能，需可视化模型训练的损失曲线，以及评价测试集在训练模型的表现，通过混淆矩阵来体现，如图8和9所示：图8为训练过程中的损失曲线，可以观察到的是：模型损失开始可以快速收敛，但次后，训练损失和验证损失基本上都稳定下来。为进一步说明架构对七种噪声类型诊断性能，我们给出了噪声类型的混淆矩阵，并进行了归啸叫异常异响之间以及汽车座椅异常振动异常噪声与手套箱异常振动噪声之间出现错误(Precision)=0.9760、召回率(Recall)=0.9824、F1score=0.9787。[0095]以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。[0097]数据集增广模块1,用于针对有限的数据集，利用数据扩充技术完成数据集的增[0098]识别模型构建模块2,用于利用并行深度学习网络机制，完成对MFCC特征的空间及时序信息的提取，并完成训练以及分类；[0099]数据识别模块3,用于利用训练后的模型进行乘用车异响数据识别。[0100]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0101]本发明电子设备包括中央处理单元(CPU),其可以根据存储在只读存储器(ROM)中的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令，来调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。[0103]处理单元执行上文所描述的各个方法和处理，例如方法S1～S3。例如，在一些实施例中，方法S1～S3可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入~S3的一个或多个步骤。备选地，在其他实施例中，CPU可以通过其他任何适当的方式(例[0104]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备[0105]用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图