CN119476356A 一种深度神经网络加速推理方法、装置及存储介质 （山东极视角科技股份有限公司）

本申请公开了一种深度神经网络加速推理比例剪除重要性数值低于预设的重要性阈值的2使用所述验证集对所述深度神经网络模型进行验证，并记录每按照预设比例剪除重要性数值低于预设的重要性阈值的神经元或连接使用联合损失函数优化模型参数，其中所述联合损失;;;3对于给定的位宽b，使用所述训练集或剪枝后的权重和激活值，计算最大值;;;将分类任务的损失、回归任务的损失和量化误差损失通过预定义;4;根据预配置的权重系数，将所述任务损失和量化误差损失模型构建单元，用于构建深度神经网络模型，并使用所述训验证单元，用于使用所述验证集对所述深度神经网络模型进重要性评估单元，用于基于训练过程中记录的权重分布和L1范数剪枝单元，用于按照预设比例剪除重要性数值低于预设的重要性阈值的神经元或连优化单元，用于使用联合损失函数优化模型所述存储器保存有程序，所述处理器调用所述程序以执行如权利要5[0001]本申请涉及计算机数据处理技术领域，尤其涉及一种深度神经网络加速推理方基于训练过程中记录的权重分布和L1范数，确定所述神经元或连接的重要性数6;;;[0008]可选的，按照预设比例剪除重要性数值低于预设的重要;7;;;;8图2为本申请中提供的深度神经网络加速推理方法中基于联合损失函数更新权重图5为本申请中提供的另一个深度神经网络加速推理装置一个实施例结构示意9确保数据涵盖任务相关的多样性特征，接着对数据进行预处理，其中数据的预处理可以包括：[0029]还可以对数据进行归一化处理，例如可以使用NumPy、Pandas、Scikit_learn的fromsklearn.model_selectitrain_data，temp_data=train_test_split(data，test_size=0.3，random_val_data，test_data=train_test_split(temp_data，test_size=0.5，train_data，temp_data=train_test_split(data，test_size=0.3，defmove_files(file_list，source_dir，tann.Conv2d(3，32，kernel_size=3，snn.Conv2d(32，64，kernel_size=3，snn.MaxPool2d(kernel_))_，predicted=torch.max(forname，paramind_parameters():total_l1_norm=sum(param.abs().sum().item()forparamin;forname，paramind_parameters():sorted_indices=torch.argsort(neuron_prune_indices=sorted_indices[:int(0.2*len(sorted_indices))]#剪枝[0066]在一个可选的实施例中，可以通过计算权重的稀疏性指;quantization_levels=2**bit_widprint(f"QuantizationLevels:{qu;;;;[0078]计算步长≈0.007843；;;L_total=αL_CE+βL_MSE;L_total=L_task+λ.Regularization据标注作为数据处理中的一个重要环节，对于目标检测等深度学习等算法的训练至关重指选取两三千张具有代表性的图像进行人工预标注。标注内容包括但不限于物体的类别、剪枝单元405，用于按照预设比例剪除重要性数值低于预设的重要性阈值的神经;;;;;;;;[0117]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读