CN120106151A 基于强化学习的人工智能模型的多分解压缩方法 （湖南大学）

(19)国家知识产权局田家政梁伟所(普通合伙)43236GO6N3/092(2023.01)基于强化学习的人工智能模型的多分解压缩方法本发明公开了一种基于强化学习的人工智于为神经网络模型的各网络层选择最适宜的分要的是，经过低秩分解压缩后的模型可直接部21.一种基于强化学习的人工智能模型的多分解压缩方法，其特征在于，包括以下步骤：步骤S1、获取预训练模型权值参数：提取各网络层权值参数，所述权值参数以矩阵形式步骤S2、基于强化学习优选多分解方法及秩：构建基于强化学习的多分解方法联合应用框架，自动为各网络层选择最适宜的低秩分解方法并确定最优分解秩进行低秩分解；步骤S3、联合优化模型准确率与压缩成本：构建联合模型准确率与压缩成本的目标函数范式，通过该函数范式更新模型权值参数，实现压缩模型精准度和压缩率两者最优；步骤S4、交替优化压缩模型参数：采用先分解压缩再训练学习的迭代优化策略，训练生成可直接部署的压缩模型，优化基于强化学习的模型的训练效率。2.根据权利要求1所述的多分解压缩方法，其特征在于，步骤S2包括：S21、构建基于强化学习的多分解方法联合应用框架：获取预训练模型权值参数后，根据模型特征为各网络层配置多个低秩分解方法，并基于强化学习设定统一效益值作为各分解方法的选择标准；S22、选择分解方法和分解秩：为各网络层按选择标准选取最适宜的低秩分解方法并确定最优分解秩，对各网络层的权值参数进行低秩分解。3.根据权利要求2所述的多分解压缩方法，其特征在于，步骤S21中所述低秩分解方法包括：奇异值分解SVD和常规矩阵分解MF;所述奇异值分解SVD,将权值矩阵A分解为两个低秩矩阵U和V,参数数目由m×n压缩至r所述常规矩阵分解MF,将权值矩阵A分解为三个低秩矩阵U、S及V,参数数目由m×n压缩至r×(m+r+n),其中r远小于m和n的最小值。4.根据权利要求2所述的多分解压缩方法，其特征在于，步骤S21中所述为各网络层配置多个低秩分解方法的具体实现包括：基于强化学习在各神经网络层部署有多种低秩分解方法并对该层权值参数进行压缩；对于全连接层可直接分解；对于卷积层中的张量参数则需要进行矩阵转化。5.根据权利要求2所述的多分解压缩方法，其特征在于，步骤S22中所述选取最适宜的低秩分解方法通过选择函数实现，所述选择标准为效益值。6.根据权利要求2所述的多分解压缩方法，其特征在于，步骤S22中所述选取最适宜的低秩分解方法并确定最优分解秩的步骤如下：(1)将该层权值参数的压缩精度损失和压缩率之和的负数作为效益值Q,数值越大性能(2)对每一网络层的每一种分解方法分别遍历可能的秩，分析效益值Q,实现Q值最大的秩即为该网络层的最佳分解秩，最大效益值Q即为该分解方法的最大效益值；(3)通过选择函数为每一网络层选择效益值最大的分解方法，并记录对应的最佳分解秩。7.根据权利要求1所述的多分解压缩方法，其特征在于，步骤S3中，所述目标函数范式中的压缩率使用分解秩的函数关系，构建范式中的压缩代价函数来表示；所述目标函数范式中的模型精准度通过构建误差代价函数来表示；3所述实现压缩模型精准度和压缩率两者最优的方法为：通过对目标范式的优化求解，所得压缩模型的精准度和压缩率可以综合达到最佳效果。8.根据权利要求1所述的多分解压缩方法，其特征在于，步骤S4中，所述先分解压缩再训练模型的训练步骤包括：(1)将模型中各网络层权值参数先使用部署的多个分解方法进行分解压缩；(2)由强化学习为各网络层选出最佳的分解方法；(3)再使用联合优化准确率和压缩代价的目标函数范式，对整个分解压缩后的模型进行训练提升模型精度；(4)重复迭代直到压缩模型收敛；所述压缩模型通过直接部署以实现，无需额外的重新训练或精度调整，提高了压缩模型的实用性与部署效率。9.根据权利要求8所述的多分解压缩方法，其特征在于，步骤(4)中，所述压缩模型的收敛通过以下两个问题的迭代求解实现：(1)模型参数的强化学习更新；(2)模型参数的分解压缩。10.一种基于权利要求1所述的多分解压缩方法的应用系统，其特征在于，包括以下模(1)预训练模型参数获取模块：用于获取预训练神经网络模型中各网络层的权值参数；(2)强化学习压缩模块：用于构建基于强化学习的多分解方法联合应用框架，自动为各网络层选择最适宜的低秩分解方法并确定最优分解秩进行低秩分解；(3)参数更新模块：用于更新模型中的权值参数W,构建联合模型准确率与压缩成本的目标函数范式，通过该函数范式更新模型权值参数，实现压缩模型精准度和压缩率两者最(4)迭代优化模块：采用先分解压缩再训练学习的迭代优化策略，训练生成可直接部署的压缩模型，优化基于强化学习的模型的训练效率。4技术领域[0001]本发明涉及神经网络模型压缩技术领域，尤其是涉及一种基于强化学习的大型人工智能模型压缩多分解方法。背景技术[0002]随着AI模型功能的不断强化，模型的参数规模也呈现日益庞大的趋势。像VGG、Resnet等常见模型的参数数量高达百万级，导致运行这些模型需要大量的计算资源和时间成本。因此，为了有效运行这些大规模的AI模型，必须将它们部署在资源丰富的云端服务器上。然而，将采集的数据从边缘传输到云端、在云端进行处理，然后反馈结果回边缘的过程存在较大的传输时延，导致响应延迟。[0003]在当前越来越多的智能应用场景中，迫切需要在边缘节点实现边缘智能，以满足服务快速响应的需求，例如智能家居、无人驾驶等场景。为此，必须将AI模型部署在边缘节点上运行。这样做的好处在于，将AI模型置于边缘节点可以迅速调用本地数据进行训练，无需等待数据传输到云端服务器。这不仅能够降低网络时延和传输成本，还能提高数据隐私和安全性。[0004]然而边端节点的资源十分有限，有限的资源使得大规模的AI模型难以部署在边端节点运行。在现有的专利中，公开号为CN117973476A低秩分解的车端模型轻量化方法，该方法包括如下步骤：采集并预处理测试车辆的传感器数据；训练原始模型并评估准确率；对准确率较优的模型进行加权低秩分解；验证分解后模型的准确率与大小；最终将轻量化模型部署至车端验证。[0005]公开号为CN118786439A的发明专利公开了一种利用强化学习(RL)进行低秩分解(LRD)以压缩深度学习(DL)模型的方法。该方法包括如下步骤：定义DL模型的可分解候选生成并评估候选压缩模型；满足终止条件后，输出最终压缩模型。[0006]然而，现有技术使用低秩矩阵分解压缩模型，是对AI模型采取单一的分解方法。虽然模型得到了压缩，但是AI模型的各个网络层结构特征各不相同，并且不同的低秩分解方法对参数矩阵压缩的效果也不一样，因此对整个模型采取同一种分解方法并不合适，不能使得分解方法在模型各网络层上的压缩效果达到最优。此外，一些方法模型压缩过程比较耗时并且没有考虑到压缩率与精度损失之间的关系，无法达到两者权衡之间的最优，为了更好的解决上述问题，本发明人通过分析总结出其中存在两个关键的挑战点：(1)低秩分解有多种实现方式，以矩阵分解为例，比如奇异值分解SVD和常规矩阵分解MF等。即便采用相同的秩，不同的实现方式对AI模型压缩的效的精度表现。因此，如何为AI模型的各层选择适当的低秩分解方法，确保达到最佳的压缩效果显得尤为关键；(2)低秩分解压缩的性能受到分解矩阵秩R的影响。低秩分解通过将原矩阵W(m×n)分解为两个低秩矩阵U(m×r)和V(r×n),压缩后的参数量为r×(m+n)。选择较小的秩r5可以减少压缩模型的参数量，提高压缩比率，但这也会导致模型的损失增大，精度下降。因此，在平衡模型压缩比率和模型精度之间，选择合适的分解秩r变得非常具有挑战性。发明内容[0007]针对现有技术存在的上述问题，本发明提供了一种基于强化学习的人工智能模型的多分解压缩方法和该方法的应用系统。本发明基于强化学习，并自动优选各网络层的最适宜分解方法和最优分解秩，提升了模型压缩效率；且构建了联合模型准确率与压缩成本的目标函数范式，实现压缩模型精准度和压缩率两者最优；而且，使用先分解再训练的迭代[0008]本发明的技术方案如下：一种基于强化学习的人工智能模型的多分解压缩方法，包括以下步骤：步骤S1、获取预训练模型权值参数：提取各网络层权值参数，所述权值参数以矩阵形式表示；步骤S2、基于强化学习优选多分解方法及秩：构建基于强化学习的多分解方法联合应用框架，自动为各网络层选择最适宜的低秩分解方法并确定最优分解秩进行低秩分步骤S3、联合优化模型准确率与压缩成本：构建联合模型准确率与压缩成本的目标函数范式，通过该函数范式更新模型权值参数，实现压缩模型精准度和压缩率两者最优；步骤S4、交替优化压缩模型参数：采用先分解压缩再训练学习的迭代优化策略，训练生成可直接部署的压缩模型，优化基于强化学习的模型的训练效率。[0009]进一步的，所述步骤S1中权值参数的形式为矩阵，源于本发明的多分解方法采用的是矩阵分解，因此获取的预训练模型的权值参数都会转化成权值参数矩阵，最终训练完成后会进行还原；S21、构建基于强化学习的多分解方法联合应用框架：获取预训练模型权值参数后，根据模型特征为各网络层配置多个低秩分解方法，并基于强化学习设定统一效益值作为各分解方法的选择标准；S22、选择分解方法和分解秩：为各网络层按选择标准选取最适宜的低秩分解方法并确定最优分解秩，对各网络层的权值参数进行低秩分解；所述奇异值分解SVD,将权值矩阵A分解为两个低秩矩阵U和V,参数数目由m×n压所述常规矩阵分解MF,将权值矩阵A分解为三个低秩矩阵U、S及V,参数数目由m×n压缩至r×(m+r+n),其中r远小于m和n的最小值。[0010]优选的，步骤S21中所述为各网络层配置多个低秩分解方法的具体实现包括：基于强化学习在各神经网络层部署有多种低秩分解方法并对该层权值参数进行对于全连接层可直接分解；对于卷积层中的张量参数则需要进行矩阵转化。6[0011]进一步的，所述步骤S21中，对于不同的实现方式对AI模型压缩的效果差异较大，影响到模型的精度表现；进一步的，所述步骤S21中，基于强化学习在各神经网络层使用不同的低秩分解方法对该层权值参数进行压缩，对于一个卷积层有n个c×d×d的卷积核，张量参数表示为n×c×d×d,则可以将其转化为矩阵参数表示为n×cd²,对矩阵参数再实施SVD分解和MF分优选的，步骤S22中所述选取最适宜的低秩分解方法通过选择函数实现，所述选择标准为效益值。[0012]优选的，步骤S22中所述选取最适宜的低秩分解方法并确定最优分解秩的步骤如(1)将该层权值参数的压缩精度损失和压缩率之和的负数作为效益值Q,数值越大性能越优；(2)对每一网络层的每一种分解方法分别遍历可能的秩，分析效益值Q,实现Q值最大的秩即为该网络层的最佳分解秩，最大效益值Q即为该分解方法的最大效益值；(3)通过选择函数为每一网络层选择效益值最大的分解方法，并记录对应的最佳分解秩。[0013]进一步的，所述步骤S2中，基于强化学习的思想，在各层神经网络层部署有多个低秩分解方法对该层权值参数进行压缩，并采取精度损失和压缩率为效益值Q,通过选择函数S〔φ,w〕来实现各网络层分解方法的选择，选择函数的标准为各分解方法所得效益值Q的大小；此外效益值Qim也用来作为选择最佳分解秩Fim的目标求解公式，当采取遍历选择的秩r使得效益值Qim达到最大时，即为最佳分解秩Fim,因此当选择出最佳的分解方法时，该分解方法所对应的最佳分解秩也同时得出。[0014]优选的，步骤S3中，所述目标函数范式中的压缩率使用分解秩的函数关系，构建范式中的压缩代价函数来表示；所述目标函数范式中的模型精准度通过构建误差代价函数来表示；所述实现两者最优的方法为：通过对目标范式的优化求解，所得压缩模型的准确率和压缩率可以综合达到最佳效果。[0015]进一步的，所述步骤S3中，神经网络模型压缩会导致模型准确率的降低，压缩率越大，准确率则会变小。一些常用的神经网络压缩只单独考虑模型的准确率或者模型的压缩进一步的，所述步骤S3中，模型参数的强化学习更新和模型参数的分解压缩的迭代求解，直到整个目标函数范式收敛，最终得到目标压缩模型，并且压缩模型可直接部署，无需额外的重新训练或精度调整，从而提高压缩模型的实用性与部署效率；进一步的，所述步骤S3中，根据目标函数范式，采取随机梯度下降算法实现模型权值参数W的更新；优选的，步骤S4中，所述先分解压缩再训练模(1)将模型中各网络层权值参数先使用部署的多个分解方法进行分解压缩；(2)由强化学习为各网络层选出最佳的分解方法；(3)再使用联合优化准确率和压缩代价的目标函数范式，对整个分解压缩后的模7型进行训练提升模型精度；(4)重复迭代直到压缩模型收敛；所述压缩模型通过直接部署以实现，无需额外的重新训练或精度调整，提高了压缩模型的实用性与部署效率。[0016]优选的，所述先分解压缩再训练模型的训练步骤(4)中，所述压缩模型的收敛通过以下两个问题的迭代求解实现：(1)模型参数的强化学习更新；(2)模型参数的分解压缩。[0017]进一步的，所述步骤S4中，在强化学习的框架下，为了优化模型训练的效率，本文设计了网络层权值参数先分解压缩再训练的模式；进一步的，所述步骤S4中，将模型中各网络层权值参数先使用部署的两个低秩分解方法进行分解压缩，由强化学习为各网络层选出最佳的分解方法后，再使用联合优化准确率和压缩代价的目标函数范式，对整个分解压缩后的模型进行训练提升模型精度，重复迭代直到压缩模型收敛；进一步的，所述步骤S4中，强化学习压缩模块和参数更新模块交替进行，重复迭代直到压缩模型收敛；进一步的，所述步骤S4中，经过本方法压缩的模型可直接部署，无需额外的重新训练或精度调整，从而提高压缩模型的实用性与部署效率；本发明还提供了一种基于强化学习的人工智能模型的多分解压缩方法的应用系(1)预训练模型参数获取模块，用于获取预训练神经网络模型中各网络层的权值参数；(2)强化学习压缩模块，用于构建基于强化学习的多分解方法联合应用框架，自动为各网络层选择最适宜的低秩分解方法并确定最优分解秩进行低秩分解；(3)参数更新模块，用于更新模型中的权值参数W,构建联合模型准确率与压缩成本的目标函数范式，通过该函数范式更新模型权值参数，实现压缩模型精准度和压缩率两者最优；(4)迭代优化模块，采用先分解压缩再训练学习的迭代优化策略，训练生成可直接部署的压缩模型，优化基于强化学习的模型的训练效率。[0018]进一步的，所述强化学习模块，基于强化学习思想根据模型特征为各网络层配置多个低秩分解方法并对该层权值参数进行压缩，采用效益值作为各分解方法的统一选择标准，通过选择函数为各网络层选取最适宜的低秩分解方法并确定最优分解秩，实现各网络层低秩分解；进一步的，所述预训练模型参数获取模块与强化学习压缩模块相连接，强化学习压缩模块和参数更新模块相连接，迭代优化模块分别与强化学习压缩模块和参数更新模块相连接；进一步的，本方法通过对比实验在5个模型进行了测试，使用了两个数据集，与两种单一压缩算法做比较，采用7个指标作为比较标准，通过实验的测试结果证明了本方法的有效性；8进一步的，所述对比实验中，5个模型包括：LeNet-300、LeNet-5、ResNetLMFBRL-Selected是本方法，SVD-Selected表示整个模型只使用固定的SVF分解，MF-精度损失，反映了参数压缩的有效性；TFLOPs表示模型的计算量压缩比的单位映了计算量压缩的有效性。[0019]进一步的，所述对比实验的实验平台搭载NVIDIAGeForceRTX4070GPU,32GB内存，系统环境为Windows11。开发框架采用Python版本3.7与PyTorch版本1.10.2。在实验中，参数μ被设置为1×10-6和1×10⁻⁸。该算法进行了40次迭代训练，初始β值为1.09.对于SGD算法，学习速率设置为0.09,衰减速率设置为0.98,动量设置为0.9。[0020]本发明有益的技术效果在于：(1)本发明为了给AI模型的各网络层选择适当的低秩分解方法，借鉴强化学习的思想，构建了一个基于强化学习的低秩分解方法选择框架。首先设定明确定义判断标准的效益值用于选择最佳的分解方法，并在每层的权值参数中使用两个低秩分解方法，奇异值分解SVD和常规矩阵分解MF,进行分解，通过比较不同分解方法所得模型带来的效益值，选择能够实现效益值最大的方法，进而确定选择此分解方法为该网络层权值参数的最优分解(2)本发明在强化学习的框架下，为了平衡多个分解方法压缩比率与模型精度之间的关系，提出了一种综合优化准确率和压缩成本的目标函数范式，作为解决这一问题的创新方案。根据秩r的函数关系，构建范式中的空间代价函数表示压缩率，并且构建误差代价函数表示模型的准确率，通过以交替方式优化空间代价函数和误差代价函数，可以得到用于低秩矩阵分解最佳的分解秩r;(3)本发明在强化学习的框架下，为了优化模型训练的效率，设计了网络层参数矩阵先分解压缩再训练的模式。将模型的各层网络层权值参数先使用各分解方法进行分解压缩，由强化学习为各网络层选出最佳的分解方法后，再对整个分解压缩后的模型进行训练提升模型精度，再重复迭代直到压缩模型收敛。并且得到的压缩模型可直接部署，无需额外的重新训练或精度调整，从而提高压缩模型的实用性与部署效率。附图说明[0021]图1是本发明的方法流程示意图；图2为本发明的系统模块连接示意图。具体实施方式发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。9[0026]在本实施例中，用获取的权值参数构建基于强化学习的多分解方法联合应用框R(s,a;)=E[Q+γ·max₀R(S解方法后带来的整体压缩模型效益，Q表示当前状态的间S,为模型中各网络层选择分解方法为动作空间A,我们需要根据每种分解方法所得到的效益值Q来进行比较，根据贪婪策略选择出价值最高的分解方法，益R(*)达到最大。[0029]本方法采用了两种低秩矩阵分解方法进行选择，分别是奇异值分解SVD和常规矩秩矩阵U(m×r)和V(n×r),参数数目由原先的(m×n),压缩到了r×(m+n),其中r<<min(m,n);奇异值分解SVD,将原权值参数矩阵A(m×n)分解为三个低秩矩阵U(m×r)、S(r×r)和V(r×n),参数数目由原先的(m×n),压缩选择函数中的两组参数φ=(4₁⑨z…L)和w=(w₁,W₂2…,WL),对应的选值为两个整数：{0,1},其中若参数4=1,则表示第i网络层选择了满秩分解，反之若参数4₁=0,在本实施例中，对于一个L层的神经网络模型，模型的权值参数矩阵表示为W⁴={W;}={W₁,W₂…,W},其中W₁∈Dmn,i={1,2,.….,L}表示为第层网络的序号。此问题范式中的代价函数C(r(W*)需要考虑多种情况，每一层的代价函数有两种情况需s.t.rank(W;)≤R;,i=1,2,...L.;s.t.φ,w=S(φ,w),r(X;s.t.φ,w={0,1},X;=W;,rank(X;)≤R;,i=1,2…本方法采用惩罚方法来解决前面提到的约束优化问题数项表示关于参数W的偏导数。该公式实现了模risva=rank{xisva],rank(Xisva)≤R,i=1根据上述的效益值求解公式，即可得到对应的效益值Q;mf和Qisvd,并同时求解出最佳分解秩r,结合之前的选择函数S〔φ,w〕,第i层网络层的最佳压缩矩阵可以表示为：Xibest=S(φ,Wi)·{Ximf,Xisva}。这样就得到了相应的分解方法，分解压缩后的参数矩阵的实用性与部署效率。整个模型只使用固定的MF分解。Params{original)是原模型的参数数目，Params{compressed)是压缩模型的参数数目；11.开发框架采用Python版本3.7与PyTorch版本1.10.2。在实验中，参数μ被设置为1×10-⁶和1×10-⁸。该算法进行了40次迭代训练，初始β值为1.09。对于SGD算法，学习速率设置为0.09,衰减速率设置为0.98,动量设置为0.9。0000000089.1%0084.1%[0047]比较数据表中的ACC指标数据，本方法LMFBRL-Selected在5个模型中有4个获得了最高的精准度，且ResNet-20模型中与最高精准度差异只有很小的0.1%。这表明，本方法能够逐层自适应选择，在压缩过程中保持模型精度方面具有显著优势，因为它考虑了每一层的独特结构特征，而不是使用固定的方法。该实验证明了基于强化学习的人工智能模型的多分解压缩方法的有效性，这是一种基于强化学习的方法，可以自适应地为AI模型中的每一层选择最优的分解方法。[0048]此外，本实验验证了所提出的联合范式的有效性，它优化了模型的精度和压缩成本。本方法LMFBRL-Selected采用了联合模型准确率与压缩成本的目标函数范式来优化求最高值，反映了其对精准度和压缩率的优越平衡。结果表明，本方法中的联合模型准确率与压缩成本的目标函数范式是非常有效的