CN111931948B 用于测量混凝土抗压强度的深度集成森林回归建模方法 （北京工业大学）

用于测量混凝土抗压强度的深度集成森林本发明公开一种用于测量混凝土抗压强度过采用适合工业过程的维数约简策略对原始高通过KNN近邻法选取若干个子森林的预测值进行组合获得增强层回归向量，进而获得该层的输的中间层森林模型的输出作为输出层森林模型森林模型的预测输出进行算术平均最终预测结21.一种用于测量混凝土抗压强度的基于深度集成森林回归的建模方法，其特征在于，步骤1、采用维数约简模块通过采用适合工业过程的维数约简策略对原始高维特征进过KNN近邻法选取若干个子森林的预测值进行组合获得层回归向量，将其与约简特征向量步骤4、采用输出层森林模型模块以第K-1层的中间层森设输入层森林模型模块中第tth个子森林模型的J个训练子集为以上述J个训练子集构建混凝土抗压强度软测量模型中第tth个子森林中的J个决策针对输入层森林模型模块中第tth个子森林模型，每个决策树模型将对混凝土过程测量值样本产生一个混凝土抗压强度预测值然后得到J个混凝土抗压强度预测值组成的预测值向量$,,通过kNN选取预测均值附近的kkNN个混凝土抗压强度预测值组成第tth个子森林的回归向量重复上述步骤T次，得到输入层森林模型模块中T个子森林模型的层回归向量3步骤23，将对混凝土抗压强度8个特征进行维数约简后的约简特征向向量进行串联组合，得到做为输入层森林模型模块输出的增强层回归向量即为混凝土抗压强度软测量模型的中间层森林模型模块的输设第kth层森林模型的训练数据集为第k-1层森林模型所输出的增强层回归向量与混凝土抗压强度检测值的组合，其中特征包含：",以第Kth层森林模型中第tth个子森林模型的J个训练子集构建混凝土抗第kth层森林模型中第tth个子森林模型，每个决策树模型对通过kNN选取预测均值附近的kkNN个混凝土抗压强度预测值组成第tth个子森林模型接着，将对混凝土抗压强度8个特征进行维数约简后的约简特征向量xdim4设第Kth层森林模型的训练数据集为第K-1层森林模型输出的增强层回归向量与混凝土抗压强度检测值的组合，其包含混凝土含",以第Kth层森林模型中第tth个子森林模型的J个训练子集构建第Kth层中第tth个子森第Kth层中第tth个子森林模型，每个决策树模型将产生一个混凝土抗压强度预测值品,然后得到J个混凝土抗压强度预测值组成的预测值向量er,…计算第Kth层中第5该类过程产品质量和环保指标的关键过程参数通常被称为难测参数[1]。这类参数采用先的二噁英浓度和表征磨矿质量的磨矿粒度)或依靠优秀的领域专家在生产现场凭经验估计检测的过程变量建立难测参数的软测量模型是解决该问题的有效方[0004]深度神经网络学习算法[6]使得传统机器学习方法在很多领域失去了竞争性，但述研究文献的混凝土抗压强度软测量模型的结构复杂，模块之间没有考虑特征的表征学[0006]复杂工业过程的难以检测质量指标或环保指标参数通常需要长周期的离线化验6用输出层森林模块以第K-1层的中间层森林模型的输出作为输出层(第K层)森林模型模块[0021]本发明提出了一种用于测量混凝土抗压强度的基于深度集成森林回归(DEFR)的简特征向量(输入层的输入特征向量)，即对混凝土抗压强度8个特征进行维数约简；F1,t层森林模型中第tth个子森林模型F1,t(·)的J个决策树生成的混凝土抗压强度预测值向7层森林模型中第tth个预测值向量中选择预测均值附近的kkNN个混凝土抗压强度预测值组成的回归向量；表示输入层森林模型的T个回归向量串联组成的层回归向量；表示约简特征向量xdimred与输入层森林模型的层回归向量串联组成的增强层回归凝土抗压强度预测值向量；表示第kth层森林模型中第tth预测值表示利用kNN从预测值向量中选择预测均值附近kkNN个混凝土抗压强度预测值组成的回归向量；表示第kth层森林模型的T个回归向量串联组成的层回归向量；表示输入特征向量xdimred与第kth层森林模型的层回归向量串联组成的增强层回子森林模型；表示第Kth层森林模表示DEFR最终的混凝土抗压强度预测输出值。[0024](1)维数约简模块：采用维数约简方法对混凝土抗压强度数据中的原始高维特征子森林模型形成输入层森林模型，在每个子森林模型的预测值向量中选择kkNN个预测值组8[0027](4)输出层森林模型模块：以第K-1层森林模型的输出作为输出层(第K层)森林模型模块的输入，训练第K层森林模型，然后将第K层森林模型中的T个预测真值进行算术平[0030]其中，线性维数约简方法有：(1)基于前二阶矩的维数约简算法：切片逆回归(SlicedInverseRegressi归算法(DirectionalRegression,DR)[17]；(2)基于模型的维数约简算法：主拟合成分的维数约简算法：基于梯度的核维数约简(Gradient-BasedKernelDimensionReduction,gKDR)[24]、最小平方梯度维数约简(Least-SquaresGradientsforDimensionReduction,LSGDR森林等。采用自助采样(Bootstrap)和随机子空间法(RandomSubspaceMethod,RSM)对包量和混凝土置放天数等八个特征和混凝土抗压强度检测值的训练集D＝{(xi,yi),i＝1,测值的训练集D进行随机采样，以输入层森林模型中第tth个子森林模型的J个训练子集9输入层森林模型中第tth个子森林的第jth个训练集从8个特征中选择的特征数量，通常存[0038]以上述J个训练子集构建[0041]针对输入层森林模型中第tth个子森林模型，每个决策树模型将对混凝土过程测量值样本产生一个混凝土抗压强度预测值然后得到J个混凝土抗压强度预测值组成的预测值向量$。[0044]通过kNN选取预测均值附近的kkNN个混凝土抗压强度预测值组成第tth个子森林的回归向量重复上述步骤T次，得到输入层森林模型中T个子森林模型的层回归向[0050]第kth层森林模型的训练数据集为第k-1层森林模型所输出的增强层回归向量与混凝土抗压强度检测值的组合，其中特征包",其表示过程为，[0052]其中，y表示训练集D中的混凝土抗压强度真值向量；N表示训示第kth层森林模型的输入训练集，其中xk,i表示第ith个包含混凝土含量、高炉矿渣粉含征和层回归向量的训练样本，yi表示第ith个混凝土抗压强度的实际检测值；Mk＝M+示第kth层森林模型中第tth个子森林模型的第jth个训练集从8个特征和层回归向量模型中第tth个子森林模型的J个决策树，得到第kth层森林模型中的第tth个子森林模型抗压强度预测值别,可得到J个混凝土抗压强度预测值组成的预测值向量模型的回归向量重复上述步骤T次，得到T个子森林模型的回归向量，组合后得到第归向量进行串联组合，得到第kth层森林模型输出的增强层回归向量即林模型输出的增强层回归向量与混凝土抗压强度检测值的组合，其中特征包含：",其表示过程为，和混凝土抗压强度检测值的训练数据集DK进行样本和特征的随机采样，第Kth层森林模型中第tth个子森林模型的J个训练子集产生[0071]其中，表示第Kth层森林模型中第tth个子森林模型的第jth个训"表示第Kth层森林模型中第tth个子森林模型的第jth个训练集从8个特征和层回归向[0072]以上述J个训练子集构建第Kth层中第tth个子森林模型的J个决策树，获得第Kth值然后得到J个混凝土抗压强度预测值组成的预测值向量计算第Kth层[0082]采用UniversityofCaliforniaIrvine(UCI)平台提供的混凝土抗压强度数据[0083]根据混凝土抗压强度数据集的特征属性，下面将分别进行无维数约简模块(下文中为了进行区分，将无维数约简模块的模型表示成DEFR-Nodimred)和有维数约简模块(有软测量模型中森林层的子森林个数设置为T＝8，其中包含4个随机森林和4个完全随机森量、粗集料含量和细集料含量及混凝土置放天数8个特征与混凝土抗压强度真值的线性相[0087]8个特征与混凝土抗压强度的相关系数[0088]以50次运行的均值作为最终结果，参数设置为K＝50,Mj＝4,kkNN＝1,T＝8,J=放天数四个特征和层回归向量中随机选择四个特征。测试决策树叶结点的训练样本阈值[0090]然后，测试森林层模型中子森林模型的决策树的数量J与混凝土抗压强度软测量树的数量J＝100时验证集的RMSE(6.9979)[0094]采用完全随机森林方法(CRF)和随机森林(RF)与本文所提方法DEFR-Nodimred进DEFR-Nodimred方法在训练集、验证集和测试集中对混凝土抗压强度的预测均具有最佳预[0101]以50次运行的均值作为最终结果，参数设置为K＝50,Mj＝4,kkNN＝1,T＝8,J=j＝4表示从混凝土抗压强度数据集中8个特征和层回归向量中随机选择4个作为输入特征。测试决策树叶结点的训练样本阈值θForest与混凝土抗压强度软测量模型DEFR-[0103]然后，测试森林层模型中子森林模型的决策树的数量J与混凝土抗压强度软测量[0104]由图10可知，混凝土抗压强度软测量模型DEFR-dimred中森林层的子森林中决策树的数量J＝200时验证集的RMSE(7.4771)[0105]最终混凝土抗压强度软测量模型DEFR-dimred的参数确定为：T＝8,kkNN＝1,K=[0107]采用完全随机森林方法(CRF)和随机森林(RF)与本文所提方法DEFR-dimred进行在验证集和测试集中对混凝土抗压强度的预测均好于DEFR-Nodimred，说明本文所提深度1757.industry[J].ComputersandChemicalEngineering,2009,33(4):795-814.[0119][4]BreimanL,FriedmanJ,StoneC.ClassificationandRegressionTrees.Wadsworth,1984.[0120][5]Breiman,[0121][6]I.Goodfellow,Y.Bengio,andA.Courville.DeepLearning.MITPress,Cambridge,MA,2016.[0122][7]ZhouZH,FengJ.Deepforest:Towardsanalternativetodeepneuralthinking:Buildingdeeprandomforests.2017,arXiv:1705.07366.[0123][9]HuG,LiH,XiaY,LuoL.AdeepBoltzmannmachineandmulti-grainedscanningforestensemblecollaborativemethodanditsapplicationtoindustrialfaultdiagnosis.ComputersinIndustry.2018.100,[0124]287-296.[0125][10]JianTang,JianZhang,ZhiweiWu,etal.Modelingcollineardatausingdouble-layerGA-basedselectiveensemblekernelpartialleastsquaresalgorithm.Neurocomputing.219(201[0126][11]JianTang,JunfeiQiao,JianZhang,etal.Combinatorialoptimizationofinputfeaturesandlearningparametersfordecorrelatedneuralnetworkensemble-basedsoftmeasuringmosel[0127]275(2018):1426-1440.软测量[J].化工学报,2019,70(02):6[0129][13]ShanHM,ZhangJP.Real-valuedmultivariatedimensionreduction:review[J].JournalofAutomation,2018,[0130]44(2):193-215.oftheAmericanStatisticalAssociatio,[0132]1991,86(414):316-327.[0133][15]CookRD,WeisbergS.Slicedinverseregressionfordimensionreduction:comment.JournaloftheAmericanStatisticalAssociation,1991,86[0134][16]LiKC.dimensionreduction:anotherapplicationofStein’slemma.JournaloftheAmericanStatisticalAssociation,1992,87(420):1025-1039.[0135][17]LiB,WangSL.Ondirectionalregressionfordimensionreduction.JournaloftheAmericanStatisticalAssociation,2007,102(479):997—1008.regression.StatisticalScience,2007,[0137][19]FukumizuK,BachFR,JordanMI.DimensionalityreductionforsupervisedlearningwithreproducingkernelHilbertspaces.JournalofMachineLearningResearch,2004,5:73—99.[0138][20]SuzukiT,SugiyamaM.Suficientdimensionreductionviasquared—lossmutualinformationestimation.InProceedingsofInternationalConferenceonArtificialIntelligenceandStatistics,ChiaLagunaResort,Sardinia,[0139]Italy,2010,9:804-811.[0140][21]FaivishevskyL,GoldbergerJ.Dimensionalityreductionbasedonnon—parametricmutualinformation.[0142][22]GrettonA,BousquetO,SmolaA,SchokopfB.MeasuringStatistical[0143]Schmidtnorms.In:Proceedingsofthe16thInternationalConferenceonAlgorithmicLearningTheory.Berlin,[0144]Heidelberg:Springer-Verlag,2005.63-77.[0145][23]SzekelyGJ,RizzoML,BakirovNK.Measuringandtestingdependencebycorrelationofdistances.TheAnnalsofStatistics,2007,35(6):2769-2794.[0146][24]FukumizuK,LengCL.Gradient—basedkerneldimensionReductionforregression.JournaloftheAmericanStatisticalAssociation,2014,109(505):359-370.[0147][25]SasakiH,TangkarattV,SugiyamaM.Suficientdimensionreductionviadirectestimationofthegradientsoflogarithmicconditionaldensities.In:Proceedingsofthe7thAsianConferenceonMachine[0148]China:PMLR,2015.33-48.[0