玉米品质鉴定.docx

玉米营养品质的快速鉴定摘要：光谱检测法作为玉米营养品质含量的快速分析方法，首先需要根据常规生化检测数据结合光谱响应数据完成合理的定标与矫正，建立合适的数据分析模型。在进行光谱检测时，由于光谱波长区间大、波长取值点较多，对快速分析带来了不便。首先，本文采用R型聚类的方法，将区间内所有波长分成5类，采用相关性分析，从中筛选出5个代表波长作为研究对象。其次利用多元线性回归的方法，对代表波长的响应数据和蛋白质含量进行回归分析，得出蛋白质含量与光谱响应数据之间的关系，建立了蛋白质含量的光谱分析模型。结合F检验、残差数据分析等方法得出所建立的模型可信的结论。然后，给出以残差平方和为指标的模型评价体系，并讨论了模型的适用范围。其次，对剩余26个样本的蛋白质含量进行了预测。最后，针对多输入多输出的问题，本文采用BP神经网络模型，对样本数据进行学习与训练，在对第81-100个样本进行检验并符合要求之后，建立了三种营养成分的快速检测模型。然后分别对26个样本的蛋白质含量、纤维素含量和脂肪含量进行了预测。关键词：聚类分析；多元回归；BP神经网络1 问题重述玉米是生态农业的关键农作物之一，玉米中富含蛋白质、纤维素、脂肪、水溶性多糖和糖醇类等多种生理活性物质。玉米的营养品质是指玉米中所含的各种营养成分（蛋白、纤维素、脂肪等）。为了实行优质玉米的培养，需要实现玉米营养品质的快速鉴定。玉米营养品质的鉴定需要对主要营养成分的含量进行检测。光谱检测法是能够检测物质成分含量的快速分析方法，它可以根据物质的光谱响应特征来鉴别物质并确定化学组成和相对含量，具有测定时间短、非破坏性、多指标同时测定等优点，能够实现在线、实时、原位的定量分析与监测。光谱检测分析首先需要根据常规生化检测数据结合光谱响应数据完成合理的定标与矫正过程，建立合适的数据分析模型，进而实现对物质成分的快速检测。准备126个玉米样品，经过物理方法加工为粉末状。采用Fourier近红外光谱分析仪采集光谱数据，同一样品对不同频率的光产生不同的响应，光波长变化范围为100004000（其中为光波长单位），得到所有样品的光谱响应数据。为完成光谱建模实现快速检测，采用常规生化方法检测前100个玉米样品的蛋白、纤维素和脂肪的成分含量值。现需要结合测定的数据建立数学模型解决下列问题：1、根据前100个样品的光谱响应数据和蛋白含量的生化检测值，建立单一成分的光谱分析模型；拟定模型评价指标，并讨论模型的适用范围。2、根据所建立的数学模型，估算其余26个玉米样品（编号101126）的蛋白含量。3、结合玉米的光谱响应数据和蛋白质、纤维素、脂肪三种营养成分的生化检测值，设计合理的玉米营养品质快速检测方案建立数学模型；进一步利用模型估算其余26个玉米样品中蛋白质、纤维素、脂肪三种营养成分含量。2 问题分析问题一的分析：光谱检测可以根据物质的光谱响应特征来鉴别物质并确定化学组成和相对含量。现已知100个样品的光谱响应数据和蛋白质的生化检测含量，建立光谱分析模型，就是根据常规生化检测数据结合光谱响应数据完成合理的定标与矫正。由于不同样品的蛋白质、纤维素、脂肪等营养成分含量的不同，导致不同样品对于不同频率光谱的响应数据也不同。对于一种样品，其蛋白质元素含量与光谱响应数据存在一定的关系，本问就是要通过已知的100个样品的数据，确定两者之间的关系。通过对已知数据的分析知，样品对不同波长的响应特征与蛋白质含量是多对一的关系，本文采用多元线性回归分析建立光谱分析模型，明确了两者的关系函数。同一样品对不同波长的响应有390组数据，这组数据维数过大，为了方便模型的建立与求解，在实际操作过程中，可选取有代表意义，可以更多的体现蛋白质含量和光谱响应数据关系的波长来进行建模。本文采用聚类分析的方法筛选出具有代表意义的波长数据，然后建立多元回归分析模型，求解出蛋白质含量和光谱响应数据之间的关系，即光谱分析模型。最后以误差平方和为评价指标，并对线性回归模型的适用范围进行了分析。问题二的分析：本问要根据上一问所建立的光谱分析模型，估算剩余样品的蛋白质含量。将剩余样品的光谱响应数据带入上一问求解得到的线性回归方程，可得到剩余样品的蛋白质含量。问题三的分析：本问要设计合理的玉米营养品质快速检测方案建立数学模型，就是根据前100个样品的光谱响应数据和蛋白质、纤维素、脂肪三种营养成分含量，建立两者之间的关系。这是一个多输入多输出的模型，本文采用BP神经网络，通过网络不断地学习，使实际输出与期望尽可能地相近，即使网络输出层的误差平方和达到最小，从而建立玉米营养品质快速检测方案模型。最后本文利用上述检测模型，对其余26种样品的蛋白质、纤维素、脂肪三种营养成分含量进行了预测。3 模型假设与符号说明3.1模型假设（1）在整个光谱检测过程中，不存在人为和外部环境因素的干扰；（2）假设10000-4000 为测定玉米中蛋白质、脂肪、纤维素含量的有效波段；（3）假设蛋白质、脂肪、纤维素含量的检测之间没有相互影响 。3.2 符号说明 第个玉米样品的第个波长指标变量的响应数据； 中心化变换后的响应数据； 两变量与的样本相关系数； 变量的回归系数； 第个样品的蛋白质含量实测数据； 第个样品的蛋白质含量估计数据； 误差平方和； 回归平方和； 称为复相关系数； 表示隐含层第个节点到输入层第个节点之间的权值； 表示隐含层第个节点的阈值； 表示隐含层的激励函数； 表示输出层第个节点到隐含层第个节点之间的权值； 表示输出层第个节点的阈值； 表示输出层的激励函数； 表示输出层第个节点的输出； 每一个样本的二次型误差准则函数为。4基于聚类分析和多元回归的光谱分析模型4.1 聚类分析模型聚类分析，亦称群分析或点群分析，它是研究多要素事物分类问题的数量方法。其基本原理是，根据样本自身的属性，用数学方法按照某些相似性或差异性指标，定量地确定样本之间的亲疏关系，并按这种亲疏关系程度对样本进行聚类。常见的聚类分析方法有系统聚类法、动态聚类法和模糊聚类法等。对样本进行分类称为Q型聚类分析，对指标进行分类称为R型聚类分析。本文采用R型聚类分析对波长变量进行聚类1。通过对样品的光谱响应数据进行分析，发现样品对于不同波长的相应数据有390个，波长变量维数太多，且波长变量间的相关度较高，给系统分析与建模带来了很大的不便。若要对样品的光谱响应数据与蛋白质含量进行多元线性回归，就要求样品数量应大于变量个数，而已知蛋白质含量的样品只有100个，远小于波长变量的维数，因此需要对波长变量进行筛选，选出具有代表意义的波长来进行回归分析。本文采用R型聚类分析，通过研究变量的相似系数，按照变量的相似关系把它们聚合成若干类，进而找出影响系统的主要因素，选取每一类中具有代表意义的波长。4.1.1数据的标准化处理已知共有100个玉米样品，每个样品测得了390个波长变量的响应数据，原始数据矩阵为： （1）其中，（，）为第个玉米样品的第个波长指标变量的响应数据。由于样本数据矩阵由多个指标组成，样品对于不同指标的响应数据可能存在量纲和数量级不同的问题，为了消除两者的影响，需要先进行数据变换处理。本文采用标准化变换对数据进行处理，其处理方法如下。首先对每个变量进行中心化变换，然后用该变量的标准差进行标准化，即有：， （2）其中，。4.1.2 指标变量相似程度的测量计算研究变量的亲疏程度或相似程度的数量指标通常有两种：一种是相似系数，性质越接近的变量或样品，其取值越接近于1或-1，而彼此无关的变量或样品的相似系数则越接近于0，相似的归为一类，不相似的归为不同类。另一种是距离，它将每个样品看成维空间的一个点，100个样品组成维空间的100个点。用各点之间的距离来衡量各指标变量之间的相似程度（或靠近程度）。距离近的点归为一类，距离远的点属于不同的类。对于变量之间的聚类（型）常用相似系数来测度变量之间的亲疏程度，而对于样品之间的聚类分析（型），则常用距离来测度样品之间的亲疏程度。本文对指标变量进行R型聚类分析，采用相关系数研究变量的相似程度。对于变量和，可以用两变量与的样本相关系数作为它们的相似性度量。， （3）表示第个玉米样品对第个近红外光波长的响应数据，的值是矩阵的一个列向量，表示向量的均值。越接近1，表示与越相关或相似。越接近0，表示与的相似性越弱。4.1.3系统聚类法正如样品之间的距离可以有不同的定义方法一样，类与类之间的距离也有各种定义。例如可以定义类与类之间的距离为两类之间最近样品的距离，或者定义为两类之间最远样品的距离，也可以定义为两类重心之间的距离等。类与类之间用不同的方法定义距离，就产生了不同的系统聚类方法。常用的系统聚类方法有，最短距离法、最长聚类法、中间距离法、重心法、类平均法、可变类平均法、可变法和离差平方和法。本问选择了类平均法聚类，该方法度量类和的距离为：， （4）它等于，中两样本点距离的平均，分别为，中的样本点个数。其中。系统聚类法是聚类分析方法中使用最多的方法。其基本思想是：相似系数大的变量先聚为一类，相似系数小的后聚成类，此过程一直进行下去，每个样品总能聚到合适的类中。它包括如下步骤：（1）将每个变量独自聚成一类，构造390个类；（2）根据所确定的变量的相似系数公式，计算390个变量两两间的相似系数，构造相似系数矩阵，记为。（3）把相似系数最大的两类归为一新类，其它变量仍各自聚为一类，共聚成（390-1）类。（4）计算新类与当前各类的相似系数，将相似系数最大的两个类进一步聚成一类，共聚成（390-2）类。以上步骤一直进行下去，最后将所有的样品（或变量）聚成一类。（5）画聚类谱系图。（6）决定类的个数及各类包含的变量，并对得到的分类做出解释。4.1.4聚类分析模型的求解根据上述模型，利用MATLAB软件编程对波长变量进行聚类分析。首先，对附件1中玉米样品对于不同波长的光谱响应数据进行标准化处理，然后求出各波长变量的相似系数矩阵，由于矩阵维数过于庞大，本文就不在正文中给出。通过观察各变量的相似系数矩阵发现，某些矩阵元素非常接近1，说明某些指标变量之间确实存在很强的相关性，因此本文从这些指标变量中选取几个有代表性的变量进行聚类分析。对指标变量进行R型聚类分析，变量间相似性度量采用相关系数，类间相似性度量的计算采用类平均法。依据系统聚类法的方法，对390个波长变量进行聚类，其部分变量聚类图如图1所示。图1 部分变量聚类图通过对聚类图的分析，以及为了方便下文的多元回归，本文将波长变量分为5类。其结果如表1所示。表1 聚类结果类别变量第一类1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184第二类185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362第三类363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379第四类380 381 382 383第五类384 385 386 387 388 389 390上表中的元素表示的是变量在附件1表中的行标。为了在每一类中选出具有代表性的变量，本文采用的是选取每一类中和其余变量相似系数之和的均值最大的那个变量。这样可使被选取的变量与所在类的其余变量之间的相似性最大，从而可以最大程度的代表该类中的其余变量。每一类中相似系数最大变量结果如表2所示。表2 聚类代表变量行标88306370382386变量波长（）86605290430041204060相似系数均值0.99560.99280.99000.98370.9861通过上表发现，本文选出的代表变量与所在类的其余变量之间的相似系数较高，可以较好的代表其余变量，本文所选出的变量是合理的。4.2多元线性回归模型4.2.1模型的建立上文采用聚类分析的方法，对波长进行了聚类，将整个波段分为5类，然后选取出了每类中最具代表性，能较多的反映光谱响应数据与蛋白质含量之间关系的一个波长。本文要建立的是玉米样品的蛋白质含量和选取的5个波长的响应数据的回归模型，这属于多元线性回归模型2,3。现有5个变量，对它们分别进行了100次观测，即由100个玉米样品，玉米样品的蛋白质含量为。多元线性回归分析的模型为： （5）式中，都是与无关的未知参数，其中称为回归系数。现得到100个独立观测数据，由上式得： （6）记， （7），则式（4.4）可表示为： （8）式中，为100阶单位矩阵。4.2.2参数估计模型（4.4）中的参数采用最小二乘法估计，即应选取估计值，使当，时，误差平方和， （9）达到最小。为此，令， （10）得到：， （11）经整理化为以下正规方程组： （12）正规方程的矩阵形式为： （13）当列满秩时，为可逆矩阵，上式的解为： （14）将带回原模型得到的估计值： （15）这组数据的拟合值为，拟合误差称为残差，可作为随机误差的估计，而 （16）为残差平方和（或剩余平方和）。4.2.3回归模型的假设检验因变量与自变量之间是否存在如模型（20）所示的线性关系是需要检验的，显然，如果所有的（）都很小，与的线性关系就不明显，所以可令原假设为：， （17）当成立时，满足： （18）式中，,称为回归平方和，反映自变量对的影响。在显著性水平下，若 （19）则接受，否则拒绝。且越大，说明回归方程越显著。还有一些衡量与的相关程度的指标，如用回归平方和中的比重定义的复判定系数： （20）式中，,称为总平方和,称为复相关系数，越大，与的相关程度越高，通常认为相关关系成立。且越接近1，说明回归模型越显著。当被拒绝时，不全为0，但是不排除其中若干个等于0。所以应进一步作如下6个检验： （21）当成立时，有， （22）其中：是中的第个元素，对给定的，若，则接受，否则拒绝。4.2.5回归模型的求解已知玉米样品的蛋白质含量和选取的5个波长的响应数据分别为：，根据式（14）求解正规方程组的的估计值： （23）利用MATLAB编程求得样品的估计值，本文画出了估计值在置信度=0.05时的残差图，如图2所示。图2 估计值的残差图 上图中，中间的横线表示100个样品的实测值，绿色的线表示估计值的置信区间，绿色直线中间的点代表估计值。通过上图发现，有7个样品的值存在异常，其样品编号分别为：32、43、71、73、79、88、89。本文将上述7个样品点去除后再进行回归分析。本文求解得到的回归方程系数为： （24）因变量与自变量之间是否存在线性关系是需要检验的，显然，如果所有的（）都很小，则因变量与自变量之间的线性关系就不明显。本文取显著性水平=0.05。利用MATLAB程序求得统计量，查表得上分位数，因为，所以拒绝，模型整体上通过了检验，即不全为0。且较大，说明回归方程越显著。复相关系数=0.9640，非常接近于1，说明因变量与自变量之间相关关系密切。当被拒绝时，不全为0，但是不排除其中若干个等于0。所以应进一步作检验。利用MATLAB编程求得统计量：， （25）查表得上分位数。对于检验，在显著性水平=0.05时，拒绝，即与存在明显线性关系。综上所述，本文建立的蛋白质光谱分析模型为： （26）式中，分别表示由聚类分析得出的5个波长变量。4.3光谱分析模型的评价指标及适用范围4.3.1光谱分析模型的评价指标本文建立了光谱响应数据和蛋白质含量的回归模型，为了对模型的精度进行评价，本文拟定模型的评价指标，并对模型进行评价。为了体现回归估计值和实测的蛋白质含量的差别，本文采用误差平方和为评价指标，对模型精度进行评价。 （27）利用上文所建立的回归方程，求出估计值和实测值的误差平方和为31.9594，则每个样品的估计误差平均值为0.32。由附表2知，每个样品的蛋白质含量约为10（），每个样品的估计误差约占实测值的。为了更直观的比较估计值和实测值的差别，本文给出了估计值和实测值的对比图，如图3所示。图3 前100个样品的估计值和实测值的对比图上图中，红色的点表示实测蛋白质含量，空心点表示由回归方程估计的蛋白质含量值。通过观察上图和对误差平方和的分析，可以发现本文所建立的多元线性回归模型可以较好的拟合出样品的光谱相应数据和蛋白质含量之间的关系，比较合理。4.3.2模型的适用范围多元线性回归模型的适用范围：一种现象常常是与多个因素相联系的，它可以运用两个或两个以上的解释变量来来解释某个因变量的形成原因，由多个自变量的最优组合得出因变量与自变量的多元线性关系，共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。该方法已经被广大经济学家及机构认可,其主要研究三个方面,即分析市场供求、分析经济现象及制定相关政策、分析投入产出。本文建立的的是样品的蛋白质含量和光谱响应数据的多元线性回归模型，因变量蛋白质含量和自变量光谱响应数据是一对多的关系，本模型只能应用于单一成分的回归分析。且由于线性回归模型的限制，要求自变量个数应小于样品的个数，否则无法确定回归方程的参数。5 基于回归模型的蛋白质预测5.1多元线性回归模型在第一问中，本文建立了关于蛋白质含量和光谱响应数据的多元线性回归模型，其结果如下： （28）5.2对玉米样品的蛋白质含量预测将其余26个玉米样品（编号101126）的光谱响应数据带入上述光谱分析模型，可以求得其余样品的蛋白质含量，其结果如表3所示。表3 其余26个玉米样品的蛋白质含量预测值玉米编号蛋白质含量玉米编号蛋白质含量玉米编号蛋白质含量10110.84451109.987911911.096210210.518511110.32441206.785810310.868911210.20731219.372210410.793511310.834812211.448010510.161911410.91041239.13561069.96341159.88281248.788410710.452011610.791112510.313910810.640911710.824112610.796310910.98701188.7416为了更直观的观察剩余样品的蛋白质含量值，本文给出了蛋白质含量分布图，结果如图4所示。图4 蛋白质含量分布图上图中，红色的点表示实测蛋白质含量，空心点表示由回归方程估计的蛋白质含量值。6 问题三的解答6.1 BP神经网络模型的建立6.1.1 BP神经网络原理BP神经网络是一种具有三种或三种以上的多层神经网络，每一层都由若干个神经元组成，其结构图如图6.1所示。它的左右各层之间各个神经元实现全连接，即左层的每一个神经元与右层的每个神经元都有连接。BP神经网络按有导师学习方式进行训练，当一对学习模式提供给网络后，其神经元的激活值将从输入层经各隐含层向输出层传播，在输出层的各神经元输出对应于输入模式的网络响应。然后，按减少希望输出与实际输出误差的原则，从输出层经各隐含层，最后回到输入层逐层修改各连接权。由于这种修正过程是从输出到输入逐层进行的，所以称它为误差逆传播法。随着这种误差逆传播训练的不断修正，网络对输入模式响应的正确率也将不断提高4。输出变量输入变量输入层隐含层输出层图6.1 神经网络结构图图6.1中表示输入层第个节点的输入，；表示隐含层第个节点到输入层第个节点之间的权值；表示隐含层第个节点的阈值；表示隐含层的激励函数；表示输出层第个节点到隐含层第个节点之间的权值，；表示输出层第个节点的阈值,；表示输出层的激励函数；表示输出层第个节点的输出。BP神经网络算法是一种监督式的学习算法，其主要思想是：对于个输入学习样本，已知与其对应的输出样本。学习的目的是用网络的实际输出与目标矢量之间的误差来修改其权值，使实际与期望尽可能地相近，即使网络输出层的误差平方和达到最小，是通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼近的目标。每一次权值和偏差的变化都与网络误差的影响成正比。并以反向传播的方式传递到每一层。（1）信号的前向传播过程隐含层第个节点的输入： （6.1）隐含层第个节点的输出： （6.2）输出层第个节点的输入： （6.3）输出层第个节点的输出： （6.4）（2）误差的反向传播过程误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。 对于每一个样本的二次型误差准则函数为： （6.5）系统对个训练样本的总误差准则函数为： （6.6）根据误差梯度下降法依次修正输出层权值的修正量，输出层阈值的修正量，隐含层权值的修正量，隐含层阈值的修正量。； （6.7）输出层权值调整公式： （6.8）输出层阈值调整公式： （6.9）隐含层权值调整公式： （6.10）隐含层阈值调整公式： （6.11）最后得到以下公式： （6.12） （6.13） （6.14） （6.15）6.1.2 BP神经网络算法具体步骤该算法由两部分组成，信息的正向传递与误差的反向传播。在正向传递过程中输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的输出作用于下一层神经元的输入，如果输出层没有达到期望的输出，则计算输出层的误差的变化值后转向反向传播，通过网络误差信号沿原来的连接通路反转回来修改各层的权值直至达到期望目标。BP神经网络的学习算法步骤如下：（1）初始化网络及学习参数，如设置网络初始权矩阵、学习因子等。（2）提供训练模式，训练网络，直到满足学习要求。（3）前向传播过程：对给定的训练模式输入，计算网络的输出模式，并与期望模式比较，若有误差，则执行步骤（4），否则返回步骤（2）。（4）反向传播过程：计算同一单元层的误差，修正权值和阈值，然后返回步骤（2）。该算法具体过程流程图如下:图6.2 BP神经网络算法流程图网络的学习是通过用给定的训练集训练而实现的。通常用网络的均方差误差来定量的反应学习的性能。一般的，当网络的均方差误差低于给定值时，则表明对给定的训练集学习满足要求了。6.2 BP神经网络模型的求解首先本文以前80个样本数据的光谱相应数据为输入，以样品的蛋白质、纤维素、脂肪三种营养成分含量为输出，初始化网络并设定学习参数。在前100个样本中把前80个样本作为学习集中的对象，当网络的均方差误差低于给定值时，学习结束。将剩余的20个样本作为检测所用的样本数据。本文给出了前100个样品中剩余20个样品的估算值和误差值，如图6.3和图6.4所示。图6.3 第80-100个样品的检验图图6.4 第80-100个样品的估计误差图然后利用上述BP神经网络模型，以其余26个样品的光谱响应数据为输入，预测出其余26个玉米样品中蛋白质、纤维素、脂肪三种营养成分含量。其结果分别如表6.1-6.3所示。表6.1