第一次模拟论文.doc

2010高教社杯全国大学生数学建模竞赛承 诺 书我们仔细阅读了中国大学生数学建模竞赛的竞赛规则.我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人（包括指导教师）研究、讨论与赛题有关的问题。我们知道，抄袭别人的成果是违反竞赛规则的, 如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公正、公平性。如有违反竞赛规则的行为，我们将受到严肃处理。我们参赛选择的题号是（从A/B/C/D中选择一项填写）： B 我们的参赛报名号为（如果赛区设置报名号的话）： 所属学校（请填写完整的全名）： 东北农业大学 参赛队员 (打印并签名) ：1. 吴新坤 2. 张卫丹 3. 丛 宁 指导教师或指导教师组负责人 (打印并签名)： 日期： 2011 年 8 月 18 日2010高教社杯全国大学生数学建模竞赛编 号 专 用 页赛区评阅编号（由赛区组委会评阅前进行编号）：赛区评阅记录（可供赛区评阅时使用）：评阅人评分备注全国统一编号（由赛区组委会送交全国前编号）：全国评阅编号（由全国组委会评阅前进行编号）： 洗衣粉去污预测分析研究摘要 本文选择在spss中使用EM法填充缺失数据，利用logit模型检验判定数据缺失机制为随机缺失，并对完整的数据进行标准化处理。运用KS检验法完成对数据正态性的检验。考虑输入变量的线性项，建立多元线性回归模型，分析单功效与多属性的拟合关系，利用spss中多元线性回归拟合出模型相关系数平方（拟合度）平均值。基于输入变量的平方项和交互作用项，建立多元非线性回归模型，并用nlinfit拟合函数得到负相关系数为，拟合效果具有显著性。我们还对数据进行了聚类分析，根据产品功效划分个层次，各层次中因子分析各属性的权重，据产品的属性值对其功效进行预测。BP神经网络处理数据预测能给出很好的拟合效果，平均残差可达。综合模型预测能力，我们给出了剩余残差百分比准则，选择最优的预测模型，进一步对提供的预测数据误差分析，可知回归模型得到很好的效果。关键词：EM法 正态分析 回归分析 聚类分析 BP神经网络 一、问题重述背景：洗衣粉的去污作用是通过其中的化学成分溶于水后改变水溶液的物理化学属性实现的，因此想要了解一些洗衣产品的去污功效需通过测量洗衣产品溶于水后溶液的一些属性。如果能建立溶液属性和产品功效之间的模型，就可以找出能够使产品功效达到最大的溶液属性。从而，根据这些属性和化工技术知识，我们就可以制造出最优的洗衣配方。问题：为了研究洗衣粉溶液的物理属性对去污功效的影响，现做如下试验，分别测量了86个不同产品溶液的物理属性，并记录能反映他们的去污效果的数据。现已知86个产品的物理属性及功效数据，以每一个产品的21个属性作为输入变量 (PP1PP21)，产品在18种污渍上的功效作为输出变量 (O1O18)（见附表一）。并从中随机抽样，选取10个产品（1、3、5、7、9、11、13、15、17、19）作为验证模型预测精度的数据。（某些产品的某些属性有缺失数据，但用来验证模型的10组数据里没有缺失值）。请用剩下的76组数据来建立模型。具体要求如下：1. 请根据现有数据拟合出一个统计模型，模型能够基于产品的属性数据对产品的功效做出比较可靠的预测2. 考虑所有输入变量的线性项，根据模型的需要选择它们的平方项及交互作用项；3. 对此数据用多种不同的方法进行分析；4. 选择合适的能够反映模型预测能力的评价准则（可以根据需要提出新的准则），并根据准则选出最优的建模方法和最优模型；5. 提供数据说明拟合出的模型的预测能力。 二、模型假设1假设洗衣粉功效之间相互独立2. 假设水质，温度等实验环境没有差别3. 假设洗衣粉各属性之间的相互关系不随时间而改变4. 不考虑测量误差及影响5. 假设洗衣粉瞬间即溶且溶解均匀6. 污渍属性统一三、符号说明：表示第种产品的第种属性。：表示变量在第个符号的区间观测值。：表示第个方程的负相关系数。：表示神经网络输出误差。：表示第种样品理想输出值。：表示第种样品实际输出值。：表示残差百分比。: 表示剩余自由度。: 表示输入层与隐层的突触权值。: 表示隐层与输出层的突触权值。四、问题分析本题首先需要我们根据现有数据拟合出一个统计模型，并对产品的功效作出比较可靠的预测。考虑到问题所给出的数据存在一些缺失项，我们应首先对数据进行填充。由于在不同的缺失机制下，对数据的填充方式存在差异，我们选择用logit检验，判定显著性，最终确定数据的缺失机制。若为完全随机缺失，则缺失值可直接忽略；若为非随机缺失，那么缺失值不可忽略；若为随机缺失，则通过观测数据的边缘分布，对未知参数进行极大似然估计。并用算法对极大似然的参数进行估计，并对缺失数据进行填充，并将这些数据进行标准化，将标准化的数据进行正态分析检验。对于问题对产品的功效作出比较可靠的预测，基于数据的线性项，可建立多元线性回归模型，应用spss软件求解模型的拟合度即相关系数的平方值。由于各属性之间可能存在交互作用，从而建立多元非线性回归模型，在matlab中使用nlinfit函数对模型的相关系数求解，通过对这些模型拟合度的比较，选择可做出较准确预测的模型，对产品功效进行预测。并在多元非线性回归模型求解中选择属性之间的平方项和交互作用项。对于问题三，考虑到此题因素较多，变量比较繁琐，我们考虑采用聚类分析，然后在各类别中对数据进行因子分析，找出影响类别权重最大的属性，从而可根据模型的属性对产品进行划分，进而预测其功效。我们又对数据进行神经网络分析，运用matlab数学软件拟合出曲线，从而对功效作出预测。对于问题四，评价模型有两个方面的指标，在保证模型的数据拟合度好的前提下，又要保证估计和预测的可靠性好。由于这两项指标间存在着对立关系。为了综合照顾这两项指标，我们欲定义一个剩余残差百分比作为模型的评价准则，对模型的预测能力作出可靠地评估。对于问题五，根据最优模型拟合出十组数据的曲线，与该产品的实际功效对比，从而确定模型的预测能力。五、模型的建立与求解建模前的准备：.logit检验模型缺失机制利用logit模型刻画缺失指标变量的分布。其表现形式为：其中，是数据的函数。假设数据都是线性的，则：=可对缺失机制建立模型：引入检验，用SAS语言实现这一操作。参数估计结果：表1. 参数估计结果 参数 自由度 估计 标准差 值 大于的概率 38 0.432 0.226 85.653 0.0187 38 0.476 0.079 298.275 0。变换后的决策矩阵记为。设是决策矩阵的最大值，是决策矩阵的最小值。则：经过上式进行数据的预处理时，经过变换的最差属性值不一定为，最佳属性值一定为。模型一：假设各属性间相互独立.对于数据服从正态分布的检验假设数据服从正态分布，可应用SPSS软件，对样本数据进行检验。由图可知，方差值，结果具有显著性。 可见，所检验的数据分布和正态分布没有显著差异，数据属于正态分布。因此，在对产品功效进行预测时，建立回归模型，可以使模型的拟合程度更理想。.多元线性回归模型首先，利用其中的线性项，则可以建立产品功效与产品属性间的多元线性回归模型。 为第种属性时的随机误差，且相互独立并服从于。则可利用SPSS软件，求解出回归系数，见附表三其次，考虑模型的有效性。负相关系数的大小是评价模型有效性的关键。 越大，则反映了回归变量与相应之间的关系越密切。对于负相关系数的显著性检验，我们采用检验法。 表3:多元线性回归相关系数分析Model SummarybModelRR SquareAdjusted R SquareStd. Error of the Estimate1.854a.730.625.612776903986518由图可知，R=0.854，由此可判定模型拟合程度较好。III.多元非线性回归模型利用多项式中的线性项，二次项以及交互作用项，建立产品功效与产品属性间的多元非线性回归模型。设，考虑因子间的各种交互作用形式时有： (21)其中，取各种形式脚标时均为常数，且。分析（2-1）式可得：（2-1）式共有独立项其中含因子间的交互作用项：一般地，每一交互项各因子的幂不同，且同一因子在不同交互项中的幂也不同。因而，共有未知幂：所以，我们可以得到： （2-2） （2-3） （2-2）（2-3）就是待求的所有未知量。仍然采用检验法,检验模型的有效性。由表可知，R=0.985，模型的拟合程度很好。模型二：. 聚类,因子分析模型设为个区间变量，表示个符号对象。表示变量在第个符号对象的区间观测值，且经观测值为一般分布的区间数。符号对象的数据矩阵可表示为：首先，令个样品各自构成一类。类的个数，第类，（。此时，类间的距离就是样品间的距离。然后，对样品，（执行并类过程。合并类间距最小的两类为一新类。此时，类的总个数减少一类。即：计算新类与其他类的距离，得到新的矩阵。重复上述过程，直至类的总个数为 9时，画出谱系聚类图见附录。 由于经过聚类分析后的数据仍然较为复杂，为了进一步简化数据，选择利用因子分析模型研究每类数据间的内部依赖关系。将多个变量综合为少数几个因子，从而达到降维的目的。将每个原始变量分解成两个部分：一部分由所有变量共同具有的少数几个因子构成，另一部分是每个变量肚子具有的因素。设有个测量变量每个变量可做如下分解：其中，为公共因子，实在各个变量中共同出现的因子。为因子荷载，为独特因子荷载。分析时，只选取其中个（，即根据变量的相关选出第一公共因子，使其在各变量的公公因子方差中贡献为最大，然后消去这个因子的影响，而从剩余的相关中，选出与此不相关的因子，使其在各个变量的剩余因子方差贡献中为最大，如此往复，直到各个变量公共因子方差被完全分解为止。2.BP神经网络模型 根据洗衣粉的实际情况，将BP神经网络模型的输入层设21个结点，输出层设18个结点，设一层隐含层。输入层为洗衣粉所含物质属性，输出层为洗衣粉的功效，为保证BP神经网络模型的收敛，隐含层结点数不宜过多，以免输入层到隐含层的权值矩阵过大。 输入层（21种属性） 隐含层（属性间的相互关系） 输出层（18种功效） 图1. BP神经网络模型结构 我们采用LMS学习算法，即采用梯度搜索技术，最小化网络的实际输出与希望输出的方差。则网络输出误差为：其中为理想输出， 为实际输出。并运用Matlab软件对模型进行分析、处理。得到如下模拟图。 由图可知：运用BP神经网络模型，预测输出和期望输出具有很好的拟合效果，认为此模型对洗衣粉去污能力的预测有很高的可信度。模型三:模型的评价准则：评价模型的好坏有两个方面的准则。既要求数据的拟合程度好，又要求估计和预测的可靠性高。下面从这两个方面着手，来研究评价预测模型的准则。首先考虑极小化残差百分比指标：其中，为样品数目。，和分别是第个样品的基准变量和基准变量预测值。（可知，为反映模型拟合良度的有效指标。随着模型中所含项目的增多，有逐渐减小的趋势。因此，欲增加模型拟合良度，只要增加项目的数目即可。然而，项目的增加，必然导致剩余自由度的减少。其中，是样本数，是项目个数。可知，是一个用来衡量模型可靠性的指标。越小，可靠性就越低。综合考虑与两项指标，我们定义一个评价模型的准则剩余残差百分比准则。定义为：剩余残差百分比是一个用自由度修正的极小化残差百分比准则。显然，极小化P所对应的模型为最佳模型。由matlab中模拟回归预测模型曲线在Matlab中模拟回归曲线如上图，可以看出：预测输出和期望输出拟合效果有较大的浮动，不具有很强的显著性，认为此模型对洗衣粉去污能力的预测具有较高的可信度。根据最优评价准则选择最优模型为神经网络模型预测。将十组预测数据的属性值用最优模型进行曲线模拟，所得期望值与实际值对比，拟合出预测误差百分比，如下图所示：由剩余误差百分比准则拟合出模型的预测误差，可以得出：神经网络的误差百分比在很小的范围内波动，结果具有显著性，预测能力能达到令人满意的效果。五、模型的推广本文由产品属性和功效的数据分析，建立了最优的回归预测模型。现实生活中，洗衣粉的去污功效以及药物的疗效预测等实际应用问题，均可采用回归模型预测方法，进行较为可靠的预测。多元线性回归模型在生产生活中也随处可见，如处理某些生物化工实验数据等。根据某些物品的销售量与其他因数间的关系，制定价格策略，故模型具有很好的推广价值。六、模型的评价优点：1 数据的检验与填充方法，易于实现，显著性便于观察，且算法在不同缺失率下都相对比较稳定。2 通过对建立的多种回归模型拟合度的比较，选出最优预测模型。使该预测相对误差小，精度高。3 运用功能强大、对非线性问题很好逼近的BP神经网络预测数据，所得结果较为可靠。4. 本文建立的几个数学模型有成熟的理论基础，又有相应的软件支持，可信度高。缺点:1. 所建立的模型只能研究数据的单调情形，只是对数据进行单纯处理，没有考虑事物内部因素，2. 在实现诸多运算功能的同时，增加了系统的复杂性，造成了模型的不稳定性。在模型的建立过程中，没有分专业对高校学费标准进行定量分析，因此模型具有一定的局限性。七、参考文献1赵振宇,徐用懋.模糊理论和神经网络的基础与应用.北京:清华大学出版社, 1996.2韩中庚，数学建模方法及其应用，北京：高等教育出版社，20053易平涛多属性综合评价的理论与应用研究D东北大学，20064张罗漫，黄丽娟，贺佳，胡琳，于爽综合评价中指标值标准化方法的探讨J中国卫生统计，1994，11 八、附 录填充后数据 1标准化数据 1注：多元线性分析结果Y1-Y9 自变量前系数0.2860.3660.3710.210.2230.2860.2060.1380.2160.329-0.557-0.5340.0430.0060.353-0.53-0.6330.2180.569-0.285-0.2990.1960.3510.718-0.304-0.4490.318-0.5250.6471.153-0.223-0.169-0.1311.0671.602-0.3560.157-0.445-0.919-0.109-0.096-0.065-0.828-1.177-0.042-0.23-0.027-0.028-0.131-0.126-0.152-0.081-0.118-0.157-0.03-0.0340.043-0.078-0.141-0.0840.0420.005-0.05-0.23-0.064-0.099-0.305-0.243-0.221-0.025-0.045-0.3570.395-0.0510.0070.4050.3820.3740.097-0.0940.523-0.2070.1520.125-0.129-0.063-0.1770.2020.273-0.0670.266-0.1050.0210.3030.250.154-0.0380.0270.4020.002-0.045-0.274-0.183-0.0560.182-0.217-0.377-0.1860.356-0.202-0.1380.4080.3120.284-0.27-0.220.2270.154-0.294-0.2460.0570.0810.026-0.115-0.199-0.0590.0440.1020.1380.039-0.0650.04-0.003-0.026-0.0210.178-0.052-0.1990.0840.1530.189-0.033-0.1230.096-0.4360.0520.305-0.164-0.188-0.2180.4110.186-0.04-0.1360.2550.199-0.121-0.185-0.2130.0340.251-0.298-0.198-0.120.145-0.044-0.244-0.460.1040.363-0.0260.398-0.121-0.4270.4240.6110.6-0.352-0.530.5620.0820.1720.1650.013-0.0490.1820.2330.313-0.017Y10-Y18 自变量前系数0.2480.1440.1280.0460.116-0.036-0.049-0.039-0.033-0.194-0.261-0.251-0.508-0.479-0.233-0.618-0.395-0.510.1290.1220.048-0.396-0.389-0.179-0.612-0.473-0.5040.8510.9270.5710.5230.7720.0360.2830.7170.318-1.082-1.237-0.823-0.49-0.8010.247-0.359-0.702-0.2020.042-0.0070.052-0.103-0.133-0.188-0.1860.016-0.097-0.182-0.114-0.0930.011-0.0340.0510.154-0.012-0.052-0.192-0.236-0.271-0.288-0.1970.042-0.157-0.099-0.210.2150.1520.3040.3480.2570.221-0.2710.4060.14-0.002-0.013-0.0250.3050.240.3220.2750.2510.3070.170.0330.2050.120.087-0.260.1470.1440.164-0.291-0.09-0.253-0.287-0.226-0.146-0.401-0.467-0.5150.0760.1430.172-0.201-0.123-0.226-0.045-0.04-0.132-0.0320.037-0.035-0.166-0.0790.265-0.075-0.083-0.0090.080.1950.090.038-0.002-0.1570.159-0.075-0.1860.2840.4210.350.1320.1330.5610.321-0.041-0.0630.185-0.1020.0420.3130.184-0.554-0.5940.3370.097-0.271-0.142-0.291-0.277-0.1150.260.2570.0560.206-0.269-0.426-0.2530.1240.068-0.1780.1760.2530.3660.1240.0210.052-0.131-0.21-0.208-0.461-0.275-0.3330.1260.2250.1830.2020.2460.3370.2760.0980.259注：对产品聚类结果分析*HIERARCHICALCLUSTERANALYSIS*DendrogramusingAverageLinkage(BetweenGroups)RescaledDistanceClusterCombineCASE0510152025LabelNum+-+-+-+-+-+24292618196840523548444757766364327359746070566858153025121617575110423839433135041666962676171651422553134725411234333645374629149532027212875 注：对产品聚类结果分析注： 标准化数据正态性分析Zx1Zx2Zx3Zx4Zx5Zx7Zx8Zx9Zx10Zx11Zx12Zx13Zx14Zx15Zx16Zx17Zx18Zx19Zx20Zx21N7676767676767676767676767676767676767676Normal ParametersaMean.00000000000000-1.03352998673987E-16.00000000000000.000000000000.00000000000000-5.84327907697451E-16-1.80557323478512E-15-1.66825617647622E-15-1.15642144982749E-15-3.36645915822194E-15-1.50464436232094E-15-2.90557052102557E-15.0000000000000-2.96363810685301E-15.00000000000000-7.14925195067831E-15-1.50493652627478E-14-8.69187762699958E-17.00000000000001.00000000000001Std. Deviation.999999999999998.999999999999998.9999999999999981.0000000000000.999999999999997.999999999999998.999999999999997.999999999999997.999999999999998.999999999999998.999999999999999.9999999999999981.00000000000000.999999999999997.9999999999999981.000000000000000E01.000000000000000E0.999999999999998.999999999999999.999999999999998Most Extreme DifferencesAbsolute.094.056.095.223.107.084.111.057.102.105.094.093.074.111.119.121.100.083.182.123Positive.070.053.060.078.078.056.111.057.060.101.060.051.038.055.072.121.100.083.099.086Negative-.094-.056-.095-.223-.107-.084-.083-.043-.102-.105-.094-.093-.074-.111-.119-.091-.069-.066-.182-.123Kolmogorov-Smirnov Z.818.489.8241.941.929.730.964.494.886.915.818.809.642.9661.0411.056.876.7261.5851.075Asymp. Sig. (2-tailed).515.971.506.001.354.660.311.967.412.373.515.529.804.309.229.215.427.668.013.198a. Test distribution is Normal.注：一类别因子分析结果Component MatrixaComponent12345V1-.068-.321.898.009.200V2.640.254.226-.555.077V3.128-.637-.387.463-.431V4-.505.370.007.082.706V5.785-.467.187-.121.172V6.897-.327-.016-.067.194V7.589.323-.036.629.232V8.602-.082.420.520.216V9.904.348.114.044-.059V10.896-.191-.282-.168-.184V11-.484.767-.221.281-.091V12-.385-.369.658.455-.014V13.442.382.663-.261-.329V14-.297.734.206-.373-.382V15-.321-.108.854.199-.006V16.565.103-.479.443-.131V17.100.897-.105.261-.193V18-.079.507.674.414-.271V19.386.558-.432.281.205V20.405.755.149-.243.371V21.770.096.500.060-.204Extraction Method: Principal Component Analysis.a. 5 components extracted.BP神经网络残差分析rand = 2 22 1 3 10 11 31 12 29 28Y = Columns 1 through 9 66.2337 63.8274 72.4369 62.8321 58.7141 46.2904 55.9684 85.3554 58.1594 90.1704 85.8753 90.1850 95.0580 91.7308 84.4376 98.5001 92.3698 93.8768 87.1175 84.0292 88.1499 93.2487 86.1665 80.5444 92.9338 90.5605 88.4600 69.2198 61.9791 83.2707 74.7684 61.8807 51.4977 76.3051 85.9586 73.0736 48.0652 48.7364 64.7080 72.3936 34.8564 46.6875 71.3708 74.3853 47.0677 53.1129 49.9161 46.3519 67.4545 57.8831 57.3830 56.3620 68.1366 58.1417 75.4621 72.4049 75.6312 88.9296 77.5980 71.3883 88.8167 84.4784 81.6620 89.7712 85.6404 90.3289 92.8653 88.5811 84.8291 93.8817 89.6928 89.2562 68.3116 59.5825 70.2349 77.4157 50.6924 52.5390 69.2446 79.8893 68.1703 29.9042 29.2438 41.7297 40.8913 22.6875 20.4115 57.1197 51.4346 29.8798 20.4716 24.6499 44.3995 36.8198 16.6655 18.1577 58.9674 50.8282 16.6017 31.5933 26.5568 52.2450 41.8318 26.4268 16.8067 58.0664 63.3244 27.0743 37.4150 19.1520 40.4045 61.5813 20.9524 8.0091 64.6345 69.9632 30.1643 42.6950 27.0591 55.1443 75.5825 33.6301 24.5537 78.8839 71.6931 41.7634 52.4111 47.4934 48.6444 55.3896 49.9395 47.7196 49.4757 49.1515 50.4756 51.0245 45.7363 61.9671 51.1775 42.6009 44.1020 52.1661 53.7930 49.8352 24.6891 18.2240 23.4121 43.1110 23.3330 16.6271 34.9860 26.1077 19.9574 18.1601 11.6088 19.5506 27.1312 9.5049 9.9000 25.4739 20.2045 11.9755 Columns 10 through 18 69.0112 66.2428 74.5672 69.3508 63.1819 59.8795 88.5280 31.0714 68.4864 95.0031 95.3745 88.8588 91.8652 88.3198 85.5570 95.0778 86.9856 85.8643 93.6644 89.8223 87.2044 90.9191 86.3189 83.3515 96.7199 86.5962 85.779