响应曲面法RSM.ppt

响应曲面法（RSM）,学习目标,描述为何使用RSM及什么是RSM 解释响应曲面法设计的常用类型 用minitab实施RSM方法 掌握RSM设计数据分析 了解最快上升路线法,RSM之起源与背景,英国学者Box&Wilson（1951年）正式提出响应曲面方法论 目的：探究多个输入变量与化学制程产出值之间关系。 在实验设计规划范围内，如何寻找实验因子最佳组合，以达到最佳反应值。 系列化实验的最佳规划。 Minitab使分析变成更容易。,What Is RSM? 什么是响应面方法（RSM）,When doing DOE to maximize yield, which plot do you prefer to see? Why? 当实施DOE把良率提到最高，你希望看到那个图？为什么？,Plot A,Plot B,What Is RSM? 什么是响应面方法（RSM）,This plot indicates there is opportunity for higher yield. 此图显示良率还有再提高的机会,Opportunity for further improvement 进一步改善的机会,良率,温度,时间,What is RSM? 什么是响应面方法（RSM）?,Yield 良率,Temp 温度,Time 时间,Optimal Area（Highest Yield） 最佳区域（最高良率）,What is RSM? 什么是响应面方法（RSM）?,RSM有如正在爬山而看不见山顶。,What is RSM? 什么是响应面方法（RSM）?,当到达山顶时，用RSM方法对周围区域进行勘查。,What is RSM? 什么是响应面方法（RSM）?,然后对过程制订规格界限,Path of Steepest Ascent 最陡的上升路线,How can I move to the top the fastest? 我怎样能更快到达山顶？,良率,温度,时间,Path of Steepest Ascent 最陡的上升路线,Path of Steepest Ascent 最陡的上升路线,Optimum 最佳条件,RSM的使用时机,寻找因子参数设定使反应值得到最佳结果 确认新的操作条件能使产品质量获得提升 建构因子与反应值之间的关系式 当不确定曲线关系是否存在时 当DOE中发现有曲率（Factorial+Ct Point） 系列化实验-中央复合设计（Central Composite Design， CCD） 当事先已知有曲线 3k全因子 CCD Box-Benhnken设计,RSM二级模型的设计类型,1. 3k全因子 2. 中心组合（复合）设计（CCD） 3. Box-Behnken设计（BBD）,1. 3k全因子实验,K个因子，每个因子取三个水平 优点：能够估计所有主效果（线性的和二次的）和交互作用 缺点：实验次数过多,2. 中心组合设计（CCD）,中心复合设计是在2水平全因子和分部试验设计的基础上发展出来的一种试验设计方法，它是2水平全因子和分部试验设计的拓展。通过对2水平试验增加一个设计点（相当于增加了一个水平），从而可以对评价指标（输出变量）和因素间的非线性关系进行评估。它常用于在需要对因素的非线性影响进行测试的试验。,中心复合设计的特点,1、可以进行因素数在26个范围内的试验。 2、试验次数一般为1490次：2因素12次，3因素20次，4 因素30次，5因素54次，6因素90次。 3、可以评估因素的非线性影响。 4、适用于所有试验因素均为计量值数末尾的试验。 5、在使用时，一般按三个步骤进行试验。 （1）先进行2水平全因子或分部试验设计。 （2）再加上中心点进行非线性测试。 （3）如果发现非线性影响为显著影响，则加上轴向点进行补充试验以得到非线性预测方程。 6、中心复合试验也可一次进行完毕，（在确信有非线性影响的情况下）。,中心复合设计（CCD）,优点： 1）能够预估所有主效果，双向交互作用和四分条件 2）可以通过增加轴向点，从一级筛选设计转化而来（即中心复合法） 缺点： 1）轴向点的选择也许会造成在非理想条件下进行实验,立方点 轴向点 中心点 区组 序贯试验 旋转性,基本概念,中心复合试验设计,中心复合试验中的立方点、轴向点和中心点,中心复合试验设计由立方点、轴向点和中心点试验三部分组成，下面以2因子中心复合试验设计为例分别对三种点加以说明。 立方点 立方点即全因子设计或分部试验设计中的2水平对应的“-1”和“+1”点，表示如下图：,轴向点 又称始点、星号点，分布在轴向上。除一个坐标为+或-外，其余坐标皆为0。在k个因素的情况下，共有2k个轴向点。 记为（+a，0）、（-a，0）、（0， +a）、（0，-a），如下图表示。,轴向点a=n1/4,如：81/4=1.68， 41/4=1.414,中心点 中心点亦即设计中心，在坐标轴上表示为（0，0），表示在图上，坐标皆为0。即（0，0）点。将三种点集成在一个图上表示如下：,三因素下的立方点、轴向点和中心点,序贯试验（顺序试验）,先后分几段完成试验，前次试验设计的点上做过的试验结果，在后续的试验设计中继续有用。,旋转性(rotatable)设计,旋转设计具有在设计中心等距点上预测方差恒定的性质，这改善了预测精度。,的选取,在的选取上可以有多种出发点，旋转性是个很有意义的考虑。在k个因素的情况下，应取 = 2 k/4 当k=2， =1.414；当k=3， =1.682；当k=4， =2.000；当k=5， =2.378,按上述公式选定的值来安排中心复合试验设计(CCD)是最典型的情形，它可以实现试验的序贯性，这种CCD设计特称中心复合序贯设计(central composite circumscribed design,CCC)，它是CCD中最常用的一种。,对于值选取的另一个出发点也是有意义的，就是取=1，这意味着将轴向点设在立方体的表面上，同时不改变原来立方体点的设置，这样的设计称为中心复合表面设计 (central composite face-centered design,CCF)。 这样做，每个因素的取值水平只有3个(-1,0,1)，而一般的CCD设计，因素的水平是5个(-,-1,0,1,),这在更换水平较困难的情况下是有意义的。,这种设计失去了旋转性。但保留了序贯性，即前一次在立方点上已经做过的试验结果，在后续的CCF设计中可以继续使用，可以在二阶回归中采用。,中心点的个数选择,在满足旋转性的前提下，如果适当选择Nc，则可以使整个试验区域内的预测值都有一致均匀精度(uniform precision)。见下表：,但有时认为，这样做的试验次数多，代价太大， Nc其实取2以上也可以；如果中心点的选取主要是为了估计试验误差， Nc取4以上也够了。 总之，当时间和资源条件都允许时，应尽可能按推荐的Nc个数去安排试验，设计结果和推测出的最佳点都比较可信。实在需要减少试验次数时，中心点至少也要2-5次。,首先建立一个23因子设计 统计DOE修改设计,即一个单位的面上，当轴向点太远时，实验条件达不到情况,当轴向点太远时，实验条件达不到情况，可以自己定义,3. Box-Behnken试验设计(BBD),Box-Behnken试验设计是可以评价指标和因素间的非线性关系的一种试验设计方法。和中心复合设计不同的是它不需连续进行多次试验，并且在因素数相同的情况下， Box-Behnken试验的试验组合数比中心复合设计少因而更经济。Box-Behnken试验设计常用于在需要对因素的非线性影响进行研究时的试验。,Box-Behnken试验设计的特点,1、可以进行因素数在37个范围内的试验。 2、试验次数一般为15-62次。在因素数相同时比中心复合 设计所需的试验次数少，比较如下,3、可以评估因素的非线性影响。 4、适用于所有因素均为计量值的试验。 5、使用时无需多次连续试验。 6、Box-Behnken试验方案中没有将所有试验因素同时安排为高水平的试验组合，对某些有特别需要或安全要求的试验尤为适用。 和中心复合试验相比， Box-Behnken试验设计不存在轴向点，因而在实际操作时其水平设置不会超出安全操作范围。而存在轴向点的中心复合试验却存在生成的轴向点可能超出安全操作区域或不在研究范围之列考虑的问题。,一个k=3 Box-Behnken的图像分析,注意：加入了一引进中心点，并未增加轴向点，因而更完全。设计并不包括任何极限值，当因子在极限的组合因为太昂贵，或根本无法进行实验时，这是一个有利的特性。 当一个实验设计需要推倒从来时，可以选择BBD设计,统计DOE响应曲面创建响应曲面设计,中心复合法CCD,实验设计指南RSM,问题的认知及陈述 反应变量的选择 因子选择与水平个数及范围的选择 选择合适的实验设计 进行试验收集数据,实验设计指南RSM,6.资料分析 为整个模型建立Anova表 模式精简：去除不显著项（P-value高）或平方和影响低的项次（在Pareto图或常态图）后，进行模型的简化。切记：一次删一项，重新分析再评估。 注意Lack of fit问题是否显著 解释能力是否足够：R2值要大于80%。 残差分析，确认模型的前提假设是否成立：四合一残差图 研究显著的交互作用/主效应(P-value小于0.05）-从高阶着手 7.结论与建议 列出数学模型 评估各方差源实际的重要性 将模型转换为实际的流程设置（优化器）,例题,一位化学工程师想了解使制程产能为最大的操作条件，有两个可控因子会影响制程能力：反应时间和反应温度； 工程师决定讨论制程在反应时间为（80,90）分钟与反应温度在（170,180）F之范围的变化； 因为事前没有任何实验上的证据，而且因为时间上的急迫，所以工程师决定直接用一阶的实验来找到最佳化的条件，所以设计了一个两因子两水平与一个区组化的响应曲面法； 反应变量为产能（最低75，目标80，望大），产品粘度（60,65,70），分子量Molecular Weight（3000,3200,3400）,RSM-CCD1.mtx,试验数据,5 1 -1 1 77.9289 175.000 75.6 1 2 0 1 85.0000 175.000 80.0 6 3 -1 1 92.0711 175.000 78.4 2 4 1 1 90.0000 170.000 78.0 8 5 -1 1 85.0000 182.071 78.5 1 6 1 1 80.0000 170.000 76.5 12 7 0 1 85.0000 175.000 79.7 13 8 0 1 85.0000 175.000 79.8 7 9 -1 1 85.0000 167.929 77.0 10 10 0 1 85.0000 175.000 80.3 4 11 1 1 90.0000 180.000 79.5 3 12 1 1 80.0000 180.000 77.0 9 13 0 1 85.0000 175.000 79.2,StdOrder RunOrder PtType Blocks Time Temp Productivity,完整模型之ANOVA,Productivity 的估计回归系数 项 系数 系数标准误 T P 常量 79.8000 0.1642 486.087 0.000 Time 0.9950 0.1298 7.666 0.000 Temp 0.5152 0.1298 3.969 0.005 Time*Time -1.3062 0.1392 -9.385 0.000 Temp*Temp -0.9312 0.1392 -6.691 0.000 Time*Temp 0.2500 0.1835 1.362 0.215 S = 0.367091 PRESS = 3.04577 R-Sq = 96.53% R-Sq（预测） = 88.80% R-Sq（调整） = 94.06%,可以简化哪项？,解释能力是否足够？,Productivity 的方差分析 来源 自由度 Seq SS Adj SS Adj MS F P 回归 5 26.2598 26.2598 5.2520 38.97 0.000 线性 2 10.0430 10.0430 5.0215 37.26 0.000 Time 1 7.9198 7.9198 7.9198 58.77 0.000 Temp 1 2.1232 2.1232 2.1232 15.76 0.005 平方 2 15.9668 15.9668 7.9834 59.24 0.000 Time*Time 1 9.9339 11.8698 11.8698 88.08 0.000 Temp*Temp 1 6.0329 6.0329 6.0329 44.77 0.000 交互作用 1 0.2500 0.2500 0.2500 1.86 0.215 Time*Temp 1 0.2500 0.2500 0.2500 1.86 0.215 残差误差 7 0.9433 0.9433 0.1348 失拟 3 0.2833 0.2833 0.0944 0.57 0.663 纯误差 4 0.6600 0.6600 0.1650 合计 12 27.2031,是不是缺失度的问题,产能最优化-结论与建议,重要度与权重,重要度（0.1-10），又称相对重要度，优化器优先满足重要度高的响应输出。 权重（0.1-10），又称满足目标的程度。权重越高，必须要在target越接近才能满意。,结论： 两个因子对产能的影响都是重要的，而且其效应是有二次式存在 最佳设计条件：目标为望大 时间：86.92min 温度：176.35度 产能：预计可以达到80.06,练习,接续前一个情况： 针对黏度（Viscosity）（望目：60,65,70）与分子量（Molecular）（望目：3000,3200，3400 ）分布讨论其数学式与结论,StdOrder RunOrder PtType Blocks Time Temp Productivity Viscosity Molecular,试验数据,RSM-CCD10.mtx例题-重叠等值线图,RSM-CCD1.mtx响应优化器,例题-step1,一位制程工程师想要了解一个化学制程的最佳化设定，其目的是要产能为最大化。所以该工程师要先进行一个两因子（时间和压力）加中心点的实验设计，以确定是否有曲率现象存在。 因子: 时间：80min，100min 温度：140度，150度 反应变数：产率（80，95，望大）,RSM-CCD2-step1,例题-step2,该工程师发现线性效应不成立，决定进行第二阶段实验，以取得最佳化的模型与参数设定。 第二阶段以轴点+中心点，实验数据已经在RSM-CCD-step2中 将第二阶段的数据复制到第一阶段的后半部，形成一个具有两因子两个区组化的CCD设计， 请进行分析，获得最佳输出结果。,RSM-CCD2-step2.mtw RSM-CCD2.mtw,加入新增轴向点+中心点,输出结果,结果: RSM_CCD2.mtw 响应曲面回归:Yield 与区组 , Time, Temp 分析是使用已编码单位进行的。 Yield 的估计回归系数 项 系数 系数标准误 T P 常量 87.7667 0.7179 122.251 0.000 区组 0.6214 0.4700 1.322 0.228 Time -1.3837 0.6217 -2.226 0.061 Temp 0.3620 0.6217 0.582 0.579 Time*Time -2.3396 0.6471 -3.615 0.009 Temp*Temp -3.2896 0.6471 -5.083 0.001 Time*Temp -4.8750 0.8793 -5.544 0.001 S = 1.75854 PRESS = 138.459 R-Sq = 91.37% R-Sq（预测） = 44.78% R-Sq（调整） = 83.97%,区组非显著，可以进一步简化,等值线图与曲面图,等值线图,结论与建议,Yield 的估计回归系数，使用未编码单位的数据 项 系数 常量 -4138.70 Time 18.2104 Temp 47.0066 Time*Time -0.0233958 Temp*Temp -0.131583 Time*Temp -0.0975000,最优化工具,结论,试验的目的是要确定可以让得率为最大的因子设定。由此序列化实验发现： 在时间=76min和温度=150度，产能可以达到89以上 由等值线图我们可以发现将时间下降与温度提高时，似乎有较高的得率，然而，如果还有其它质量特性（例如成本）必须同时考虑时，就不得如此贸然行事；因为虽然可以蔣得率提升，但相对是否会让其它质量特性恶化。,例题,一位黑带应邀帮助把一个试产制程推广到更大范围，该制程的目的是把一间金属加工厂之废水中金属污染消除掉。处理废水的下一步要用一种昂贵的有机树脂，所以他们要在离子交换程序前尽可能将废水中金属污染去除。 分析两个因子：时间和温度 输出：除去金属的重量；,RSM-Exercise1.mtw,输出结果-注意需要选中区组选项,Weight 的估计回归系数 系数 标 项 系数 准误 T P 常量 760.721 6.207 122.564 0.000 区组 10.716 4.516 2.373 0.049 Time -8.405 7.259 -1.158 0.285 Temp 20.804 5.375 3.870 0.006 Time*Time -38.488 7.620 -5.051 0.001 Temp*Temp -14.440 5.854 -2.467 0.043 S = 15.2033 PRESS = 5296.43 R-Sq = 88.44% R-Sq（预测） = 62.15% R-Sq（调整） = 80.18%,例题-结果,练习,提高烧碱纯度问题。在烧碱生产中，经过因子的筛选，最后得知反应炉内压力及温度是两个关键因子。再改进阶段先进行全因子实验： A 压力：-50Bar，60Bar B 温度：-260度，320度 中心点也做了三次实验，实验结果见：DOE-烧碱纯度（反应1）.mtw 烧碱纯度（Larger is better):LSL=80,Target=100.,练习（续）,经第一步的分析得知，的确存在有曲率的现象。因此规划中加入四个轴点位置的实验，构成一个响应曲面设计。 全部资料见：DOE-烧碱纯度（反应2）.mtw. 请确认: 最佳华模式 最佳参数设定。,最陡上升路线法 - 寻找最佳区间,Opportunity for further improvement 进一步改善的机会,如正在爬山而看不见山顶。,最陡上升路线法 - 寻找最佳区间,1）第一步：确定有可能含有最佳条件的区域 2）第二步：建立一个描述响应与重要变量之间关系的模型 3）第三步：利用该模型进行过程优化，并且确认结果,最陡上升路线,假设已经做了一个实验，并且得到以下模型： Y=0+1x1+ 2x2+ （同主效果有关） + 12x12+ （同双向交互作用有关） 我们可以利用这个模型确定一条最陡上升路线，帮助我们更接近最佳条件。,坡度,根据微积分学，以下函数的坡度 Y=f（x1,x2, , xn) 微分：,寻找最佳上升路线举例,6sigma小组打算优化某一制程的良率。分析阶段过后，识别出两个因子（KPIV） 因子A:温度（F） 因子B：压力（psi） 文件在RSM01.mtw,因子图及交互作用,举例-分析结果,Yield 的效应和系数的估计（已编码单位） 项 效应 系数 系数标准误 T P 常量 74.450 0.2121 350.96 0.002 Temp 9.100 4.550 0.2121 21.45 0.030 Pres -2.900 -1.450 0.2121 -6.84 0.092 Temp*Pres -3.300 -1.650 0.2121 -7.78 0.081 Ct Pt 1.450 0.3674 3.95 0.158,来源 自由度 Seq SS Adj SS Adj MS F P 主效应 2 91.220 91.2200 45.6100 253.39 0.044 2因子交互作用 1 10.890 10.8900 10.8900 60.50 0.081 弯曲 1 2.803 2.8033 2.8033 15.57 0.158 残差误差 1 0.180 0.1800 0.1800 纯误差 1 0.180 0.1800 0.1800 合计 5 105.093,曲率效果不明显,关系式：Yield=74.45+4.55*Temp-1.45*Press-1.65*Temp*Press,H0和H1分别是？,3D曲面图,图形3D曲面图,图形等值线图,选出显著效果,通过方差分析（ANOVA）表中，选出显著因子（a风险是0.1） A：温度 B：压力 AB：AB交互作用 模型：,Yield=74.45+4.55*Temp-1.45*Press-1.65*Temp*Press,最陡的上升路线,最陡的上升路线的方向由以下得出： x*i的起点被确定 将设计中心（0，0）设为起点，得到：,沿着路线前进,X*T X*P 0 0 3.14 -1 6.28 -2 9.42 -3,将已解码变为未解码 XT50X*T+150, XP25X*P+150,新的试验结果,温度,压力,150 307 464 621,150 125 100 75,RSM分析步骤,步骤： 1）求p，确定在山坡位置 2）写出关系式 3）偏导 4）出发点，确定方向（一般以中心点出发） 5）确定步幅（确定做实验的规格点），写出实验方案（代码化的） 6）代码化转化成实际方案,练习（2水平+5中心点）,40.3 40.5 40.7 40.2 40.6,160 155 150,30 35 40,练习-结果,Yield=40.425+0.775*Temp-0.325*Press-0.025*Temp*Press,练习-结果,将已解码变为未解码 XT5X*T+35, XP5X*P+155,练习（2水平+4中心点）,40.3 40.5 40.7 40.2 40.6,60 50 40,100 150 200,100.00 102.00 98.00 99.00,选出新的试验水平（见P17）,见数据：RSM02.mtw,当发现一级模型无效时，该怎么做？,拟合因子: Yield 与 Temp, Press Yield 的效应和系数的估计（已编码单位） 项 效应 系数 系数标准误 T P 常量 83.175 0.3182 261.39 0.002 Temp 3.750 1.875 0.3182 5.89 0.107 Press -3.650 -1.825 0.3182 -5.74 0.110 Temp*Press 7.550 3.775 0.3182 11.86 0.054 Ct Pt 7.375 0.5511 13.38 0.047 S = 0.636396 PRESS = * R-Sq = 99.74% R-Sq（预测） = *% R-Sq（调整） = 98.71% 对于 Yield 方差分析（已编码单位） 来源 自由度 Seq SS Adj SS Adj MS F P 主效应 2 27.385 27.3850 13.6925 33.81 0.121 2因子交互作用 1 57.003 57.0025 57.0025 140.75 0.054 弯曲 1 72.521 72.5208 72.5208 179.06 0.047 残差误差 1 0.405 0.4050 0.4050 纯误差 1 0.405 0.4050 0.4050 合计 5 157.313,中心点显著，曲面效益显著。,主效果分析图,需要一个更高级模型,曲面P-数值的统计显著性表明一级模型已经不够用了 Y=0+1x1+ 2x2+ （同主效果有关） + 12x12+ （同双向交互作用有关） 下面我们该怎么做呢？快找出最佳条件的时候，往往需要二次模型 Y=0+1x1+ 2x2+ （同主效果有关） + 12x12+ （同双向交互作用有关） + 11x12+ (同纯二次项有关）,RSM设计,最佳区域，最高良率,当曲面（或中心点）变为显著时，我们已经达到顶部，需要RSM方法进一步勘查最佳区域。,二阶模型之CCD法 回顾之间的例题,见数据：RSM03.mtw,统计DOE响应曲面创建响应曲面设计,Minitab输出,分析是使用已编码单位进行的。 Yield 的估计回归系数 系数标 项 系数 准误 T P 常量 90.5500 2.134 42.431 0.000 Temp 2.3164 1.067 2.171 0.096 Press -0.3645 1.067 -0.342 0.750 Temp*Temp -3.7875 1.412 -2.683 0.055 Press*Press -5.0625 1.412 -3.587 0.023 Temp*Press 3.7750 1.509 2.502 0.067 S = 3.01799 PRESS = 257.819 R-Sq = 86.47% R-Sq（预测） = 4.24% R-Sq（调整） = 69.55% 对于 Yield 的方差分析 来源 自由度 Seq SS Adj SS Adj MS F P 回归 5 232.808 232.808 46.5616 5.11 0.070 线性 2 43.987 43.987 21.9935 2.41 0.205 平方 2 131.818 131.818 65.9092 7.24 0.047 交互作用 1 57.003 57.003 57.0025 6.26 0.067 残差误差 4 36.433 36.433 9.1083 失拟 3 36.028 36.028 12.0093 29.65 0.134 纯误差 1 0.405 0.405 0.4050 合计 9 269.241,等高/表面图,统计DOE响应曲面等值线/表面图,情况一,选择初步最佳条件,找到具体最佳条件需要通过解开一系列公式，当因子数量超过两个的时候，这将是一个非常复杂的工作 使用“多反应优化法”（Multiple Responses Optimism）找到大约最佳条件通常已足够,选择初步最佳条件,CCD练习,Data：CDD-1.mtw,课题：粘合剂生产条件优化 粘合剂生产条件优化问题。在粘合剂生产中，经过因子的筛选，最后得知，反应罐内温度及反应时间是两个关键因子。在本阶段的最初全 因子实验时 ，因子 A（Temp）的 低水平及高水平取为200度及300度，因子B（Time）的低水平及高水平分别取为40s和70s，在中心处也做了三次实验，实验结果如表所示：,增加试验数据,数据：CDD-2.mtw,响应优化器 目标100，最小为10,分析： 当温度（temp）取259.5281，时间（time)取67.6777）时，所获得的黏度最大，最佳值可以达到50.6927. 计算机提供了自动求最优解的功能，利用“响应变量优化器”可以直接获得最佳点的设置及最佳值，同时可以用人工进行调整，对最优点取整等等。,试验策划 建立试验目标 本试验的目标是确定化工原料化学反应工序的温度、压力和反应时间与原料关键参数Y之间的关系，并对三种因素的水平设置进行优化。 确定测量指标 小组确定以该原料的关键参数Y为测量指标，其目标值为873mg 确定影响因素XS 小组确定的影响因素为 1、反应压力 2、反应温度 3、反应时间,Box-Behnken试验设计（BBD）例,确定试验方案,攻关小组确信三个因素对输出存在非线性影响，但不能同时将A、B、C三个因素同时设置为高水平，因为210PSI已接近用来进行化学反应的容器的承受极限。 如将反应温度设置在高水平（350），可能会使反应压力进一步提高人而带来危险，在这中组合下运行较长时间的反应（即反应时间也为高水平）也存在潜在的问题，而Box-Behnken试验设计正好没有将所有因素同时安排在高水平上，因此满足本试验要求。小组决定用Box-Behnken试验设计方法进行试验。,标准序 运行序 PtType 区组 A B C Y 8 1 2 1 1 0 1 85.2 3 2 2 1 -1 1 0 86.8 9 3 2 1 0 -1 -1 84.6 1 4 2 1 -1 -1 0 83.2 13 5 0 1 0 0 0 89.2 11 6 2 1 0 -1 1 88.8 10 7 2 1 0 1 -1 91.4 6 8 2 1 1 0 -1 86.9 14 9 0 1 0 0 0