横向最小二乘拟合与纵向卡尔曼滤波方法.doc

B 售后服务数据的运用产品质量是企业的生命线，售后服务是产品质量的观测点，如何用好售后服务的数据是现代企业管理的重要问题之一。现以某轿车生产厂家为例考虑这个问题。假设该厂的保修期是三年,即在售出后三年中对于非人为原因损坏的轿车免费维修。在全国各地的维修站通过网络将保修记录送到统一的数据库里面，原始数据主要包含哪个批次生产的轿车（即生产月份）、售出时间、维修时间、维修部位、损坏原因及程度、维修费用等等。通过这样的数据可以全面了解所有部件的质量情况，若从不同的需求角度出发科学整理数据库中的数据，可得到不同用途的信息，从而实现不同的管理目的。整车或某个部件的“千车故障数”是一个很重要的指标，常用于描述轿车的质量。首先将轿车按生产批次划分成若干个不同的集合（下面表格的同一行数据就来自同一集合），再对每个集合中迄今已售出的全部轿车进行统计，由于每个集合中的轿车是陆续售出的，因此它们的统计时间的起点即售出时间是不同的。但在下面表格中，每一列数据的统计时间的长度却是相同的（例如2002年3月底出厂的轿车，到2002年8月底；或2003年10月初出厂的轿车，到2004年3月初都是最多使用了五个月，显然它们的统计时间的终点也是不同的），在相同使用时间长度（例如下表中第5列都是使用10个月的）内的整车或某个部件的保修总次数乘以1000再除以迄今已售出的轿车数量，即为下面表格中的千车故障数。数据利用的时效性是很强的，厂方希望知道近期生产中的质量情况，但刚出厂的轿车还没有全售出去，已售出的轿车也没使用几个月，因此数据显得滞后很多。当一个批次生产的轿车的三年保修期都到时，我们对这批轿车的质量情况有了最准确的信息，可惜时间是轿车出厂的四、五年后，这些信息已无法指导过去的生产，对现在的生产也没有什么作用。所以如何更科学地利用少量数据预测未来情况是售后服务数据利用的重要问题。现有2004年4月1日从数据库中整理出来的某个部件的千车故障数，见下页的表。其中的使用月数一栏是指售出轿车使用了的月份数，使用月数0的列中是已售出的全部轿车在用户没使用前统计的千车故障数，1的列中是某一批次已售出的每一辆轿车，在它被使用到第一个月结束时统计的，对于该批次售出的全部轿车累计的千车故障数（即没使用时和第一个月中千车故障数的和），12的列中是每辆车使用到恰好一年结束时的累计千车故障数。生产月份是生产批次，如0201表示2002年1月份生产的。随着时间的推移，轿车不断地销售出去，已售出轿车使用一段时间后的千车故障数也能不断自动更新，再打印出的表中数据也将都有变化。1. 该表是工厂的真实数据，没有修改，反映的情况很多，请你分析表中是否存在不合理数据，并对制表方法提出建议；2.利用这个表的数据预测时请注意区分水平和垂直方向。请你设计相应的模型与方法，并预测：0205批次使用月数18时的千车故障数，0306批次使用月数9时的千车故障数，0310批次使用月数12时的千车故障数。轿车某部件千车故障数的数据表使用月数1211109876543210生产月份制表时销售量020124574.884.884.884.484.074.073.662.442.441.221.220.410.41020216705.995.995.395.395.395.394.194.193.592.992.41.80020315804.433.83.83.83.83.83.162.532.531.270.63000204370413.7712.1511.619.729.187.836.755.674.322.431.350.5400205380636.7834.6831.5329.4327.0625.2223.1221.8118.1316.5513.48.933.940206291041.5839.1836.0832.9931.6228.8724.7423.0218.915.4613.49.284.470207161472.4969.3962.5854.5247.7143.9940.2734.730.3626.6422.313.013.720208198575.5771.5469.0264.4856.9352.945.3436.7828.2120.6513.67.561.5102092671112.32110.45108.57104.0895.8484.6174.8865.8952.0442.3127.3311.231.8702102107121.97119.6116.28115.33107.7496.3584.4869.2954.1139.3922.7811.392.850211139995.7895.7894.3592.2185.7882.272.1961.4747.1840.0325.7312.873.570212403101.74101.7494.2991.8189.3384.3781.896752.1144.6732.267.447.4403016450122.79122.79122.48121.55119.84115.5108.0698.2982.6466.9844.9622.023.7203022522143.93143.93143.93143.93141.95139.57135.21125.69106.6684.4662.2525.381.590303290060.3460.3460.3460.346058.2855.8651.7246.2133.116.551.030304112718.6318.6318.6318.6318.6316.8615.9713.317.992.660030581814.6714.6714.6714.6713.4513.4513.45118.561.22030611995.845.845.845.845.845.8451.6700307183113.6513.6513.6513.6513.1110.387.10.55030817545.75.75.75.74.561.710030921630.920.920.920.920.460.46031023890000003112434000003121171000提示：1.预测时用的数据表最好是增量表，就是把原表相邻列作差的到的表，含义是第几个月期间的千车故障数。预测后再恢复到原表的形式。2. 轿车出厂后的运输是个复杂的事，体积大又贵重，要花费很多时间，从表中数据分析可以得到：出厂后三个月才开始有销售量，于是每个批次的前三个数据（斜三列）可认为是无效数据。采用横向最小二乘拟合与纵向卡尔曼滤波方法的联合预测方法对原始数据处理进行处理：数据处理步骤如下：步骤1：基于分析结果2,出厂后三个月才有销售量.去除原始表中的斜三列中得数据.结果如下:表二 去除斜三列后数据表（节选）1211109876543210 021195.7895.7894.3592.2185.7882.272.1961.4747.1840.0325.7312.873.570212101.7494.2991.8189.3384.3781.896752.1144.6732.267.447.440301122.48121.55119.84115.5108.0698.2982.6466.9844.9622.023.720302143.93141.95139.57135.21125.69106.6684.4662.2525.381.59030360.346058.2855.8651.7246.2133.116.551.03030418.6318.6316.8615.9713.317.992.660030514.6713.4513.4513.45118.561.2203065.845.845.8451.670030713.6513.1110.387.10.5503085.74.561.71003090.920.460.46031000031100312步骤2：表的修正(1) 原始的千车故障数= 1修正后的千车故障数= 2以0205批次使用月数为10个月解释式2分母的“满足使用月数条件的售出量”,0205批次的汽车要到2002年09月份才有销售量,而在2003年6月份以后的售出量(不包括该月)到2004年03月份为止的使用月数还不到10个月,因此满足月数条件的售出量是2002年09月到2003年06月份的销售量。(2) 比较上面1和2式,发现两式的的共同之处在于有一样的“故障部件数”,又基于每月销售量相同的假设下,不难得出由原始的千车故障数向修正的千车故障数的转化与总销售量无关,仅仅与月数有关，关系如下修正后的千车故障数=原始的千车故障数(3) 修正算法总销售月数为24-； (前三个月没有销售量)满足条件的月数25-。修正算法如下： For =1:24 For =1:13 If +25 = /注意:使用月数-1不是/ Else =0 /表格中的空数据赋为0/由该算法得到的修正数据见附表1。步骤3：对表中的列作残差,也即把原来相邻的列作差得到新的增量表,表示第几个月期间的千车故障数。步骤4：基于分析结果1,去掉=13的行.（见附表2）至此在以后的预测计算中,0301批次以后的数据都向上挪一行,例如，预测0306批次时,=17,预测0310批次时=21。步骤5：表内数据的横向最小二乘拟合与纵向卡尔曼（kalman）滤波方法的联合预测对于修正后的差分表,同一个批次在相邻月份内发生的千车故障率必然有相关系数,而且故障率可以认为是线性关系,因此横向采取线性最小二乘拟合未知的故障数,再在此基础上运用纵向kalman滤波对拟合后的数据进行除噪处理,从而降低了数据的误差。例如，对于(0212,13)未知“故障数”用(0212,0)(0212,1).(0212,12)数据线性最小二乘法拟合得到，然后通过对(0201,13),(0202,13)(0211,13),(0212,13)进行kalaman滤波分析修正最小二乘法拟合得到的(0212,13)值。表三 横向最小二乘拟合与纵向卡尔曼滤波方法的联合预测顺序表使用月数1211109876543210销售月份生产月份制表时销售量030302111399622.57213.72109.1776.65444.92844.03334.17831.7416.1121.63116.46610.3723.5703040212403（11）655.14198.599.2565.50238.70848.92336.69218.60520.84830.5960.676367.44030603022522（12）（1）729.55244.52127.2186.64573.61357.1142.84549.61226.611.59030703032900（13）（2）273.0695.1649.15532.58923.78126.75823.93817.5891.03030803041127（14）（3）74.5229.5613.0210.64410.6437.61333.04003090305818（15）（4）55.61515.6927.84588.13755.41338.76671.22031003061199（16）（5）17.525.844.185.4962.0040031103071831（17）（6）35.47515.4758.4258.3250.55031203081754（18）（7）13.686.842.280040103092163（19）（8）2.070.230.46040203102389（20）（9）00040303112434（21）（10）0040403121171（22）（11）具体处理过程如下:(1) 从空表项的最上的一条对角线开始。用最小二乘法拟合0302批次使用月数为10的数据(=13, =11)(2) 用纵向滤波对(=13, =11)的数据进行除噪处理,得到修正值.（3）=+1，=-1，重复进行（1），（2）的步骤。直到该对角线填满为止。（4）对下面的对角线，重复进行（1），（2），（3）的步骤直到，表中的空表项填满为止。（其数据处理的顺序如表6.1中的数字所示）至此,数据处理部分全部结束,得到的数据表中的数据称之为对应批次对应月的“故障数”，以下的数据建模和预测都是基于“故障数”的基础上。附录一：KALMAN滤波原理滤波是从获得的测量信息中尽可能的滤除干扰，分离所需要的真实信号。例如：已知测量向量序列Y1，Y2，., ，如何求得向量Xk的估计。由于燥声的干扰，不可能精确算得状态向量Xk的真值，而只能在一定的统计准则下作出最优估计，kalman滤波采用的是最小均方误差估计原则记：Y(k)=(Y1t, Y2t, Ykt) t希望由Y(k)对j时刻的状态Xj 进行估计。记估计量和估计误差分别是k, k记估计的均方误差阵Pjkk =Xj-kPjk=E(k, k t)最小均方误差估计就是指Pjk为最小值，即k为Xk线形最小方差估计。离散线性kalman滤波的表达式Xk=Z*Xk-1+G*Wk-1Yk=Hk*Xk+Vk其中,动态噪声Wk与测量噪声Vk 是互不相关的0均值白噪声系列,即对所有的k,j,系统噪声的统计特性为EWk=0,EVk=0;COV(Wk,Wj)=Qk(k-j)COV(Vk,Vj)=Rk(k-j)COV(Wk,Vj)=0设系统初始状态的统计特性为EX0=0 Var(X0)=E(X0-0) (X0-0)t且X0与Wk，Vk都不相关,即COV(