建模二作业二.doc

衡阳师范学院数学与计算科学系学 生 实 验 报 告实验课程名称： 数学建模（2） 系别： 数计系 年级： 2012 专业和班级：数学 2 班学 生 姓 名 学 号 开 课 时 间： 2014 年 下 学 期每次试验得分平均分折合分30%评阅人阳志锋评阅时间2014年 月 日实验二：数据的预处理2014-09-25 星期四一、 问题表述1、下面表格是某高校15个学院09级同一生源地新生的数学成绩抽样数据。（1）将各个学院新生的数学成绩合并（按列拉直），并检验数据的正态性；若数据非正态，请进行适当的正态化变换；（2）数据集中是否存在异常值？若存在异常值，请作适当的处理。学生学院123456789101112131415181608571767372567362737152698526971839166527763637857724972573766428627370626289846437855283474726977705380799060837076717254564645859914474727587695560896675063828259714866747280786682786756876744386346972665866875987461646370645981725962487769789678459699181815758807568677255108463886063727279866988745565661175717959893069635762627249657612756854936564836353836484417971136251707066528472807756806252871473526376907379676873839545709215728764766959636464706352646277166156767972786665736870534658561777836175796665668841666462726718758070885162477874685546536762198373658545696685776272763681682075587867677253906859615765497321887673764366729167496965265970228366637179637559837577525062722368908278618465705996739750607724577088918656818556587669906662257877538168647754797464696980702688856875744765717659789348717627838862726954576364788171676378287960737967395254497071636888622978717672517478696673575362686830666485586848697368856059875845二、 实验过程与结果（含程序代码）（1）将各个学院新生的数学成绩合并（按列拉直），并检验数据的正态性；若数据非正态，请进行适当的正态化变换：首先，将各个学院新生的数学成绩求和得以下数据：表一学生学院123456789101112131415181608571767372567362737152698526971839166527763637857724972573766428627370626289846437855283474726977705380799060837076717254564645859914474727587695560896675063828259714866747280786682786756876744386346972665866875987461646370645981725962487769789678459699181815758807568677255108463886063727279866988745565661175717959893069635762627249657612756854936564836353836484417971136251707066528472807756806252871473526376907379676873839545709215728764766959636464706352646277166156767972786665736870534658561777836175796665668841666462726718758070885162477874685546536762198373658545696685776272763681682075587867677253906859615765497321887673764366729167496965265970228366637179637559837577525062722368908278618465705996739750607724577088918656818556587669906662257877538168647754797464696980702688856875744765717659789348717627838862726954576364788171676378287960737967395254497071636888622978717672517478696673575362686830666485586848697368856059875845和221920902074223020831878207020352107209320852017180020132135 由于本题涉及的数据较多，我们可以首先将上述表格用EXCEL软件保存并且命名为“shumo.xls”，再将其置于work文件夹下，在MATLAB软件中使用xlsread命令可以读取EXCEL表格中的数据，这样就省去了输入大量数据的工作，然后用MATLAB软件中的normplot函数判断数据的正态性，程序代码如下：clearclcx=xlsread(shumo);x=reshape(x,450,1);normplot(x)其中代码x=reshape(x,450,1)达到将各个学院新生的数学成绩合并（按列拉直）的目的。以上程序代码得出下图：图一由上图可以看出，这些点并没有近似地在一条直线附近，其首尾部分有所偏离。因此，数据不符合正态分布。下面用幂变换将数据进行正态化变换，经典幂变换公式为:改进的幂变换公式为：下面对幂变换进行分析。幂变换后y具有不同于x的分布，其中幂指数按下列方法估计，即求，使得下面的最大：其中求解过程的MATLAB的程序为：function lamda,y=lamda(x) x=load(shumo.txt);x=reshape(x,450,1);m,n=size(x);if m=1&n=1 error(m or n must be 1 !); return end if n=1 n=m; end f=(s)(-(-0.5*n*log(var(x.s-1)/s)+(s-1)*n*mean(log(x);%f表示经验函数的相反数 ezplot(f); s0=input(请输入极值所在区间的左端点:);%输入0s1=input(请输入极值所在区间的右断点:);%输入100 lamda=fminbnd(f, s0, s1);%利用该函数找到固定区间内单变量函数最小值y=(x.lamda-1)./lamda; figure(2); %参数lamda的估计函数图像qqplot(y); title(yQ-Q图);图二 估计函数图像图三 正态变换后的Q-Q图（2） 数据集中是否存在异常值？若存在异常值，请作适当的处理：到目前为止，异常数据尚没有一个被普遍采纳的定义。这里引用Hawkins对其的定义：异常数据是在数据集中与众不同的数据，使人怀疑这些数据并非随机偏差而产生，而是产生于完全不同的机制。常用的异常值检验方法有准则。即设随机变量服从正态分布，其标准差为,准则是建立在正态分布的等精度重复测量基础上而造成奇异数据的干扰或噪声难以满足正态分布。如果一组测量数据中某个测量值的残余误差的绝对值符合下式：那么，该测量值为异常值。用MATLAB程序根据以上方法找出异常值，程序代码如下：x=xlsread(shumo);x=reshape(x,450,1);%将数据排列成一行u=mean(x);a=std(x);p=u-3*a;q=u+3*a;B=;for i=1:450if x(i)=q B= x(i)endend根据以上代码运行结果可知28,30,26是异常值数据（在表一中标出）。下面使用均值替换法来处理异常值，这种方法将变量的属性分为数值型和非数值型来分别进行处理。如果缺失值是数值型的，就根据该变量在其他所有对象的取值的平均值来填充该缺失的变量值；如果缺失值是非数值型的，就根据统计学中的众数原理，用该变量在其他所有对象的取值次数最多的值来补齐该缺失的变量值。这里的变量是数值型