[工学]数据分析与处理PPT课件

.,1,数据分析与处理,主讲:数理与信息工程学院何国龙2011年8月8日,数学建模基础选讲,.,2,数据导入与导出,从外部文本文件导入数据到MatLab的工作区;1)File/Importdata2)利用内置函数,.,3,MatLab程序区数据,外部数据文本,外部Excel文件,数据交换示意图,.,4,2.将MatLab的工作区数据写出到外部磁盘文件;1)save(e.g.save123.txttest-asciisave123test-123.mat)useloadtoretrieve2)dlmwriterefpdfhelpfile3)fprintfrefout_data.m3.从Excel文件导入数据到MatLab工作区1)importdata,工作区变量data,textdata2)用xlsread调入数据,.,5,4.从MatLab写出数据到Excel文件xlswrite函数e.g.s,t=xlswrite(filename,var)从MatLab操作Excel文件Excel=actxserver(Excel.Application);Excel.Visible=1;将Excel作为ACtiveX服务器打开,与MatLab交互,refVBAe.g.test_Excel.m,.,6,数据预处理,1.数据的平滑处理smooth函数的使用smooth_1.mref:smooth.pdf对于多元数据,当各变量的量纲和数量级不一致时,往往需要对数据进行预处理,以消除量纲和数量级的限制,便于分析.2.数据的标准化变换3.数据的极差归一化变换,.,7,数据的标准化变换,.,8,极差归一化变换,经过极差变换,每个元素位于0,1,列的最大最小元分别变换为1与0,.,9,数据拟合,0.观察数据的散点图,辅助判别数据拟合应采纳的模型plot_1.m数据文件:cliamate_data.xlsplot_2.m数据文件:data2009.xls一元线性回归分析函数regressregress函数可用于多重线性或广义线性回归分析,特别地也适合作一元线性回归分析,Ref:editregress.m,.,10,p-重广义线性回归模型,Y的n次独立观察数据,模型设计矩阵X,需要拟合估计的系数向量,误差向量,.,11,p-重线性回归模型,最简单的情形:一元线性,.,12,多重回归分析,假设的关联数据dchg.xls,.,13,一次项多重回归,一次项交叉项二次项多重回归,.,14,研究样本或指标之间存在程度不同的相似性（亲疏关系以样本间距离衡量）。根据一批样本的多个观测指标，具体找出一些能够度量样品或指标之间相似程度的统计量，以这些统计量为划分类型的依据。把一些相似程度较大的样本（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样本（或指标）又聚合为另一类，直到把所有的样本（或指标）聚合完毕，这就是分类的基本思想。在聚类分析中，根据分类对象的不同分为Q型聚类分析和R型聚类分析两大类。,聚类分析,.,15,常用的样品对距离,Ref:pdist,.,16,常用聚类方法,最短距离法(singlelinkagemethod)最长距离法(completelinkagemethod)中间距离法(medianmethod)重心法(centroidhierarchicalmethod)类平均法(averagelinkagemethod)离差平方和法(Wardmethod),.,17,与系统聚类法相关的MatLab函数包括:pdist;squareform;linkage;dendrogram;cophenet;inconsistent;cluster;clusterdata,.,18,G6=g1,g2,G7=g3,g4,G8=g5,g7,G9=g5,g8,聚类分析示意图,.,19,主成分分析是一种通过降维技术把多个变量化为少数几个主成分(即综合变量)的多元统计方法,这些主成分能够反映原始变量的大部分信息,通常表现为原始变量的线性组合,为使得主成分所包含的信息互不重叠,要求各主成分之间线性无关.MatLab的主成分分析函数pcacov;根据相关系数矩阵进行主成分分析princomp;根据样本观察值矩阵进行主成分分析pcares;根据主成分重建原始数据,主成分分析,.,20,Ref:zcffx.m,.,21,pcares函数重建数据,为了分析丢掉后面的主成分所造成的信息损失,设原始样本数据矩阵为,由前m个主成分重建的样本数据矩阵为,Ref