数据分析与处理

1、从外部文本文件导入数据到MatLab的工作区; 1) File/Import data 2) 利用内置函数高级IO函数低级IO函数loadfopenImportdatafclosedlmreadfgetstextreadfgetlstrreadtextscanMatLab程序区数据外部数据文本外部Excel文件数据交换示意图2. 将MatLab的工作区数据写出到外部磁盘文件; 1) save (e.g. save 123.txt test -ascii save 123 test -123.mat) use load to retrieve 2) dlmwrite ref pdf help f

2、ile 3) fprintf ref out_data.m3. 从Excel文件导入数据到MatLab工作区 1) import data, 工作区变量 data, textdata 2) 用xlsread调入数据4. 从MatLab写出数据到Excel文件 xlswrite函数 e.g. s,t=xlswrite(filename,var)从MatLab操作Excel文件 Excel = actxserver(Excel.Application); Excel.Visible = 1; 将Excel作为ACtiveX服务器打开,与MatLab交互, ref VBA e.g. test_Exc

3、el.m1. 数据的平滑处理 smooth函数的使用 smooth_1.m ref: smooth.pdf 对于多元数据,当各变量的量纲和数量级不一致时,往往需要对数据进行预处理,以消除量纲和数量级的限制,便于分析.2. 数据的标准化变换 3. 数据的极差归一化变换 数据的标准化变换极差归一化变换p)(n)(ijxXp)(n)(RijRxXkjnkkjnkkjnkijRijxxxxx111minmaxmin经过极差变换,每个元素位于0,1,列的最大最小元分别变换为1与0数据拟合0. 观察数据的散点图,辅助判别数据拟合应采纳的模型 plot_1.m 数据文件:cliamate_data.xls

4、plot_2.m 数据文件:data2009.xls一元线性回归分析函数regress regress函数可用于多重线性或广义线性回归分析,特别地也适合作一元线性回归分析Ref: edit regress.mp-重广义线性回归模型npnppnnppppnxfxfxfxfxfxfxfxfxfyyy212122112222211112211121)()()()()()()()()(Y的n次独立观察数据模型设计矩阵X需要拟合估计的系数向量误差向量p-重线性回归模型npnpnnppnxxxxxxxxxyyy212121222211121121nnnkxxxyyy212121111最简单的情形:一元线性

5、多重回归分析序号yx1x2x3x4x5144.64489.56.862178245.34075.1662185354.34485.85.245156459.64268.24.940166549.938895.555178644.84777.5758176745.740767.270176849.14381.26.564162939.44481.47.9631741060.13881.95.2481701150.544736.1451681237.44587.78.4561861344.84566.56.751176假设的关联数据dchg.xls55443322110 xbxbxbxbxbby

6、5124151510iiiiiijjiijiiixbxxbxbby一次项多重回归一次项交叉项二次项多重回归 研究样本或指标之间存在程度不同的相似性（亲疏关系以样本间距离衡量）。根据一批样本的多个观测指标，具体找出一些能够度量样品或指标之间相似程度的统计量，以这些统计量为划分类型的依据。把一些相似程度较大的样本（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样本（或指标）又聚合为另一类，直到把所有的样本（或指标）聚合完毕，这就是分类的基本思想。 在聚类分析中，根据分类对象的不同分为Q型聚类分析和R型聚类分析两大类。 常用的样品对距离qpkqjkikijxxqd/11|)(pkjkikijx

7、xd1|) 1 (2/112)()2(pkjkikijxxd|max)(1jkikpkijxxd)cov(, )()()(1XSXXSXXMdjijiijRef: pdist常用聚类方法 最短距离法(single linkage method) 最长距离法(complete linkage method) 中间距离法(median method) 重心法(centroid hierarchical method) 类平均法(average linkage method) 离差平方和法(Ward method) 与系统聚类法相关的MatLab函数包括: pdist; squareform; li

8、nkage; dendrogram; cophenet; inconsistent; cluster; clusterdatag1 g2 g3 g4 g5g1 0g2 10g3 540g4 7620g5 10 9530g6g3g4G5G60G340G4620G59530g6g7G5G60G740G5930G6=g1,g2g8g5g80g540G7=g3,g4G8=g5,g7G9=g5,g8聚类分析示意图 主成分分析是一种通过降维技术把多个变量化为少数几个主成分(即综合变量)的多元统计方法,这些主成分能够反映原始变量的大部分信息,通常表现为原始变量的线性组合,为使得主成分所包含的信息互不重叠,要

9、求各主成分之间线性无关. MatLab的主成分分析函数 pcacov; 根据相关系数矩阵进行主成分分析 princomp;根据样本观察值矩阵进行主成分分析 pcares; 根据主成分重建原始数据Ref: zcffx.m.0426. 06288. 04226. 0.3628. 02654. 03548. 032123211xxxyxxxypcares函数重建数据 为了分析丢掉后面的主成分所造成的信息损失,设原始样本数据矩阵为 ,由前m个主成分重建的样本数据矩阵为;)(1)(;)(1)(112)(2112)(1nipjijmijijnipjmijijxxxnpmExxnpmERef: pca.mpnijxX)(pnmijmxX)()()(分析主