《数据分析与处理》PPT课件.ppt

数据分析与处理 主讲 数理与信息工程学院何国龙2011年8月8日 数学建模基础选讲 数据导入与导出 从外部文本文件导入数据到MatLab的工作区 1 File Importdata2 利用内置函数 MatLab程序区数据 外部数据文本 外部Excel文件 数据交换示意图 2 将MatLab的工作区数据写出到外部磁盘文件 1 save e g save 123 txt test asciisave 123 test 123 mat useloadtoretrieve2 dlmwriterefpdfhelpfile3 fprintfrefout data m3 从Excel文件导入数据到MatLab工作区1 importdata 工作区变量data textdata2 用xlsread调入数据 4 从MatLab写出数据到Excel文件xlswrite函数e g s t xlswrite filename var 从MatLab操作Excel文件Excel actxserver Excel Application Excel Visible 1 将Excel作为ACtiveX服务器打开 与MatLab交互 refVBAe g test Excel m 数据预处理 1 数据的平滑处理smooth函数的使用smooth 1 mref smooth pdf对于多元数据 当各变量的量纲和数量级不一致时 往往需要对数据进行预处理 以消除量纲和数量级的限制 便于分析 2 数据的标准化变换3 数据的极差归一化变换 数据的标准化变换 极差归一化变换 经过极差变换 每个元素位于 0 1 列的最大最小元分别变换为1与0 数据拟合 0 观察数据的散点图 辅助判别数据拟合应采纳的模型plot 1 m数据文件 cliamate data xlsplot 2 m数据文件 data2009 xls一元线性回归分析函数regressregress函数可用于多重线性或广义线性回归分析 特别地也适合作一元线性回归分析 Ref editregress m p 重广义线性回归模型 Y的n次独立观察数据 模型设计矩阵X 需要拟合估计的系数向量 误差向量 p 重线性回归模型 最简单的情形 一元线性 多重回归分析 假设的关联数据dchg xls 一次项多重回归 一次项交叉项二次项多重回归 研究样本或指标之间存在程度不同的相似性 亲疏关系 以样本间距离衡量 根据一批样本的多个观测指标 具体找出一些能够度量样品或指标之间相似程度的统计量 以这些统计量为划分类型的依据 把一些相似程度较大的样本 或指标 聚合为一类 把另外一些彼此之间相似程度较大的样本 或指标 又聚合为另一类 直到把所有的样本 或指标 聚合完毕 这就是分类的基本思想 在聚类分析中 根据分类对象的不同分为Q型聚类分析和R型聚类分析两大类 聚类分析 常用的样品对距离 Ref pdist 常用聚类方法 最短距离法 singlelinkagemethod 最长距离法 completelinkagemethod 中间距离法 medianmethod 重心法 centroidhierarchicalmethod 类平均法 averagelinkagemethod 离差平方和法 Wardmethod 与系统聚类法相关的MatLab函数包括 pdist squareform linkage dendrogram cophenet inconsistent cluster clusterdata G6 g1 g2 G7 g3 g4 G8 g5 g7 G9 g5 g8 聚类分析示意图 主成分分析是一种通过降维技术把多个变量化为少数几个主成分 即综合变量 的多元统计方法 这些主成分能够反映原始变量的大部分信息 通常表现为原始变量的线性组合 为使得主成分所包含的信息互不重叠 要求各主成分之间线性无关 MatLab的主成分分析函数pcacov 根据相关系数矩阵进行主成分分析princomp 根据样本观察值矩阵进行主成分分析pcares 根据主成分重建原始数据 主成分分析 Ref zcffx m pcares函数重建数据 为了分析丢掉后面的主成分所造成的信息损失 设原始样本数据矩阵为 由前m个主成分重建的样本数据矩阵