企业培训_数学建模培训统计分析模型与sas软件

2011年数学建模培训统计分析模型与SAS软件张景祥 一 统计学分析方法1 1回归分析1 2聚类分析1 3数据分类1 4判别分析1 5主成分分析1 6因子分析1 7残差分析1 8典型相关分析1 9时间序列 7月10日 培训主要内容 第一部分回归模型第二部分SAS与Excel数据 回归分析模型 一元线性回归一元非线性回归多元线性回归多元非线性回归 主要应用于变量间相关关系的分析 回归这一术语是1886年英国生物学家高尔顿在研究遗传现象时引进的 他发现 虽然高个子的先代会有高个子的后代 但后代的增高并不与先代的增高等量 他称这一现象为 向平常高度的回归 尔后 他的朋友麦尔逊等人搜集了上千个家庭成员的身高数据 y 0 516x 33 73 英寸 分析出儿子的身高y和父亲的身高x大致为如下关系 这意味着 若父亲身高超过父亲平均身高6英寸 那么其儿子的身高大约只超过儿子平均身高3英寸 可见有向平均值返回的趋势 诚然 如今对回归这一概念的理解并不是高尔顿的原意 但这一名词却一直沿用下来 成为统计学中最常用的概念之一 6英寸 3英寸 在回归分析中 当变量只有两个时 称为一元回归分析 当变量在两个以上时 称为多元回归分析 变量间成线性关系 称线性回归 变量间不具有线性关系 称非线性回归 在这一讲里 我们主要讨论的是一元线性回归 它是处理两个变量之间关系的最简单的模型 它虽然比较简单 但我们从中可以了解到回归分析的基本思想 方法和应用 设随机变量y与变量x之间存在着某种相关关系 其中x是能够控制或可以精确测量的变量 为了今后研究方便 我们把x当作普通变量 而不把它看作随机变量 对于x的一组不完全相同的值x1 x2 xn作独立观察 得到随机变量y相应的观察值y1 y2 yn 构成n对数据 用这n对数据可作出一个散点图 直观地描述一下两变量之间的关系 这里有三幅散点图 根据散点图 考虑以下几个问题 1 两变量之间的关系是否密切 或者说我们能否由x来估计y 2 两变量之间的关系是呈一条直线还是呈某种曲线 3 是否存在某个点偏离过大 4 是否存在其它规律 考虑采用线性方程拟合 采用非线性方程拟合 一元线性回归 为了估计山上积雪融化后对下游灌溉的影响 在山上建立了一个观测站 测量了最大积雪深度x与当年灌溉面积y 得到连续10年的数据如下表 年序最大积雪深度x 米 灌溉面积y 公顷 15 1190723 5128737 1269346 2237358 8326067 8300074 5194785 6227398 03113106 42493 为了研究这些数据中所蕴含的规律性 我们由10对数据作出散点图 从图看到 数据点大致落在一条直线附近 这告诉我们变量x和y之间大致可看作线性关系 从图中还看到 这些点又不完全在一条直线上 这表明x和y的关系并没有确切到给定x就可以唯一确定y的程度 事实上 还有许多其它因素对y产生影响 如当年的平均气温 当年的降雨量等等 都是影响y取什么值的随机因素 其中a和b是未知常数 称回归系数 表示其它随机因素对灌溉面积的影响 2未知 y a bx 如果我们只研究x和y的关系 可以假定有如下结构式 实际中常假定 服从正态分布N 0 2 即 y a bx N 0 1 为一元线性回归模型 通常称 由 1 式 我们不难算得y的数学期望 E y a bx 该式表示当x已知时 可以精确地算出E y 由于 是不可控制的随机因素 通常就用E y 作为y的估计 记作 这样我们得到 称此方程为y关于x的回归方程 2 现对模型 1 中的变量x y进行了n次独立观察 得样本 据 1 式 此样本的构造可由方程 y a bx N 0 1 i 1 2 n 4 这里是第i次观察时随机误差所取的值 它是不能观察的 来描述 i 1 2 n 5 4 式和 5 式结合 给出了样本 x1 y1 xn yn 的概率性质 它是对理论模型进行统计分析推断的依据 也常称 4 5 为一元线性回归模型 由于各次观察独立 有 i 1 2 n 4 由于此方程的建立有赖于通过观察或试验积累的数据 所以有时又称其为经验回归方程或经验公式 6 那么要问 如何利用n组独立观察数据来估计a和b 1 用最小二乘法估计a b 首先举例说明最小二乘法的思想 假设为估计某物体的重量 对它进行了n次称量 因称量有误差 故n次称量结果x1 x2 xn有差异 现在用数去估计物重 则它与上述n次称量结果的偏差的平方和是 于是就提出了下面的估计原则 用这种方法作出的估计叫最小二乘估计 最小二乘法认为 一个好的估计 应使这个平方和尽可能地小 寻找 使上述平方和达到最小 以这个作为物重的估计值 这就是最小二乘法 现在的情况是 对 x y 作了n次观察或试验 得到n对数据 我们想找一条直线 尽可能好地拟合这些数据 由回归方程 当x取值xi时 应取值a bxi 而实际观察到的为yi 这样就形成了偏差 依照最小二乘法的思想 提出目标量Q 7 它是所有实测值yi与回归值的偏差平方和 y x 我们可设法求出a b的估计值 使偏差平方和Q达到最小 7 7 我们可设法求出a b的估计值 使偏差平方和Q达到最小 由此得到的回归直线是在所有直线中偏差平方和Q最小的一条 通常可采用微积分中求极值的办法 求出使Q达到最小的 7 即解方程 得 8 其中 从而得到回归方程 按照上述准则 我们可求出前面例子中灌溉面积y对最大积雪深度x的回归方程是 可以看出 最大积雪深度每增加一个单位 灌溉面积平均增加364个单位 可以证明 我们用最小二乘法求出的估计分别是a b的无偏估计 它们都是y1 y2 yn的线性函数 而且在所有y1 y2 yn的线性函数中 最小二乘估计的方差最小 求出回归方程 问题尚未结束 由于是从观察得到的回归方程 它会随观察结果的不同改变 并且它只反映了由x的变化引起的y的变化 而没有包含误差项 1 回归方程是否有意义 即自变量x的变化是否真的对因变量y有影响 因此 有必要对回归效果作出检验 因此在获得这样的回归方程后 通常要问这样的问题 2 如果方程真有意义 用它预测y时 预测值与真值的偏差能否估计 1 回归方程是否有意义 即自变量x的变化是否真的对因变量y有影响 因此 有必要对回归效果作出检验 2 回归方程的显著性检验 对任意两个变量的一组观察 因此需要考察y与x间是否确有线性相关关系 这就是回归效果的检验问题 都可以用最小二乘法形式上求得y对x的回归方程 如果y与x没有线性相关关系 这种形式的回归方程就没有意义 xi yi i 1 2 n 我们注意到只反映了x对y的影响 所以回归值就是yi中只受xi影响的那一部分 而则是除去xi的影响后 受其它种种因素影响的部分 故将称为残差 于是观测值yi可以分解为两部分和 并且也可分解为两部分 因此 y1 y2 yn的总变差为 9 可以证明 即可以分解为两部分 回归平方和与残差平方和 10 10 反映了由于自变量x的变化引起的因变量y的差异 体现了x对y的影响 而反映了种种其它因素对y的影响 这些因素没有反映在自变量中 它们可作为随机因素看待 可见 为x的影响部分与随机因素影响部分的相对比值 它的作用和随机因素的作用相当 于是由数据得到的回归方程就没有什么意义 若它不是显著地大 表明我们所选的x 并不是一个重要的因素 可见 为x的影响部分与随机因素影响部分的相对比值 如果它显著地大 表明x的作用是显著地比随机因素大 这样 方程就有意义 通常我们可假设y和x没有线性相关关系 对回归方程是否有意义进行显著性检验 11 因此用 来检验b的绝对值是否显著大于0 或者说检验回归方程是否有意义 可以证明 F 1 n 2 12 给定显著性水平 通过查F分布分位数表 求出否定域 便可判断回归方程是否有意义 拒绝域为 由上面的讨论可知 要问回归方程是否有意义 就是要检验假设 H0 b 0 H1 b 0 使用的检验统计量为 F 1 n 2 我们可以用更简单的公式计算回归平方和与残差平方和 14 13 现在对例中建立的回归方程进行检验 可计算得 3393025 3318355 355 5 对 0 01 由F表查得 11 26 由于F 故回归方程有意义 当检验认为回归方程确有意义 则可用来进行予测或控制 这也是建立回归方程的重要目的 对给定的x值 由回归方程就可得的值 3 预测 当已知最大积雪深度为9 2米时 就可以预测灌溉面积 142 364 9 2 3489 公顷 由灌溉面积y对最大积雪深度x的回归方程 例如 实际的y与预测的不一定相等 重要的是它们的偏差有多大 即 事实上我们无法确切定出y 的值 只能估计的范围 通常可假定 通过对 的估计 就知道的取值范围 已知有 所以 根据建立回归方程时算得的 可以算得 于是可以用去估计标准差 记它为 用3倍标准差准则 就有 16 17 这样估计y的值落在区间 内或 内 相应的概率分别为0 99和0 95 可见 利用回归方程预测y 可归结为 对给定的x 以一定的置信水平预测对应的y的观察值的取值范围 即所谓预测区间 比如 某一年测得最大积雪深度为9 2米 以99 的置信水平预测灌溉面积在3199公顷与3779公顷之间 根据 上面的方法中 由于是估计值 上面两式只是近似式 在一些要求不高的问题中 这是可行的 如要求出更为精确的值 可进一步查阅回归分析的书 在许多实际问题中 两个变量之间并不一定是线性关系 而是某种曲线关系 应该用曲线来拟合 在有些情况下 可以进行适当的变量代换 把它线性化 这样就把一个非线性回归问题化为线性回归问题而得以解决 非线性回归问题 非线性回归模型 当自变量与因变量存在某种曲线相关关系时 可拟合曲线回归模型 例如 双曲线 a 0b 0 a 0b 0 x x y y 指数曲线 y aebx b 0 b 0 x x y y y 幂函数曲线 y axb a 0b 0 x y b 1 b 1 b 1 曲线模型的判别方法 理论和经验判断 观察散点图 曲线模型的确定方法 通常用变量代换法将曲线转换为直线 按线性模型求解参数 而后再变换为曲线模型 线性回归 多元线性回归模型 1 多元线性回归模型的性质与模型的确定 二元线性回归模型 总体多元线性回归模型的一般形式 Y的数学期望E Y 随机误差 表明自变量 共同变动引起的Y的平均变动 也称总体的二元线性回归方差 常数项 和Y构成的平面与Y轴的截距 偏回归系数 表示在固定时每变化一个单位引起的Y的平均变动 案例 偏回归系数 表示在固定时每变化一个单位引起的Y的平均变动 随机误差 其理论假定与一元线性回归模型中的一样 在多元回归模型中 还要求各自变量之间不存在显著相关 或高度相关也即不得存在多重共线性 样本多元线性回归模型的一般形式 二元线性回归模型为 其数学期望 也称样本 或估计的 二元线性回归方程 二元线性回归方程的确定 根据实际资料 用最小平方法 即使 分别对a b1 b2求编导并令其为零 求得三个标准方程 解此联立方程便可得到a b1 b2 2 多元线性回归模型的判定系数和估计标准误 判定系数 0 r2 1 修正的判定余数 估计标准误 Sy x1 x2 r2和Sy x1 x2 都是对回归模型拟合优度的评价指标 Sy x1 x2 也是用自变量对因变量进行区间估计的抽样误差 3 多元回归模型的显著性检验 对偏回归系数的t检验 H0 1 0 H1 1 0 H0 2 0 H1 2 0 检验统计量 按显著性水平 和自由度 n 3 查t表可得到临界值 t 0 模型整体的F检验 检验统计量 k 自变量个数 或 按给定的 和自由度 2 和 n 3 查F表可得到临界值 F 4 多元回归中的相关分析 复相关 指一个因变量同多个自变量的相关关系 复相关系数恒取正值 偏相关 净相关 指各个自变量在其他自变量固定不变时 单个变量同因变量的相关关系 计算偏相关系数需借助相关系数矩阵表的资料 二元回归中的相关系数矩阵表 y y x1 x1 x2 x2 ry1 ry2 r12 1 00 1 00 1 00 x1与y的偏相关系数 x2与y的偏相关系数 案例 5 应用多元回归方程进行区间估计 Y的平均值的区间估计 Y的特点值的区间估计 式中 是 即区间估计的抽样误差 的抽样分布的标准差 式中 是 的抽样分布的标准差 即区间估计的抽样误差 牙膏的销售量 问题 建立牙膏销售量与价格 广告投入之间的模型 预测在不同价格和广告费用下的牙膏销售量 收集了30个销售周期本公司牙膏销售量 价格 广告费用 及同期其它厂家同类牙膏的平均售价 基本模型 y 公司牙膏销售量 x1 其它厂家与本公司价格差 x2 公司广告费用 x1 x2 解释变量 回归变量 自变量 y 被解释变量 因变量 0 1 2 3 回归系数 随机误差 均值为零的正态分布随机变量 MATLAB统计工具箱 模型求解 b bint r rint stats regress y x alpha 输入 x n 4数据矩阵 第1列为全1向量 alpha 置信水平 0 05 b 的估计值 bint b的置信区间 r 残差向量y xb rint r的置信区间 Stats 检验统计量R2 F p y n维数据向量 输出 由数据y x1 x2估计 结果分析 y的90 54 可由模型确定 F远超过F检验的临界值 p远小于 0 05 2的置信区间包含零点 右端点距零点很近 x2对因变量y的影响不太显著 x22项显著 可将x2保留在模型中 模型从整体上看成立 销售量预测 价格差x1 其它厂家价格x3 本公司价格x4 估计x3 调整x4 控制价格差x1 0 2元 投入广告费x2 650万元 销售量预测区间为 7 8230 8 7636 置信度95 上限用作库存管理的目标值 下限用来把握公司的现金流 若估计x3 3 9 设定x4 3 7 则可以95 的把握知道销售额在7 8320 3 7 29 百万元 以上 百万支 模型改进 x1和x2对y的影响独立 两模型销售量预测比较 百万支 区间 7 8230 8 7636 区间 7 8953 8 7592 百万支 控制价格差x1 0 2元 投入广告费x2 6 5百万元 预测区间长度更短 略有增加 x2 6 5 x1 0 2 x1 x1 x2 x2 两模型与x1 x2关系的比较 交互作用影响的讨论 价格差x1 0 1 价格差x1 0 3 加大广告投入使销售量增加 x2大于6百万元 价格差较小时增加的速率更大 x2 完全二次多项式模型 MATLAB中有命令rstool直接求解 从输出Export可得 第二部分SAS与Excel数据 SAS系统是用于数据分析与决策支持的大型集成式模块化软件包 其早期的名称为StatisticalAnalysisSystem SAS系统介绍 DATA 数据访问 BaseSASACCESSMDDBServerODBC 数据管理 BaseSASFSPSHARECONNECTASSISTWarehouseAdmin MDDBServer 数据分析 BaseSAS STAT ETS OR QC IML INSIGHT NNA LAB SPECTRAVIEW 数据呈现 BaseSASGRAPH GIS CALC INSIGHT SPECTRAVIEW ASSIST 开发工具 AFEISFSP 分布式计算环境 CONNECTSHAREIntrNET TheSASSystem 启动SAS 在Windows桌面系统下双击SAS图标 SAS系统简介SAS提供的基本运行环境 或运行SAS系统目录下 例C SAS 的可执行程序sas exe 常用的是交互运行方式 也可用提交批作业方式运行的 工作界面介绍 74 SAS为交互方式运行提供的环境显示管理系统下拉菜单 弹出菜单 命令框 工具栏三个基本窗口PROGRAMEDITOR窗口 LOG窗口 OUTPUT窗口 访问和编辑已有的SAS程序编写新的SAS程序递交SAS程序将SAS程序存为文件 是一个基本的窗口 缺省地打开依次记录SAS进程中各程序运行的信息可用命令清空 是一个基本的敞口 缺省地打开依次记录程序输出的结果有结果输出时自动转到前台 SAS编程基本概念 用户提交的SAS程序由许多程序步构成 数据步DataStep 过程步ProcStep 原始数据 SAS表 SAS表 报告 数据步常用于创建数据集 过程步常用于处理数据集 生成报表 图形和实现数据分析功能 一 SAS与Excel数据的转换1 SAS数据输入 了解SAS数据步语言的格式 2 调用Excel数据3 SAS输出结果的保存与转化成Excel数据二 数据图表与曲线 掌握SAS数据步语言的作用 格式 DATA数据集名 功能 标志数据步的开始 并定义所建数据集的名称 例 DATAa DATAb 1 DATA语句 2 INPUT语句 格式 INPUT变量名表 功能 读入由语句指定的数据列 为相应数据定义变量名 确定变量格式及读入方式 1 列表输入或自由格式 例 INPUTNAME AGEHEIGHT 说明 表示NAME为字符型变量 表示连续读入记录 如果缺省 表示仅读CARDS下每行第一个记录 3种描述记录值的方法 2 列方式 例 INPUTNAME 1 20SEX 22AGE24 25 说明 要求各变量数据在数据区排列在固定区域 在INPUT语句的变量表中要在变量名后指出该变量所占的列范围 3 格式化输入 例 INPUTNAME 10 HEIGHT4 2 说明 要求在变量后给出一个输入格式 用来说明变量的数据类型和字段的宽度 3 CARDS语句 格式 CARDS 数据块 功能 引导数据行 例 dataa1 inputnum name weight cards 081kong60 5082zhao64083wang59 5 procprint run 4 赋值语句 格式 Z X Y Y Y 1 功能 利用现有变量产生新变量 datab1 inputxy z sqrt x y abs y z cards procprint run 例 1244166 5 SET语句 常用格式 SET数据集1数据集2 功能 调用SAS数据集或纵向联接数据集 数据步语句 例 DATAB SETA 打开数据集B 并从数据集A读入数据 DATAC SETAB 将A和B纵向联接起来 存放在数据集C中 SAS程序实例 datab1 inputname ageheight cards procprint run datab2 inputname ageheight cards procprint run datab3 setb1b2 procprint run SAS语言基础 fang17165 2ning19167 1zhou20168 9 wang18156 3cheng21180 2 创建数据集的途径 1 将数据行直接写在CARDS语句后 以 结束 例 dataa inputxy cards 123456 2 其他软件产生的标准格式文件与SAS数据集之间的互相转换 如 DBF XLS文件等 File importdataexportdata 3 利用已经创建的数据集产生所需的新数据集 使用SET语句 MERGE语句可利用已创建的数据集产生所需的新数据集 SET 纵向联接MERGE 横向联接 4 从外部文件读取数据 使用INFILE语句指定从哪一文件中读入数据 例 DATAst03 INFILE d 统计实习 st03 txt INPUTnum name sex height PROCPRINT RUN 练习 建立数据集st1 包含以下数据 建立数据集st2 包含以下数据 将st1 st2纵向合并 存放在数据集st中 并生成新变量z z为y值取常用对数 附录一 SAS数据输入和调用Excel数据 SAS输出结果转化成Excel表格 SAS一维数据输入 dataE21 inputN x1x2x3 说明N是字符型变量 N后加 y x1 x2 z x1 x2 u x1 3 用加 乘 乘方产生新变量 cards 说明以下输入数据 A1 12 63 8B4 55 76 0C7 68 29 7 空语句说明数据输入结束 Procprint 有此打印语句则在output窗口有输出 否则只在explore work储存 run SAS程序不区分大小写字母请看演示 SAS数据输入 带三个下标的一维变量Rijr SAS数据输入 带二个下标的二维变量 x y ij SAS输出结果转化成Excel表或进行修改的方法 将SAS的输出结果保存后 重点ProgramEditor 点File 点Open 文件类型 选中 AllFiles 打到该文件后 右击 选中记事本打开方式 重新存入某位置 要记住该位置 如果需要修改或解释此时可在记事本上进行 打开空白Excel 数据 导入外部数据 导入数据 找到记事本所在位置并打开 按提示进行Example 将SAS数据文件f66转化成Excel文件1 打开SAS 运行p252 点击save保存 设起名为f66out 3 点击ProgramEdit后 点File Open 文件类型选择为AllFile后找到保存的文件 右击文件名f66out 选择用记事本打开 并重新保存在某位置 4 打开空白Excel 数据 导入外部数据 导入数据 找到记事本所在位置并打开f66out 按提示进行 选择按 固定宽度 最后对Excel文件保存 插值与回归 拟合 由数据表研究变量x与y的关系插值问题 例1 机翼与样条函数2 降雨量特点 要求 插值 函数经过数据点回归问题 例蒸汽量与气温 例E621 特点 要求回归方程在数据点附近经过 回归分析 问题 研究一个或多个连续变量x1 x2 xp和连续变量y之间的关系 给出回归方程 在现实世界中 存在着大量这样的情况 一个变量和一个或多个变量 譬如y和x1 x2 xp有一些依赖关系 由x1 x2 xp可以部分地决定y的值 但这种决定往往不很确切 常常用来说明这种依赖关系的最简单 直观的例子是体重与身高 腰围 若用x1表示某人的身高 用x2表示某人的腰围 用y表示他的体重 众所周知 一般说来 当x1 x2大时 y也倾向于大 但由x1 x2不能严格地决定y 类似的例子还很多 变量之间的这种关系称为 相关关系 回归模型就是研究相关关系的一个有力工具 回归方程的最小二乘估计 一元线性回归的例6 2 1dataE621 inputmumber yx cards 数据略 procprint run 请看演示 例6 2 1散点图 回归模型的检验 SAS不能替我们选择模型 模型的选择是我们决定的 但SAS可以帮我们判断模型选择的好坏 与此有关的就是方程的显著性检验和失拟检验 看例dataE123 inputxy cards 0 11 100 21 360 31 380 41 450 51 560 61 410 71 390 81 360 91 081 00 96 procprint run 用直线拟合数据E123 用抛物线拟合数据E123 关于参数的线性模型 例6 6 1经钻探某地区煤矿上表面高度数据如表6 6 1 其中x为横坐标 y为纵坐标 为了作趋势面分析 建立上表面高度h的回归方程 我们用二次多项式拟合这组数据 从而建立回归模型h b0 b1x b2y b3x2 b4xy b5y2 6 6 1 其中 是零均值随机变量 结合表6 6 1 我们得表6 6 1地质钻探数据 只要令x2 x2 xy x y y2 y2 则模型 6 6 1 式就变成5个自变量的线性回归模型 y b0 b1x b2y b3x2 b4xy b5y2 6 6 2 从而可以用线性回归的计算公式和检验方法 用SAS软件来计算例6 6 1的程序是datacorn 数据h可看成带行 列下标的变量 dox 2to3by0 25 doy 6to4by 0 5 inputh x2 x x xy x y y2 y 2 output end end card