ch01_1.ppt

数据统计分析方法 课程简介 2 上课时间每周4学时 2学时教师主讲 1 18周 2学时机房上机 2 18周 主讲教师 杨先娣Email xiandiy 公共邮箱 yaoganjisuanji 密码 yaogan123456希望大家共同维护 课程简介 专业选修课 数据统计分析方法 数据统计分析实践 2 1学分成绩核算平时成绩 30 实验和作业 25 考勤 5 期末考试 70 闭卷 机考 分析数据及结果 注意 期末考试低于55分者以期末考试成绩为最终成绩本课程需要的基础 统计知识计算机基础及编程基础 可同时上选修课 数据库的基本操作 今后有实时 海量数据处理和分析的需求 3 学习目标 掌握SAS的界面使用和基本编程使用 为学习和应用SAS的其他专业功能奠定坚实的基础 使用SAS进行数据分析和处理 4 第1章SAS基础 5 什么是统计分析 百度百科 的定义统计分析是指运用统计方法及与分析对象有关的知识 从定量与定性的结合上进行的研究活动 它是继统计设计 统计调查 统计整理之后的一项十分重要的工作 是在前几个阶段工作的基础上通过分析从而达到对研究对象更为深刻的认识 它是在一定的选题下 集分析方案的设计 资料的搜集和整理而展开的研究活动 系统 完善的资料是统计分析的必要条件 6 常用统计软件 SAS StatisticalAnalysisSystemSPSS StatisticalProductandServiceSolutions是世界上最早采用图形菜单驱动界面的统计软件 它最突出的特点就是操作界面极为友好 输出结果美观漂亮 但其统计分析功能与SAS相比仍有一定欠缺 MINITABMinitab是为质量改善 教育和研究应用领域提供统计软件和服务的软件 7 几种统计软件 MATLAB MatrixLaboratory是矩阵实验室 MatrixLaboratory 的简称 是美国MathWorks公司出品的商业数学软件 用于算法开发 数据可视化 数据分析以及数值计算的高级技术计算语言和交互式环境 S PLUS由AT T贝尔实验室开发的一种用来进行数据探索 统计分析 作图的解释型语言 R研究统计算法的实现 希望自己可以修改程序中的代码 免费 源代码开放 8 参考文献 汪海波 SAS统计分析与应用从入门到精通 人邮出版社阮敬 SAS统计分析从入门到精通 人邮出版社黄燕 吴平 SAS统计分析及应用 机械工业出版社何宁 滕冲 统计分析系统SAS与SPSS 9 第一章SAS基础 1 1初识SAS1 2初识INSIGHT模块1 3初识 分析家 1 4SAS编程初步 1 1 1SAS简介1 1 2使用SAS1 1 3SAS对数据文件的管理 10 SAS与统计分析在众多的统计软件中 SAS以运行稳定 功能强大而著称 近20年来 SAS一直占据着统计软件的高端市场 用户遍及金融 医药卫生 生产 运输 通讯 政府和教育科研等领域 在数据处理和统计分析领域 SAS系统被誉为国际上的标准软件 堪称统计软件界的巨无霸 只租不卖的经营模式全球第一大私营软件供应商 拒绝上市 1 1 1SAS简介 11 SAS与统计分析在英美等国 能熟练使用SAS进行统计分析是许多公司和科研机构选才的条件之一 例如 在以苛刻严格著称于世的美国FDA新药审批程序中 新药试验结果的统计分析规定只能用SAS进行 其他软件的计算结果一律无效 哪怕只是简单的均数和标准差也不行 由此可见SAS的权威地位 在国际学术界有条不成文的规定 凡是用SAS统计分析的结果 在国际学术交流中可以不必说明算法 由此可见其权威性和信誉度 1 1 1SAS简介 12 SAS的应用领域SAS广泛应用于金融 保险 临床研究 医药开发 市场调查 政府监管和教育部门等 SAS是全球领先的商业智能软件供应商 全球用户超过43 000家企业 领跑国内BI市场 SAS软件能够帮助客户从海量数据中获取智能信息以提高企业绩效 从而更快 更准确地传达决策信息 加强和伙伴 供应商之间的互利合作关系 从战略管理和运营管理两个层面同时推动企业发展 教育清华大学经济管理学院使用SAS作为MBA高级数据模型决策课程的伙伴软件 北京大学光华管理学院的硕士和博士生要求必修 统计分析计算机软件 课程 政府中国海关使用SAS来审核偷税漏税 指导地方当局和打击走私五角大楼官员依赖SAS智能来出台政策健康 保险 电信 制造 生命科学等 财富 杂志评出的世界500强中 有90 都使用SAS软件和方案 1 1 1SAS简介 13 SAS的应用SAS认证与数据挖掘 商业智能职业发展数据挖掘 DataMining 就是从大量数据中发现潜在规律 提取有用知识的方法和技术 因为与数据库密切相关 又称为数据库知识发现 KnowledgeDiscoveryinDatabases KDD SAS的一个组件EnterpriseMiner是最流行的数据挖掘工具之一 和IBM的DB2IntelligentMiner 微软的MicrosoftSQLServer2005DataMining以及SPSSClementine等齐名 而且SAS公司一直是数据仓库的引导者 1 1 1SAS简介 14 SAS的应用SAS认证与数据挖掘 商业智能职业发展SAS不止是一个统计软件 它已经发展成为一个大型的商业智能 BI 平台 商业智能 BusinessIntelligence 简称BI 就是将智能计算技术应用于传统商业领域 从而提高数据分析能力 优化业务过程 提高企业竞争力 虽然商业智能的普及仅仅是最近几年的事情 但已经渗透到金融 电信 零售 医药 制造 政府等各个行业和领域 成为大中型企业经营决策的重要组成部分 1 1 1SAS简介 15 SAS的版本介绍SAS是在1960年代末期由两位北卡州立大学 NorthCarolinaStateUniversity 统计系的教授开发 1976年 SAS软件研究所 SASInstituteInc 成立 开始进行SAS系统的开发 维护 销售和培训工作 SAS软件是用汇编语言编写的 早期SAS只能运行在大型机上 现在SAS系统可以在各种大型机 小型机 工作站和微机上运行PC版本的SAS于1987年推出 V6 02 1989年推出SAS PC V6 04 版本 1997年下半年推出适用于多种操作系统的V6 12版本 Windows版 2000年2月又推出SAS系统V8版本 2001年推出SAS系统V8 2版本 2002年推出全新的SAS9版本 目前 SAS9 3版本已经体验上市 由于SAS是租给用户用 费用很贵 因此出现很多破解版本课程教学版本为V9 1 3 1 1 1SAS简介 16 SAS在中国的发展SAS公司于1989年在北京成立了办事处1997年 SAS软件研究所正式宣布成立大中国区1999年3月在国内设立独资公司 赛仕软件 上海 有限公司 1 1 1SAS简介 17 SAS的功能模块SAS系统是由众多模块组成的系统 其中BaseSAS模块是SAS系统的核心 其它各模块均在BaseSAS提供的环境中运行 用户可选择需要的模块与BaseSAS一起构成一个用户化的SAS系统 1 1 1SAS简介 18 BaseSAS作为SAS系统的核心 负责数据管理 交互应用环境管理 进行用户语言处理以及调用其它SAS模块 BaseSAS为SAS系统的数据库提供了丰富的数据管理功能 还支持标准的SQL语句对数据进行操作 SAS GHAPH可将数据及其包含着的深层信息以多种图形生动地呈现出来 如直方图 饼图 星形图 散点相关图 曲线图 三维曲面图 等高线图及地理图等 SAS的功能模块 19 SAS ASSIST是面向任务的易学易用模块 为SAS系统提供了面向任务的菜单界面 借助它可以通过菜单系统来使用SAS系统的其它产品 SAS AF是一个面向对象编程 OOP 的应用开发工具 用户使用SAS AF可将包含众多功能的SAS软件作为方法库 利用SAS AF的屏幕设计能力以及屏幕控制SCL语言的处理能力来快速开发各种功能强大的应用系统 SAS的功能模块 20 SAS EIS是决策工具 也是一个用于开发企业信息系统的快速应用开发工具 SAS ACCESS为了对众多不同格式的数据进行查询 访问和分析 SAS ACCESS提供了与目前许多流行数据库软件的接口 利用SAS ACCESS可建立访问外部其他数据库的一个统一的公共数据界面 SAS STAT覆盖了所有的实用数理统计分析方法 是国际统计分析领域的标准软件 SAS STAT提供了十多个过程 可进行各种不同模型或不同特点数据的回归分析 如正交回归 面回归 响应面回归 logistic回归 非线性回归等 且具有多种模型选择方法 SAS的功能模块 21 SAS ETS用于时间序列处理 提供丰富的计量经济学和时间序列分析方法 是研究复杂系统和进行预测的有力工具 它提供方便的模型设定手段 多样的参数估计方法 SAS GIS是集地理信息系统与空间数据显示分析于一体的软件 SAS的功能模块 22 SAS OR运筹学和工程管理SAS QC质量控制SAS IML矩阵运算SAS TOOLKIT扩充工具 把用其他软件编写的程序转化成SAS的组成部分SAS WarehouseAdministrator数据仓库管理SAS EnterpriseMiner数据挖掘SAS TextMiner文本挖掘SAS SHARE数据库的并发式控制专门软件 SAS的功能模块 23 SAS CONNECT使各平台SAS系统进行分布式处理 从而有效利用各平台机器资源SAS SPECTRAVIEW数据可视化分析工具 用几何成像的方式来分析多维数据SAS Intrnet提供构建基于SAS的企业内部网络支持SAS FSP快速数据处理的交互式菜单系统SAS CALC功能完善的多维电子表格软件SAS ENGLISH提供利用自然英语获取信息的能力 SAS的功能模块 24 SAS SECURE网络传输加密SAS OLAPSERVER多维数据存储及汇总结果呈现SAS GENETICS SAS公司的第一个科学研究应用软件 应用于遗传学 有5个分析过程SAS High PerformanceForecasting 提供快速高效的预测结果SAS C SAS C 针对IBM大型机的开发工具SAS LAB向导式的数据分析软件 特别针对day to day类型数据 SAS的功能模块 25 对于常用的一些统计分析方法 SAS系统中的如下三种方法可以达到同样的目的 INSIGHT 交互式数据分析 Analyst 分析家 直接编程 1 1 2使用SAS 26 SAS系统的安装在SAS9 1 3文件夹中打开setup exe 左键双击 如果是win7 则要用管理员账号登陆计算机 然后 右击setup exe 选择属性后 选择用兼容模式运行这个程序 安装程序首先提示用户选择安装语言 如图 1 1 2使用SAS 27 SAS系统的安装选择 中文 简体 后单击 确定 按钮 打开SAS9 1 3安装主界面 如图所示 1 1 2使用SAS 安装文件包在公共邮箱中 解压缩后建立一个安装文件夹 SAS9 1 3 详细安装步骤见安装文件夹 sas9 1 3 使用过的破解 中的安装图解文件 需要教师演示Winrar 28 SAS系统的安装SAS系统安装成功后 在 开始 程序 菜单下创建有 SAS 程序组 该程序组中包含SAS快捷方式 如图所示 1 1 2使用SAS 29 SAS的启动在Windows环境中 用如下方法可以进入SAS系统的窗口运行环境 用鼠标选择系统菜单项 开始 程序 sas SAS9 1 简体中文 如果SAS安装系统在桌面上建立有快捷方式图标 双击SAS EXE图标启动SAS 生成SAS EXE的快捷方式 把SAS EXE用鼠标右键拖到桌面 双击SAS EXE图标启动SAS 1 1 2使用SAS 30 SAS的操作界面SAS系统启动后 进入SAS操作界面 SAS操作界面的标准名称为SASApplicationWorkSpace SAS应用工作空间 简称SASAWS 如同其它许多Windows应用程序一样 SASAWS是一个多窗口界面 在一个主窗口内包含若干个子窗口 并有菜单栏 工具栏 状态栏等 1 1 2使用SAS 31 32 子窗口SAS子窗口有十几个 但初始状态下能见到的是最常用的五个子窗口 Explorer窗口 资源管理器窗口 Editor窗口 增强的程序编辑器 Log窗口 记录程序的运行情况 Output窗口 显示SAS程序中各过程的运行结果 Results窗口 管理SAS程序的输出结果 1 1 2使用SAS 33 资源管理器窗口 在资源管理器窗口 Explorer窗口可以管理逻辑库和各种SAS文件选择菜单项 View Explorer 可以打开Explorer窗口包含有四个图标 34 程序编辑窗口 程序编辑窗口是SAS系统中最常用的窗口之一 其主要功能如下 输入并编辑文字 包括程序语句 提交程序文件执行 保存或回调源文件 保存程序文件的扩展名是 sas 回调已执行的SAS程序语句 加以修改后 再提交执行 35 增强型编辑器 增强型编辑器是一个ASCII编辑器 它使用视觉辅助系统如不同颜色 代码分段等帮助用户编写调试SAS程序 36 结果窗口 用户选择 查看 菜单中的 结果 或单击 结果 Results 标签可以切换到结果窗口 在结果窗口中列出了SAS系统的输出过程 37 日志窗口 日志窗口用于输出程序在运行时的各种有关信息 菜单项 View Log 可以打开Log窗口 主要有以下几项内容 程序行 用黑色表示提示 用蓝色表示警告 用绿色表示错误 红色用户可以保存日志窗口中的信息 其文件扩展名为 log 38 输出窗口 输出窗口的主要功能是显示各个过程的分析结果 用户可以保存结果并进行修改 打印等处理 保存的结果文件扩展名为 lst 39 菜单栏SAS主窗口标题栏下是主菜单 SAS菜单是动态的 其内容随上下文而不同 即光标在不同窗口其菜单也不同 工具栏工具栏也是动态的 当光标在编辑窗口时工具栏图标的解释如P4表1 1 其中提交程序按钮最为常用 点击该按钮即可运行Editor窗口中的SAS程序 40 状态栏SAS界面的状态栏中显示当前工作目录 这是文件打开 保存的缺省目录 双击此处可以更改当前工作目录 SAS的退出在SAS应用工作空间中用鼠标单击关闭按钮 或者选择菜单 File Exit 打开 Exit 对话框 单击 确定 按钮 即可退出SAS 41 SAS文件存储在SAS逻辑库中一个逻辑库就是存放在同一文件夹中的一组SAS文件在SAS系统的信息组织中 总共只有两个层次 SAS逻辑库是高一级的层次 低一级的层次就是SAS文件本身 即 逻辑库名 文件名SAS逻辑库临时库 名为WORK 系统自动指定永久库 可由用户定义 1 1 3SAS对数据文件的管理 42 SAS每次启动时会自动指定5个逻辑库Work Sasuser Sashelp Gismaps MapsSasuser库保存与用户个人设置有关的文件Sashelp库保存与SAS帮助系统 例子有关的文件 1 1 3SAS对数据文件的管理 43 SAS文件是指储存在SAS逻辑库中的成员 SAS的用户文件的主要类型有 SAS数据集 SAS程序 如在Sasuser库下建立一个名为Mydata的数据集 访问的时候 要用Sasuser mydata 如果不指明逻辑库名 则表示存储在临时逻辑库WORK中的SAS文件 1 1 3SAS对数据文件的管理 44 用户自定义SAS逻辑库交互方式命令方式Libname逻辑库名 SAS文件的存储目录 逻辑库和SAS文件 45 逻辑库和SAS文件 Libnameaa e sasdata Dataaa class Sas中数据集aa Class Windows下文件Class sas7bdat 定义一逻辑库aa新建一数据集class 46 逻辑库和SAS文件 用资源管理 浏览 器查看逻辑库进入浏览器窗口即可查看SAS文件库的属性和内容库名处点鼠标右键选属性可显示该库属性 47 SAS的名字SAS的名字 数据集名 变量名 逻辑库名等等 有以下命名规则 1 由英文字母 数字 下划线组成 2 第一个字符必须是字母或下划线 3 不区分大 小写字母 另外 SAS逻辑库名最多用8个字符 数据集和变量的名字最多用32个字符 1 1 3SAS对数据文件的管理 48 SAS数据集是SAS文件的一种 是SAS的核心 打开已有的数据集 打开已有的数据集在 SAS资源管理器 下 双击 逻辑库 Sasuser class 一列为一个变量 一行为一条观测 生成示例数据集 解决方案 分析 分析家工具 样本数据在对话框中选择需要的示例数据集 SAS数据集是SAS文件的一种 是SAS的核心 打开已有的数据集 打开已有的数据集在 SAS资源管理器 下 双击 逻辑库 Sasuser class 50 SAS数据集一般由以下两部分组成 1 描述部分包含该数据集的一般信息 包括 数据集的名字及其成员类型 数据集建立的日期和时间 观测的数目 变量的数目以及数据集中每一个变量的特征信息 包括 Name 变量名 Type 类型 Length 长度 Format 输出格式 Informat 输入格式 Label 标签 2 数据部分包含该数据集中收集的数据的值 可以看作是一个矩形的表格 打开已有的数据集 51 导入Excel数据表的步骤如下 1 在SAS应用工作空间中 选择菜单 File ImportData 打开导入向导 ImportWizard 第一步 选择导入类型 Selectimporttype 2 在第二步的 Selectfile 对话框中 单击 Browse 按钮 在 打开 对话框中选择所需要的Excel文件 返回 然后 单击 Option 按钮 选择所需的工作表 数据集的导入 52 3 在第三步的 Selectlibraryandmember 对话框中 选择导入数据集所存放的逻辑库以及数据集的名称 4 在第四步的 CreateSASStatements 对话框中 可以选择将系统生成的程序代码存放的位置 完成导入过程 数据集的导入 Try 1 Word文件导入成为数据集文本文件导入成为数据集2 数据集导出为excel电子表格 53 如何创建数据集呢 54 启动viewtable窗口方法一 在命令行中输入 viewtable 方法二 选择主菜单 工具 表编辑器 调用viewtable窗口建立数据集 55 用VIEWTABLE窗口建立数据集 创建数据集打开VIEWTABLE窗口单击表头顶端单元格 输入变量名在变量名下方单元格中输入数据变量类型的定义 右击变量名 columnattributes 56 保存数据集单击文件 保存或另存为选一个库名定义数据集名打开已有数据集方法一 工具 表编辑器文件 打开 方法二 在SAS资源管理器下双击数据集名 57 4 编辑表 菜单 编辑 下 改变打开模式 编辑 浏览改变访问模式 行级编辑模式 表级编辑模式添加行复制行删除行查找数据 查找数据中的操作符 EQ NE GT LT GE LE 用VIEWTABLE窗口建立数据集 菜单 数据 下 5 数据操作显示数据子集 数据 where 取消子集显示 数据 where清除 数据排序 数据 排序 6 改变数据显示列次序重排 数据 隐藏 取消隐藏 固定某些列不滚动 数据 固定 7 导入 导出数据 用VIEWTABLE窗口建立数据集 在VIEWTABLE窗口打开的情况下 文件 类似 复制表结构 文件 引用 复制表结构与内容 用VIEWTABLE窗口建立数据集 作业1 1 在网络上搜索你感兴趣的SAS应用案例 将其编辑为WORD文档 上传到你的网络磁盘2 创建一个逻辑库mylib 关联你的计算机中D盘SASDATA文件夹 3 p31 3将10位同学的姓名 身高 年龄 体重等数据 新建一个名为test1的数据集 存放在mylib逻辑库中 第一章SAS基础 1 1初识SAS1 2初识INSIGHT模块1 3初识 分析家 1 4SAS编程初步 1 2 1调用INSIGHT模块1 2 2INSIGHT的功能概述1 2 3数据的预处理操作 62 INSIGHT的功能概述INSIGHT是一个交互式的数据探索和分析的工具 用这一模块可以 通过多窗口连动的图像和分析结果 对数据进行探索 分析单变量分布 用相关和主成分研究多变量间的关系 用方差分析和回归分析拟合变量间关系的模型 SAS INSIGHT也可以创建和编辑数据集 1 2用INSIGHT创建数据集 63 启动insight模块单击菜单 解决方案 分析 交互数据分析 启动SASINSIGHT模块在SAS的命令行键入 insight将打开 SASINSIGHT Open 对话框 1 2用INSIGHT创建数据集 64 启动SASINSIGHT模块 在 SASINSIGHT Open 对话框的 逻辑库 列表框中 选定库逻辑名单击 新建 按钮在行列交汇处的数据区输入数据值 如图 变量名在缺省情况下分别用A B C等命名 双击变量名处作更改 1 2用INSIGHT创建数据集 65 确认输入用 回车 变量分为两种类型 字符型变量和数值型变量 在INSIGHT中 为了区分变量在分析中的不同作用 又按变量的测量水平分为两类 区间型变量 intervalvariable 区间型变量必须是数值型变量 可以对其观测值进行四则运算 计算各种统计量 列名型变量 nominalvariable 列名型变量可以是数值型的 也可以是字符型的 在INSIGHT中常起分类作用 1 2用INSIGHT创建数据集 66 Insight下数据集的保存 打开 数据集的保存 文件 保存 数据 选择保存的逻辑库名 并输入数据集名 单击 确定 按钮 即可保存新建的数据集 在insight下 数据集的打开 启动SASINSIGHT模块 在 SASINSIGHT Open 对话框中打开数据集 编辑 窗口 字体 可更改数据字体 67 用鼠标单击在数据表左上角的三角形按钮 系统弹出对数据表进行编辑的快捷菜单 1 2 3数据的预处理操作 68 查找下一个 翻卷数据窗口到下一个被选择观测 若没有被选中的观测值 则翻卷一个观测值 移至第一个 将选中的观测或变量分别移至数据窗口的第一行或第一列 移至最后 将选中的观测或变量分别移至数据窗口的末行或末列 或 选择 编辑 窗口 工具 打开 工具 对话框单击手形按钮 光标变为手形 鼠标指向移动变量的顶部 按住鼠标左键拖动到适当的地方即可 1 2 3数据的预处理操作 69 排序 根据一个或几个变量对观测排序 新建观测 插入空行 以便输入新观测值 新变量 加入空列 以便输入新变量 定义变量 重新定义变量 创建新的变量 可通过原变量的关系定义新的变量 如 根据学生体重与身高之比建立新变量D weight 1 2 3数据的预处理操作 70 填充值 修改该数据窗口的数据值 可生成常数或以常数为增量的变量值 抽取 从已存在的数据窗口抽取数据子集来生成新的数据窗口 例 抽取数据集class中的所有男生数据 新生成数据集class boy 1 选择主菜单 编辑 观测 查找 打开 查找观测 对话框 确定建立新数据表的关系式 如图2 单击 确定 按钮 数据窗口中所有男生的观测被选中 3 单击数据窗口左上角处的三角按钮 打开菜单 选择 抽取 生成新数据集 4 文件 保存 数据 保存新生成的数据集 1 2 3数据的预处理操作 71 数据选项 设置控制数据窗口外观和操纵的选项 1 2 3数据的预处理操作 72 第一章SAS基础 1 1初识SAS1 2初识INSIGHT模块1 3初识 分析家 1 4SAS编程初步 1 3 1调用 分析家 1 3 2功能概述1 3 3 分析家 的有关操作 73 方法一 在命令行中输入 Analyst 方法二 选择主菜单 Solutions 解决方案 Analysis 分析 Analyst 分析家 1 3 1调用 分析家 74 分析家 的菜单功能如下 File 文件 菜单提供了有关数据文件的新建 读 写 文件的导入和导出 打印和传输等功能 Edit 编辑 菜单提供了有关修改当前文件内容的一些选项 View 查看 和Data 数据 菜单提供了对读入数据集进行加工的一些功能 例如 对数据集行列的增删 行列的排序 行列的转置和对数据集的随机取样等 1 3 2功能概述 75 Graphs 图形 菜单提供了图形功能 包括直方图 盒形图 等高线图 三维散点图和曲面图等 Statistics 统计 菜单提供了主要的统计分析功能 包括描述统计量计算 列联表分析 假设检验 方差分析和回归分析等 1 3 2功能概述 76 打开数据集1 选择主菜单 File 文件 OpenBySASName 按SAS名称打开 打开 SelectAMember 选择成员 对话框2 选择某逻辑库下的某个数据集 1 3 3 分析家 的有关操作 打开的数据集将作为项目的一个成员 77 浏览和编辑已打开的数据集可处于浏览 Browse 或编辑 Edit 两种不同的方式 浏览方式只允许显示数据集的内容 编辑方式允许修改数据表的内容 可以通过选择菜单进行切换 Edit Mode 模式 Edit 编辑 Edit Mode 模式 Browse 浏览 1 3 3 分析家 的有关操作 78 改变变量显示的次序选择菜单 View 查看 Columns 列 Move 移动 打开 MoveColumns 对话框 在列表中选择变量名后 使用上下箭头 按 OK 按钮后 即可改变变量显示的次序 1 3 3 分析家 的有关操