第6章_创建数据集.ppt

第6章 创建数据集,蔡德利 tsaid 黑龙江八一农垦大学植物科技学院,本章主要内容,概述 data step 加工数据集 proc step,概述,sas对数据的管理 通常，有两种： sas数据集（data set） sas数据视图（data view）,概述,概述,sas数据视图只有描述部分，没有数据部分，但描述部分包含了足够的信息以找到保存在其他文件中的数据； 数据视图减少了维护费用。 如果改变了源数据，数据视图将随着改变。 可由sql、access和data step产生。,概述,libname命令 作用：指定库标记。 一般格式： libname 库标记 文件夹位置 选项; 例如：指定目录“g:sas统计分析sas”为库标记mysaslib libname mysaslib g:sas统计分析sas;,概述,sas语言是一种专用的数据管理、分析语言，它提供了很强的数据操作能力。 表现在 它可以轻易地读入任意复杂格式的输入数据，并可以对输入的数据进行计算、子集选择、更新、合并、拆分等操作。 另外，sas系统还提供了用来访问其它数据库系统如sybase、oracle的接口，访问各种微机用数据库文件如foxpro、excel的接口及向导，并提供了一个sql过程来实现数据库查询语言sql的功能。,概述,sas语言的自编程计算功能主要在数据步实现。 一个sas数据步相当于一个单独运行的程序。 但是，sas语言又是一个专用数据处理语言，所以sas数据步有其他语言所没有的特点。,概述,例如 /* sasprog0601.sas */ data a; put x= y= z=; input x y; z=x+y; put x= y= z=; cards; 10 20 100 200 ; run;,概述,运行后在log窗口显示 x=. y=. z=. x=10 y=20 z=30 x=. y=. z=. x=100 y=200 z=300 x=. y=. z=. note: the data set work.a has 2 observations and 3 variables. ,概述,程序的运行流程： 1. data语句标志了数据步开始，并指定了数据步结束时要生成的数据集名字为a（实际是work.a）。 2. 第一个put语句要输出变量x、y、z的值, 但它们还都没有定义，所以显示为三个缺失值。 3. input语句，从cards语句后面的数据行中读取变量x的值10，变量y的值20。 4. 下一个赋值语句计算变量z的值得到30。因此，log 中的第二行输出显示三个变量的值分别为10、20、30。,概述,5. 从cards语句开始到空分号行的各行是非执行的，程序运行到run语句，发现这是本数据步的最后一个语句，按一般的程序语言的规则，程序到这里就应该结束了，但是，sas是一个专用数据处理语言，如果按一般语言的规则，程序中的第二行数据（100 200）就不能被读入。所以，这个程序运行到run语句后，把读入的观测（这是第一号观测）写入输出数据集， 6. 流程又返回到data语句后的第一个可执行语句开始执行，并先把所有的变量置初值为缺失值。于是，第一个put语句的结果显示三个变量均为缺失值，而不是上一步的10、20、30。,概述,7. input语句又从数据行中读入下一个观测，把变量x、y赋值为100、200。读取位置由运行时设置的一个数据指针指示。然后计算变量z的值得300。于是put语句输出的x、y、z值分别为100、200、300。 8. 流程跳过cards语句到空语句，到数据步结尾，把第二号观测输出到数据集。 9. 再返回到数据步开头，把变量值赋初值为缺失值，所以第一个put语句输出的三个变量值为缺失值。 10. 运行到input语句，应该读入下一个观测，但是查询数据指针发现已经读完了所有数据，所以本数据步结束，并把两个观测写入数据集work.a中。,概述,从这个例子可以看出sas数据步程序和普通程序的一个重大区别： sas数据步如果有数据输入，比如用input、set、merge、update、modify等语句读入数据，则数据步中隐含了一个循环。,数据步因为有这样一个隐含循环，所以也提供了用来查询某一步是第几次循环的特殊变量 _n_，它的值为数据步循环计数值。,概述,data step 流程：,概述,data step,第一种方式语法: data 数据集名; input 变量列表; cards; ;,data、input和cards三个关键词缺一不可。,注意：cards语句在input语句之后,data step,data语句 作用： 标志数据步的开始。 命名将要创建的sas数据集。 cards语句 作用： 用于直接输入数据，标志着数据块的开始,data step,直接输入sas数据： /* sasprog0602.sas */ data temp; input x y; cards; 34 56 78 90 35 67 89 10 23 65 77 45 ; run;,sas默认按列来分隔变量，可是这里只有两个变量，输成两列数据太长，因此加上，sas见到这个符号，在按变量名依次读取完数据后，不是跳到下一行，而是继续在该行读数据，直至本行结束或到达分号为止。,数据集work.temp 输入变量x,y， 的作用是不换行，连续输入,data step,第二种方式语法: data 数据集名; infile 文件名 input 变量列表;,用infile语句指定了一个外部数据文件，所有需要输入的数据存放在该文件中，从而取代了第一种方式中的cards语句及其下列的一连串数据，当数据比较多的时候，用第二种方式可以使程序看上去显得比较简洁。,注意：infile语句在input语句之前,data step,infile语句 作用： 确定一个包含原始数据的外部文本文件。 一般格式： infile 外部文件名 options; 选项（options）可以有选择地读取外部文件中的记录： firstobs=n1表示从第n1条记录开始读取 obs=n2表示共读取n2条记录,data step,从外部文件读入数据示例： /* sasprog0603.sas */ data temp; infile g:sas统计分析sasdatatemp.dat; input x y; run;,data step,input语句 作用： 读入由语句指定的数据列。 为相应的数据域定义变量名。 确定变量的读入模式。 一般格式： input 设定1设定n|;,data step,设定的四种格式： list：变量名 $：输入格式 column ：变量名 $始列-终列 formatted ：指针 变量名 输入格式 ( 指针：n|+n ) named ：变量名=$始列-终列 输入换行控制： ：不换行等待下一个input 语句 ：形成输出记录时输入也不换行,data step,input语句-list格式（自由格式）,input 变量名 $：输入格式 变量名 $：输入格式；,说明： 源文件中字段间至少有一个空格或特定字符分隔； 字段只能按序输入； 缺失值必须用句点（.）表示； 字符变量的值不能含有空格，长度一般不超过8。,data step,/* sasprog0604.sas */ data c9501; input name $ sex $ math chinese; cards; 李明 男 92 98 张红艺 女 89 106 王思明 男 86 90 张聪 男 98 109 刘颖 女 80 110 ; run;,按顺序列出每个观测的各个变量名，中间用空格分开。 变量如果是字符型，需要在变量名后加一个$符号，$符号可以与变量直接相连，也可以间隔一个空格。,data step,/* sasprog0605.sas */ data a; input date yymmdd8. sales; format date yymmdd10.; cards; 56-6-13 1100 67.12.15 1200 78 10 2 1300 891001 1400 19960101 1500 20020901 1600 ; run; proc print; run;,需要按格式输入，可在变量名后加格式名，最常用的是输入日期数据； 本例日期占8列，不足用空格补足； 日期在sas中是按数值存储的，要显示日期值，必须设置输出格式，本例用format语句。,data step,/* sasprog0606.sas */ data b; input date yymmdd10. sales; format date yymmdd10.; cards; 56-6-13 1100 67.12.15 1200 78 10 2 1300 891001 1400 19960101 1500 20020901 1600 1956-6-13 1100 1967.12.15 1200 1978 10 2 1300 19891001 1400 19960101 1500 20020901 1600 ; run; proc print; run;,yymmdd六位数的日期 yyyymmdd带世纪格式的日期 yyyymmdd10.带世纪的，中间有分隔符或无分隔符的日期,data step,/* sasprog0607.sas */ data b; input sales date : yymmdd10. ; format date yymmdd10.; put date=; cards; 1100 56-6-13 1200 67.12.15 ; run;,如果日期变量不在第一项，并且与前一项用空白分隔，可以在格式名yymmdd10.前面加一个冒号表示允许日期值前面的空白。 “变量名：格式”表示读取当前第一个非空列开始的值，并用指定的输入格式转换。,data step,input语句-column格式,input 变量名 $始列-终列 变量名 $始列-终列；,说明： 源文件中各变量所在位置必须是规则的; 每个变量按指定的始列、终列读入; 字符变量的长度不受缺省值的限制（但200）; 变量值可含空格，变量输入次序可以是任意的；任何字段或其部分可重复读入。,data step,一个典型原始数据文件（overseas.dat）内容：,data step,练习：用column格式读入文件overseas.dat，创建sas数据集名为mylib.column，最后查看该数据集的内容。 /* sasprog0608.sas */ data mylib.column; infile e:sas统计分析sasdataoverseas.dat; input date $ 1-9 dest $ 10-12 boarded 13-15; run; proc print data=mylib.column; run;,data step,/* sasprog0609.sas */ data c9502; input name $ 1-7 sex $ 8-9 math 11-12 chinese 14-16; cards; 李明 男 92 98 张红艺 女 89 106 王思明 男 86 90 张聪 男 98 109 刘颖 女 80 110 ; run;,将sasprog0603的例子改为数据上下行对齐，然后用column格式读入。,data step,/* sasprog0610.sas */ data pids; input year 7-10 mon 11-12 day 13-14; cards;110101196902150059 ; run;,column不要求数据项之间分开，所以经常用来输入紧缩格式的数据。 比如，输入一批身份证号，从中提取生日的年、月、日信息。,data step,input语句-formatted格式,input 指针控制符 变量名 $输入格式；,说明： 适合读入含有不标准数据的文件 formatted 格式中可以： 将输入指针移到数据域的开始位置； 定义变量名； 定义输入格式,data step,指针控制符： n 表示将输入指针移动到第n列； +n 表示将输入指针向后移动n列。 如： input lname $15. 21 fname +2 sex $1;,data step,练习：用formatted模式读入文件overseas.dat。创建后的sas数据集名为mylib.format。 /* sasprog0611.sas */ data mylib.format; infile d:overseas.dat; input 1 date $9. 10 dest $3. 13 boaeded 3.; run; proc print data=mylib.format; run;,data step,data步中设定变量属性的语句：,data step,12234.12,comma8.2,dollar8.2,8.2,12234.12,12234.12,12234.1,12234,12234.1234,data step,sas内部该日期等于距离1960年1月1日的天数,20oct97,ddmmyy8,mmddyy8,实际存储数值 13807,20/10/97,10/20/97,20/10/97,data step,变量的属性： （1）字符型还是数值型：input在读入字符型时在变量后要加$符号。 （2）变量标签（label）：可以给变量加一个长度不超过40个字符（汉字不超过20个）的标签，标签可以用在报表中。 （3）变量存储长度（length）：数值数据一般长度为8字节，也可以对取值较小的数值规定较小的长度以节省存储空间；字符型变量的缺省长度为8字节。,data step,变量的属性： （4）变量的输出格式（format)：指定如何显示变量的值。 （5）变量的输入格式（informat）：指定如何把外部数据转换为sas数据。 数据步中的attrib语句可以指定这些属性，格式为： attrib 变量名 属性名=属性值;,data step,/* sasprog0612.sas */ data sales; attrib name label=“姓名“ length=$10 date label=“日期“ format=yymmdd10. informat=mmddyy10. amount label=“金额“ format=10.2; input name $ 1-10 date amount; cards; 张鹏 10/15/1998 2000 李志明 1/3/99 1500 王敏 11/5/99 3000 ; run; proc print noobs label; run;,可以同时指定多个变量的属性； 可以为一个变量同时指定多个属性。,加工数据集,用set语句复制数据集 /* sasprog0613.sas */ data c9501; set mylib.youth; run;,把mylib.youth复制为work.c9501 该程序流程也隐含着一个循环，其中的set语句是读取观测的语句。,加工数据集,修改数据集 /* sasprog0614.sas */ data c9501; set mylib.youth; if height170 then height=170; run;,原数据集中赵大可身高172，修改后为170；,加工数据集,使用keep语句指定保留数据集中的变量，drop语句指定丢弃数据集中的变量。 /* sasprog0615.sas */ data c9501; set mylib.youth; keep name height weight; run;,生成新数据集，保留原数据集中name、height、weight三个变量；,加工数据集,/* sasprog0616.sas */ data c9501; set mylib.youth; drop age,sex; run;,丢弃age、sex变量，与上例作用相同； 用这种方法可以取得数据集的某些列的子集。,加工数据集,/* sasprog0617.sas */ data c9501a; set c9501; if height150 and weight50; run;,也可以取得数据集的某些行的子集。 身高大于150cm，并且体重大于50kg的观测。 这里if语句不同于分支语句，它没有then部分。用于取出满足条件的行，形成子集。,加工数据集,利用if-then结合delete筛选数据集 /* sasprog0618.sas */ data c9501; set c9501; if height150 then delete; run; 程序执行后,身高小于150的记录均被删除。,加工数据集,在用set语句引入数据集时，可以给数据集加选项，格式为： 数据集名（数据集选项）； 选项包括： keep=：表示引入时只要指定的变量； drop=：表示不引入指定的变量； obs=：表示读取观测时，读到指定的序号为止； fristobs:表示从指定的序号开始读起，不读取序号之前的观测。,加工数据集,/* sasprog0619.sas */ data huge; array x(10); do i=1 to 1000000; do j=1 to 10; x(j) = normal(0); end; output; end; drop i j; run; data new; set huge(obs=100 keep=x1 x2); run;,产生一个10个变量，1百万个观测的数据集work.huge； 从中复制前100行和两个变量，形成新数据集work.new。,加工数据集,拆分数据集 /* sasprog0620.sas */ data datam dataf; set mylib.youth; select(sex); when(男) output datam; when(女) output dataf; otherwise put sex=有错; end; drop sex; run; proc print data= datam;run; proc print data= dataf;run;,把mylib.youth数据集中的男生放到work.datam中，将女生放到work.dataf中。 output是一个可执行语句，它强制当前观测写入到语句指定的数据集中。,加工数据集,纵向合并数据集 几个结构相同的数据集上下地合并在一起； 比如： data classes; set class1 class2 class3 class4; run;,加工数据集,加工数据集,/* sasprog0621.sas */ data new; set datam(in=male) dataf(in=female); if male=1 then sex=男; if female=1 then sex=女; run;,将前例拆分的男生、女生两个数据集合并； 为了指示观测来自哪一个小数据集，在set语句数据集名后可加一个小括号，里面加上“in=变量名”，该变量取1时表示观测来自该数据集，取0时不是来自该数据集。,加工数据集,横向合并数据集 两个（或多个）数据集如果包含了同样一些观测的不同属性（变量），且各个数据集的观测顺序是一一对应的，则可以通过merge语句合并到一个新数据集； 比如： data new; merge c9501u c9501v c9501w; run;,加工数据集,如果顺序不对应，则合并结果不正确。所以横向合并一般采取按关键字合并的方法。 即把每个数据集按照相同的、能唯一区分各个观测的一个（或几个）变量排序，然后用by语句和merge语句，使原来观测顺序不一致或个数不同的数据集正确合并。,加工数据集,加工数据集,/* sasprog0622.sas */ data c9501x; set mylib.youth; keep name sex; run; data c9501y; set mylib.youth; keep name height weight; run; proc sort data=c9501x; by name; run; proc sort data=c9501y; by name; run; data new; merge c9501x c9501y; by name; run; proc print;run;,把mylib.youth拆分为包含name、sex的数据集c9591x； 把mylib.youth拆分为包含name、height、weight的数据集c9591y； 按关键字横向合并。 sort是排序过程。,proc step,sas程序的过程步表示一个处理过程，如排序、t检验、方差分析等等。 过程步以关键字proc开始，后面紧跟着过程名，用以区分不同的程序步，并以关键字run结束。,一般格式如下： proc 过程名 选项列表； （其它语句）； （其它语句）； run；,proc step,sas程序中涉及的过程多达数百种； 实现统计功能时常用的过程也有数十种； 现将最为常用的过程名称及其所能实现的功能列入下表。,proc step,proc step,对sas文件进行操作的datasets过程： 功能： 将sas文件从一个库中拷入另一个库中； 对sas文件进行重命名； 修复损坏的sas文件； 删除sas文件； 列出某一sas库中所有的sas文件； 列出一个sas数据集的属性，如最后修改时间、数据是否压缩、数据是否索引等； 对sas文件进行设置密码的操作； 向sas数据集添加记录； 对sas数据集的属性以及数据集内变量的属性进行修改； 创建或删除sas数据集的索引； 创建并管理sas数据集的核查文件； 创建或删除sas数据集的完整性规则。,proc step,datasets格式： proc datasets ； age 当前文件名 相关文件名列表； append base=数据集名 ； audit 文件名； initiate； change 旧文件名1=新文件名1 ； contents ； copy out=库标记 ； exclude 文件名 ；（该语句只能在copy语句后出现，不能和select语句同时出现） select 文件名 ；（该语句只能在copy语句后出现，不能和exclude语句同时出现） delete 文件名 ； exchange文件名1=交换文件名1 ； modify 文件名 ； ； repair文件名 ； save文件名 ； run；,proc step,常用功能说明： age语句用于批量地重命名文件，按照当前文件和相关文件的排列顺序，依次将后一个文件名重命名给前一个文件，结果是最后一个文件被删除，当前文件名被废弃。 proc datasets library=daily; age today day1-day7; run; 以上程序将数据库daily中的数据集today改名为day1，day1改名为day2，day2改名为day3，原来的最后一个文件名day7被丢弃。,proc step,常用功能说明： append语句执行向数据集添加记录的功能，选项”base=数据集名”用以指定要添加记录的数据集，”data=数据集名”则指定所要添加的记录所在的数据集，此选项若省略则默认为当前数据集（最近一次操作的数据集）。 proc datasets; append base=d1 data=d2 force; run; 以上程序将d2中的数据纵向合并到d1，如果d2中有d1中不存在的变量，则相应数据会被舍弃。,proc step,常用功能说明： audit语句用于对文件的核查，生成核查文件并对其进行管理； change语句以新文件名替换旧文件名； contents语句用于显示指定数据集或当前数据集的各种属性； copy语句用于将当前库中相应的文件拷贝到指定的库中，选项“out=库标记”用来指定文件要拷贝到的目标库；,proc step,常用功能说明： delete语句用于删除指定的文件； exchange语句的功能是将等号前后两个文件的文件名进行互换； modify语句用于修改文件各方面的属性； repair语句用于对指定的文件（受到过某种损坏）进行修复，使其恢复到可以使用的状态； save语句的功能是将其指定的文件保留，当前库中的其他所有文件则被删除。,proc step,proc step,对数据文件中记录进行排序的sort过程： 一般格式： proc sort 选项列表； by 变量名1 ； run； by语句即用以指定排序所要依据的变量，可为数值型也可为字符型。 多个变量时，先按靠前的变量排序，再按照靠后的变量排序。 by语句中每个变量前可用descending/ascending选项来指定按照其排序的方式（降序或升序），默认状态为升序。 proc sort语句后各选项含义及其用法见下表。,proc step,proc step,将数据文件输出显示的print过程 功能： 将sas数据集的记录以一定的方式显示到输出设备（显示屏）； 可以显示其全部的变量或部分变量； 可以创建从简单列表到可进行数据汇总的各种报告的各种不同的表单。,proc step,print的一般格式 proc print options； by var-1 ； pageby variable； sumby variable ； id variable ； sum variable； var variable； run；,proc step,by语句在所有过程中的用法都相同，即将数据集分割为若干小数据集分别进行处理。 pageby语句用来控制换页时变量的显示方式，对于其后所指定的变量，相同的值不会显示在不同的页中，该变量某一值的记录在一页的剩余部分显示不下时，则从该值的第一条记录开始换行显示。 sumby语句的作用和pageby语句相似，只不过是将换页的动作换为求和，对指定变量的每一值计算var变量的总计值。 id语句的作用是用指定的变量值代替记录编号对每一条记录进行标识。 sum语句用于指定报告中要进行求和操作的变量。 var语句用于指定要在报告中显示的变量。,proc step,过程步常用语句,var 语句 var 语句在很多过程中用来指定分析变量。 在var 后面给出变量列表： var 变量名1 变量名2 变量名n; 变量名列表可以使用省略的形式，如x1-x3。 例如： var math chinese;,过程步常用语句,model 语句 model语句在一些统计建模过程中用来指定模型的形式。其一般形式为 model 因变量 自变量表 / 选项; 比如 model math=chinese; 即用语文成绩预测数学成绩。,过程步常用语句,by语句 一般用来指定一个或几个分组变量，根据这些分组变量值把观测分组，然后对每一组观测分别进行本过程指定的分析。 在使用带有by语句的过程步之前一般先用sort过程对数据集排序。 比如，假设我们已经把c9501数据集按性别排序，则下列print 过程可以把男、女生分别列出： proc print data=c9501; by sex; run;,过程步常用语句,class语句 在一些过程（如方差分析）中，使用class语句指定一个或几个分类变量，它实际相当于因变量。 而在另一些过程（如means）中，class语句作用与by语句类似，可以指定分类变量，把观测按分类变量分类后分别进行分析。 使用class时不需要先按分类变量排序。,过程步常用语句,output语句 在过程步中经常用output语句指定输出结果存放的数据集。 不同过程中把输出结果存入数据集的方法各有不同，output语句是用得最多的一种，其一般格式为： output out输出数据集名 关键字变量名 关键字变量名 ; 其中用out给出了要生成的结果数据集的名字，用“关键