实验9 Pig开发应用

1、广州大学华软软件学院South china Institute nf Software tnginEBring.CU实验报告封面课程名称：Hadoop大数据处理课程代码:JY1124任课老师：陈宁穗实验指导老师：陈宁穗实验报告名称：实验9 Pig开发应用学生姓名：学号：教学班：递交日期：签收人：我申明，本报告内的实验已按要求完成，报告完全是由我个人完成，并没有抄袭行为。我已经保存了这份实验报告的副本。申明人（签名）:实验报告评语与评分:评阅老师签名:一、实验名称：Pig开发应用二、实验日期：2015年 月 日三、实验目的：熟悉Pig开发应用。四、实验用的仪器和材料：硬件：PC电脑一台；配置：内

2、存，4G及以上 硬盘250G及以上软件环境：操作系统 XP, vmware, ubuntu, jdk, hadoop五、实验的步骤和方法：请用命令完成以下操作一、Pig的安装与配置。1、下载并解压安装pig-0. 12. 1. tar. gz （最好用与安装hadoop的同一用户），且改名为 pigotar -xzvf pig-0. 12. 1. tar. gzmv pig-0. 12. 1 pig2、设置环境变量配置grid目录下的.profile文件（.profile文件为隐藏文件，用Is -a查看）,配置如下 图：xport JAVA_HOME=/usrxport PATH=$PATH:

3、/home/grid/hadoop-1.2.1/bin:/home/grid/pig/bin:$H0ME/bin3、重启ubuntu,使配置生效。4、启动hadoop,进入pig目录，输入pig命令，假设进入grunt提示，说明pig安装成功。二、pig操作1、本地输入数据通过 gedit 命令添加 pigtest.txt 文件，/home/grid/input/pigtest.txt 数据如下：James,Network,Tiger, 100James,Database,Tiger,99James,PDE,Yao,95Vincent,Network,Tiger,95Vincent,PDE,Y

4、ao,98NocWeizPDE,Yao,1002、HDFS上创立文件，并且将上述数据文件上传到HDFS上。grunt mkdir ingrunt mkdir outgrunt Ishdfs:/db69:9000/user/grid/in :9000/user/grid/out #拷贝本地的pigtest. txt文件到hdfs的in目录下gruntcopyFromLocal /home/grid/pigtest. txt in gruntIs inhdfs:/db69:9000/user/hadoop/in/pigtest. txt 71186274、从HDFS上导入数据，将，in/pigte

5、st. txt 文件的内容以逗号分隔赋给Agrunt A =LOAD J in/pigtest.txt USING PigStorage ) AS(student:chararray, course:chararray, teacher:chararray, score:int)；5、只取学生和老师两个列数据gruntB = FOREACH A GENERATE student,teacher;gruntDESCRIBE B;gruntC = DISTINCT B;6、对分组结果group进行COUNT统计，结果赋给Dgrunt D = FOREACH (GROUP C BY student) GENERATE group AS student, COUNT (C);7 将D写入hdfs为out/st_counter ;grunt STORE D INTO out/st counter;8、查看结果的内容grunt Is out六、数据记录和计算：写语句及截图七、实验结果或结论：即根据实验