大数据分析及应用项目教程(Spark SQL)（微课版） 实训单 实训5 房产大数据分析与探索

实训5房产大数据分析与探索一、实训目的与要求1、掌握将数据构建为RDD的方法。2、能使用RDD的各种转换和行动操作对数据集进行处理分析。3、会对处理完成的数据进行存储操作。4、能灵活综合的应用各种RDD操作和各个算子对数据进行分析。二、操作训练1、某房产公司销售人员业绩分析假设现有某房产公司一个部门员工的某年销售业绩数据，请帮助部门经理对其进行统计分析，获取相关信息。相关数据表字段及含义如下表所示。表1人员信息表staff.txt员工编号姓名11020101马文轩11040204黄焱12080403沈睿广10040106王向秋21050309李悦可22010611许辉20100706杨昆明19080303任晓燕18090313廖文敏19111001尚梦菲11012008徐悠11022203刘聪21110301刘浩丽21010404李安安15012511王嘉勋表2上半年业绩表first-half-year.txt员工编号时间房屋销售套数房屋销售金额（万）11020101上半年12340011040204上半年10350012080403上半年14420010040106上半年8501021050309上半年15630022010611上半年6300020100706上半年11480019080303上半年13430018090313上半年15600019111001上半年16590011012008上半年480011022203上半年8230021110301上半年10300021010404上半年18610015012511上半年208000表3下半年业绩表second-half-year.txt员工编号时间房屋销售套数房屋销售金额（万）11020101下半年10370111040204下半年13450012080403下半年10410010040106下半年12401021050309下半年18530022010611下半年14300020100706下半年8420019080303下半年10430018090313下半年8560019111001下半年12551011012008下半年7160011022203下半年10330021110301下半年8300021010404下半年15580015012511下半年177020（1）构建员工业绩RDD。操作结果截图+签名（2）统计部门人员人数。操作结果截图+签名（3）分别统计上/下半年业绩排名，取前三位及最后三位。操作结果截图+签名（4）统计上/下半年业绩超过5000万的人员。操作结果截图+签名（5）统计此部门当年的房屋销售套数。操作结果截图+签名（6）查看全年总业绩最高人员。操作结果截图+签名（7）存储以上统计分析信息。操作结果截图+签名2、某城市近年房产销售状况分析现有一份来自某网站的某城市近年房产销售数据集house-price.csv，包含成交时间、价格、装修情况、区域等信息。具体字段及含义如下表所示。表4某城市近年房产销售数据集字段及含义字段含义url数据链接id用户idtradeTime交易时间totalPrice总价格（万）price单价square面积renovationCondition装修情况elevator是否有电梯fiveYearsProperty是否满五年subway是否有地铁district所属区域communityAverage区域均价（1）每年房产销售量趋势如何？操作结果截图+签名（2）此城市各区域房产销量如何？均价如何？操作结果截图+签名（3）在2018年1月1日的销量有多少？操作结果截图+签名（4）查询2018年1月1日到1月31日之间，