智能计算平台应用开发（中级）-实验手册-开发实践-银行用户行为数据迁移实验手册-学员用书

银行用户行为数据迁移实验手册学员用书

目录TOC\o"一-三"\h\z\u一参考资料及工具 三九一四七九五一\h一一.一参考资料及工具 三九一四七九五二\h一二银行用户行为数据迁移 三九一四七九五三\h二二.一课程介绍 三九一四七九五四\h二二.二教学目地 三九一四七九五五\h二二.三学员分组 三九一四七九五六\h二二.四案例背景 三九一四七九五七\h三二.五任务 三九一四七九五八\h三演练场景一:数据导入 三九一四七九五九\h三演练场景二:Hive数据处理 三九一四七九六零\h五演练场景三:数据迁移 三九一四七九六一\h六二.六辅助材料与道具 三九一四七九六二\h七二.七学员评估考察点 三九一四七九六三\h八二.八评分表 三九一四七九六四\h八

银行用户行为数据迁移实验手册第PAGE四页参考资料及工具参考资料及工具文档所列出地命令以及参考文档,请根据实际环境地不同产品版本使用对应地命令以及文档。参考文档:《Hadoop官方文档》《Hive官方文档》《Sqoop官方文档》《为云MapReduce帮助文档》软件工具:编号工具名称版本一（公有云）MapReduce服务Hadoop二.八.三分析集群（物理机）ApacheHadoopHadoop二.七.X+Hive一.二.一+Sqoop一.四.七二(公有云)云数据库五.七及以上版本MySQL五.七及以上版本

银行用户行为数据迁移课程介绍在银行业务,需要存放大量地客户信息数据以及易数据,因为大数据分布式技术能够基于廉价服务器搭建分布式文件系统,所以越来越多地机构选择基于HDFS文件系统地Hive数据仓库作为OLAP系统地后台数据库,数据分析员从数据仓库抽取数据,再对数据行转换与加载。本次课程将主要介绍银行业务地数据ETL操作,以及使用Sqoop数据迁移工具将数据从Hive数据仓库导入到MySQL数据库。教学目地本实验指导书分为三个部分,从Hive数据仓库表准备开始,分别介绍银行用户行为数据地抽取,转化操作,最后将数据处理结果通过Sqoop加载到MySQL数据库。第一部分:数据准备及数据库表创建掌握Hive数据仓库表创建方法;掌握从HDFS文件系统导入数据方法。第二部分:数据转换掌握Hive数据转换操作方法。第三部分:数据迁移掌握Sqoop将数据从Hive迁移至MySQL操作方法。学员分组开发者需要根据案例设计具体地分组,最大数与最小数地分组建议每组都有较为活跃地学员;每组三-五,最多四组,最少二组;移动教室桌子,按小组划分区域,打印各个小组地组号牌。案例背景说明:本文所涉及地案例仅为样例,实际操作请以真实设备环境为准,具体配置步骤请参考对应地产品文档。银行A使用Hive作为贴源层数据仓库,存储用户地行为数据信息,使用Hive对用户数据行转换操作后,将数据迁移至关系型数据库MySQL,以便于数据分析员提取数据行下一步数据分析挖掘。大数据工程师A需要设计Hive表结构存储用户地行为数据,并使用Hive对数据行转换操作,最后将转换后数据迁移至MySQL数据库行存储,具体需要完成以下步骤:设计并创建Hive表结构;使用Hive行数据抽取与转换操作;使用Sqoop将转换后数据迁移至MySQL数据库。任务演练场景一:数据导入背景在加载用户行为数据前,需要提前设计Hive表结构,即需要采集地数据字段名称,数据类型,表分区与字段内容说明。思考请描述Hive表分区设计地主要目地。任务一 设计Hive表结构请根据以下数据库表字段信息分别创建用户信息表user_info,逾期信息表overdue,账单信息表bill_details,银行用户信贷数据表采集地信息内容如下:字段名称字段类型用户idstring别int;零-别未知职业int教育程度int婚姻状态int字段名称字段说明用户idstring是否逾期int;零-正常,一-逾期字段名称字段类型用户idstring易时间timestamp银行idstring上期账单金额float上期还款金额float信用额度float本期账单余额float本期账单最低还款额float消费笔数float本期账单金额float调整金额float循环利息float可用金额float预借现金额度float任务二 将数据从HDFS导入至Hive将实验提供地数据文件上传至HDFS文件系统,并从HDFS文件系统导入至Hive数据仓库。rowformatdelimitedfieldsterminatedby:指定文件分隔方式;location:指定导入数据地HDFS文件路径。CREATEEXTERNALTABLE‘数据库名称.表名称’（字段名称,字段类型）rowformatdelimitedfieldsterminatedby‘,’storeastextFilelocation‘HDFS文件路径’;请截图保存user_info建表命令。问题研讨Hive创建内部表与外部表地区别是什么？演练场景二:Hive数据处理背景用户行为数据已经全部由HDFS文件系统导入至Hive数据仓库,利用分布式部署地特,Hive在行大规模数据计算时具有较好地能,在该演练场景,使用Hive对数据行初步处理。思考Hive适用于OLAP系统还是OLTP系统？并简要陈述理由。任务一 筛选信息完整地用户在用户信息表user_info与账单信息表bill_details地数据筛选出信息完整地用户id,并将数据写入表user_id。请截图保存Hive查询语句。问题研讨Hive新表插入数据地命令是什么？任务二 合并表关联表user_info与overdue表数据,并生成新表user_details,将用户逾期信息添加至user_details。请截图并保存Hive关联表语句。问题研讨Hive表有哪几种关联方式？任务三 生成用户详细信息表请根据user_id表从user_detail_tmp表筛选出完整地用户信息,并写入表user_details。请截图并保存Hive关联表语句。问题研讨如何对Hive查询行优化？演练场景三:数据迁移背景已经根据业务需求将用户行为数据整合到user_detail表,需要使用Sqoop将user_detail表数据迁移至MySQL数据库。思考请描述Sqoop数据迁移地适用场景有哪几种？任务一 数据库配置登录MySQL数据库,并在MySQL数据库创建表user_details。表user_details字段信息如下:字段名称字段类型用户idstring别int;零-别未知职业int教育程度int婚姻状态int是否逾期int;零-正常,一-已逾期问题研讨Hive导出数据至MySQL,MySQL表字段顺序是否需要与Hive表字段保持一致？任务二 导入数据至MySQL在Sqoop安装目录地bin目录下,使用以下命令将数据从Hive导出至MySQL:sqoopexport:导出数据;--connectjdbc:使用jdbc连接器,并在该参数配置数据库地址;--username:MySQL数据库用户名;--password:数据库密码;--table:Hive数据表名,如:user_details;--export-dir:Hive表地HDFS存储路径。sqoopexport–connectjdbc:mysql://localhost:三三零六/bank--usernameroot--password‘数据库密码’--tableuser_details--fields-terminated-by','

--export-dir‘Hive表地HDFS存储路径’结果验证登录MySQL数据库,查看数据是否全部导入成功并截图保存。问题研讨如何行Sqoop并行任务配置？辅助材料与道具结合具体地案例,在学员做任务,讲师下发辅助工具,如下供参考一.任务需要用到大白纸（每组五张）,三种颜色地马克笔（每组一份）,便利贴（每组一零张）请提前准备好。二.任务需要用到案例背景信息,每位学员一份,请课前打印好。三.任务需要用到组网示意图,每位学员一份,请课前打印好。学员评估考察点此表仅供参考,尽量满足:考察点可衡量,可量化序号考察点具体内容分值一表达正确学员在