大数据开发项目实战教学教案

打造数据智能职业教育领军企业打造数据智能职业教育领军企业泰迪智能科技官网：/联系方式迪智能科技官网：/联系方式1章大数据项目概述教案课程名称：大数据开发项目实战课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论18学时，实验46学时）总学分：3.0学分本章学时：7学时材料清单《大数据开发项目实战》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标本章以企业大数据项目开发流程为例，介绍了企业大数据项目开发的一般流程与架构设计的分析依据，并对参与项目开发需要的角色与人员安排进行了分析。此外，本书根据项目开发所需的环境和技术，介绍了CDH集群的资源配置情况、集群中配置的大数据技术、IDEA的安装及开发环境的配置等，并演示了如何提交Spark任务到集群的过程以及对Spark任务的监控，为后续项目开发奠定了基础。基本要求了解企业项目开发的数据处理流程与项目的架构设计。了解企业大数据项目各个阶段的项目人员安排。熟悉本书项目所需的项目实战环境和项目涉及的技术与能力。熟悉Spark任务调用的实现和Spark任务提交到集群并进行监控的过程。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。企业项目有哪些？项目开发的数据处理流程有哪些?项目开发所涉及的大数据技术有哪些？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。在Window10上如何搭建本项目的开发工程环境？Spark任务调用的实现有哪些？CDH集群中大数据开发组件的监控集群如何查看？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。除了基础开发类和大数据技术类，项目涉及技术与需掌握的能力还有哪些？如何实现SparkStandalone的任务提交方法？主要知识点、重点与难点主要知识点企业项目数据处理流程。企业大数据项目架构分析。企业项目人员安排。项目实战环境。项目涉及技术。重点企业项目数据处理流程。企业大数据项目架构分析。项目实战环境。项目设计技术。难点企业项目数据处理流程。企业大数据项目架构分析。项目设计技术。教学过程设计理论教学过程企业项目数据处理流程。企业大数据项目架构分析。企业项目人员安排。项目实战环境。项目涉及技术。实验教学过程项目实战环境。项目涉及技术。教材与参考资料教材祝锡永，张良均．大数据开发项目实战[M]．北京：人民邮电出版社．2022．参考资料[1] 肖芳，张良均．Spark大数据技术与应用[M]．北京：人民邮电出版社．2018．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．

第2章Hadoop生态组件基础教案课程名称：大数据开发项目实战课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论18学时，实验46学时）总学分：3.0学分本章学时：5学时材料清单《大数据开发项目实战》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标本章主要介绍了Hadoop框架、Hadoop生态系统中Hive和Spark组件的基础知识，并通过应用实践使读者能够使用Hadoop、Hive、Spark进行简单的数据分析和存储。其中，先介绍了Hadoop的发展历程、特点、生态系统常用组件和集群的安装与配置，再介绍了Hadoop的HDFS、MapReduce和YARN三大主要的核心框架，最后详细介绍了Hadoop生态系统中的Hive和Spark组件，包括了组件的概念、特点、应用场景、安装配置和架构。基本要求了解Hadoop框架的发展历程、特点和Hadoop生态系统的组件。熟悉Hadoop集群、Hive和Spark的安装与配置。熟悉Hadoop框架、Hive和Spark的架构组成。掌握使用Hadoop、Hive、Spark进行简单的数据处理分析及存储操作的方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。大数据开发技术组件有哪些？Hadoop生态系统组件有哪些？常用的大数据开发计算框架有哪些？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。Hadoop框架中可用来存储数据的核心是什么，其基本架构如何？MapReduce作业执行流程有哪些？Hive的操作语言是什么？Spark生态系统有哪些组件？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。Hive的数据实际存储是在哪里？Hive底层的计算由哪些框架实现？Spark可以将数据存放在哪些地方？主要知识点、重点与难点主要知识点Hadoop概述。Hadoop集群安装与配置。Hadoop框架组成。Hadoop应用实践。Hive概述。Hive安装与配置。Hive体系架构。Hive应用实践。Spark概述。Spark集群安装与配置。Spark集群架构。Spark应用实践。重点Hadoop集群安装与配置。Hadoop框架组成。Hadoop应用实践。Hive安装与配置。Hive体系架构。Hive应用实践。Spark集群安装与配置。Spark集群架构。Spark应用实践。难点Hadoop框架组成。Hadoop应用实践。Hive体系架构。Hive应用实践。Spark集群架构。Spark应用实践。教学过程设计理论教学过程Hadoop概述。Hadoop集群安装与配置。Hadoop框架组成。Hadoop应用实践。Hive概述。Hive安装与配置。Hive体系架构。Hive应用实践。Spark概述。Spark集群安装与配置。Spark集群架构。Spark应用实践。实验教学过程Hadoop集群安装与配置。Hadoop应用实践。Hive安装与配置。Hive应用实践。Spark集群安装与配置。Spark应用实践。教材与参考资料教材祝锡永，张良均．大数据开发项目实战[M]．北京：人民邮电出版社．2022．参考资料[1] 肖芳，张良均．Spark大数据技术与应用[M]．北京：人民邮电出版社．2018．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．

第3章广电大数据用户画像——需求分析教案课程名称：大数据开发项目实战课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论18学时，实验46学时）总学分：3.0学分本章学时：8学时材料清单《大数据开发项目实战》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标本章为广电大数据用户画像项目的项目前期工作内容，包括项目需求分析、需求探索和技术方案设计。项目需求分析部分介绍了该项目的来源、客户的要求以及最终要实现的目标；需求探索部分对客户提供的数据意义及字段进行了说明，并基于用户提供的数据对数据进行了基础探索和业务探索，总结出数据的处理规则；技术方案设计部分根据数据情况、项目需求、项目团队成员及项目团队成员所掌握的技术，设计出了整个项目的整体结构及每一个部分所使用的技术。完成项目前期工作即可奠定整个项目的总体框架，项目团队成员直接根据架构进行分工实现即可。基本要求了解广电大数据用户画像项目的项目前期工作内容。了解广电大数据用户画像项目的项目背景和项目目标。熟悉项目需求探索的探索分析思路和过程。熟悉项目前期的项目整体结构和项目所需技术方案设计的过程。掌握对数据的基础探索和业务探索分析，总结数据的清洗处理规则并对数据进行预处理。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。什么是用户画像？如何制作用户画像？用户画像的根据是什么？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。数据探索一般是对哪些数据进行探索？数据探索会统计哪些统计值？项目团队人员需要掌握的技术有哪些？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。能否使用大数据挖掘技术Python构建用户画像？除了SVM算法构建分类模型，还能使用其他算法来实现吗？评判依据是什么？主要知识点、重点与难点主要知识点项目背景。项目目标。数据说明。基础探索。业务需求探索。需求探索总结。技术选型。系统架构。重点基础探索。业务需求探索。技术选型。系统架构。难点业务需求探索。技术选型。教学过程设计理论教学过程项目背景。项目目标。数据说明。基础探索。业务需求探索。需求探索总结。技术选型。系统架构。实验教学过程基础探索。业务需求探索。教材与参考资料教材祝锡永，张良均．大数据开发项目实战[M]．北京：人民邮电出版社．2022．参考资料[1] 肖芳，张良均．Spark大数据技术与应用[M]．北京：人民邮电出版社．2018．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．

第4章广电大数据用户画像——数据来源与处理教案课程名称：大数据开发项目实战课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论18学时，实验46学时）总学分：3.0学分本章学时：10学时材料清单《大数据开发项目实战》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标本章主要介绍了广电大数据用户画像项目的数据来源、传输与处理的过程。为了贴合实际生产环境，通过Logstash将CSV格式的数据采集到Elasticsearch中，Spark读取Elasticsearch数据，将其导入Hive并进行必要的转换后存储到Elasticsearch中，模拟新数据产生的过程。为了使后续数据处理更加高效，通过Spark读取Elasticsearch中的数据并存入Hive后，根据探索阶段得到的数据处理规则实现了广电数据的预处理过程，为进一步分析与建模准备了质量更好的数据集。基本要求熟悉使用Logstash进行数据采集，将CSV格式的数据采集到Elasticsearch中。熟悉模拟新数据产生的具体过程。掌握Elasticsearch与Hive之间的数据传输。掌握使用SparkSQL技术将DataFrame类型的数据保存到MySQL数据库中。掌握根据数据处理规则实现广电数据的预处理过程。掌握广电数据预处理代码的封装实现。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。数据可以从哪些渠道获取？可以实现数据处理的大数据开发技术有哪些？常见的数据处理方法有哪些？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。可以实现将数据传输到ElasticSearch的大数据开发技术有哪些？为什么要将ElasticSearch数据传输到Hive，让Hive存储中间数据？Spark将数据保存至MySQL，可用什么接口，如何实现？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。能否直接获取数据，采用什么技术？能否将用户画像的结果数据保存到Hive数据仓库中，为什么？主要知识点、重点与难点主要知识点生产数据来源。模拟数据产生。ElasticSearch传输到Hive。用户画像结果保存到MySQL。基础数据预处理。重点模拟数据产生。ElasticSearch传输到Hive。用户画像结果保存到MySQL。基础数据预处理。难点模拟数据产生。ElasticSearch传输到Hive。用户画像结果保存到MySQL。基础数据预处理。教学过程设计理论教学过程生产数据来源。模拟数据产生。ElasticSearch传输到Hive。用户画像结果保存到MySQL。基础数据预处理。实验教学过程模拟数据产生。ElasticSearch传输到Hive。用户画像结果保存到MySQL。基础数据预处理。教材与参考资料教材祝锡永，张良均．大数据开发项目实战[M]．北京：人民邮电出版社．2022．参考资料[1] 肖芳，张良均．Spark大数据技术与应用[M]．北京：人民邮电出版社．2018．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．

第5章广电大数据用户画像——实时统计订单信息教案课程名称：大数据开发项目实战课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论18学时，实验46学时）总学分：3.0学分本章学时：8学时材料清单《大数据开发项目实战》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标本章的目的是实现数据的实时流式处理，先通过Java程序读取静态订单数据模拟订单数据的产生过程，再通过Kafka接收订单数据到主题中，最后通过SparkStreaming作为消费者消费Kafka主题中的数据，实现订单信息的实时统计，并将结果写入Redis。Kafka、SparkStreaming组合是目前常用的实时处理方式，实时性和准确性高，准确实时的订单信息能够帮助经营者了解用户的订购需求，及时调整销售策略，提高企业效益。基本要求熟悉CDH集群中Kafka的安装和配置。掌握使用Kafka模拟产生实时数据流的方法。掌握使用SparkStreaming实现数据的实时流式处理的方法。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。大数据开发技术中有哪些可以实现实时数据的接收与处理？Spark生态系统中可以实现实时计算的技术是什么？能够模拟数据的发布的大数据开发技术是什么？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。安装Kafka时需要往CDH集群中加载什么包？如何验证实时数据产生是否有误？SparkStreaming如何读取Kafka发布的信息数据？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。除了SparkStreaming，还有哪些大数据打发技术可以实现实时计算？在大数据开发方向，哪些技术可以实现模拟实时数据的产生？主要知识点、重点与难点主要知识点实时统计目标。Kafka安装配置。订单实时数据流的产生。SparkStreaming实时统计订单信息。重点Kafka安装配置。订单实时数据流的产生。SparkStreaming实时统计订单信息。难点（1）Kafka安装配置。（2）订单实时数据流的产生。（3）SparkStreaming实时统计订单信息。教学过程设计理论教学过程（1）实时统计目标。（2）Kafka安装配置。（3）订单实时数据流的产生。（4）SparkStreaming实时统计订单信息。实验教学过程（1）Kafka安装配置。（2）订单实时数据流的产生。（3）SparkStreaming实时统计订单信息。教材与参考资料教材祝锡永，张良均．大数据开发项目实战[M]．北京：人民邮电出版社．2022．参考资料[1] 肖芳，张良均．Spark大数据技术与应用[M]．北京：人民邮电出版社．2018．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．

第6章广电大数据用户画像——用户标签计算与可视化教案课程名称：大数据开发项目实战课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论18学时，实验46学时）总学分：3.0学分本章学时：10学时材料清单《大数据开发项目实战》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标用户画像是广电大数据用户画像项目的核心，本章虽然只挑选了部分标签进行计算，但是完整地展现了整个用户画像的重点过程。对广电用户进行用户画像的过程包括标签计算、工程封装和用户画像可视化。标签计算部分提供了阈值计算和字段直贴等类型的标签计算方式和对应的计算过程；工程封装部分介绍了SVM模型构建与预测过程封装和用户画像计算封装，并对封装的工程进行了测试；用户画像可视化部分通过SpringBoot开发了一个可视化界面，以图表的形式对用户画像进行展示。基本要求了解用户画像的核心实现过程。熟悉使用SVM算法预测用户是否值得挽留的实现过程。熟悉用户画像标签的计算规则及对应的计算实现过程。掌握使用SVM模型构建与预测过程和用户画像计算的工程封装及测试。掌握简化版的用户画像可视化工程的实现过程。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。可视化工具有哪些？可用于分类的模型算法有什么？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。如何调用SVM算法模型？模型的评估指标有哪些？用户画像有哪些标签或特征描述？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。除了Spring，还有哪些大数据开发技术可以实现可视化？除了SVM模型，能否使用其他分类模型，如随机森林、梯度提升，实现用户画像的挽留预测，效果如何？主要知识点、重点与难点主要知识点SVM算法简介。特征列和标签列数据的构建。SVM模型的构建。SVM模型的模型评估。SVM模型的模型预测。预测用户是否值得挽留的整体实现及参数封装。用户画像概述。用户画像的标签计算。用户画像工程实现。用户画像可视化概述。用户画像可视化工程的实现。用户画像可视化工程的结果展示。重点特征列和标签列数据的构建。SVM模型的构建。SVM模型的模型评估。SVM模型的模型预测。预测用户是否值得挽留的整体实现及参数封装。用户画像的标签计算。用户画像工程实现。用户画像可视化工程的实现。用户画像可视化工程的结果展示。难点特征列和标签列数据的构建。预测用户是否值得挽留的整体实现及参数封装。用户画像的标签计算。用户画像工程实现。用户画像可视化工程的实现。用户画像可视化工程的结果展示。教学过程设计理论教学过程SVM算法简介。特征列和标签列数据的构建。SVM模型的构建。SVM模型的模型评估。SVM模型的模型预测。预测用户是否值得挽留的整体实现及参数封装。用户画像概述。用户画像的标签计算。用户画像工程实现。用户画像可视化概述。用户画像可视化工程的实现。用户画像可视化工程的结果展示。实验教学过程特征列和标签列数据的构建。SVM模型的构建。SVM模型的模型评估。SVM模型的模型预测。预测用户是否值得挽留的整体实现及参数封装。用户画像的标签计算。用户画像工程实现。用户画像可视化工程的实现。用户画像可视化工程的结果展示。教材与参考资料教材祝锡永，张良均．大数据开发项目实战[M]．北京：人民邮电出版社．2022．参考资料[1] 肖芳，张良均．Spark大数据技术与应用[M]．北京：人民邮电出版社．2018．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．

第7章广电大数据用户画像——任务调度实现教案课程名称：大数据开发项目实战课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论18学时，实验46学时）总学分：3.0学分本章学时：8学时材料清单《大数据开发项目实战》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标本章介绍了广电大数据用户画像项目的任务调度实现。项目的任务调度实现使用了XXL-Job分布式调度框架模拟项目上线环境，先将XXL-Job部署在节点上并设置了Shell执行器和Java执行器，再把Shell脚本实现的任务和通过Java调度的任务一一部署到XXL-Job中，并设置了任务定时运行的时间。配置完成且任务执行成功后，只需在相应的时间点查看任务运行的状态、任务运行的结果，确保项目正常运行即可。项目运行过程也伴随着维护过程，如果项目运行时出现问题，需仔细排查导致问题出现的原因，根据实际情况采取适当的措施。基本要求熟悉广电大数据用户画像项目中所有任务的调度策略的设计。熟悉在XXL-Job分布式任务调度平台上进行调度系统的配置的过程。掌握广电大数据用户画像系统的调度任务的配置及执行过程。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。项目开发完成后就项目结束了，还有什么后续步骤？什么是项目上线？能否在一个平台上进行全部的任务调度实现？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。分布式任务调度模块可以分为哪些部分？对调度系统进行二次开发时，需要部署哪两个执行器，用于广电大数据用户画像项目的调度？编译好time_job_shell_executor工程后，需要将打包后的Jar包放置集群的哪个目录下？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。除了XXL-JOB，还有哪些分布式系统可以实现任务调度？何为项目运维，项目运维要做哪些事？主要知识点、重点与难点主要知识点广电大数据用户画像项目中相关任务的调度策略的设计。在XXL-JOB分布式任务调度平台上的调度系统配置。广电大数据用户画像系统中调度任务的实现。重点广电大数据用户画像项目中相关任务的调度策略的设计。在XXL-JOB分布式任务调度平台上的调度系统配置。广电大数据用户画像系统中调度任务的实现。难点在XXL-JOB分布式任务调度平台上的调度系统配置。广电大数据用户画像系统中调度任务的实现。教学过程设计理论教学过程广电大数据用户画像项目中相关任务的调度策略的设计。在XXL-JOB分布式任务调度平台上的调度系统配置。广电大数据用户画像系统中调度任务的实现。实验教学过程在XXL-JOB分布式任务调度平台上的调度系统配置。广电大数据用户画像系统中调度任务的实现。教材与参考资料教材祝锡永，张良均．大数据开发项目实战[M]．北京：人民邮电出版社．2022．参考资料[1] 肖芳，张良均．Spark大数据技术与应用[M]．北京：人民邮电出版社．2018．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．

第8章基于TipDM大数据挖掘建模平台实现广电大数据用户画像教案课程名称：大数据开发项目实战课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论18学时，实验46学时）总学分：3.0学分本章学时：8学时材料清单《大数据开发项目实战》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标本章简单介绍了如何在TipDM大数据挖掘建模平台上配置广电大数据用户画像项目的工程，从获取数据，到数据探索分析，再到数据预处理，最后到数据建模，向读者展示了平台流程化的思维，使读者加深了对数据分析流程的理解。同时，TipDM大数据挖掘建模平台去编程、拖曳式的操作，方便了没有Python、Spark编程基础的读者轻松构建数据分析流程，从而实现数据分析的目的。基本要求了解TipDM大数据挖掘建模平台的相关概念和特点。熟悉使用TipDM大数据挖掘建模平台配置广电大数据用户画像的总体流程。掌握使用TipDM大数据挖掘建模平台获取数据的方法。掌握使用TipDM大数据挖掘建模平台进行数据探索的操作方法。掌握使用TipDM大数据挖掘建模平台进行数据去重、数据筛选、表连接等操作的方法。掌握使用TipDM大数据挖掘建模平台构