Spark大数据分析实务 教案全套 张良均 项目1-9 广告流量检测违规识别需求分析- 基于TipDM大数据挖掘建模平台实现广告流量检测违规识别

项目1广告流量检测违规识别需求分析教案课程名称：Spark大数据技术实务课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论32学时，实验32学时）总学分：4.0学分本章学时：2学时材料清单《Spark大数据技术实务》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标解决广告流量违规问题任重道远，且非一朝一夕可以完成，不光是DSP，整个行业的参与者都需要认识到广告流量违规的危害，必须严格遵纪守法，不断提高法治思维。本项目展示了广告流量检测中的违规识别案例，从项目背景、项目目标、目标分析、项目实施展开，分步骤较为完整地分析了广告流量检测违规识别案例的实现步骤，后续章节将根据广告流量检测违规识别案例的需求及实现流程，带领读者学习相关的大数据组件知识，实现广告流量违规识别。基本要求了解大数据的概念和特征。了解常见的广告流量违规方式。了解广告流量检测违规识别项目的流程分析。能够根据项目目标进行流程分析。能够根据业务需求设计项目总体流程。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。数据分析能够做什么？现实生活中存在哪些数据分析技术？该如何进行数据分析？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。大数据的特征有什么？数据分析的完整流程是怎样的？项目的实现流程分析需要注意哪些关键要素？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。数据分析是不是万能的？Spark用于做数据分析有哪些优势？分析本班人员的基本信息可以从哪些角度入手？主要知识点、重点与难点主要知识点大数据的概念。大数据的特征。大数据分析的概念。大数据分析的流程。大数据分析的工具。了解正常的广告投放流程。了解广告流量违规现状。了解广告流量常见违规方式。了解识别虚假流量的常见维度。广告流量检测违规识别流程分析。重点数据分析的概念和流程。难点数据分析的概念与流程。教学过程设计理论教学过程大数据的概念。大数据的特征。大数据分析的概念。大数据分析的流程。大数据分析的工具。了解正常的广告投放流程。了解广告流量违规现状。了解广告流量常见违规方式。了解识别虚假流量的常见维度。广告流量检测违规识别流程分析。教材与参考资料教材郑浩森，张荣．Spark大数据技术分析[M]．北京：人民邮电出版社．2024．参考资料[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．项目2Spark大数据环境安装搭建教案课程名称：Spark大数据技术实务课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论32学时，实验32学时）总学分：4.0学分本章学时：6学时材料清单《Spark大数据技术实务》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标主要介绍Hadoop框架、Hadoop生态系统中Hive和Spark组件的基础知识。首先介绍了Hadoop的发展历程、特点、生态系统等。接着详细介绍了Hadoop生态系统中的Hive和Spark组件，包括组件的简介、特点、应用场景等内容。最后安装搭建了3节点的Hadoop分布式集群，基于Hadoop大数据平台，安装部署了数据仓库Hive、3节点的Spark集群，为后续广告流量违规检测案例的数据处理、模型构建提供技术工具。基本要求了解Hadoop框架的历程、特点、生态系统、应用场景。了解Hive的特点、应用场景以及Hive与关系数据库的区别。了解Spark的发展历程、特点、生态系统、应用场景。熟悉Hadoop框架和Spark的架构组成。能够理解Hadoop、Hive、Spark组件的作用。能够完成Hadoop集群、Hive和Spark集群的搭建与配置。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。Hadoop集群可以在一台电脑上搭建吗？如何将Linux系统搭建在Windows机器上？Hadoop集群选择搭建在Linux系统中比Windows系统要好吗？Spark和Hadoop的关联性是什么？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。Hadoop集群一般需要几个机器节点，Hadoop的拓扑怎么解释？设置固定IP有什么作用？Spark集群搭建时需要修改什么配置文件？配置的内容包括什么？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。Hive的元数据一定要存放在MySQL数据库中吗？还有什么选择？如何更新Hive配置，实现在slave1节点连接Hive服务？根据Spark的安装配置过程，如果想要为Spark集群多加一个子节点，需要进行哪些操作？主要知识点、重点与难点主要知识点Hadoop的发展历程。Hadoop的特点。Hadoop生态系统。Hadoop的应用场景。Hive简介。Hive的特点。Hive的应用场景。Hive与关系数据库的区别。Spark简介。Spark的发展历程。Spark的特点。Spark生态系统。Spark的应用场景。安装搭建Hadoop集群。安装搭建Hive。安装搭建Spark集群。重点安装搭建Hadoop集群。安装搭建Hive。安装搭建Spark集群。难点安装搭建Hadoop集群。安装搭建Hive。安装搭建Spark集群。教学过程设计理论教学过程Hadoop的发展历程。Hadoop的特点。Hadoop生态系统。Hadoop的应用场景。Hive简介。Hive的特点。Hive的应用场景。Hive与关系数据库的区别。Spark简介。Spark的发展历程。Spark的特点。Spark生态系统。Spark的应用场景。实践教学过程创建Linux虚拟机。设置固定IP地址。远程连接虚拟机。配置本地yum源及安装常用软件。在Linux系统下安装Java。修改配置文件。克隆虚拟机。配置SSH免密登录。配置时间同步服务。添加地址映射。启动关闭集群。安装MySQL。下载和安装Hive。修改Hive配置文件。设置环境变量。初始化元数据库与启动Hive。解压并配置Spark集群。启动Spark集群。查看Spark监控服务。教材与参考资料教材郑浩森，张荣．Spark大数据技术分析[M]．北京：人民邮电出版社．2024．参考资料[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．项目3基于Hive实现广告流量检测数据存储教案课程名称：Spark大数据技术实务课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论32学时，实验32学时）总学分：4.0学分本章学时：8学时材料清单《Spark大数据技术实务》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标首先介绍Hive的数据类型，为读者学习Hive表的创建奠定基础；其次介绍数据库的创建与管理操作，使得数据更加有序和易于维护；接着介绍表的创建与修改，包括如何灵活地构建和调整表结构，帮助读者掌握Hive表的创建和管理技巧；然后介绍数据的导入与导出，实现数据的存储与备份；最后实现创建表与导入相应数据至Hive表，为后续的广告流量检测数据分析提供基础数据。基本要求了解Hive中的数据类型。掌握创建和管理数据库的操作方法。掌握创建和修改表的操作方法。掌握Hive数据导入与导出的操作方法。能够认识Hive中的数据类型。能够完成数据库的创建与管理。能够根据要求创建表并导入相应的数据。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。什么是数据仓库？Hive和MySQL有什么区别？如何启动Hive？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。如何实现创建与调整Hive数据库？Hive表的创建和数据库的创建方法有何异同？如何实现导入和导出Hive表数据？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。如何实现查询Hive表数据？Spark要如何读取Hive数据？主要知识点、重点与难点主要知识点了解Hive中的数据类型。创建数据库语法格式。删除数据库语法格式。更改数据库语法格式。使用数据库语法格式。创建内部表。创建外部表。创建分区表。创建桶表。修改表。将文件系统中的数据导入Hive表。通过查询语句向表中插入数据。将Hive表中的数据导出至本地文件系统。将Hive表中的数据导出至HDFS。创建数据表。导入数据至Hive表。重点创建与修改表。Hive表数据的导入与导出操作。难点创建与修改表。Hive表数据的导入与导出操作。教学过程设计理论教学过程了解Hive中的数据类型。创建数据库语法格式。删除数据库语法格式。更改数据库语法格式。使用数据库语法格式。创建内部表。创建外部表。创建分区表。创建桶表。修改表。将文件系统中的数据导入Hive表。通过查询语句向表中插入数据。将Hive表中的数据导出至本地文件系统。将Hive表中的数据导出至HDFS。实践教学过程创建数据库语法格式。删除数据库语法格式。更改数据库语法格式。使用数据库语法格式。创建内部表。创建外部表。创建分区表。创建桶表。修改表。将文件系统中的数据导入Hive表。通过查询语句向表中插入数据。将Hive表中的数据导出至本地文件系统。将Hive表中的数据导出至HDFS。创建数据表。导入数据至Hive表。教材与参考资料教材郑浩森，张荣．Spark大数据技术分析[M]．北京：人民邮电出版社．2024．参考资料[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．项目4基于SparkSQL实现广告流量检测数据探索分析教案课程名称：Spark大数据技术实务课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论32学时，实验32学时）总学分：4.0学分本章学时：8学时材料清单《Spark大数据技术实务》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标首先介绍SparkSQL的功能及运行过程，并介绍SparkSQLCLI的配置方法和SparkSQL与Shell交互；接着详细介绍通过结构化数据文件、外部数据库、RDD及Hive中的表4种方式创建DataFrame对象；最后介绍DataFrame数据的查看以及DataFrame的行列表查询操作。基于知识介绍，根据广告流量检测数据创建DataFrame，通过DataFrame的查询操作对广告流量检测数据进行基本数据查询、缺失值分析以及特征字段进行探索分析。基于本项目数据探索分析的结果，能够更好地开展后续的数据挖掘与数据建模工作。基本要求了解SparkSQL框架的功能及运行过程。了解SparkSQL与Shell交互。掌握SparkSQL的可编程数据模型DataFrame的创建、查询等操作方法。能够配置SparkSQLCLI，提供SparkSQL与Shell交互环境。能够通过不同数据源创建DataFrame。能够实现DataFrame数据及行列表的查询操作。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。SparkSQL和HiveSQL有什么区别？什么是DataFrame？DataFrame的相关操作有哪些？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。如何实现SparkSQL跟Hive的交互？DataFrame行列式是什么？有些查询操作？数据探索分析有哪些要点？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。Scala语言中的DataFrame和Python语言中的DataFrame有何区别？能否使用Python语言实现Spark分析操作？主要知识点、重点与难点主要知识点SparkSQL简介。配置SparkSQLCLI。SparkSQL与Shell交互。通过结构化数据文件创建DataFrame。通过外部数据库创建DataFrame。通过RDD创建DataFrame。通过Hive表创建DataFrame。printSchema()：输出数据模式。show()：查看数据。first(head(take(takeAsList()：获取若干行记录。条件查询。查询指定字段的数据信息。查询指定行数的数据。排序查询。分组查询。读取数据创建DataFrame对象。简单查询DataFrame数据。探索分析日流量特征。探索分析IP地址的访问次数特征。探索分析虚假流量数据特征。重点配置SparkSQLCLI。DataFrame的创建、数据查看、行列表查询操作。难点DataFrame的创建、数据查看、行列表查询操作。教学过程设计理论教学过程SparkSQL简介。配置SparkSQLCLI。SparkSQL与Shell交互。通过结构化数据文件创建DataFrame。通过外部数据库创建DataFrame。通过RDD创建DataFrame。通过Hive表创建DataFrame。printSchema()：输出数据模式。show()：查看数据。first(head(take(takeAsList()：获取若干行记录。条件查询。查询指定字段的数据信息。查询指定行数的数据。排序查询。分组查询。实践教学过程创建数据库语法格式。配置SparkSQLCLI。SparkSQL与Shell交互。通过结构化数据文件创建DataFrame。通过外部数据库创建DataFrame。通过RDD创建DataFrame。通过Hive表创建DataFrame。查看DataFrame数据。printSchema()：输出数据模式。show()：查看数据。first(head(take(takeAsList()：获取若干行记录。条件查询。查询指定字段的数据信息。查询指定行数的数据。排序查询。分组查询。读取数据创建DataFrame对象。查询数据记录数。查询数据缺失值。探索分析日流量特征。探索分析IP地址的访问次数特征。探索分析虚假流量数据特征。教材与参考资料教材郑浩森，张荣．Spark大数据技术分析[M]．北京：人民邮电出版社．2024．参考资料[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．项目5基于SparkSQL实现广告流量检测数据预处理教案课程名称：Spark大数据技术实务课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论32学时，实验32学时）总学分：4.0学分本章学时：12学时材料清单《Spark大数据技术实务》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标首先介绍DataFrame行列表增、删操作，通过DataFrame对象新增或删除得到新的DataFrame；接着介绍创建与使用用户自定义函数，可以根据特定的需求编写和调用用户自定义函数；然后介绍DataFrame表联合操作，并分别举例阐述联合操作的区别；最后介绍DataFrame行列表输出操作相关知识。基于知识介绍，对广告流量检测数据进行数据预处理，在删除缺失值后构建关键特征，将构建出来的特征合并输出保存至Hive表中。本项目的操作可为项目6介绍的模型的构建与评估提供数据特征服务。基本要求掌握DataFrame行列表的增、删操作方法。掌握用户自定义函数的创建与使用方法。掌握多种DataFrame表联合操作的方法。掌握DataFrame保存数据的多种方式。能够处理DataFrame中的缺失值。能够实现DataFrame表联合操作。能够创建和使用用户自定义函数。能够按照不同需求采用不同方式保存DataFrame数据。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。DataFrame行列表除了查询操作，还有什么操作？能否将两个DataFrame合并到一起操作？如果Spark提供的函数不能满足统计分析需求，要通过什么方法实现其需求？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。DataFrame表联合的方法有哪些？有何异同？如何创建用户自定义函数？创建后又该如何使用？要想保存处理好的DataFrame，有哪些方法可以实现？可以以什么形式保存？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。Spark提供的可操作对象除了DataFrame，还有什么？按照数据分析流程，数据预处理后是什么操作？主要知识点、重点与难点主要知识点新增数据列。删除数据列。创建与使用用户自定义函数。5种join()方法。根据特定字段进行表联合操作。指定类型进行表联合操作。使用Column类型进行表联合操作。保存为文件。保存为持久化的表。使用drop语句删除数据。自定义函数构建关键特征。保存DataFrame数据至Hive表中。重点DataFrame行列表增、删、输出操作。DataFrame表联合操作。创建与使用用户自定义函数。难点创建与使用用户自定义函数。教学过程设计理论教学过程SparkSQL简介。配置SparkSQLCLI。SparkSQL与Shell交互。通过结构化数据文件创建DataFrame。通过外部数据库创建DataFrame。通过RDD创建DataFrame。通过Hive表创建DataFrame。printSchema()：输出数据模式。show()：查看数据。first(head(take(takeAsList()：获取若干行记录。条件查询。查询指定字段的数据信息。查询指定行数的数据。排序查询。分组查询。实践教学过程新增数据列。删除数据列。创建与使用用户自定义函数。根据特定字段进行表联合操作。指定类型进行表联合操作。使用Column类型进行表联合操作。保存为文件。保存为持久化的表。使用drop语句删除数据。划分时间区间。构建关键特征并保存至Hive表中。保存DataFrame数据至Hive表中。教材与参考资料教材郑浩森，张荣．Spark大数据技术分析[M]．北京：人民邮电出版社．2024．参考资料[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．项目6基于SparkMLlib实现广告流量检测违规识别模型构建与评估教案课程名称：Spark大数据技术实务课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论32学时，实验32学时）总学分：4.0学分本章学时：12学时材料清单《Spark大数据技术实务》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标首先介绍SparkMLlib算法库，并介绍SparkMLlib中的算法与算法包，详细举例介绍SparkMLlib的数据类型、特征提取、回归算法以及分类算法等。最后介绍SparkMLlib的评估器以及对模型的评估。基于知识介绍，在对广告流量检测数据进行数据标准化后，划分训练数据和测试数据，通过逻辑回归和随机森林两种算法对广告流量检测数据构建模型，并对两种分类模型进行评估对比，根据对比结果选择随机森林模型用于广告流量检测违规识别。通过本项目的模型构建，识别广告流量数据中的作弊流量，可以减少投放广告时的客户损失。基本要求了解SparkMLlib算法库。熟悉SparkMLlib中的算法与算法包。掌握SparkMLlib的评估器与模型评估的使用方法。能够掌握SparkMLlib特征提取的方法。能够使用SparkMLlib回归与分类相关算法包构建模型。能够使用SparkMLlib评估器对模型进行评估。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。是否了解过机器学习？机器学习算法有哪些？Spark是否提供了机器学习算法包？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。常用的机器学习算法有哪些？MLlib输入算法的数据类型通常有哪些？通过MLlib调用算法时，分类算法的输入数据要求哪种类型，聚类、推荐算法呢？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。MLlib是基于RDD的算法库，ML是基于DataFrame的算法库，分析一下这两个库的优点？MLlib可以调用模型的save方法将模型保存，查看模型保存的信息，列举出模型具体保存了哪些信息？主要知识点、重点与难点主要知识点了解机器学习算法。SparkMLlib简介。数据类型。基本统计。管道。特征提取。特征处理。回归。分类。聚类。关联规则。智能推荐。掌握SparkMLlib的评估器与模型评估。使用spark.ml.classification模块构建分类模型。使用评估器实现模型评估。重点特征提取。特征处理。模型构建与评估。难点特征提取。特征处理。模型构建与评估。教学过程设计理论教学过程了解机器学习算法。SparkMLlib简介。数据类型。基本统计。管道。特征提取。特征处理。回归。分类。聚类。关联规则。智能推荐。掌握SparkMLlib的评估器与模型评估。实践教学过程基本统计。管道。特征提取。特征处理。回归。分类。聚类。关联规则。智能推荐。数据归一化。构建建模样本。使用逻辑回归算法实现广告流量检测违规识别。使用随机森林算法实现广告流量检测违规识别。使用评估器实现模型评估。教材与参考资料教材郑浩森，张荣．Spark大数据技术分析[M]．北京：人民邮电出版社．2024．参考资料[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）[M]．北京：人民邮电出版社．2022．[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．[3] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．项目7基于Spark开发环境实现广告流量检测违规识别教案课程名称：Spark大数据技术实务课程类别：必修适用专业：大数据技术类相关专业总学时：64学时（其中理论32学时，实验32学时）总学分：4.0学分本章学时：12学时材料清单《Spark大数据技术实务》教材。配套PPT。引导性提问。探究性问题。拓展性问题。教学目标与基本要求教学目标首先介绍如何搭建Java开发环境以及Spark开发环境，通过开发环境搭建，实现Spark程序在开发环境下运行。然后对广告流量检测违规识别项目的数据预处理、特征构建以及模型构建代码进行封装。最后将在IntelliJIDEA中打包工程输出的JAR包在集群中运行。基本要求掌握JDK8安装和环境配置。掌握IntelliJIDEA中创建Scala工程。掌握Spark运行环境配置。能够在本地环境下配置JDK环境，实现Java环境搭建。能够在IntelliJIDEA中配置相关插件和开发依赖包，实现Scala工程创建。能够在IntelliJIDEA中配置Spark运行环境，实现Spark程序运行。问题引导性提问引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。什么是IDE？常见的IDE编程软件有哪些？如何将Spark代码集合、封装成一个可执行的代码？探究性问题探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。安装JDK的作用是什么？配置Spark的开发环境需要哪些步骤？运行Spark程序的方式有哪些？怎么操作？拓展性问题拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。如何通过Maven工具实现程序自动化打包？在一个Spark程序类中，通过SparkConf设置了appName，如果在使用spark-submit提交任务到集群中时再次设置appName，那么按照参数的优先级，最终使用了哪一个appName?主要知识点、重点与难点主要知识点安装JDK8。设置环境变量。下载与安装IntelliJIDEA。Scala插件安装与使用。在IntelliJIDEA中配置Spark运行环境。运行Spark程序。开发环境下实现流量数据违规识别。模型应用。重点Scala插件的使用。在IntelliJIDEA中配置Spark运行环境。运行Spark程序。难点在IntelliJIDEA中配置Spark运行环境。运行Spark程序。教学过程设计理论教学过程安装JDK8。设置环境变量。下载与安装IntelliJIDEA。Scala插件安装与使用。在IntelliJIDEA中配置Spark运行环境。运行Spark程序。实践教学过程安装JDK8。设置环境变量。下载与安装IntelliJIDEA。Scala插件安装与使用。在IntelliJIDEA中配置Spark运行环境。运行Spark程序。集群连接参数设置。封装代码。运行Spark程序。教材与参考资料教材郑浩森，张荣．Spark大数据技术分析[M]．北京：人民邮电出版社．2024．参考资料[1] 肖芳，张良均．Spark大数据技术与应用（第2版）（微课版）