Spark大数据分析实务 课件 项目8 基于TipDM大数据挖掘建模平台实现广告流量检测违规识别-知识准备V1.0

基于TipDM大数据挖掘建模平台实现广告流量检测违规识别知识准备教学目标知识目标了解TipDM大数据挖掘建模平台的相关概念和特点。技能目标能够使用TipDM大数据挖掘建模平台完成广告流量检测违规识别项目总体流程的设计、配置。能够使用TipDM大数据挖掘建模平台完成项目流程的实现。教学目标素质目标具备快速学习能力，能够快速上手使用TipDM大数据挖掘建模平台。具有总结概括信息能力，能够根据项目4~7的项目流程，配置可用于TipDM大数据挖掘建模平台的总体流程。具有学以致用的实践能力，能够使用TipDM大数据挖掘建模平台的组件实现具体问题。思维导图项目背景在本书中介绍了使用Spark来实现广告流量检查违规识别项目，相较于传统Spark解析器，TipDM大数据挖掘建模平台具有流程化、去编程化等特点，满足不懂编程的用户使用数据分析技术的需求。本项目将介绍如何使用TipDM大数据挖掘建模平台，然后通过该平台实现广告流量检查违规识别。项目目标根据项目4~7的内容，设计广告流量检测违规识别项目的总体流程，通过TipDM大数据挖掘建模平台实现广告流量检测的违规识别。目标分析使用TipDM大数据挖掘建模平台实现广告流量检测数据的获取。使用TipDM大数据挖掘建模平台实现广告流量检测数据的处理。使用TipDM大数据挖掘建模平台实现模型的构建与评估。平台简介TipDM大数据挖掘建模平台是由广东泰迪智能科技股份有限公司自主研发，面向大数据挖掘项目的工具。平台使用Java语言开发，采用B/S结构（Browser/Server，浏览器/服务器模式），用户不需要下载客户端，可通过浏览器进行访问。平台简介平台具有支持多种语言、操作简单、无须编程语言基础等特点，以流程化的方式将数据输入/输出、统计分析、数据预处理、挖掘与建模等环节进行连接，从而实现大数据挖掘的目的。平台界面如下图。平台简介读者可通过访问平台查看具体的界面情况。微信搜索公众号“泰迪学社”或“TipDataMining”，关注公众号。关注公众号后，回复“建模平台”，获取平台访问方式。平台简介在介绍如何使用平台实现项目分析之前，需要引入平台的几个概念，其基本介绍如下表。概念基本介绍组件将建模过程中涉及的输入/输出、数据探索、数据预处理、绘图、建模等操作分别进行封装，每一个封装好的模块称之为组件。组件分为系统组件和个人组件。（1）系统组件可供所有用户使用（2）个人组件由个人用户编辑，仅供个人账号使用工程为实现某一数据挖掘目标，将各组件通过流程化的方式进行连接，整个数据流程称为一个工程参数每个组件都有提供给用户进行设置的内容，这部分内容称为参数共享库用户可以将配置好的工程、数据集，分别公开到模型库、数据集库中作为模板，分享给其他用户，其他用户可以使用共享库中的模板，创建一个无须配置组件便可运行的工程平台简介TipDM大数据挖掘建模平台主要有以下几个特点。平台组件基于Python、R以及Hadoop/Spark分布式引擎，用于数据分析。Python、R以及Hadoop/Spark是常见的用于数据分析的语言或工具，高度契合行业需求。用户可在没有Python、R或Hadoop/Spark编程基础的情况下，使用直观的拖曳式图形界面构建数据分析流程，无须编程。提供公开可用的数据分析示例实训，一键创建，快速运行。支持挖掘流程每个节点的结果在线预览。平台包含Python、Spark、R三种工具的组件包，用户可以根据实际需求灵活选择不同的语言进行数据挖掘建模。平台简介下面将对平台的这5个模块进行介绍：共享库数据连接数据集我的工程个人组件共享库登录平台后，用户即可看到“共享库”模块系统提供的示例工程（模板）。“共享库”模块主要用于标准大数据挖掘建模案例的快速创建和展示。通过“共享库”模块，用户可以创建一个无须导入数据及配置参数就能够快速运行的工程。用户可以将自己搭建的工程公开到“共享库”模块，作为工程模板，供其他用户一键创建。同时，每一个模板的创建者都具有模板的所有权，能够对模板进行管理。数据连接“数据连接”模块支持从DB2、SQLServer、MySQL、Oracle、PostgreSQL等常用关系数据库导入数据，导入数据时的“新建连接”对话框如下图。数据集“数据集”模块主要用于数据挖掘建模工程中数据的导入与管理。支持从本地导入任意类型的数据。导入数据时的“新增数据集”对话框如下图。我的工程“我的工程”模块主要用于数据挖掘建模流程化的创建与管理，工程示例流程如下图。通过单击“工程”栏下的（“新建工程”）按钮，用户可以创建空白工程并通过“组件”栏下的组件进行工程配置，将数据输入/输出、预处理、挖掘建模、模型评估等环节通过流程化的方式进行连接，达到数据挖掘与分析的目的。对于完成度优秀的工程，可以将其公开到“共享库”中，作为模板让其他使用者学习和借鉴。我的工程在“组件”栏下，平台提供了输入/输出组件、Python组件、R语言组件、Spark组件等算法系统组件，如下图，用户可直接使用。输入/输出组件提供工程输出与输出组件，包括输入源、输出源、输出到数据库等。我的工程1.Python组件Python组件包含Python脚本、预处理、统计分析、时间序列、分类、模型评估、模型预测、回归、聚类、关联规则、文本分析、深度学习和绘图，共13大类。Python组件的类别介绍如下表。类别介绍Python脚本“Python脚本”类提供一个Python代码编辑框。用户可以在代码编辑框中粘贴已经写好的程序代码并直接运行，无须再额外配置成算法预处理“预处理”类提供对数据进行预处理的组件，包括数据标准化、缺失值处理、表堆叠、数据筛选、行列转置、修改列名、衍生变量、数据拆分、主键合并、新增序列、数据排序、记录去重和分组聚合等统计分析“统计分析”类提供对数据整体情况进行统计的常用组件，包括因子分析、全表统计、正态性检验、相关性分析、卡方检验、主成分分析和频数统计等我的工程类别介绍时间序列“时间序列”类提供常用的时间序列组件，包括ARCH、AR模型、MA模型、灰色预测、模型定阶和ARIMA等分类“分类”类提供常用的分类组件，包括朴素贝叶斯、支持向量机、CART分类树、逻辑回归、神经网络和K最近邻等模型评估“模型评估”类提供了用于模型评价的组件，包括模型评估模型预测“模型预测”类提供了用于模型预测的组件，包括模型预测回归“回归”类提供常用的回归组件，包括CART回归树、线性回归、支持向量回归和K最近邻回归等我的工程类别介绍聚类“聚类”类提供常用的聚类组件，包括层次聚类、DBSCAN密度聚类和K-Means等关联规则“关联规则”类提供常用的关联规则组件，包括Apriori和FP-Growth等文本分析“文本分析”类提供对文本数据进行清洗、特征提取与分析的常用组件，包括情感分析、文本过滤、TF-IDF、Word2Vec等深度学习“深度学习”类提供常用的深度学习组件，包括循环神经网络、ALS（AlternatingLeastSquares，交替最小二乘）和卷积神经网络绘图“绘图”类提供常用的画图组件，可以绘制柱形图、折线图、散点图、饼图和词云图等我的工程2.R语言组件R语言组件包含R语言脚本、预处理、统计分析、分类、时间序列、聚类、回归和关联分析，共8大类。R语言组件的类别介绍如下表。类别介绍R语言脚本“R语言脚本”类提供一个R语言代码编辑框。用户可以在代码编辑框中粘贴已经写好的代码并直接运行，无须额外配置组件预处理“预处理”类提供对数据进行预处理的组件，包括缺失值处理、异常值处理、表连接、表合并、数据标准化、记录去重、数据离散化、排序、数据拆分、频数统计、新增序列、字符串拆分、字符串拼接、修改列名等统计分析“统计分析”类提供对数据整体情况进行统计的常用组件，包括卡方检验、因子分析、主成分分析、相关性分析、正态性检验和全表统计等我的工程类别介绍分类“分类”类提供常用的分类组件，包括朴素贝叶斯、CART分类树、C4.5分类树、BP神经网络、KNN、SVM和逻辑回归等时间序列“时间序列”类提供常用的时间序列组件，包括ARIMA和指数平滑等聚类“聚类”类提供常用的聚类组件，包括K-Means、DBSCAN密度聚类和系统聚类等回归“回归”类提供常用的回归组件，包括CART回归树、C4.5回归树、线性回归、岭回归和KNN回归等关联分析“关联分析”类提供常用的关联规则组件，包括Apriori等我的工程3.Spark组件Spark组件包含预处理、统计分析、分类、聚类、回归、降维、协同过滤和频繁模式挖掘，共8大类。Spark组件的类别介绍如下表。类别介绍预处理“预处理”类提供对数据进行预处理的组件，包括数据去重、数据过滤、数据映射、数据反映射、数据拆分、数据排序、缺失值处理、数据标准化、衍生变量、表连接、表堆叠和数据离散化等统计分析“统计分析”类提供对数据整体情况进行统计的常用组件，包括行列统计、全表统计、相关性分析和重复值缺失值探索分类“分类”类提供常用的分类组件，包括逻辑回归、决策树、梯度提升树、朴素贝叶斯、随机森林、线性支持向量机和多层感知神经网络等我的工程类别介绍聚类“聚类”类提供常用的聚类组件，包括K-Means、二分K-Means聚类和混合高斯模型等回归“回归”类提供常用的回归组件，包括线性回归、广义线性回归、决策树回归、梯度提升树回归、随机森林回归和保序回归等降维