《工业大数据分析》课件-2.数据输入输出与数据处理

工业大数据分析工业大数据处理——文件输入与输出主要内容01任务概述03文件数据输出02文件数据输入文件的输入输出是指将数据整理到CSV、Excel等文件格式里，通过平台将本地文件导入到平台中，通过一系列的数据处理，形成处理后的数据并在平台中落库存档。任务概述数据集是某水厂投药控制系统实时采集的数据信息，数据均为瞬时测量值，包括历史原水水质数据、原水流量数据、沉淀池浊度和混凝剂投加量（PAC耗）数据等，共6166个样本。字段名称数据样例数据类型字段描述时间2013/8/201:00字符型瞬时测水时间原水PH7.15数值型(DOUBLE)未处理水PH值原水浊度720.53数值型(DOUBLE)未处理水的浊度出水浊度0.78数值型(DOUBLE)沉淀池出水浊度取水量19560数值型(INT)原水的流速PAC耗0.27数值型(DOUBLE)混凝剂投加量，即PAC的消耗任务概述数据集样例任务概述建模分析界面：最左侧是功能菜单；靠近功能菜单的是算法节点目录，提供建模用的各种算子；右侧大块区域是建模区，从算法节点目录中把算子拖拽到建模区，并连接算子实现算法模型构建。（1）熟悉大数据平台系统建模功能界面；（2）能够将本地数据文件导入系统，能够通过系统设置时间类型；（3）能够选择系统内的数据源和相应表，通过追加或者覆盖的方式输出到另一张表中。并且能设置相应数据结构类型。任务概述通过本任务的学习：主要内容01任务概述03文件数据输出02文件数据输入文件数据输入构建工业大数据分析处理模型的第一步就是从输入中选取相应的节点作为挖掘分析的数据源。该部分节点包括：文件输入、关系数据库输入、HIVE输入等。文件输入节点支持从txt、excel、csv文件获取数据作为数据挖掘分析的数据源。输入类型：数值/字符/日期/文本/向量数据格式：Dataframe文件数据输入步骤1：用户登录“算法建模”界面，选择“数据分析”功能中的“挖掘分析”，建立分析模型。文件数据输入步骤2：将界面左侧菜单“数据管理—输入”菜单下“文件输入”节点拖至右侧设计区。文件数据输入步骤3：双击步骤2中“文件输入”节点对象，打开“文件输入”节点配置界面。文件数据输入步骤4：在配置界面中点击“文件上传”按钮，选择待上传的文件“工业用水处理投药量数据.csv”，点击“打开”，上传本地工业数据文件到平台。文件数据输入步骤5：文件读取配置界面中，逗号为分隔符，编码GB2312，读取起始行为第2行，起始列为第1列，去掉双引号，提取表头，点击“确定”。文件数据输入步骤6：文件上传到大数据平台后，在“文件输入”节点查看界面中点击“数据内容”，可以查看数据表的内容。文件数据输入步骤7：点击“数据结构”，可以查看数据表的结构信息，并支持对字段名和字段类型的编辑功能。主要内容01任务概述03文件数据输出02文件数据输入文件数据输出将“数据管理—输出”菜单下“关系数据库输出”节点拖至右侧设计区，构建输入、输出模型。使用大数据平台“关系数据库输出”节点和“文件输出”节点构建文件数据的输出模型，将上传平台的文件数据写入到平台预设的“MySQL关系型数据库”中。文件数据输入步骤1:从“数据管理/输出”目录下，鼠标左键点击“关系数据库输出”节点，并按住不放，将其拖入右侧建模区中文件数据输入步骤2：连接“文件输入节点”的D输出至“关系数据库输出节点”的D输入；连接“关系数据库输出”的D输出至“建模区”D输入，即可完成模型的搭建。文件数据输入步骤3：双击“关系数据库输出”节点打开数据输出配置页面，选择可输出的数据库，选择“确定”，数据保存到平台数据库的数据表中。参数配置：可对输出表字段名进行重命名、修改描述，选择需要输出的属性，并逐一或者批量配置待输出数据的输出类型、输出长度和输出精度。存储模式可选择覆盖、追加两种形式，默认覆盖。追加模式下若同名表存在，在已有表中追加内容；覆盖模式下若同名表存在，直接覆盖原有表结构和数据内容。在“输出表名称”

文本框中手动输入目标表名称。界面右侧待输出地址及相关信息中，用户可对输出表的所属数据源进行设置。选择已有权限的数据源作为目标数据源。文件数据输入步骤4：执行模型后，可以查看结果使用navicat客户端工具连接平台数据库查看数据表中的数据工业大数据分析工业大数据处理——HIVE输入与输出主要内容01任务概述03文件输入02HIVE数据源搭建04HIVE输出与输入HIVE输入节点将Hive作为输入数据源，仅支持sql查询，不支持SQL插入、更新及删除操作。HIVE输出节点支持将流程过程数据和处理结果数据保存到HIVE表中。本任务将文本文件中的数据加载到文件输入节点，并通过Hive输出节点写入Hive数据库，然后通过Hive输入节点读取写入数据库的内容。任务概述数据集：某台风力电机10min间隔SCADA真实运行数据，主要有4个维度信息分别为时间戳（Time）、风速（WindSpeed）、功率（Power）和风轮转速（RotorSpeed），包含3426条数据。（1）能够实现HIVE数据源的搭建；（2）能够实现HIVE数据的输入处理；（3）能够实现HIVE数据的输出处理。任务概述通过本任务的学习：主要内容01任务概述03文件输入02HIVE数据源搭建04HIVE输入与输出HIVE数据源搭建步骤1：创建“HIVE数据源”。选择算法建模工具中数据管理模块，使用关系数据中创建数据源功能创建hive数据源步骤2：配置“HIVE数据源”。HIVE数据源搭建步骤3：设置“HIVE数据源”访问权限主要内容01任务概述03文件输入02HIVE数据源搭建04HIVE输入与输出文件输入步骤1：使用算法建模工具的数据分析功能新建挖掘分析模型，将“数据管理—输入”菜单下“文件输入”节点拖至右侧设计区。步骤2：配置“文件输入”节点，将存储“风机”数据的csv数据集上传到大数据平台。主要内容01任务概述03文件输入02HIVE数据源搭建04HIVE输入与输出HIVE输出步骤1：将输出功能下的“hive输出”拉倒设计界面，创建hive输出节点，并和输入节点搭建统一模型。步骤2：打开hive输出节点配置界面，配置hive输出节点。HIVE输出步骤3：配置完成后，点击工具栏“保存”按钮，然后执行模型，模型运行结束，将反馈执行过程分析信息。步骤4：Hive输出节点的列表功能区查看上传的hive数据表。HIVE输入步骤1：将Hive输入节点拉倒设计界面。步骤2：配置hive输入节点，数据源为“hive数据源”。编写查询风机数据表（fengji）的sql语句，勾选“空值检测”和“显示数据内容”，单击“测试”。HIVE输入步骤3：选择“数据内容”可以查看hive输入的数据表内容。步骤4：选择“数据结构”可以查看fengji表的结构。工业大数据分析工业大数据处理——数据行处理主要内容01任务概述03数据排序02数据过滤数据行处理包括数据过滤和数据排序。数据集选用“工业用水处理投药量数据”。任务概述数据过滤：在实际的问题中的数据量往往是巨大的。为了保证所用的方法能够在原始数据的支持下得以实现，需要对数据进行筛选，使得解决方法简单化。数据排序：按一定顺序将数据排列，以便数据分析工作者通过浏览数据发现一些明显的特征或趋势，找到解决问题的线索。（1）能够对上传到大数据平台中的数据进行数据过滤处理；（2）能够对上传到大数据平台中的数据进行数据排序处理。任务概述通过本任务的学习：主要内容01任务概述03数据排序02数据过滤数据过滤步骤1：新建挖掘分析模型，完成文件输入。并上传文件“工业用水处理投药量数据.csv”。数据过滤步骤2：在挖掘界面左侧“数据处理—行”菜单下，将“数据过滤”节点拖至设计区，构建如下模型。数据过滤步骤3：双击打开“数据过滤”节点，将需要过滤的列名“原水PH”和“原水浊度”选至页面右侧；过滤条件选择“大于7”，后者过滤条件“大于100”。两个条件同时满足。两种模式：满足全部条件：设置的各个条件是“and”关系，输出的保留记录为满足各个条件的记录交集；满足任意条件：设置的各个条件是“or”关系，输出的保留记录为满足各个条件的记录并集。过滤条件：分别针对数值型、字符型、日期型或文本变量进行条件设置。不满足该条件要求的记录将被过滤掉。数据过滤步骤4：配置完成后，点击“建模”界面右上角“运行”按钮，运行后在“洞察”中查看节点运行结果。满足过滤条件的记录2条。主要内容01任务概述03数据排序02数据过滤数据排序步骤1：通过“文件输入”节点上传“工业用水处理投药量数据”，完成文件输入节点配置；将“排序”节点拉至设计区，连接“文件输入”节点和“排序”节点，构建数据排序模型。数据排序步骤2：将“数据处理—行”菜单下“排序”节点拖至设计区，与“文件输入”节点连接，双击打开“排序”节点进行设置。如，“原水浊度”升序，“取水量”降序。参数配置：选择变量：从输入数据集中选择属性作为处理对象。这些变量的排序优先级为从顶至下，即优先按照第一行属性进行排序，然后按照第二行属性进行排序，依次类推。排序方式：支持升序、降序排序方式。默认需要用户选择排序方式，此时状态为警示，当用户为属性选择升序或者降序后，状态为正常；支持将该变量及排序方式从表格中删除。数据排序步骤3：配置完成后，点击建模界面右上角“运行”按钮，运行后在“洞察”中查看节点运行结果。工业大数据分析工业大数据处理——数据列处理主要内容01任务概述03缺失值处理02属性过滤05数值型属性变换04异常值检测数据列处理包括“属性过滤”、

“缺失值处理”、“异常值检测”和“数据类型变换”。数据集选用“工业用水处理投药量数据”。任务概述属性过滤：能够根据用户设置的一个或者多个属性进行列数据的过滤和筛选。缺失值处理：能够对存在缺失值的变量进行填充，根据数据类型的不同，可选择多种方式进行变量的缺失值替换。异常值检测：能够对存在异常和噪声的数据进行检测和识别，同时可进一步对识别出的异常值进行处理。数据类型变换：包括数值型属性变换、字符型属性变换和日期型属性变换。（1）能够对上传到大数据平台中的数据进行属性过滤处理；（2）能够对上传到大数据平台中的数据进行缺失值处理；（3）能够对上传到大数据平台中的数据进行异常值检测；（4）能够对上传到大数据平台中的数据进行数值型属性变换处理。任务概述通过本任务的学习：主要内容01任务概述03缺失值处理02属性过滤05数值型属性变换04异常值检测属性过滤步骤1：新建挖掘分析模型，将“数据管理-输入”菜单下的“文件输入”节点添加到建模界面。并上传文件“工业用水处理投药量数据”。步骤2：在挖掘界面左侧“数据处理—列”菜单下，将“属性过滤”节点拖至右侧设计区，与需要处理数据的节点连接，构建“属性过滤”模型。属性过滤步骤3：双击打开“属性过滤”节点，本例选择“取水量”、“原水PH”和“PAC耗”数据列进行属性过滤。过滤后的数据集中排除这三列数据。参数配置：保留属性：选到右边的列是保留下来的属性，未被选中的变量列将被删除掉不再输出。过滤属性：选到右边的列是过滤掉的属性，过滤掉的变量列将被删除掉不再输出。属性过滤步骤4：配置完成后，点击“建模”界面右上角“运行”按钮，运行后在“洞察”中查看节点运行结果。主要内容01任务概述03缺失值处理02属性过滤05数值型属性变换04异常值检测缺失值处理步骤1：用户在建模区分别拖入“文件输入”和“缺失值处理”节点，构建“缺失值处理”模型。缺失值处理步骤2：用“文件输入”节点上传“工业用水处理投药量数据”。缺失值处理步骤3：双击“缺失值处理”节点，进行设置，本例对原水PH列进行缺失值处理，使用“平均值”替换。缺失值处理针对存在缺失值的变量进行填充,具体按照数据类型的不同，可选择多种方式进行变量的缺失值处理。最后输出满足设置方式处理后的数据表。参数配置：选择列：指定需要进行缺失值处理的属性列。搜索：支持对已选字段进行自定义搜索。数值批处理：针对数值型提供最小值、最大值、平均值、中位数和自定义等方式的缺失值处理。日期批处理：设置一个特定的日期值赋给缺失的单元格。字符/文本批处理：针对字符型及文本型提供最多次项、最少次项和自定义等方式的缺失值处理。缺失值处理步骤4：配置完成后，点击建模界面右上角“运行”按钮，运行后在“洞察”中查看节点运行结果。主要内容01任务概述03缺失值处理02属性过滤05数值型属性变换04异常值检测异常值检测步骤1：新建挖掘分析模型，添加“文件输入”节点，上传“工业用水处理投药量数据”。在“数据处理—高级”菜单下，将“异常值检测”节点拖至右侧设计区，文本输入节点D点和异常值检测D点相连接，构建“异常值检测”处理模型。异常值检测步骤2：进行参数配置。“原水PH”对“异常值检测”节点使用自定义异常检测公式，“出水浊度”使用“基于四分位距”检测方法。参数配置：满足以下全部条件：满足所有条件则进行异常值处理。满足以下任意条件：满足任意一个条件则进行异常值处理。异常值操作：提供“直接删除”、“用均值替换”、“仅输出异常值”、“标记异常值并输出整表”及“用自定义值替换”共五种异常值处理方式。选择列：指定异常值检测的属性列，数据类型必须为数值型。检测方式：提供“基于四分位距”和“自定义异常检测公式”两种检测方式，其中“基于四分位距”不需要输入“检测公式”；“自定义异常检测公式”需要选择“符号”并自定义“值”。异常值检测步骤3：配置完成后，点击建模界面右上角“运行”按钮，运行后在“洞察”界面中查看异常值处理前和处理后运行结果。“原水PH”大于7的数据在处理后的结果中被删除了。主要内容01任务概述03缺失值处理02属性过滤05数值型属性变换04异常值检测数值型属性变换步骤1：新建挖掘分析模型，添加“文件输入”节点，上传“工业用水处理投药量数据”。在挖掘界面左侧“数据处理-列”菜单下，将“数值属性变换”节点拖至右侧设计区，与需要处理数据的节点连接，构建“数值型属性变换”处理模型。数值型属性变换步骤2：双击打开节点，进行“数值型属性变换”参数配置，将“原水PH”数字值转换为字符串。参数配置：生成新列：勾选“生成新列”，变换后的列是新生成一列，否则替换原来的列。批量操作：可选择多列批量设置变换方式。选择列：需要做数值型属性变换的属性/字段/列的集合。这里选择的属性/字段/列的数据类型必须为数值型。变换方式：将数字转换为其它类型。如，将数字转换为字符型。数值型属性变换步骤3：配置完成后，点击建模界面右上角“运行”按钮，运行后在“洞察”界面中查看数值型属性变换处理结果。产生新列“原水PH1”，类型为字符串类型。工业大数据分析工业大数据处理——数据融合主要内容01任务概述03数据追加02数据连接04数据拆分数据融合处理包括“数据连接”、

“数据追加”和“数据拆分”。案例操作数据集选用“工业用水处理投药量数据”。任务概述数据连接：是基于连接字段按照给定的连接方式进行两个表格的字段组合得到新的数据表，支持两个数据表的单个或多个字段为连接字段的连接操作。数据追加：是针对原有业务数据库系统分析基础上提出的，它解决的是在数据仓库初始数据转载后，如何再向数据仓库输入变化的数据的问题。数据拆分：是指把逻辑上是统一整体的数据分割成较小的、可以独立管理的物理单元进行存储，以便于重构、重组和恢复，以提高创建索引和顺序扫描的效率。（1）能够选择系统内的数据源，通过数据融合的方式对数据进行连接；（2）能够选择系统内的数据源，通过数据融合的方式对数据进行追加；（3）能够选择系统内的数据源，通过数据融合的方式对数据进行拆分。任务概述通过本任务的学习：主要内容01任务概述03数据追加02数据连接04数据拆分数据连接步骤1：在建模界面放置2个文件输入节点，文件输入节点中的数据文件选择“工业用水处理投药量数据.csv”，选择“数据融合-数据连接”，拖入建模区进行连接“文件输入”节点，构建“数据连接”模型。数据连接步骤2：双击打开“数据连接”节点，配置两个数据表的连接关系。连接方式为内连接，左右表列按“时间”属性构建连接。数据连接是基于连接字段按照给定的连接方式进行两个表格的字段组合得到新的数据表，支持两个数据表的单个或多个字段为连接字段的连接操作，连接方式包括内连接、外连接、左连接、右连接。参数配置：连接方式：涵盖内连接、外连接、左连接、右连接4个方式，其中内连接包括其中连接字段的值对于左表和右表都共有的记录，即不匹配的记录不会包括在输出数据集中。外连接包括左表和右表中的所有记录，既有匹配的记录也有未匹配的记录。左连接包括左表中的所有记录，以及右表中的连接字段都共有的记录。右连接包括右表中的所有记录，以及左表中的连接字段都共有的记录。默认值为内连接。。连接条件：选择一个或者多个字段使得左表和右表进行连接，条件之间是取交集的。示例格式：左表.列名1=右表.列名1and左表.列名2=右表.列名2。数据连接步骤3：完成连接配置，点击建模界面右上角“运行”按钮。在洞察界面查看数据连接结果。主要内容01任务概述03数据追加02数据连接04数据拆分数据追加步骤1：选择“数据管理-文件输入”，拖入2个“文件输入”到建模区；选择“数据融合-数据追加”到建模区，建立连接，构建“数据追加”模型。数据追加步骤2：分别将“工业用水投