数据基础可视 143

DATAVISUALIZATION数据可视化项目2搭建数据预处理标准流程目录页/Contentsone01多渠道数据采集two02数据清洗与质量评估three03数据整合与标准化four04多源数据转换与计算项目导图项目情境优品甄选，作为一家迅速崛起的零售企业，精准锚定年轻人的喜好，精心经营着丰富多元的商品品类。这里不仅有琳琅满目的咖啡饮品，满足年轻人对活力与美味的追求，还有款式新颖的各类衣服，契合他们的时尚品位。该企业建立了包括淘宝电商旗舰店、小红书图文、抖音短视频以及抖音直播在内的全方位营销体系，构建起立体式的营销矩阵，为消费者提供产品选购与美妆知识学习的多元场景。在日常运营中，各数字化平台每天产生海量的运营数据，企业新媒体平台负责人王伟需要充分采集这些数据，并对这些数据进行计算和分析。但是采集后的数据往往存在格式多样、部分数据缺失、异常值干扰等问题，因此需及时开展预处理和标准化。经过严谨的数据采集与预处理后，为后续数据计算、数据分析与数据可视化工作筑牢根基。项目情境1.了解各渠道数据源指标体系，掌握数据采集工具的类型、特点及适用场景，熟悉数据采集实施流程与操作要点；2.了解数据质量评估原则，掌握质量评估方法；熟悉缺失值、异常值和重复值的识别与处理方法；3.掌握数据整合、数据标准化的方法及处理方法；4.掌握数据转换和数据计算的方法。知识目标1.能够根据不同业务场景需求，准确选择适配的数据源及采集工具，熟练运用各类工具完成数据采集；2.能够判断数据质量状况，熟练使用工具定位识别与清洗异常数据；3.能够进行数据整合，并根据要求对数据进行标准化处理；4.能够根据需要进行数据转换和数据计算。能力目标1.具备数据安全意识，在数据采集与清洗中严格遵守数据隐私与安全规范，形成合法合规使用数据的职业素养；​2.树立数据质量责任意识，深刻认识数据准确性和完整性的重要意义，主动承担保障数据质量的责任，践行严谨负责的工作态度。素养目标项目目标数据整合与标准化任务三项目情境在完成数据清洗与质量评估后，王伟需对数据展开整合与标准化工作。他要将多个报表的数据进行汇总，以获取更为全面的数据集合。通过数据聚合，深入洞察数据特征，把握数据全貌。与此同时，借助数据标准化手段，把原始数据转化为适用于计算和分析的标准格式，为后续的数据计算工作筑牢根基。任务分析活动1数据整合数据合并是根据需要将多张表中的数据加载到同一张表中进行分析，减少跨表查询和计算，提高运算效率。在PowerBI中，可以用合并查询和追加查询进行表的汇总。数据合并1030201合并查询是在数据处理和分析中，将来自不同数据源或不同表的数据，根据特定的关联条件组合在一起的操作。当两张或者多张表中某一个或多个数据列下包含部分相同行值时，可以以这些相同值为基准，通过合并查询将多张表数据合并成一张新表。合并查询是表与表之间的横向组合，需要两张表之间有相互关联的字段。数据合并1（1）合并查询合并查询的新表中，有左外部、右外部、完全外部、内部、左反、右反六种联接种类。数据合并1（1）合并查询合并的表分为A表和B表，那么这六种联接的方式如下表所示。数据合并1（1）合并查询优品甄选在618期间进行了促销活动，现在要复盘促销效果，重点聚焦销售与物流方面的情况。然而，相关数据分散在不同表格之中。为实现对促销效果的精准分析，需将分别记录销售与物流数据的两张报表进行合并。案例实操案例实操2-3-1实操数据项目2素材\任务2.3数据整合与标准化-源数据\合并查询。实操背景步骤1导入数据。导入“合并查询”工作簿中的“销售数据”表和“物流数据”工作表，进入PowerQuery查询编辑器。选择合并类型与字段。选择“主页”-“合并查询”-“将查询合并为新查询”选项，选择要合并的表、选择两表“订单id”字段，“联接种类”选择“左外部”。案例实操步骤2获取“销售数据”和“物流数据”工作表，使用PowerBI工具进行数据表合并，操作步骤如下。案例实操合并表。单击“确定”按钮，生成新的合并表。步骤3扩展字段。单击“物流数据”右侧的扩展选项按钮进入扩展选项。单击“展开”，选择“物流快递”“揽收时长(天)”“揽收-送达时长(天)”关键词，单击“确定”。步骤4案例实操展开字段后的合并表。步骤5合并查询是对两张表以某种匹配方式整合，追加查询是对两张表按照上下方式进行整合，是把字段一样的数据追加到一张表中，相同字段的数据追加到同一个字段下。如果两张表中存在不同的字段，则不同字段的数据会单列。当一张表中的数据列名称和类型与另外一张表中的数据列名称和类型完全相同时，就可以进行数据追加操作。数据合并1（2）追加查询实操背景实操数据案例实操2-3-2项目2素材\任务2.3数据整合与标准化-源数据\追加查询优品甄选要计算第一季度的销售数据，王伟要将第一季度各个平台的销售数据进行合并。案例实操步骤1导入数据。导入“追加查询”工作簿中一月至三月的销售数据工作表，进入PowerQuery查询编辑器。选择追加表的数量。选择“主页”“追加查询”-“将查询追加为新查询”选项，选择三个或多个表。将可用表中的数据表添加到“要追加的表”。案例实操步骤2获取一月至三月销售数据工作表，使用PowerBI工具进行数据表合并，操作步骤如下。案例实操完成表的追加。单击“确定”按钮，生成被追加后的新表。步骤3数据聚合通过对一组数据进行特定的操作，如求和、平均值计算、计数、最大值或最小值查找等，以获取数据的总体特征或摘要信息。数据聚合主要有分组统计和数据透视表两种方法。数据透视表分组统计数据聚合2数据聚合2数据聚合（1）分组统计分组统计是一种在数据处理与分析中极为常用的操作手段。核心：依据数据集中某个或多个特定的属性（也称作分组依据），将数据划分成不同的组别，然后针对每个组内的数据执行相应的统计计算。2数据聚合（1）分组统计01如某服装的品牌将上衣、裤子、裙子等作为分组依据，分别得知每种品类服装的销售总量、销售总额等统计结果；或者针对物流数据按照配送区域分组统计，可以了解不同区域的物流订单量、配送时长均值等信息。通过分组统计，能从多个维度深入剖析数据，挖掘出整体数据中难以直观发现的特征与规律，为企业的决策制定提供更为精细且有针对性的支持。0203在实际的数据整合中，可以使用Excel表格中的分类汇总进行分组统计，也可以用PowerBI中的“分组依据”功能对数据进行分组。优品甄选要对近三天的商品销售数量转化情况进行汇总分析，以便分析各类商品的总访客数、总销售数量、总销售金额等数据。实操数据：项目2素材\任务2.3数据整合与标准化-源数据\分组统计。案例实操实操背景案例实操2-3-3实操数据步骤1导入数据。导入“分组统计”工作簿中的“各平台销售数据”工作表，进入PowerQuery查询编辑器。右击“各平台销售数据”表，在弹出的对话框中选择第二个“复制”命令。即可看到窗格中新增了一个与“各平台销售数据”表内容完全相同的表。案例实操获取“各平台销售数据”工作表，使用PowerBI工具进行数据聚合，操作步骤如下。设置基本分组依据。切换至“各平台销售数据”表，选择“转换”-“分组依据”选项，在“分组依据”中选中“基本”，选择“成单平台”，在“新列名”输入“总销售金额”，“操作”选择“求和”，“柱”选择“支付金额（元）”，单击“确定”。案例实操步骤2步骤3数据排序。单击“总销售金额”右侧的倒三角，选择“降序排序”，单击“确定”。完成基本分组。降序排列的不同平台“总销售金额”的数据结果。案例实操步骤4设置高级分组依据。选择“各平台销售数据（2）”，单击“分组依据”选项，在“分组依据”中选中“高级”，在分组中选择“商品名称”，设置“新列名”“操作”和“柱”的参数。案例实操步骤5步骤6完成高级分组。单击“确定”，返回PowerQuery编辑器，可以看到“各平台销售数据（2）”中的数据根据“商品名称”分类，并且“商品访客数量”“支付件数（件）”“支付金额（元）”已被求和，并分别成为新的列“总访客数”“总销售数量”“总销售金额”。案例实操数据透视表进行数据计算动态地改变版面布置，任意组合字段在每一次改变版面布置时，数据透视表会立即按照新的布置重新计算数据。数据透视表是一种交互式的表，是计算、汇总和分析数据的强大工具。2数据聚合（2）数据透视表案例实操案例实操2-3-4王伟统计了店铺三个月的商品销售数量，为了便于阅读，需要将一维表转换为二维表。项目2素材\任务2.3数据整合与标准化-源数据\数据透视表。实操背景实操数据步骤1导入数据。导入“数据透视表”工作簿中的“产品销售数量”工作表，进入PowerQuery编辑器，将月份字段更改为文本类型，选择“转换”-“透视列”选项，在值列选择“销售数量（件）”，聚合值函数选择“求和”。案例实操获取“产品销售数量”工作表，使用PowerBI进行数据透视，操作步骤如下。完成数据透视。单击确定后，形成数据透视表。可以横向查看每个商品不同月份的销售数量，也可以竖向查看每个月份不同商品的销售数量。案例实操步骤2活动2数据标准化1数值型数据进行标准化处理（1）数据标准化及应用场景①最小－最大标准化最小－最大标准化最小－最大标准化是一种常用的数据标准化方法。它将数据缩放到一个指定的范围（例如0-1），使得不同量纲的数据可以在同一框架下进行比较和分析。最小－最大标准化的公式如下。X为原始数据，Xmin为数据中的最小值，Xmax为数据中的最大值，X′为标准化后的数据。1数值型数据进行标准化处理（1）数据标准化及应用场景商品评分综合排名用户行为数据建模跨平台商家绩效对比最小－最大标准化适用于数据分布无明显规律或对分布无特定要求数据范围已知且需要将数据限制在特定区间案例实操案例实操2-3-4某电商平台需综合商品的多维度指标（例如销售数量、好评率）对商品进行评分，但这些指标量纲差异大（例如销售数量为千级，好评率为百分比），该电商平台计划采用最小－最大标准化进行比较。某商品A的销售数量为5000（全平台最大10000，最小1000）、好评率为92%（最高95%，最低70%）。商品B的销售数量为6000，好评率为87%，销售数量和好评率权重相同，那么这两款商品的综合评分具体操作步骤如下。实操背景步骤1计算商品A的标准化得分。销售数量得分=(5000-1000)/(10000-1000)≈0.44好评率得分=(92-70)/(95-70)=0.88

综合评分（权重相同）为(0.44+0.88)/2=0.66案例实操计算商品B的标准化得分。销售数量得分=(6000-1000)/(10000-1000)≈0.56好评率得分=(87-70)/(95-70)=0.68

综合评分（权重相同）为(0.56+0.68)/2=0.62所以综合得分商品A＞商品B，商品A的整体表现较好。步骤2Z-score标准化是一种基于数据分布的标准化方法。它将数据转换为均值为0、标准差为1的标准正态分布。适用场景包括数据分布近似正态（或对分布无要求），需消除量纲差异；常用于聚类、回归、支持向量机（SVM）等机器学习算法；数据中存在异常值的情况，但需要保留数据的分布特性等。Z-score标准化的公式：X为原始数据，μ为数据的均值，σ为数据的标准差，Z为标准化后的数据。②Z-score标准化1数值型数据进行标准化处理某电商平台需识别潜在刷单用户。刷单行为通常表现为异常高的购买频率或金额，该电商平台计划采用Z-score标准化进行识别，以下为某店铺的销售额表格。案例实操实操背景案例实操2-3-5步骤1根据计算得出μ=5415，σ=15665.84案例实操步骤2计算Z-score以用户1为例：Z1=计算所有用户的Z-score如表所示。一般来说，Z-score的绝对值大于3可以被认为是异常值。从上述结果可以看出，用户5的Z-score为2.85，虽然没有超过3，但已经相对较大，结合实际业务场景，可能需要进一步调查该用户是否存在刷单行为。而其他用户的Z-score都在相对正常的范围内。1（2）数据离散化及应用场景数值型数据进行标准化处理数据离散化能够将连续数据转化为更具解释性和适用性的离散区间，从而简化模型复杂度、增强业务可解释性、降低噪声与异常值干扰。在电商场景中，离散化能直接关联业务逻辑例如将消费金额分段制定营销策略），提升数据在算法与业务两端的使用效率。（2）数据离散化及应用场景①等宽法例如，数据的取值范围是0到100，若要划分为5个区间，那么每个区间的宽度就是(100−0)÷5=20，即区间为[0,20)、[20,40)、[40,60)、[60,80)、[80,100]。等宽法是将数据按照等距离的区间进行划分。简单直观，易于理解和实现，但是对数据分布不敏感，如果数据分布不均匀，可能导致某些区间数据过多，而某些区间数据过少，不能很好地反映数据的特征。1数值型数据进行标准化处理等频法是将数据按照每个区间包含大致相同数量的数据点来划分。举例有100个数据点，要划分为5个区间，那么每个区间包含100÷5=20个数据点。先对数据进行排序，然后按照顺序将数据分配到各个区间中。劣势区间的边界不固定，可能会出现一些奇怪的区间边界值，不利于对数据的理解和解释。作用能够保证每个区间内的数据量大致相等，在一定程度上避免了等宽法中数据分布不均匀的问题。1数值型数据进行标准化处理（2）数据离散化及应用场景②等频法在数据分析与机器学习中，许多算法只能处理数值型数据。然而，实际数据集中常常包含分类数据，例如性别（男、女）、颜色（红、绿、蓝）、车型（轿车、SUV、MPV）等。为了让这些分类数据能够被算法处理需要对其进行编码将其转换为数值形式2对分类数据进行编码2对分类数据进行编码（1）序号编码④直播平台数据分析工具序号编码序号编码就是按照类别之间预先存在的顺序，给每个类别分配一个唯一的整数序号。这种顺序可能基于常识、业务规则或者数据本身的特性。例如，在描述衣服尺码时，有“小码（S）”“中码（M）”“大码（L）”“加大码（XL）”等类别，由于其存在从小到大的顺序关系，可以依次将它们编码为1、2、3、4。0102序号编码能很好地保留数据中的顺序信息，有助于后续的数据分析与模型训练。序号编码适用于类别之间存在明显顺序关系的分类数据。在一些需要考虑顺序的分析场景中。如商品质量等级分析、用户满意度调查结