商务分析应用 14

项目4商务数据处理项目导入-AI，要小心数据污染课前自学-DIKW模型4.1数据处理的含义和分类

数据处理：从大量、杂乱无章、难以理解、缺失的数据中，抽取并推导出对解决问题有价值、有意义的数据。1.数据处理的含义

2.数据处理的分类数据处理数据规约减少数据规模数据清洗重复数据处理缺失数据处理异常数据处理数据加工数据抽取数据合并数据分组数据转换

数据规约：在接近或保持原始数据完整性的同时，将数据集规模减小，以提高数据处理速度。核心在于平衡数据简化与信息保真之间的关系，既需避免过度精简导致的信息丢失，又要有效缓解“维数灾难”对算法性能的影响。

（1）数据规约2.数据处理的分类

数据清洗：将格式错误的数据进行矫正、将错误的数据纠正或删除、将缺失的数据补充完整、将重复的数据给与删除。•提高数据质量，去除无效、错误、冗余和消除噪音的数据，使数据

更加准确、一致和完整。•提升数据可用性，能使数据变得意义明确、正确和规范。（2）数据清洗2.数据处理的分类

数据经过清洗后，依然无法满足数据分析需求，还要经过进一步的加工处理，最终形成简洁、规范、清晰的样本数据。（3）数据加工数据加工数据抽取数据合并数据分组数据转换2.数据处理的分类

是对采集的现有字段进行整合加工，形成分析需要的数据。数据抽取字段拆分字段合并字段匹配（3）数据加工-数据抽取2.数据处理的分类

为方便数据分析的连贯性，把从不同途径获得的零散数据组合在一起。•能消除数据孤岛造成的数据壁垒。•构建全景式数据视图，使数据分析具备时序连续性和维度完整性。（3）数据加工-数据合并2.数据处理的分类

是基于一定的标准或要求，对数据重新分类，以便更好地理解数据、发现数据中的规律和模式，为决策提供支持。数据分组过程中，需要确定一个或多个分组标准，可以是数值型，如年龄、收入等；也可以是分类型，如性别、地区等。（3）数据加工-数据分组2.数据处理的分类

将数据转换成规范、清晰、又易于分析的结构。数据转换结构转换行列转换（3）数据加工-数据转换2.数据处理的分类1.任务背景通过前期操作，你已经把订单数据、客户数据、产品数据和店铺数据导入PowerQuery编辑器中。通过学习了解了数据处理的基本形式，你开始实施数据处理任务。为了使数据处理有效进行，你决定静下心来观察每个数据集的结构和数据集之间的关系，以此识别数据处理的需求。任务内容：分析企业数据处理需求。4.2PowerBI数据处理

1.PowerBI界面

2.PowerBI核心功能功能功能描述更改数据类型从数据源加载的数据经常出现数据类型错误（如数字被识别为文本，日期被识别为文本等），更改后才能正确分析。重命名列让列名更易于理解，符合分析习惯。删除列/行移除不需要分析的，重复的或为空的数据，减少数据量，提升性能。拆分列将一列包含复合信息的文本拆分成多列。提取从文本中获取一部分内容。替换值用于批量查找并替换表中指定位置的值，是数据清洗中纠正错误，统一标准的重要手段，它可以精确替换，也可以使用通配符进行模糊匹配替换。填充处理缺失值，特别适用于分组数据。逆透视列将多列（宽表）转换为一列（长表），是数据标准化和准备用于PivotChart、DAX分析的必要操作。分组依据对数据进行分类汇总。添加条件列基于一个或多个if-then-eles逻辑规则创建新列，无需编写代码即可实现复杂的条件判断，是数据分析和打标签的利器。

2.PowerBI核心功能功能功能描述转置会将表格的行和列进行互换，原始表格的第一行会变成新表的第一列，而原始表格的第一列则会变为新表的第一行，常用于调整数据布局以适应分析要求。将第一行用作标题当数据源的第一行包含的是列标题名称，但是被PowerQuery错误地识别为普通数据行时，此操作可以快速地将第一行数据提升为列标题，是数据分析规范化的关键一步。合并查询是数据建模的核心，它允许将两个不同的查询（表）根据一个或多个共享的键（Key）横向链接起来，用于将一个表中的信息补充到另一个表中。追加查询用于将两个或多个结构相同（或相似）的查询（表）纵向堆叠在一起，组成一个更长的表，常用于整合多个时期或来源的数据。使用参数是一种强大的自动化工具，允许创建一个可以动态变化的值（如文件路径、服务器名称、日期等），并用它来替换查询步骤中的硬编码内容，但参数值改变时，所引用此参数的查询都会自动更新，极大地提升了数据的可维护性和灵活性。1.项目背景你经过一段时间的学习，已经掌握了PowerQuery的核心数据处理功能，决定通过PowerQuery进行××电子商务企业的数据处理工作。同时，部门领导希望你在数据处理过程中完成以下任务。任务内容1：细分产品规格要求，为后期产品开发提供思路。任务内容2：提取客户省份信息，为后期用户画像分析做准备。任务内容3：在订单表中导