数据基础可视 4

DATAVISUALIZATION数据可视化项目2搭建数据预处理标准流程目录页/Contentsone01多渠道数据采集two02three03数据清洗与质量评估数据整合与标准化four04多源数据转换与计算项目导图项目情境优品甄选，作为一家迅速崛起的零售企业，精准锚定年轻人的喜好，精心经营着丰富多元的商品品类。这里不仅有琳琅满目的咖啡饮品，满足年轻人对活力与美味的追求，还有款式新颖的各类衣服，契合他们的时尚品位。该企业建立了包括淘宝电商旗舰店、小红书图文、抖音短视频以及抖音直播在内的全方位营销体系，构建起立体式的营销矩阵，为消费者提供产品选购与美妆知识学习的多元场景。在日常运营中，各数字化平台每天产生海量的运营数据，企业新媒体平台负责人王伟需要充分采集这些数据，并对这些数据进行计算和分析。但是采集后的数据往往存在格式多样、部分数据缺失、异常值干扰等问题，因此需及时开展预处理和标准化。经过严谨的数据采集与预处理后，为后续数据计算、数据分析与数据可视化工作筑牢根基。项目情境1.了解各渠道数据源指标体系，掌握数据采集工具的类型、特点及适用场景，熟悉数据采集实施流程与操作要点；2.了解数据质量评估原则，掌握质量评估方法；熟悉缺失值、异常值和重复值的识别与处理方法；3.掌握数据整合、数据标准化的方法及处理方法；4.掌握数据转换和数据计算的方法。知识目标1.能够根据不同业务场景需求，准确选择适配的数据源及采集工具，熟练运用各类工具完成数据采集；2.能够判断数据质量状况，熟练使用工具定位识别与清洗异常数据；3.能够进行数据整合，并根据要求对数据进行标准化处理；4.能够根据需要进行数据转换和数据计算。能力目标1.具备数据安全意识，在数据采集与清洗中严格遵守数据隐私与安全规范，形成合法合规使用数据的职业素养；​2.树立数据质量责任意识，深刻认识数据准确性和完整性的重要意义，主动承担保障数据质量的责任，践行严谨负责的工作态度。素养目标项目目标数据清洗与质量评估任务二项目情境王伟在采集了数据之后，采用简单比率法、加权平均法、数据抽样评估法等方法，对采集的数据质量进行全面评估，然后对存在缺失、异常和重复问题的数据进行识别与处理。使采集的数据具备准确性、完整性、一致性、时效性等属性。任务分析活动1数据质量评估在数据处理过程中，数据质量评估至关重要，它能确保数据满足业务需求，为后续分析和决策提供可靠支撑。数据质量评估需遵循一系列原则。数据质量评估的原则数据要真实反映客观事实不存在错误或偏差。以电商商品信息录入为例，商品的名称、规格、价格、库存数量等信息必须准确无误。数据质量评估的原则1（1）准确性原则例如一款手机，若将内存规格错误录入为“128GB”（实际为“256GB”），消费者下单后发现与预期不符，不仅影响用户体验，还可能引发退货纠纷，损害店铺信誉。1数据质量评估的原则错误数据可能源于人工录入时疏忽。例如将数字输错、单位写错，或者数据在从供应商处获取时就存在错误。（1）准确性原则1数据质量评估的原则（2）完整性原则若缺失客户收货地址，商品将无法正常配送。01数据缺失可能是由于数据采集系统在某些情况下未能成功获取全部信息。02数据应包含所有必要信息，无缺失值、遗漏字段或记录。在电商订单数据中，订单编号、下单时间、客户姓名、收货地址、购买商品清单、支付金额等关键信息缺一不可。1数据质量评估的原则不同来源或时间的相同数据要保持一致，无矛盾冲突。若前端显示某商品库存为“100件”，但仓库管理系统中实际库存为“80件”，当消费者下单购买时，可能出现超卖现象。（3）一致性原则数据需在规定时间内获取并更新,能反映最新情况。在电商促销活动期间,实时掌握商品的销售数量、销售金额、访客数等数据至关重要。说明在“双11”活动中,若商家在活动开始后数小时才能获取到上一小时的销售数据,就无法及时调整营销策略,调整商品价格、优化商品推荐顺序等。举例1数据质量评估的原则（4）时效性原则2数据质量评估的方法简单比率法通过计算特定数据特征的比例来评估数据质量。核心在于确定有价值的分子与分母数据项，通过两者比值直观反映数据质量状况。（1）简单比率法在评估数据准确性时，以正确数据的数量作为分子，数据总量作为分母，得出的正确数据比率可衡量整体数据的准确程度。举例基于比率能清晰展示部分与整体关系的特性，将复杂的数据质量问题简化为易于理解的数值比例。作用2数据质量评估的方法（1）简单比率法（1）简单比率法01在电商商品信息管理中，简单比率法可以用于评估商品信息的完整性。假设商品信息包含名称、价格、库存、描述、图片等关键字段，若字段完整的商品数量为800件，商品总数为1000件，那么商品信息完整率=（800÷1000×100%=80%。适用02让电商运营者快速了解商品信息整体的完整程度，判断是否需要补充信息。在数据准确性评估方面，统计订单金额计算正确的订单数与总订单数的比率，可评估订单金额数据的准确情况。作用2数据质量评估的方法加权平均法考虑了不同数据项在评估中的重要程度差异。为每个数据特征赋予相应权重，权重总和为1。概念01通过权重分配更科学地综合评估数据质量。例如在评估学生综合成绩时，考试成绩、作业成绩、课堂表现的权重不同，加权平均后能更合理反映学生学习情况。在电商客户数据质量评估中，客户姓名、联系方式、购买历史、信用评级等数据对企业重要程度有别。作用022数据质量评估的方法（2）加权平均法该得分综合反映客户数据质量，企业可以依此判断客户数据价值，决定后续营销策略。举例假设客户姓名完整性权重设为0.1，联系方式准确性权重0.2，购买历史准确性权重0.4，信用评级可靠性权重0.3。各项数据质量得分分别为90分、80分、70分、85分，加权平均得分=90×0.1+80×0.2+70×0.4+85×0.3=77.5分。2数据质量评估的方法（2）加权平均法数据抽样评估法从大量数据中随机抽取有代表性的样本，对样本数据进行详细评估，进而推断总体数据质量。0201基于统计学原理，当样本选取科学合理时，样本特征能在一定误差范围内代表总体特征。这一方法在数据量庞大难以全面评估时，提供了一种高效且相对准确的评估方式。（3）数据抽样评估法2数据质量评估的方法2数据质量评估的方法（3）数据抽样评估法对样本评论从内容相关性、语言规范性、情感倾向准确性等方面评估。030102若样本中85%的评论内容与话题相关、90%语言规范、情感倾向判断准确率90%，可以大致推断总体评论数据质量较好。在电商商品评价数据处理中，也可以通过抽样评估判断评价数据是否存在刷评等质量问题。

例如:

要评估社交媒体平台用户评论数据的质量，可以按分层抽样法（例如按不同话题分类、用户活跃度分层）抽取1%的评论作为样本。活动2数据清洗数据清洗是指对数据进行审查、校验和修正，确保数据的准确性、完整性和一致性。异常值的识别与清洗缺失值的识别与清洗重复值的识别与清洗数据清洗数据清洗概念1缺失值清洗缺失值是指数据值为空或为“NULL”。这些缺失值可能导致分析结果的不准确，因此必须对其进行处理，清洗缺失值的方法有很多，常见的包括直接删除、保留以及寻找替代值等。在数据量较少的情况下，可以直接使用Excel的筛选功能来定位缺失值。例如，选择某一列数据，然后单击“数据”选项卡中的“筛选”按钮，之后在筛选下拉菜单中选择“（空白）”即可筛选出该列中的所有缺失值。（1）定位缺失值1缺失值清洗如果缺失数据较多，可以选择行为查找缺失数据。01单击“开始”选项卡下的“查找”按钮，在下拉框中单击“定位”。02命令（快捷键为Ctrl+G），在弹出的“定位”对话框中，选中“空值”，然后单击“定位”。03此时所有的空值即可被一次性选中。04定位缺失值1缺失值清洗（2）处理缺失值①删除②保留如果缺失值数量较少，且删除后对整体数据影响不大，可以直接删除这些缺失值。但值得注意的是，特别在缺失值较多的情况下，这种方法可能会导致数据偏差。如果缺失值是由于系统原因或特定业务逻辑造成的，那么保留这些缺失值可能有助于后续分析。但需要注意的是，保留缺失值时需要明确其缺失的原因和含义。1缺失值清洗处理缺失值③寻找替代值可以使用均值、中位数、众数等统计量来替代缺失值。可以根据业务逻辑或数据特点来人为地赋予缺失值一个具体的值。例如，如果某个变量的缺失值是由于数据录入错误造成的，那么可以根据其他相关信息来推断并填充一个合理的值。“优品甄选”店铺采集了第一季度的销售数据，现在要运用Excel表格对这些数据进行缺失值清洗，操作步骤如下。项目2素材\任务2.2数据清洗与质量评估-源数据\缺失值清洗案例实操实操背景案例实操2-2-1实操数据步骤1定位空值。单击“开始”选项卡下的“查找”按钮，在下拉框中单击“定位”命令（快捷键为Ctrl+G），在弹出的“定位”对话框中，选中“空值”，然后单击“定位”。此时所有的空值即可被一次性选中。缺失值清洗。定位到空值后，根据缺失值上下的商品价格数据，推断商品标题，并填充到对应的位置。案例实操步骤2异常值是指数据中偏离正常范围的极端值。极端值：由于测量错误、数据录入错误或其他异常情况导致。对数据模型的准确性和可靠性产生负面影响，需要对异常值进行清洗。2异常值清洗2异常值清洗（1）识别异常值针对二维数据的分析散点图能够以直观可视化的方式，帮助洞察数据点的分布规律。进一步深入分析确认某些数据点游离于主体数据群落之外，明显偏离其他数据点聚集形成的密集区域时，需进一步深入分析确认。AI数据智通借助AI工具来识别异常值已知某份销售数据表，若要检验其中销售金额的计算是否准确，可在“办公小浣熊”中输入相应提示词，以此识别计算异常的数据。4异常值明显是错误数据，或者对整体数据影响极大且不符合研究目的的情况，可以将异常值删除。如在收集学生考试成绩时，若发现有一个成绩为999分，明显是录入错误，可以将该数据删除。异常值清洗2（2）处理异常值①删除②修正如果数据比较重要，可以用数据集中的均值或中位数来替换异常值。如果数据分布较为对称，均值是一个合适的选择；如果数据存在偏态，中位数可能更合适。重复值是指数据中重复出现的记录或变量。重复值会影响数据处理结果的正确性，从而导致数据分析出现偏差。需要利用适当的算法或工具来检测并删除或合并这些重复的记录。确保数据集的准确性和唯一性。重复值清洗3重复值清洗3（1）识别重复值在Excel中，可以使用条件格式来突出显示重复值。如要查找数据表中是否有重复的商品信息，选择“商品ID”列，单击“数据”“重复项”选择“设置高亮重复”，表格中高亮表示的数据即为重复数值①使用条件格式在Excel中，可以插入一个数据透视表，并将需要检查的列拖到“行标签”区域，在“值”区域的“值字段设置”选择“计数”。可以直观地看到每个变量出现的次数，并识别出重复值。重复值清洗3（1）识别重复值②使用数据透视表详细情况如果重复值是由于数据录入错误或重复采集造成的，且对整体数据影响不大，可以直接删除这些重复值。在Excel中，可以使用“数据”选项卡中的“删除重复值”功能来快速删除重复值。详细情况当数据中出现同一实体的多次记录，或需要对同一事件的多条记录进行分组整合时，就可以将这些重复值合并在一起，并计算相关指标的总和或平均值。重复值清洗3（2）处理重复值①删除②合并举例假设某电商平台有一份客户订单数据，其中同一客户“张三”在不同时间下了多个订单（2025年1月1日订单金额280元，2025年2月15日订单金额200元），在这种情况下，如果需要对客户的总消费金额进行分析，可以将“张三”的多个订单记录合并为一条，并计算其总消费金额。合并后的数据为：张三总消费金额480元。分析总消费金额合并多个订单记录重复值清洗3（2）处理重复值“优品甄选”店铺采集了第一季度的销售数据，现在要运用Excel表格对这些数据进行重复数据清洗，操作步骤如下。项目2素材\任务2.2数据清洗与质量评估-源数据\重复值清洗案例实操实操背景案例实操2-2-3实操数据步骤1选择“删除重复项”。选中工作表中的数据区域，单击“数据