电商数据分析（微课版）课件 第2章 电商数据收集与预处理

第2章

电商数据收集与预处理电商数据分析（微课版）目录CONTENTS2.1电商数据的收集2.2使用Excel预处理数据2.3使用讯飞星火预处理数据综合实训——清洗收集的女装商品数据2.1.1电商数据的收集原则3●

合法性原则数据的收集必须遵守相关的法律法规，确保在合法的范围内进行，维护个人隐私权和其他权益。●

精确性原则确保收集到的数据准确、完整，以提高数据质量及其可信度。●

及时性原则数据收集需要尽可能地获取新近的数据，只有确保数据的及时性，才能更好地发现当前的问题并预测未来变化趋势。如果收集10年前某个市场的数据来分析该市场当下的发展情况，则无法得到有价值的分析结果。要想收集到有价值的数据，我们需要遵循一定的数据收集原则，具体包括合法性原则、精确性原则和及时性原则。2.1.2电商数据的收集渠道4●

内部数据的收集渠道内部数据指的是商家内部的各种管理系统产生的数据，如商品采购和管理系统产生的数据、消费者服务管理系统产生的数据等。●外部数据的收集渠道外部数据即非商家内部产生的数据，它包括市场调查数据和网络数据两大类。右图所示为国家统计局公开发布的数据。电商数据的收集渠道较多，为了便于学习，这里将电商数据的收集渠道划分为内部数据的收集渠道与外部数据的收集渠道。2.1.3电商数据的收集方法5●复制问目标网页，选择需要收集的数据内容，在所选数据上单击鼠标右键，在弹出的快捷菜单中选择“复制”命令，或直接按【Ctrl+C】组合键。●

下载如果网页中提供有“下载”“导出”等功能按钮，则无须手动复制数据，需单击相应的按钮，然后按照提示将数据保存到计算机上的指定位置即可。如上图所示。针对不同的收集渠道，电商数据的收集方法也各有不同。主要的收集方法则包括以下3种。●

爬取爬取数据是指利用工具自动收集网站上的数据，这对于数据较为分散且网站未提供下载、导出功能的情况来说是非常实用的。6本案例将使用八爪鱼采集器在京东商城中采集智能数码用品数据，其具体操作如下。1选择数据的采集方式2设置并保存采集任务使用的网址课堂案例——使用八爪鱼采集器采集智能数码用品数据2.1.3电商数据的收集方法73开启浏览模式并输入登录信息4单击“自动识别网页内容”超链接2.1.3电商数据的收集方法课堂案例——使用八爪鱼采集器采集智能数码用品数据85显示的采集的数据内容6单击“保存并开始采集”超链接2.1.3电商数据的收集方法课堂案例——使用八爪鱼采集器采集智能数码用品数据97采用本地采集模式8正在采集数据10导出数据9停止采集

2.1.3电商数据的收集方法课堂案例——使用八爪鱼采集器采集智能数码用品数据1011去重数据

12设置数据导出的文件类型2.1.3电商数据的收集方法课堂案例——使用八爪鱼采集器采集智能数码用品数据1113设置保存的文件名和保存位置2.1.3电商数据的收集方法课堂案例——使用八爪鱼采集器采集智能数码用品数据目录CONTENTS2.1电商数据的收集2.2使用Excel预处理数据2.3使用讯飞星火预处理数据综合实训——清洗收集的女装商品数据2.2.1数据预处理的价值13数据预处理就是对数据进行粗加工。一般来说，收集到的电商数据往往都存在一些问题，需要经过预处理，才能用于后期分析。数据预处理的价值大致如下。将繁杂的数据简单化，提升数据分析效率与决策效果将数据转化为论据，系统、客观地反映实际情况将数据整合为信息资源，实现深度挖掘2.2.2数据预处理的原则14数据预处理可以为数据分析提供更加精准的数据，可以简化数据分析的工作内容。为了更好地进行数据预处理工作，需参考以下一些原则。●

客观性原则●

完整性原则●

严谨性原则●

针对性原则●

便捷性原则2.2.3数据预处理的方法15当收集的数据中存在缺失数据时，应根据实际情况采取不同的方式进行处理。1．处理缺失数据删除缺失数据：当收集到的数据量很大，使得即便删除若干数据也不会影响数据样本的数量时，就可以采取删除的方式处理缺失数据。修补缺失数据：如果能够判断出缺失数据的内容，则应该及时修补缺失数据；如果无法判断，则可以考虑使用平均数、众数（一组数据中出现次数最多的数据）等合理的方法预测缺失数据。但切记不能为了补全数据而随意填写，造成数据失真。2.2.3数据预处理的方法16本案例利用快速定位的方法，将智能数码用品店铺收集到的流量类型数据中的缺失流量类型数据补全，其具体操作如下。课堂案例——补全智能数码用品店铺的流量类型数据1定位空值2补全空值后的效果1．处理缺失数据2.2.3数据预处理的方法17对于一些明显错误的数据，Excel会显示错误信息，以提醒用户及时对错误数据进行修复。如下表所示为Excel中常见的错误信息，以及错误产生的原因和解决方法。2．修复错误数据2.2.3数据预处理的方法18修复错误数据时一般可以利用IFERROR函数来实现，该函数的语法格式为“=IFERROR(value,value_if_error)”，其中，参数“value”表示当不存在错误时的取值；参数“value_if_error”为存在错误时的取值。本案例将利用该函数来修复智能数码用品店铺收集到的错误的商品库存数据，其具体操作如下。课堂案例——修复错误的商品库存数据1完整公式2修复错误数据后的效果2．修复错误数据2.2.3数据预处理的方法193．统一数据格式实际工作中，我们所收集的数据往往存在格式不统一的情形，如日期数据中有的使用“2024年10月15日”，有的使用“10-15”；品牌数据中有的使用中文全称、有的使用英文简称等，这样的数据在后期分析起来会非常麻烦。因此，遇到数据格式不统一的情况，我们应当及时处理，让数据格式保持统一。课堂案例——统一订单数据格式在Excel中，可以利用数据类型设置和查找与替换功能来统一数据格式。本案例将利用这些功能对智能数码用品店铺收集到的订单数据进行格式处理，其具体操作如下。1设置日期格式2.2.3数据预处理的方法202查找并替换数据（1）、（2）3统一数据格式后的效果课堂案例——统一订单数据格式2.2.3数据预处理的方法214．清洗重复数据如果收集的数据存在完全重复或部分重复的情况，可以利用Excel的删除重复值功能快速删除重复数据。课堂案例——清洗商品测试重复数据本案例将利用Excel的删除重复值功能快速删除智能数码用品店铺在推广测试时收集到的可能存在重复的商品测试数据，其具体操作如下。1设置要删除重复数据的列2清洗重复数据2.2.3数据预处理的方法225．转换数据行列数据行列的转换在Excel中称为“转置”，指的是将原来各条数据记录的首列内容转置为数据的各个项目，将原来的各个项目转置为数据记录的首列内容，从而实现将当前各列内容转置为横向的各条数据记录的效果。课堂案例——转换销售数据的行列本案例将对智能数码用品店铺收集到的某个竞争对手的销售数据进行行列转换，这将用到Excel的选择性粘贴功能，其具体操作如下。1执行转置操作2.2.3数据预处理的方法235．转换数据行列2删除原有数据3转换行与列后的效果课堂案例——转换销售数据的行列2.2.3数据预处理的方法24通过数据提取操作，可以将收集到的数据中有用的部分提取出来。在Excel中可以使用LEFT函数、MID函数和RIGHT函数来实现数据提取。6．提取数据内容LEFT函数：其语法格式为“=LEFT(text,num_chars)”，表示从指定的单元格中返回左侧的1个或多个字符。。MID函数：其语法格式为“=MID(text,start_num,num_chars)”，表示从指定的单元格中的指定位置返回1个或多个字符。RIGHT函数：其语法格式为“=RIGHT(text,num_chars)”，表示从指定的单元格中返回右侧的1个或多个字符。2.2.3数据预处理的方法25课堂案例——提取商品系列数据1提取商品编号中的第一个字符后的结果6．提取数据内容2完善数据后的效果本案例将使用LEFT函数提取智能数码用品店铺收集到的商品对应的系列数据，其具体操作如下。2.2.3数据预处理的方法267．分列数据分列数据的好处在于可以根据统计分析的需要，将原始数据按照某种标准分组。例如，收集的商品交易数据中包含品类、销售月份等内容，可以按照商品的品类、商品的销售月份等对数据进行分列，将包含多个信息的数据分列为仅包含单个信息的数据。在Excel中可以将指定的列按某种符号或特定的宽度进行分隔，将其分成若干列。课堂案例——分列商品搜索值属性本案例将利用Excel的分列功能，并根据“文本分列向导”对话框的提示，将智能数码用品店铺收集到的电话手表商品的“搜索值属性”列分为“搜索值”列和“属性”列，其具体操作如下。1指定分列方式

2.2.3数据预处理的方法272指定分列位置3分列预览及分列后的效果课堂案例——分列商品搜索值属性目录CONTENTS2.1电商数据的收集2.2使用Excel预处理数据2.3使用讯飞星火预处理数据综合实训——清洗收集的女装商品数据29本案例将对右图所示的文本数据进行预处理。数据被收集到了文本文件中，一方面不能保证录入数据的正确性，另一方面通过手动复制和粘贴的方式在Excel中建立表格会显得非常麻烦。下面将利用讯飞星火对这些数据进行智能处理，快速得到想要的表格数据，其具体操作如下。1需要预处理的文本数据

2开始对话课堂案例——使用讯飞星火预处理数据2.3使用讯飞星火预处理数据303选择“文档”选项4输入并提交需求2.3使用讯飞星火预处理数据课堂案例——使用讯飞星火预处理数据5生成的整理后的表格数据6创建Excel表格并调整表格数据后的效果目录CONTENTS2.1电商数据的收集2.2使用Excel预处理数据2.3使用讯飞星火预处理数据综合实训——清洗收集的女装商品数据利用Excel对收集到的女装商品数据进行各种清洗操作，如检查并去重数据、分列数据、删除数据、美化数据等，提高数据的分析价值。实训目标综合实训——清洗收集的女装商品数据实训思路本实训的操作思路如下。（1）检查并去重数据。利用Excel的删除重复值功能检查商品名称是否存在重复数据并去重。（2）分列数据。利用Excel的分列功能将“城市”列中的数据分列为两列数据。（3）删除数据。将表格中多余的列删除。（4）美化数据。通过调整行高和列宽、设置字体格式等操作美化数据，提高数据的可读性。32综合实训——清洗收集的女装商品数据实训步骤331指定删除重复数据的列

2确认删除重复数据操作3插入列

综合实训——清洗收集的女装商品数据实