《跨境电子商务数据分析》课件-项目2 跨境电子商务数据采集

跨境电子商务数据分析项目2跨境电子商务数据采集整理任务1认识跨境电子商务数据采集整理一、数据采集的概念数据采集就是搜集符合数据分析要求的原始数据。数据采集既可以从现有、可用的无尽数据中搜集提取需要的二手数据，也可以通过问卷调查、采访、沟通等方式获得一手资料。通过数据采集，企业可以将大量离散的数据整合在一起，通过统计分析和数据可视化发现数据背后隐藏的规律与逻辑。因此，数据采集是数据分析的基础。数据采集也可通过在平台源程序中预设工具或程序代码，获取产品状态变化、资金状态变化、流量状态变化、用户行为和信息等数据内容的过程，为后续进行数据分析提供数据准备。二、跨境电商数据采集跨境电商数据采集是指采用由预先设计的采集平台与系统程序自动采集跨境电商平台上的数据或与跨境电商有关的数据。在跨境电商数据分析的工作流程中，数据采集是整个数据分析工作开展的基础。跨境电商数据伴随用户和店铺的行为实时产生，广泛分布于跨境电商平台、社交媒体、智能终端、店铺内部系统和第三方服务平台，涉及的数据类型多种多样，既包括客户的消费信息与基本信息，也包括店铺的产品信息与交易信息，以及客户对店铺或产品的评价信息等。在大数据环境下，跨境电商平台中的数据是公开、共享的，但数据间的传输和分析需要经过采集整理的过程加以整合和规范。合法性及时性准确性有效性三、跨境电商数据采集原则合法性及时性准确性有效性三、跨境电商数据采集原则数据采集需尽可能获取平台最新数据，确保时效性。商业市场变化迅速，只有将最新的数据与历史数据进行对比，才能更快更好地发现问题及预测未来变化趋势。数据采集过程中需注意数据期限。例如，在做市场数据调研时采集行业研报数据，由于市场行情变化，行业研报都有一定的时间节点，对行业发展趋势的预判已经落后于当前市场风向，将会对企业带来严重的风险。数据分析过程涉及数据的各类统计和计算，数据采集如果出现错误，在后续统计运算时将可能导致较大偏差。因此，数据采集时需保持严谨细致，确保采集的数据准确无误，尽可能地避免数据分析时出现偏差。互联网为数据采集和分析带来极大便利，同时也带来一定的信息安全风险和权益保护风险。例如，在采集竞争对手数据时，只能采集相关机构已经公布的公开数据或对方同意提供的数据，不能采用非法手段获取数据。导出及保存数据制订采集任务采集数据确定采集渠道及方法四、跨境电商数据采集流程数据采集前首先要根据数据分析目标和需求进行任务分析，明确数据采集的指标范围和时间范围，确定数据采集的渠道、途径或部门，数据采集任务较大的还需要确定采集的部门及人员配备。包括明确数据分析所涉及的关键指标，确定对应的数据类型、所需数据、数据采集渠道，并据此选择合适的采集方法及工具。明确数据采集渠道及采集方法后，根据具体需求和分析目标进行数据采集。数据采集如果是人工采集需要选择合适的格式导出和存放数据，常见的导出格式包括EXCEL、CSV等。五、跨境电商数据整理数据整理也可以称为数据处理或数据准备，包含从原始数据到形成最终数据集的所有操作，包括数据清洗、数据转换、语义层定义以及数据集定义。数据整理是数据分析的前提条件，在对数据源进行清洗和转换等处理后方可对其进行分析。数据采集得到的只是初始数据。通常，初始数据比较杂乱，没有规律，如果不进行数据清洗、整理，运营人员很难理出数据的规律。因此，在采集到初始数据后，必须首先对数据进行整理，即对数据进行初加工。整理数据的常用工具我们也可以使用Office中的Excel表格完成。五、跨境电商数据整理数据整理有广义和狭义两种概念。广义的数据整理是指，所有的数据采集、存储、加工、分析、挖掘和展示等工作；而狭义的数据整理仅仅包括从存储的数据中提取、筛选有用数据。对有用数据进行加工是为数据分析、数据挖掘模型的建立所做的数据准备工作。数据整理最主要的工作是对数据进行清洗，即对“脏数据”进行清洗。通过发现并纠正数据错误和不规范性的重要程序，包括检查数据异质性、处理数据无效值和缺失值等。具体是将数据进行重新审查和校验，目的在于删除重复信息、纠正存在的错误，并保证数据一致性。残缺数据重复数据错误数据六、跨境电商数据需要清洗的类型主要是应该有的信息不完整，如供应商的名称，客户的区域信息不完整，业务系统中主表与明细表不能匹配等。该类数据过滤出来后，应按缺失的内容分别写入不同文件向客户提交，并应在规定的时间内补全。这类数据产生的原因是业务系统不够健全，在接收输入后没有进行判断就直接写入后台数据库。需要根据具体的错误原因进行查找并确认后进行数据的相应修改，或在确认数据样本足够的情况下对错误数据进行删除。需要将重复数据记录的所有字段导出，经过确认后进行重复值删除处理。跨境电子商务数据分析项目2跨境电子商务数据采集整理任务2认识跨境电子商务数据采集渠道数据要求及时有效准确合法数据来源可靠内部数据外部数据数据的主要来源渠道内部数据外部数据跨境电商数据来源分类采集渠道数据来源数据类型渠道示例跨境电子商务平台、店铺后台内部数据市场数据、产品数据、运营数据、客户数据全球速卖通、亚马逊等跨境电商平台，生意参谋等后台店铺数据工具政府部门、行业协会、媒体外部数据行业数据国家级各地统计局、各类行业协会、报纸及新闻媒体等电商专业网站研究机构、数据网站行业数据、产品数据雨果网、艾瑞咨询、阿里研究院等指数工具、搜索引擎行业数据、产品数据、客户数据谷歌、谷歌趋势等

跨境电子商务数据分析项目2跨境电子商务数据采集整理任务3认识跨境电子商务数据采集方法数据采集方法数据采集方法自动抓取报表采集人工采集1、人工采集人工采集是指运营者从各种跨境电商平台上通过“复制粘贴”的方式采集数据，一般平台的前台数据可以通过这种方式获取。采集竞争对手的竞品信息数据时，可以进入竞品详情页，人工采集方式获取竞品的标题、关键词、主图、款式、价格、评价等详细信息，复制到表格中进行整理和对比分析2、报表采集报表采集是指通过下载数据报表完成数据采集，主要用于下载店铺后台数据或独立站点数据采集。如速卖通店铺可以通过后台工具生意参谋实现数据报表的采集，如店铺的订单数据、流量数据、销售数据等。3、自动抓取自动抓取是指使用网络爬虫工具或编写采集程序自动抓取平台数据，属于技术性的数据采集方式。自动抓取适用于数据量极大、重复性高的采集任务。常见的有使用网络采集器来实现数据的自动抓取。火车采集器

火车采集器（/）可以灵活迅速地抓取网页上散乱分布的数据信息，并通过一系列的分析处理，准确挖掘出所需数据。其采集原理是基于web结构的源代码提取，适用于几乎所有网页以及网页中能够看到的所有内容后羿采集器

后羿采集器（/）

优势在于具备强大数据搜集功能的同时，操作简单，无需编程基础。不仅能够进行数据的自动化采集，而且在采集过程中还可以对数据进行清洗。在数据源头即可实现多种内容的过滤。同时支持Windows、Mac和Linux全操作系统的采集器。

芒果店长

芒果店长是一款多平台多网店集成化运营ERP平台，专业服务于跨境电商卖家一站式网店运营管理服务。为国内电商卖家提供深度打通电商平台、物流仓储与商家，通过电商大数据和云技术，提供优质货源、物流对接、仓库管理以及智能化网店运营等多维度服务。同时，与全球30余家主流电商平台实现无缝对接，支持300多家物流公司API接口，服务了超30万的跨境商家，日处理订单超350万+。八爪鱼采集器

八爪鱼采集器是一款通用的网页数据采集器，能够采集网页上所能看到或网页源码中有的文本信息。具有本地采集和云采集两种功能。使用本地采集即单机采集，可以实现绝大多数网页数据的爬取，并在采集过程中对数据进行初步清洗。云采集支持关机后通过云服务器运行采集任务，实现定时采集，实时监控，数据自动去重并入库，增量采集，自动识别验证码，API接口多元化导出数据以及修改参数。同时利用云端多节点并发运行，采集速度将远超于本地采集（单机采集），多IP在任务启动时自动切换还可避免网站的IP封锁，实现采集数据的最大化。跨境电子商务数据分析项目2跨境电子商务数据采集整理任务4熟悉跨境电子商务数据整理方法一、跨境电商数据整理流程选择数据子集选中需要做数据分析的列。当数据的列比较多时，可以使用隐藏功能把不需求分析的列隐藏起来。删除重复项选中要分析的数据范围，利用Excel的“删除重复项”功能删除重复项。缺失值处理在Excel中选中某一列，查看右下角显示的统计数目，通过和其他列的项目做对比可得知该列是否有缺失。数据排序利用Excel的“函数”功能计算数据的平均值或者求和，从而对数据进行排序。一致化处理指数据要有统一的规范命名，可以对数据进行拆分从而实现命名的一致化。异常值查看处理通过Excel的“筛选”功能来查看数据是否有错误。在“筛选”下拉菜单所列出的数据类型中，可以查看是否有异常的数值。缺失数据处理缺失数据通常表示为空值或错误标识符（#DIV/0!）为保证数据的完整性，可以通过统计学方法查找缺失数据并对其进行清洗。重复数据处理重复数据的处理，一般有条件格式法、高级筛选法、函数法、数据透视表法等4种处理方法。错误数据处理对错误数据的处理，首先需要查找和识别数据错误的原因，才能够准确处理。二、常用数据清洗方法第一步，按“Ctrl+A”组合键全选数据表单元格区域，再按“Ctrl+G”组合键，打开“定位”对话框，单击“定位条件”按钮。1.缺失数据处理第二步，在弹出“定位条件”对话框中，单击“空值”单选按钮，然后单击“确定”按钮。即自动定位到表格中的空值单元格。1.缺失数据处理（1）条件格式法打开数据表格文件，第一步，选中表格中的A列数据，即SKUID，在“开始”选项卡下的“样式”组中单击“条件格式”下拉按钮，选择“突出显示单元格规则”＞“重复值”选项。2.重复数据处理第二步，在弹出的“重复值”对话框中，在“设置为”下拉列表框中选择“浅红填充色深红色文本”。图2-20突出显示重复的SKU编号第三步，单击“确定”按钮，即可标记所有重复的SKU编号。第四步，选中重复的SKU编号其中一行，比如19行，按住键盘上“Ctrl”键的同时单击选中重复的SKU编号其中一行26行，单击鼠标右键，在弹出菜单中选择“删除”，即可将重复数据进行清理。（2）高级筛选法第一步，选择任一数据单元格，在“数据”选项卡下的“排序和筛选”组中单击“高级”按钮，弹出“高级筛选”对话框；（2）高级筛选法第二步，完成上一步操作后，此时系统会自动选中所有数据区域，勾选“选择不重复的记录”复选框，然后单击“确定”按钮。即可筛选出所有不重复的记录，重复记录被自动隐藏。在“SKUID”列右侧插入列，可命名为“重复标记”，在B2单元格中输入公式“==COUNTIF($A$2:A2,A2)”，利用填充柄向下填充公式，即可得出相应的SKU编号出现了几次。（3）函数法跨境电子商务数据分析项目2跨境电子商务数据采集整理任务5编制跨境电商数据采集整理方案案例情境

公司长期经营女装服饰类产品，主营产品为外贸婚纱礼服类，近期外贸婚纱礼服类产品市场低迷，月销售额连续下滑，为拓展公司业务，改善经营业绩，市场部决定在近期增加产品种类，计划在“女式运动卫衣”“女式休闲套装”“女式休闲风衣”三类商品中选择一种，选择依据主要是商品近一年的用户关注度高，目标客户群体基数大。要求数据分析人员针对该分析需求撰写数据采集与整理方案。一、任务分析

对“女式运动卫衣”“女式休闲套装”“女式休闲风衣”三类商品进行分析，分析依据为商品的用户关注度和目标用户群体基数。

该商品店铺在速卖通平台开设，在速卖通平台中用户关注度数据可参考产品人气和搜索热度，目标用户群体基数可参照访客数，这些指标可以通过速卖通后台生意参谋工具获取，也可以通过谷歌趋势进行产品搜索热度和趋势进行分析。二、数据采集流程回顾选择数据采集渠道明确数据分析目标开始采集数据确定数据指标类型数据采集整理方案三、数据采集整理方案构成背景介绍数据分析指标数据分析目标渠道及方法数据采集与整理方案数据采集与处理的方案构成背景介绍

背景介绍主要是让项目参与人员了解该数据项目的来龙去脉，明确分析的环境和所处情况。通常是描述运营过程中出现的具体问题。数据分析目标

数据分析的目标是解决相对应的业务问题，因此，要对运营部门出现的问题分析问题产生的原因。数据采集与处理的方案构成数据分析指标

根据总体分析目标和任务需求，确定数据采集的指标类型和具体指标。包括明确数据分析所涉及的关键指标，确定对应的数据类型。数据来源渠道及数据采集工具

明确所需数据、数据采集渠道，并据此选择合适的采集方法及工具。实训任务步骤1，介绍任务背景根据案例，本次任务是由于近期外贸婚纱礼服类产品市场低迷，月销售额连续下滑，公司决定拓展业务，增加产品种类。实训任务步骤2，明确数据分析目标根据市场部的业务需求，可以确定本次数据分析任务的目标为：分析“女式运动卫衣”“女式休闲套装”“女式休闲风衣”三类商品的用户基