跨境电商数据分析 课件 模块二 跨境电商数据的采集与预处理

模块二跨境电商数据的采集与预处理课程名称：《跨境电商数据分析》授课人：xxx目录01课程导入02数据采集认知03数据预处理认知04实训操作05拓展知识06课程总结0101课程导入CASESTUDY安克创新：全球消费电子出海典范企业简介安克创新(AnkerInnovations)是全球消费电子出海领域的杰出代表，其成功很大程度上得益于高效的数据采集与应用体系。公司通过系统性的数据策略，将市场信息转化为产品竞争力。核心优势建立多维度、实时化的信息收集网络将市场信息转化为产品竞争力的科学决策过程为中国出海企业提供值得借鉴的成功范式案例思考：（1）安克创新的数据采集方法与传统市场调研相比，主要优势体现在哪些方面？（2）请结合案例谈谈，在实施类似数据采集工作时，企业可能面临哪些挑战？应如何应对？0202数据采集认知CONCEPT跨境电商数据采集的概念核心定义跨境电商数据采集是指由系统预先设计的采集平台自动抓取跨境电商平台上数据信息的过程。数据产生于消费者和企业的实时活动，分布在不同的交易平台、社交平台、智能终端、生产者内部系统和其他第三方服务平台上，类型多样化。数据类型交易信息：消费者与企业的交易数据消费者信息：基本信息、行为信息企业信息：产业信息、运营数据约束输入原则设置必填选项，避免遗漏关键数据提供固定选项列表，避免手动输入错误实时检查格式与范围，报错提醒重新输入数据来源：数据既可以从现有、可用的无尽数据中搜集提取二手数据，也可以经过问卷调查、采访、沟通等方式获得一手资料。DATASOURCES数据采集方式：二手数据与一手资料二手数据定义从现有、可用的无尽数据中搜集提取的数据，这些数据已经存在于各种平台和系统中。特点获取成本相对较低数据量庞大且多样需要筛选和验证数据质量来源示例电商平台公开数据、行业报告、社交媒体数据、政府统计数据等一手资料定义通过问卷调查、采访、沟通等方式直接获得的数据，为特定目的而专门收集。特点数据针对性强，符合特定需求数据质量可控且可靠收集成本相对较高，耗时较长收集方式在线问卷、电话访谈、面对面采访、焦点小组讨论等METHOD01数据采集方法一：网络爬虫什么是网络爬虫？网络爬虫又称网络蜘蛛，或者网络机器人(Robots)。它是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，用来收集网页上的文本、图片、链接等信息。换句话来说，它可以根据网页的链接地址，自动获取网页内容。如果把互联网比做一个大蜘蛛网，它里面有许许多多的网页，网络蜘蛛可以在爬行过程中，获取网页上的内容。法律与道德规范需要注意的是，使用网络爬虫时，需要遵守相关法律法规和道德规范，尊重网站的数据使用协议。不得采集涉及个人隐私的敏感信息，不得对目标网站造成过大访问压力。网络爬虫工作原理1发送请求向目标网站发送HTTP请求2获取响应接收网页HTML内容3解析提取提取所需数据信息4存储数据保存到数据库或文件CLASSIFICATION网络爬虫的四种类型通用型网络爬虫应用场景：主要应用于搜索引擎特点：爬行范围和数量巨大，对爬行速度和存储空间要求较高工作流程：抓取网页→数据存储→预处理→提供检索服务→网站排名聚焦型网络爬虫核心功能：抓取与预先定义的主题相关的网页优势：可以大幅度节省硬件和网络资源适用场景：满足用户的特定需求，针对性采集增量型网络爬虫工作机制：只在产生新的页面或页面发生变化时才会进行数据爬取优势：有效减少数据下载量，减小时间和空间上的浪费适用场景：需要定期更新数据的长期监控任务深度网络爬虫特点：需要注册登录或提交相应表单才能获取web页面爬行数据技术挑战：需要处理身份验证、会话管理等复杂场景适用场景：采集需要权限访问的深度网页数据METHOD02数据采集方法二：API接口什么是API？API是应用程序接口(ApplicationProgrammingInterface)，是一些预先定义的函数，或指软件系统不同组成部分衔接的约定。API目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码或理解内部工作机制的细节。API的核心功能提供通用功能集，简化开发流程作为中间件，为各种平台提供数据共享使软件系统的职责得到合理划分API调取类型开放认证协议通过OAuth等开放认证协议，安全地获取用户授权的数据访问权限开源API调用使用平台提供的开源API接口，直接调用获取所需数据优势：API接口通常提供更稳定、更规范的数据获取方式APPLICATION01爬虫软件在跨境电商中的应用(一)：内容聚合内容聚合的价值对于大多数跨境电商网站，实时获取互联网上的大量数据非常重要。网络数据抓取可以监控各跨境电商网站上的资讯，通过关键词搜索等方式实时获取更新的数据。关键词监控设置目标关键词进行持续监控自动抓取包含关键词的最新内容及时获取行业动态和市场信息资讯收集监控多个平台的产品资讯聚合行业新闻和趋势报告建立信息库供后续分析使用实时更新设置定时任务自动采集确保数据的时效性和新鲜度快速响应市场变化应用场景：电商平台产品信息聚合、行业新闻监控、竞品动态追踪、价格变动提醒等APPLICATION02爬虫软件在跨境电商中的应用(二)：竞争对手监控竞争对手监控的重要性跨境电子商务运营人员需要时刻关注竞争对手的情况，进而调整自身运营策略。数据抓取可以实时监控竞争对手官网、店铺等网页上的信息，包括产品更新、促销活动、客户评价等。产品动态监控追踪新品发布和产品更新监控产品规格和功能变化分析产品策略和市场定位价格与促销实时跟踪定价策略变动监控促销活动和优惠策略及时调整自身价格策略客户评价分析采集用户评论和反馈进行消费者情感分析识别产品优缺点和改进点价值：通过采集和分析评论、意见或投诉等数据，可以进行消费者情感分析，了解竞品在市场中的口碑和用户满意度APPLICATION03爬虫软件在跨境电商中的应用(三)：市场调查市场调查的价值互联网上可以提供不同类型的市场数据，包括产品信息、标签、社交媒体或其他平台上的产品评论、新闻等。利用传统的数据采集方法，开展市场调研是一项耗时且昂贵的工作。到目前为止，如需收集大量数据用于市场研究，网络数据提取是最简单的方法。可采集的市场数据类型产品信息：规格、价格、功能标签数据：分类、关键词用户评论：评分、反馈行业新闻：趋势、动态销售数据：销量、排名竞品信息：策略、动向传统方法vs网络爬虫传统方法耗时长，效率低成本高，人力投入大数据量有限网络爬虫自动化，效率高成本低，一次开发长期使用数据量大且全面0303数据预处理认知CONCEPT数据预处理的概念与重要性为什么要进行数据预处理？要从数据中找到有用的数据，依赖于数据质量好坏。企业收集到的数据可能会出现错误、重复、不完整或者不符合规范等问题，即"脏数据"，这会影响正常的数据结果。脏数据的类型缺失数据某些字段值为空或未记录重复数据同一记录出现多次错误数据数据值不符合实际情况数据预处理的定义数据预处理是跨境电商数据分析过程中的一个重要步骤。涉及对原始数据的清洗、转换、集成与归约。主要目的：提高数据的质量，以便更好地进行后续的分析和建模。这是一个反复进行的过程，不可能在几天内完成，需要不断地发现问题、解决问题。COMPONENTS数据预处理的四大内容数据清洗DataCleaning利用数理统计、数据挖掘或预定义的清理规则，将"脏数据"转化为满足数据质量要求的数据包括删除重复数据、纠正错误数据、处理缺失值等示例：清除错误的交易记录和重复的会员信息数据转换DataTransformation包括数据标准化、归一化、离散化等通过标准化将数据变化成同一尺度，便于比较和分析统一数据格式，确保数据的一致性数据集成DataIntegration将来自不同源的数据合并到一起解决数据不一致性问题示例：把下单日期统一成一致的格式数据归约DataReduction精简概括原始数据，使得更少的数据可以达到更好的结果删除与目标相关性较低的数据示例：在分析客户购买行为时，减少数据规模，提高效率（1）缺失值的查找与处理筛选：在Excel表格中表头部分插入“筛选”，找到想要确认是否有缺失值的数据列，点开“筛选”功能的下拉菜单，确认是否有“空白”，如果有“空白”表示有缺失值。通过筛选，可以直接锁定缺失值所在单元格数据预处理的方法（1）缺失值的查找与处理定位：在Excel表格中利用“定位”功能可以筛选出所有缺失值。开始--查找--定位，条件里选择定位空值，可以筛选出所有空值。之后可以将缺失值所在单元格填充成其他颜色数据预处理的方法（1）缺失值的查找与处理计数：在Excel表格中，可以按列基数，因为空白单元格不会被计数，所以如果有某列数据计数后的值比其他列数据少，那也能说明该列存在空白单元格，即缺失值。但是该方式，无法定位到缺失值所在的具体单元格，只能帮助发现存在缺失值。数据预处理的方法缺失值的处理方法可以通过删除法、插补法、复原法等方式对缺失值和异常值进行处理。直接删除优点删除后整个数据集变得完美剩下的都是有完整记录的数据缺点缺少部分样本可能导致整体结果偏差适用场景：有大量缺失值的数据寻找替代值方法用均值、众数、中位数等代替缺失值优点方法简单且有依据缺点可能会使缺失值失去其本身的含义扩展：可人为赋予缺失值特定值复原法方法根据原始数据之间的数字关系及逻辑关系利用公式进行计算优点获得的数据一般较为准确对数据分析价值较大示例：销售额=访客数×转化率×客单价（2）重复值的查找与处理条件格式：在Excel表格中选中需要筛选的列，点击【条件格式】-【突出显示单元格规则】-【重复值】,选择条件为重复，选择重复项显示样式，之后就可以显示出列中数据哪些是重复的了数据预处理的方法（2）重复值的查找与处理COUNTIF函数：COUNTIF函数是可以用来计算区域中满足条件的单元格的个数的函数。使用COUNTIF函数之后，可以直接显示出当前数据在所在列中一共出现了几次。首先我们要在查找列后面插入一列空白列用来显示次数，然后在第一个数据后面的单元格中输入=countif(区域,条件)，区域需要选中需要计算非空单元格数目的区域，条件则可以是以数字、表达式或文本形式定义的条件。比如=COUNTIF(F:F,2)计算的是F列中数值为2的单元格数量。数据预处理的方法（2）重复值的查找与处理IF+COUNTIF函数：需要预留出一列空白列，在第一个单元格中输入函数=IF(COUNTIF(A$2:A$22,A2)>1,"重复","")，回车之后如果看到单元格中出现了重复字样，这就代表着该数据在所有数据中有重复项。数据预处理的方法PROCESS数据预处理的完整流程跨境电商数据预处理是数据分析过程中不可缺少的基础环节，旨在通过系统化处理，将原始数据转化为高质量、可分析的数据集。1明确数据约束输入以及规范输出明确需要使用的数据，选中需要做数据分析的范围使用隐藏功能把不需要分析的列隐藏起来或直接删除2数据来源识别平台交易数据：订单信息、支付记录、物流跟踪数据等用户行为数据：浏览记录、搜索关键词、收藏与加购数据等商品数据：商品属性、价格、库存、评价等营销数据：广告投放数据、促销活动数据等3数据格式标准化将数据统一成一定的格式标准，便于后续数据处理和分析统一日期格式为"YYYY-MM-DD"对货币单位按照分析需求统一转换为目标货币(如美元、人民币等)4删除重复项选中要分析的数据范围利用Excel的"删除重复值"功能来删除重复项避免重复的数据对数据分析结果产生干扰，导致分析结果不准确PROCESS(CONT.)数据预处理的完整流程5缺失值处理在Excel中选中某一列，查看右下角显示的统计数目通过和其他列的项目做对比可得知该列是否有缺失对缺失数据进行补充，避免数据分析中的偏差6异常值查看处理通过Excel的"筛选"功能查看是否有异常的数值或通过函数建模来识别异常值帮助企业获得更准确、可靠、可信的数据基础7数据脱敏与安全针对消费者敏感信息(如身份证号、银行卡信息等)进行脱敏处理采用加密等技术确保数据安全，符合数据隐私保护法规要求建立数据访问权限机制，限制敏感数据的查看和使用范围0404实训操作任务背景：1.小陈想要采集一下敦煌平台上采集女士鞋子产品的相关数据，包括产品的标题、图片链接、商品链接、商品价格、订单数等。速卖通上女士鞋子的产品链接为：/wholesale/search.do?separate=1&act=search&act=search&searchkey=shoes&srp=0#listing_hot-shoes为了采集相关数据，小陈需要应用八爪鱼采集器，请帮助小陈在八爪鱼采集器上完成相关数据采集。实训一：八爪鱼数据采集任务操作：步骤1.下载并登录八爪鱼采集器需要搜索官网，下载八爪鱼客户端并注册登录，普通用户使用免费版功能即可完成基本的数据采集，也可根据需要自行选择使用付费会员功能。实训一：八爪鱼数据采集任务操作：步骤2.新建自定义采集任务。在首页单击左上角的“新建”按钮，选择“自定义任务”。采集字段包括：商品标题、图片链接、商品链接、商品价格、商品评分、评论数等（可根据需要进行相关字段的添加或删除）。实训一：八爪鱼数据采集任务操作：步骤3.输入采集网址在新建任务界面，选择“手动输入”，输入题干中的女士鞋子产品链接并单击“保存设置”按钮。实训一：八爪鱼数据采集任务操作：步骤4.系统会自动识别网页内容并提取相关字段实训一：八爪鱼数据采集任务操作：步骤4.成功识别了列表中的数据及翻页和滚动加载设置之后,单击“生成采集设置”按钮，将自动识别出的列表数据和翻页，生成采集流程，方便我们使用和修改。实训一：八爪鱼数据采集任务操作：步骤5.在“当前页面数据预览”中可对采集规则进行调整与优化，如根据需要删除不需要的字段、编辑字段名称等。实训一：八爪鱼数据采集任务操作：步骤6.有一些字段，系统无法自动提取到，需要用户手动添加。双击流程图中的“提取列表数据”，进入其设置页面，单击“加号”图标，单击“添加当前时间”和“页面网址”等。实训一：八爪鱼数据采集任务操作：步骤7.采集优化以上步骤可以完成基本的数据采集。但亚马逊有防采集措施，如需稳定采集大量数据，需对采集规则进行优化。常见的优化方法如下。（1）翻页采集/滚动采集实训一：八爪鱼数据采集任务操作：步骤7.采集优化（2）深入采集产品详情页数据

点击生成采集设置实训一：八爪鱼数据采集任务操作：步骤7.采集优化（3）深入采集产品详情页数据点击采集下一级网页数据实训一：八爪鱼数据采集任务操作：步骤7.采集优化（4）深入采集产品详情页数据选择从采集字段中选择，然后选择标题链接，意味着通过产品标题进入产品详情页进行采集实训一：八爪鱼数据采集任务操作：步骤7.采集优化（5）深入采集产品详情页数据选择从采集字段中选择，然后选择标题链接，意味着通过产品标题进入产品详情页进行采集实训一：八爪鱼数据采集任务背景：本次任务旨在借助卖家精灵网站（/）的关键词选品工具，采集特定品类（以蓝牙耳机为例）的相关关键词数据，包括搜索量趋势、月搜索量、月购买量购买率、展示量点击率、增长率等相关数据，通过对这些数据的分析，挖掘具有市场潜力的细分市场及关键词，为跨境电商选品、产品优化提供数据依据。任务要求：请同学们登录卖家精灵官网（/）。若尚未注册账号，可以点击页面上的“注册”按钮，按照提示填写邮箱、设置密码等信息完成注册流程。注册成功后，使用注册的账号和密码登录卖家精灵平台。实训二：卖家精灵数据采集任务背景：有效采集速卖通店铺的商品信息（如标题、价格、销量、评价、详情页）、营销活动、店铺运营指标（如评级、服务分）等数据，对于进行市场趋势分析、竞品对标、选品决策、价格策略制定、营销效果评估及店铺运营优化至关重要。本任务旨在系统性地获取速卖通店铺的关键数据，为后续的商业洞察和策略优化提供数据支撑。实训三：店铺数据采集任务背景：跨境电商业务涉及全球市场，数据来源广泛且复杂，采集的原始数据通常存在格式不统一、重复记录、缺失值、异常值等问题（俗称“脏数据”）。本实训任务旨在通过实践操作，让学员掌握数据清洗、格式统一、缺失值填补等核心技能，将原始“脏数据”转化为标准、一致、高质量的分析数据集，为后续的市场洞察、选品优化、营销效果评估、库存管理等关键业务环节奠定坚实可靠的数据基础。实训四：数据预处理任务要求：表1包含了超过90万名消费者提供的儿童生日和性别信息，表2包含平台会员的历史交易信息。实训四：数据预处理第一步，我们需要先选择子集，隐藏无意义字段property。避免无意义字段对我们的数据清洗和分析工作产生干扰。第二步，对列名进行重命名。这一步主要是为了为了方便阅读，可以将英文列名全部改为中文，对应关系为user_id为用户ID；birthday为出生日期；gender为性别；auction_id为消费ID；cat_id为商品一级类目；cat1为商品二级类目，property为商品属性；buy_mount为购买数量；day为消费时间。实训四：数据预处理第三步，先进行一致化处理，表格中日期格式没有显示为正常的日期格式，所以先将消费时间、出生日期所在列的单元格格式直接更改为日期格式。如果设置日期格式后显示为#号，需要在数据选项选择分列，调整成正常日期格式。实训四：数据预处理第四步，删除重复项，先用VLOOKUP函数关联母婴购买记录和母婴用户信息两张表格，筛选出出生日期和性别都不为空的数据，以便针对年龄和性别进行分析。函数在表格中表示为=VLOOKUP(A2,Sheet1!A:C,2,FALSE)。FALSE表示精准匹配。

实训四：数据预处理第五步，删除重复项，对user_id利用条件格式功能进行删除重复值的操作。第六步，缺失值处理，通过筛选功能，发现各列均无缺失值。

实训四：数据预处理第七步，异常值处理。通过datedif函数求出儿童年龄，公式为：=IFERROR(DATEDIF(G2,F2,"Y"),-1).

在计算出儿童年龄后，使用筛选功能发现有一个异常值28，因为28岁不属于婴幼儿年龄，可删除该数据。实训四：数据预处理第八步，整理数据。使用LOOKUP函数可以对不同年龄进行分组，方便后期分析和可视化处理等操作。公式如下：LOOKUP(I2,{-1,0,3,6,9},{"未出生","0岁-3岁","3岁-6岁","6岁-9岁","9岁以上"}).

实训四：数据预处理After-classPractice课后练习：简答题1.数据采集完成后，为什么不能直接进行分析，而必须进行数据预处理？请列举两个预处理环节并说明其作用。2.简单说明为什么不能随意采集和使用网站上的用户个人信息（如姓名、邮箱、电话号码）？TRAININGTASK01实训任务一：八爪鱼数据采集任务背景小陈想要采集敦煌网平台上女士鞋子产品的相关数据，包括产品的标题、图片链接、商品链接、商品价格、订单数等。需要应用八爪鱼采集器完成相关数据采集。1下载并登录搜索官网，下载八爪鱼客户端并注册登录2新建任务在首页单击"新建"按钮，选择"自定义任务"3输入网址选择"手动输入"，输入产品链接并保存设置4自动识别系统自动识别网页内容并提取相关字段5调整优化在"当前页面数据预览"中对采集规则进行调整6手动添加手动添加系统无法自动提取的字段7采集优化翻页采集、滚动采集、深入采集详情页任务要求登录DHgate，选择感兴趣的品类，进行八爪鱼数据采集。采集字段包括产品价格、产品链接、评分、店铺名称等。TRAININGTASK02实训任务二：卖家精灵数据采集任务背景借助卖家精灵网站的关键词选品工具，采集特定品类(以蓝牙耳机为例)的相关关键词数据，包括搜索量趋势、月搜索量、月购买量购买率、展示量点击率、增长率等相关数据，通过对这些数据的分析，挖掘具有市场潜力的细分市场及关键词，为跨境电商选品、产品优化提供数据依据。操作步骤1登录卖家精灵官网(/)，注册并登录账号2选择关键词选品和感兴趣的类目3输入月搜索量、增长率等范围，输入关键词，点击开始筛选4查看符合筛选条件的结果，解读数据，也可以把数据导出可采集的关键数据搜索量趋势了解关键词的搜索热度变化月搜索量掌握每月的搜索需求量购买率/点击率评估关键词的转化效果增长率发现快速增长的市场机会TRAININGTASK03实训任务三：店铺数据采集任务背景有效采集速卖通店铺的商品信息(如标题、价格、销量、评价、详情页)、营销活动、店铺运营指标(如评级、服务分)等数据，对于进行市场趋势分析、竞品对标、选品决策、价格策略制定、营销效果评估及店铺运营优化至关重要。本任务旨在系统性地获取速卖通店铺的关键数据，为后续的商业洞察和策略优化提供数据支撑。操作步骤1登录速卖通后台找到"生意参谋"板块，点击"成交分析"2选择时间维度下拉找到"核心指标"，选择时间维度为"最近30天"3下载数据点击"明细数据下载"，获取完整的店铺运营数据可采集的店铺数据商品信息标题、价格、销量、评价、详情页营销活动促销活动、优惠券、广告投放运营指标店铺评级、服务分、DSR评分客户数据访客数、转化率、复购率价值：这些数据为市场趋势分析、竞品对标、选品决策提供支撑TRAININGTASK04实训任务四：数据预处理实操任务背景跨境电商业务涉及全球市场，数据来源广泛且复杂，采集的原始数据通常存在格式不统一、重复记录、缺失值、异常值等问题(俗称"脏数据")。本实训任务旨在通过实践操作，让学员掌握数据清洗、格式统一、缺失值填补等核心技能。1选择子集隐藏无意义字段property，避免干扰2列名重命名将英文列名改为中文，方便阅读3一致化处理将日期格式更改为正常日期格式4删除重复项用VLOOKUP关联表格，删除重复值5缺失值处理通过筛选功能，检查各列是否有缺失6异常值处理用DATEDIF函数求年龄，删除异常值7数据整理用LOOKUP函数对年龄进行分组8数据分析针对清洗后的数据进行可视化分析成果：在一系列的数据预处理工作以后，可以针对一开始提出的问题进行数据可视化分析。数据清洁工作将大大有利于后续的数据分析工作，提高工作效率，增加模型的正确性。0505拓展知识GLOBALREGULATIONS全球数据保护法规概览在数字化时代，数据已成为核心资产，但全球各国对数据处理的监管也日趋严格。对于跨境电商企业而言，理解和遵守不同地区的数据保护法规不再是可选项，而是生存与发展的必然要求。欧盟GDPR长臂管辖：向欧盟居民提供服务即需遵守要求获得用户明确、主动的同意保障用户"被遗忘权"：访问、更正、删除个人数据美国CCPA/CPRA加州《消费者隐私法案》和《隐私权利法案》赋予消费者知情权、选择权和反对出售个人数据的权利对企业数据处理透明度提出了高要求中国PIPL《个人信息保护法》与GDPR类似强调"告知-同意"为核心原则要求数据本地化存储和跨境传输安全评估其他法规巴西LGPD：巴西通用数据保护法新加坡PDPA：个人数据保护法案共同构成了复杂的全球监管网络0606课程总结A