【《电商数据挖掘中电商平台数据获取及预处理分析案例》5800字】

电商数据挖掘中电商平台数据获取及预处理分析案例目录TOC\o"1-3"\h\u30424电商数据挖掘中电商平台数据获取及预处理分析案例 1166591.1数据获取 144321.1.1网页结构解析 194031.1.2爬虫设计 1274601.2数据处理及基本分析 1117041.2.1数据预处理 168811.2.2数据基本统计分析 11.1数据获取随着国家对农产品在电子商务销售的重视以及新冠疫情的影响，越来越多的电商平台开通生鲜农产品销售频道，本文中主要是以农产品中的生鲜水果类作为研究对象，由于水果的种类繁多，无法对所有的生鲜水果种类的数据进行收集分析，因此考虑到市场需求量和数据可获得性等因素，本文选取了淘宝平台的14种水果数据作为研究数据集，包括：苹果、梨、桃子、樱桃、香蕉、菠萝、葡萄、草莓、荔枝、芒果、猕猴桃、牛油果、蓝莓、柑橘类（为了简化柑橘类的数据，将平台柑橘、桔、柠檬、橙子、柚子五种描述的种类合并为柑橘类）。图3-SEQ图3-\*ARABIC图3-SEQ图3-\*ARABIC1数据获取流程图在本次数据抓取过程中，将“苹果”、“梨”、“桃子”、“樱桃”、“香蕉”、“菠萝”、“葡萄”、“草莓”、“荔枝”、“芒果”、“猕猴桃”、“牛油果”、“蓝莓”、“桔”、“柚子”、“橙子”、“柠檬”、“柑橘”十八个水果名词，作为电商平台搜索水果输入的关键词，分别在淘宝和天猫网页中搜索，按照销量排名依次获取详细信息，脚本运行抓取数据停止条件为销量为0，本次研究所用数据为2018年12月至2019年11月一年的销售信息，抓取数据频率为一月一次，共抓取的数据信息量如表3-1所示。表3-SEQ表3-\*ARABIC1数据集数据量淘宝天猫总量数据量（条）13854235134461898869在电商平台获取的部分水果特征数据如表3-2所示：表3-SEQ表3-\*ARABIC2样本数据集的部分数据记录水果种类特征苹果香蕉菠萝草莓标题苹果新鲜包邮当季红富士整箱10斤装一箱陕西野生丑果源鲜汇高山香甜自然熟大香蕉新鲜水果当季包邮整箱10斤非粉蕉当季云南香水小菠萝无催熟泰国菠萝品种非凤梨新鲜水果5斤装现摘正宗丹东草莓新鲜99草莓红颜九九草莓马家岗牛奶草莓孕妇水果顺丰发货省江苏广西广东辽宁发货市徐州南宁湛江丹东价格29.8028.8027.8098.00销量146147587418974561商店名称福瑞达旗舰店源鲜汇旗舰店何掌柜鲜果店果然好丹东产品描述分4.64.64.94.8卖家服务分4.64.54.94.8物流服务分4.64.64.94.81.1.1网页结构解析如图3-2所示为淘宝网站苹果水果的搜索结果，在该界面展示了水果的基本信息，我们所需要的信息包括：价格、销量、标题、店铺名称、发货地、水果图片。用户可以大致看到搜索的不同店铺同种水果的基本信息。图3-SEQ图3-\*ARABIC2图3-SEQ图3-\*ARABIC2商品详细信息界面图3-SEQ图3-\*ARABIC3电商平台苹果搜索界面如图3-4所示为网页商品详情，包括品牌、原产地、储藏方式、包装方式、水果种类、保质期等信息数据。消费者可以通过此页的信息了解水果的特征。图3-SEQ图3-\*ARABIC4图3-SEQ图3-\*ARABIC4商品资质详情界面（1）爬虫流程基于需要获取的数据内容和网页数据分布，我们编写Python爬虫脚本提取页面信息。具体流程见下图3-5所示，首先根据淘宝登录界面要求，模拟用户扫码登录；通过对关键词的搜索，分别得到每种水果的搜索信息界面，由此界面即可获取每个水果详细数据的URL并和基本信息共同存入txt文件内；接着通过每个水果的URL进入水果信息的详细介绍界面，将所需的数据信息抓取下来并存入txt文件内；最后将文件转化为Excel文件，并添加到MySQL数据库方便与本文中做的系统相连接。本次爬虫实验每一个月运行一次程序，最后将所有数据汇总于MySQL数据库中。图3-图3-SEQ图3-\*ARABIC5数据获取结构图目前各网站经常通过基于身份识别、爬虫行为、数据加密来进行反爬的识别，Headers校验、动态页面、IP限制、验证码是解决爬虫难点较为常用的方法。在本次爬虫实验中需要用到的网站反爬虫解决策略主要有使用模拟浏览器自动登录：在请求网页时设置两个参数User-Agent和cookies，前者的作用时模拟浏览器，后者则是模拟登录。1.2数据处理及基本分析1.2.1数据预处理对于本文数据特征，采用合适的数据预处理方法对其进行预处理，接下来将对本文数据的预处理过程和所用方法详细描述。（1）空值处理本文是对电商平台的生鲜水果大数据的关键信息进行研究的，样本数据的空缺值主要体现在净含量的缺失，且含有空缺值的每条数据中，只有其自身是空缺的，该条记录的其他维度的数据均有值，则考虑到数据量的大小，删除含有空缺值的记录的这种做法对本文的研究来说是不可取的。若对空缺值不进行有效处理，会导致模型预测结果失真。我们可以通过手动查找空值所在水果信息列的其他数据信息，在网页进行查找，最后再对其进行补充。（2）异常值处理本文中所需的数据量较大，其中难免会存在异常的数据，比如过大、过小、非正常范围内的数据等，为避免对后续模型构建产生影响，则必须先需要对异常的数据进行处理，直接删除该条信息或者手动更改为正确信息。（3）统一数据单位采集的水果的净含量数据单位不统一，有以“g”、“kg”和“斤”为单位对数据进行记录。为保证本文后续对数据的利用，必须将单位进行统一。从研究内容和数据自身特征考虑，本文将水果净含量数据单位统一以“g”为标准。在实际处理时，采用Excel选择性粘贴，将“kg”为单位的数据同除以1000，将“斤”为单位的数据同除以500，而以“g”为单位的数据保持不变，最终将样本数据集的净含量数据都转化成了统一的以“g”为单位的数据。（4）数据标准化本文采集到的数据有淘宝网站59个维度，天猫网站57个维度，其中部分维度需要做规范化处理包括价格、销量、评分、直径、净含量（采用归一化处理），具体是将数据映射到[0，1]区，其公式如式3-1所示。X公式3-1中各参数的定义为，X̅：归一化后的数据，X：原始数据，Xmax、Xmin表3-SEQ表3-\*ARABIC3标准化数据价格描述评分服务评分物流评分净含量0.778410.885730.973620.943120.792310.780190.912760.873920.953210.912320.914730.865920.896320.836120.214720.645630.876940.945210.917620.915240.284690.914520.963150.826120.745620.711170.764920.963720.837120.58372通过对获取到的数据进行整理，对所有空缺值以及重复值进行处理。由于技术原因一些水果数据是存在的却没能成功抓取，所以空缺的店铺名称、标题等信息不能采用替补和使用最可能的值等方法来对其进行填充。基于此，本文中通过人工操作，依据釆集到的有效水果信息，在淘宝网上找到与之对应的店铺信息，并通过仔细核对，最终将所有空缺的信息已补全。1.2.2数据基本统计分析在对数据进行预处理后的基础上，对其进行基本统计分析，使得进一步对数据潜在的趋势和价值进行初步研究并记录数据特征分析一般包含分布分析、对比分析等。接着对数据运用基本计算方法进行处理，以可视化图表形式展示。1.2.2.1平台月销量分析图3-SEQ图3-\*ARABIC图3-SEQ图3-\*ARABIC6淘宝和天猫平台每月在线水果销量（A）和在线进口水果销量（B）1.2.2.2平台水果销售占比分析2019年，阿里巴巴的电子零售以柑橘、苹果、芒果和猕猴桃为主导，如图3-7所示。柑橘在14种水果中遥遥领先，在淘宝上所占的份量略高于天猫。苹果稳居第二位，猕猴桃在淘宝和天猫中均占11%，在两个平台上分别排名第三和第四，芒果的表图3-SEQ图3-\*ARABIC图3-SEQ图3-\*ARABIC7淘宝（A）和天猫（B）平台14种水果全年销量占比1.2.2.3平台水果销售月份热度分析如图3-8（A）所示，淘宝和天猫平台的14种水果可以按照每月的销售变化模式，分配给三大类别。第一类水果是近一年左右大量销售的水果，包括柑橘、苹果、芒果、猕猴桃。第二类是长季供应水果，包括桃、梨、樱桃、菠萝、香蕉和牛油果。香蕉通常被视为全年供应水果，阿里巴巴平台上的电子零售具有季节性特征，这可能是由于在线销售淡季与线下销售竞争激烈。第三类是低销售量或短销季节水果，包括葡萄、草莓、蓝莓和荔枝。两个平台的14种进口水果的销售情况与水果总量的总体趋势不同，如图3-8（B）。根据销售数量和供应季节，水果可分成四个类别。牛油果和柑橘组成第一类，它展示了一年来的高销售额。猕猴桃，樱桃，芒果，菠萝，苹果和蓝莓在第二类，这是长期供应。第三类是低销售量或短的在线季节水果，包括葡萄、桃子和香蕉。中国是葡萄和桃子的大生产国，本地生产在市场上起着主导作用。香蕉在中国是一种廉价的水果，虽然实际进口量高，而且通过在线渠道分配一定数量，但通常在平台上标题的描述中没有注明进口。图3-SEQ图3-\*ARABIC图3-SEQ图3-\*ARABIC8所有水果（A）和进口水果（B）全年销量情况1.2.2.4平台水果销售包装尺寸分析电子零售水果的包装尺寸不同于线下销售，它通过高效运输需求进行优化。如图3-9所示，根据流行的包装大小，这14种水果可以归纳为三组。第一组是以蓝莓和樱桃为代表的低重量包装组，40%的零售量在淘宝平台上包装在0.5至2.5公斤之间，蓝莓在低重量包装0.5至1.5公斤中的覆盖率高于樱桃。第二组是中等重量的水果，包括桃子、牛油果、葡萄、猕猴桃、柑橘和梨，其包装单元的很大一部分在2.5至4.5公斤。第三组是水果与相对大包，包括香蕉，菠萝，芒果和令人惊讶的草莓。图3-SEQ图3-\*ARABIC9淘宝（A）和天猫（B）平台水果包装净含量分布类似的水果包装组和趋势显示在天猫平台，如图3图3-SEQ图3-\*ARABIC9淘宝（A）和天猫（B）平台水果包装净含量分布1.2.2.5平台水果平均价格变化趋势分析14种电子零售水果的销售的中值价格如图3-10所示。在淘宝平台上，樱桃、荔枝、葡萄、蓝莓、草莓等价格最高，不同月份价格差异较大，年均价格分别为每公斤150.9元、130.8元、82.3元、78.8元和74.3元。牛油果、桃、苹果、猕猴桃、芒果价格为中等价格组，年均价格分别为每公斤48.7元、48.3元、45.6元、44.4元和42.3元。葡萄、柑橘、菠萝、香蕉价格相对较低，每公斤37.8元、35.5元、35.4元和26.8元。在天猫平台上，价格分配模式与淘宝网相似，各具特色。樱桃的年均价格为每公斤131元人民币，明显低于淘宝网的价格，其次是荔枝，每公斤85.3元人民币，除了樱桃和荔枝，其他6种水果，即柑橘、蓝莓、芒果、猕猴桃、牛油果和葡萄，在天猫价格较低。苹果、香蕉、菠萝和草莓在淘宝上的年均价格较高，而桃和梨的年均价图3-SEQ图3-\*ARABIC图3-SEQ图3-\*ARABIC10淘宝（A）和天猫（B）平台水果的价格变化趋势1.2.2.6平台店铺主要发货地分析在研究通过淘宝平台交付的所有商品中，年交付量超过10万件的前24个城市占总数的69.3%，前10名城市占总数的45.1%。在通过天猫销售的5380万件作品中，年均交付量超过100万件的前15个城市占总交付量的77.2%，前10名城市占总交付量的66.3%，呈现出明显的领先城市趋势。与淘宝、天猫前10名城市相比，成都、南宁、西安、运城、沧州、资阳、烟台等7个城市重叠。淘宝和天猫的前15个交付城市显示为图3-11（A）。进口水果的主要城市是沿海省份集中的格局，如图3-11（B）所示。通过淘宝平台641383件进口水果已成交，一共9个城市，每个城市成交超过1万件，占成交总图3-SEQ图3-\*ARABIC11十四种水果（A）和进口水果（B）主要发货地点量的87.4%；3481061件进口水果通过天猫交付，6个城市每年分别交付超过10万件，占总量的86.2%。上海是进口水果运输的龙头城市，今年通过淘宝和天猫分别运送了26万件和146万件。在淘宝网和天猫排名前十的城市中，上海、广州、南宁、成都、昆明、崇左等7个城市是重叠的。淘宝和天猫的15大进口水果配送城市如图3图3-SEQ图3-\*ARABIC11十四种水果（A）和进口水果（B）主要发货地点1.2.2.7平台水果标题用词分析电商平台水果的标题对于在线推广很重要，此前的研究表明，购买前浏览与在线购买的正面关系。在实践中，电子零售店堆放了一系列文字来标记和推广他们的水果，以发现在潜在的消费者的浏览和减少消费者的搜索时间成本。淘宝和天猫最多允许使用30个汉字作为标题的名称。对于大多数水果来说，通用名称是1-3个汉字，为卖家留下良好的空间，使他们的水果成为潜在消费者在大量标题中找到的最佳机会。通过频率统计收集和分析标题描述中使用的描述词语。淘宝和天猫的14种水果的排名前15的词如表3-4所示。

表3-SEQ表3-\*ARABIC4淘宝和天猫水果标题热词淘宝字频天猫字频1新鲜204178新鲜840692包邮98194包邮3709835公斤66278季节内317994季节内503185公斤280935新鲜采摘49128全盒162136孕妇48943批发160087全盒24533孕妇130008真实21999新鲜采摘129709洋19488带盒1189810海南省18585季节性1034111四川省17848洋956912立即交货17700红富士850313红心17304海南省801014红富士17271四川省777115专业17092红心7244新鲜和包邮在淘宝和天猫中都是使用频率最高的词。在中国，免费送货一直被视为电子零售的一项标准服务。被描述为最常用的包装尺寸促销的“5公斤”。通常省一级提到的生产研发，说明水果具有很强的农家产品特性，产地在心理上与正宗和质量有关。有趣的是，“孕妇”在目标消费者和消费领