【淘宝网手机商品销售数据分析9800字（论文）】

淘宝网手机商品销售数据分析目录TOC\o"1-3"\h\u23626[摘要] 182[关键词] 2317921引言 210591.1研究背景及意义 280181.1.1研究背景 29291.1.2研究意义 221311.2主要工作 3112152数据爬取及清洗 364822.1数据爬取 4171122.2数据清洗 9169683可视化分析 1064943.1分析工具 10306213.1.1Matplotlib 10182523.1.2pyecharts 1066923.2数据分析 1062413.2.1从价格角度分析 10174243.2.2从品牌角度分析 12280953.2.3从收藏数角度分析 13191233.2.4从评分角度分析 14177313.3合理化建议 167654数据建模 17236814.1回归模型 1718074.2建模分析 19216395文本分析 21280085.1、SnowNLP情感分析 2194345.2、LDA主题模型 229841结束语 2324401参考文献 24[摘要]在互联网的不断发展和信息技术支持下，电子商务蓬勃兴起。越来越多的销售商在网上开起了网上商店，消费者的消费习惯也从传统的实体店慢慢向网上购物进行转变。不同行业的人们需求不断在提高，智能手机的出现刚好满足了他们的需求。手机越来越重要，已经成为了人们工作、学习和生活中不可或缺的东西。每年都会有许许多多不同品牌的手机商品被销售出去，但结果是不同品牌的手机商品的销量却大不相同，这其中的原因是什么呢？又由什么因素导致的呢？这些都是手机销售商非常想知道的问题，所以本文对这些问题进行研究，目的是为了提高销售商的销售水平。利用网络爬虫技术爬取淘宝网手机商品销售的数据作为相关研究样品，对不同品牌的手机商品销售的数据情况进行分析，了解消费者对不同品牌手机商品的需求以及喜好程度，并提出合理化建议，给销售商在销售的过程中带来参考价值，从而提高销售额。[关键词]网络爬虫；淘宝网；手机；数据分析；1引言1.1研究背景及意义1.1.1研究背景随着拉近人们距离的互联网在持续发展和日新月异的信息技术的支持下，电子商务也蓬勃兴起。越来越多的销售商在网上开起了网上商店，消费者的消费习惯也从传统的实体店逐渐向网上购物进行转变。网上购物以非常新颖的购物模式呈现给消费者，最重要的是，消费者不需要出门，无论是在什么地方，只需拥有一部智能手机或者其他移动电子设备，就可以购买自己想要的商品，而手机作为最常用的电子设备之一，对网上购物起到了终端的作用。[1]在当今时代，工作在不同行业的人们的需求不断提高，而智能手机的出现刚好满足了他们的需求，无论是在农村还是城市，智能手机的普及与使用都非常的广泛。使用智能手机的人数不断在扩大，已经成为了人们工作、学习和生活中不可或缺的东西。[2]自从进入二十一世纪初以来，发展到现在，淘宝已经有十八年的历史了，且占据了中国网上购物市场的份额已经达到了百分之八十以上。[3]淘宝是网上购物最典型的成功案例，它不仅可以及时掌握销售的实用信息，而且还可以使他们更好销售自己的产品，从而提高工作效率以及利益。1.1.2研究意义作为一个快速发展的产业，网上购物给中国经济发展带来了创新的思路并指引了正确发展的方向，包括了消费者的购物模式、销售商的销售结构以及其他方面等。手机商品在网上购物产业中的快速发展，具有非常实用的经济优势，长期以来，对中国市场经济发展具有非常重要的意义。销售业务的质量直接关系到销售商的存续和发展。而销售商最重要的资源就是消费者，消费者消费的数据中隐含了大量数据。因此，销售商应该从消费者的需求开始，了解消费者在消费时考虑的因素，比如价格、收藏数、品牌以及用户评价等，从而帮助销售商在销售的过程中做出判断和制定计划。因此，通过对手机商品销售的数据的分析，可以帮助销售商了解消费者的消费需求以及行为偏好，并提出了合理化的建议，为以后的销售策略提供了重要的参考。1.2主要工作1、通过网络爬虫技术爬取了淘宝网手机商品销售的数据，并对数据进行清洗。2、对处理后的数据进行可视化分析。对数据进行可视化分析的目的是可以利用数据直接生产图表或图形的形式，呈现效果，从而得到更好的分析。3、利用各种回归模型进行数据建模，预测效果。4、使用Snownlp情感分析库中的情绪判断，用来判断关于消费者在评论时的感情色彩；LDA主题模型，从大量评论信息中分析某个词在某个主题下出现的概率。整体的工作框架如下所示：图1论文主体框架2数据爬取及清洗本章是对淘宝网手机商品销售数据的进行爬取及清洗。介绍网络爬虫的执行流程，使用爬虫技术爬取淘宝电商平台手机商品销售的数据，并对数据进行预处理，为后续可视化分析做准备。2.1数据爬取对数据进行分析的前提是要有数据，但是如果我们需要庞大的数据，通过人工借助工具去收集，则需要很大的工作量，浪费了很多不必要的时间。因此，本文研究的数据通过编写程序来爬取，即网络爬虫技术，可以减轻人的重复劳动。网络爬虫的执行流程主要分为三个部分，如下图：图2爬虫执行流程请求网页。用户通过HTTP库向目标网站发送请求。请求包括额外的headers、data以及其他信息等，然后等待服务器做出响应。这个网页的请求相当于我们平时打开某个浏览器输入网页地址，比如，然后回车，等待网页做出响应。提取信息。包括获取响应内容和解析内容：获取内容，如果对网页请求后服务器能快速地作出响应，就会得到相应的内容。获取内容的类型可能是图片或视频等二进制数据、HTML文件或者SON字符串。此过程相当于服务器接受用户的请求，解析发送到浏览器的HTML文件。解析内容，我们通过请求网页后获取的内容可能是HTML文件，通过正规表达式和网页解析库去解析内容，或者直接转成JSON对象分析中的语法分析。如果是二进制数据的话，我们可以直接对数据进行保存或者做进一步处理。保存数据。保存数据的可以在数据库中保存，或者以特定格式进行保存，作为文本。这过程相当于在浏览网页时下载网页数据。以上就是网络爬虫的执行流程，即先向网页发送请求，等待服务器做出响应，获取内容并对内容进行解析，最后保存数据。本文爬取淘宝网手机商品销售数据如下：1、爬取手机商品信息1）在淘宝电商平台的搜索框里输入手机，显示结果如图：图3手机商品信息页2）获取cooking值图4获取手机商品cooking值3）设置cooking值图5设置手机商品cooking值获取手机商品信息图6获取手机商品信息保存数据图7保存手机商品信息手机商品信息表cellphone.csv，其中包括爬取时间、爬取链接等20个字段。具体的数据详细信息如图：图8手机商品信息表2、获取评论信息1）点击某一商品，找到商品详情信息的页面中手机参数的部分图9手机商品详情页2）获取cooking值图10获取手机商品详情cooking值3）设置cooking图11设置手机商品详情cooking值获取评论信息图12获取手机评论信息保存数据图13保存手机评论信息手机商品具体评价表comments.csv，其中包括商品ID、评价时间以及评价内容等6个字段。具体数据详细信息如图：图14手机商品具体评价表手机商品评价信息表count_add_comments.csv，包括图片数目、追评数以及商品ID等4个字段。具体数据详细信息如图：图15手机商品评价表信息2.2数据清洗（1）缺失值处理任何数据集中都会有可能出现的问题就是数据缺失，导致数据缺失的原因有很多，可能是在录入时录入错误、或者是录入遗漏等。数据的缺失会影响到后面数据分析工作的进行，进而导致之后建模预测的误差等，为此对缺失值处理很有必要。如删除空白列、对存在缺失的数据进行0填充。（2）表合并手机商品信息表cellphone.csv和手机商品评价信息表count_add_comments.csv中具有相同的商品编号，为了避免干扰，对add_comments.csv和cellphon.csve两张表进行合并。合并后有重复的商品编号信息，删去重复的商品编号，并删除空白列。（3）清洗价格数据价格是区间形式，我们不能得到完全的价格，故我们在这里取得平均值，以便后续从价格角度分析商品价格情况。（4）手机参数信息提取手机参数信息以词典形式保存，提取每个键值对，并创建以列形式显示的函数，可以直接获取相关列的数值。3可视化分析本章使用Matplotlib和Pyecharts绘图库实现了数据向图表的转化，相比于之前碎片化的信息，以图表或图形展示，分析消费者对不同品牌手机商品的需求以及的喜程度，并提出合理化建议，给销售商在销售的过程中带来参考价值，从而提升销售量。3.1分析工具3.1.1MatplotlibMatplotlib常用在数据分析中的可视化分析，是一个具有较强的绘画能力的画图库，绘画出来的图形是二维的。在Python语言中，Matplotlib能绘画出很多质量级别以及种类各不相同的的图形。那么我们为什么要选择Matplotlib？原因很简单，首先，Matplotlib在python语言中，是一个功能非常强大的绘图工具，当你手上有很多数据，但又不知道该怎么处理时，则使用Matplotlib生成图形可能是最好的选择，此外开发者只需要写一些简单的代码，就能生成像直方图、条形图、散点图等指定的图形。3.1.2pyechartspyecharts是一个把Python和Echarts两者进行结合的程序库，一般应用于可视化分析，直接生成Echarts图表的类库。Echarts是一个JavaScript图表库，它最大的优点就是，它在百度上是开源的，可以随时使用，而且使用Echarts呈现的图表效果较好，既简单又美观。3.2数据分析本节从价格、品牌、收藏数以及评分多个角度分析数据，将数据分析的规律使用Matplotlib和pyecharts绘图库生成图形或图表，呈现效果并展示图形的生成过程以及分析结果。3.2.1从价格角度分析根据价格角度分析淘宝在售手机价格区间统计生成的直方图，具体操作如下：将特定数值赋给X轴和Y轴。X轴数据是价格等级，Y轴数据是对价格等级字段groupby('价格等级').count()函数进行累计后得到的值；配置参数，包括X轴和Y轴标签、图形颜色以及标题等；最后用plt.hist（）函数绘制直方图。代码如下：图16手机价格区间统计代码生成图形如下：图17淘宝在售手机价格区间统计由图可知，价格区间在1000-1999元的淘宝在售手机数量是最多的，说明了这个价格区间的手机商品更符合消费者所接受的范围内。根据商品价格的高低与消费者购买心理的关系可知，商品价格的高低对消费者购买心理最具有影响，是最敏感的因素。商品价格的高低直接影响消费者的购买行为和购买数量，进而直接影响销售商的整体销售额。对手机销售商制定合理的价格中，消费者的购买心理具有非常重要的参考指标。手机销售商在不低于成本的条件下，应该根据淘宝在售手机价格中符合消费者所接受的范围内进行定价，以及根据市场价格进行合理的定价，以便更好的满足消费者所需要的手机商品，从而提高销售额。3.2.2从品牌角度分析根据品牌角度分析不同品牌手机商品生成词云图，具体操作如下：统计不同品牌手机商品的数值；设置参数，品牌个数、字体大小、背景颜色等；设置标题，标题字体；用wc()函数生成词云图。代码如下：图18手机品牌词云图代码生成图形如下：图19不同品牌手机商品词云图根据词云图的规则，出现越多的“关键词”，字体就会越大。比如说可以根据上千条新闻进行词频统计，得到很多个“关键词”，再按照关键词出现的次数进行排序，越显著的“关键词”，在所有新闻内容中出现的频率越高。因此，由图可知，华为品牌手机商品关键词字体最大，即在淘宝网上华为品牌手机商品的条目数量是最多的，说明了华为品牌手机商品在众多品牌中销售得最好。根据搜索相关资料得知，华为品牌手机商品销售得好，最主要是因为华为品牌的知名度高，得到众多消费者的青睐。因此，对于手机销售商来说，在关注其他因素的同时，也要提升一下品牌的知名度。例如，可以多做广告宣传、提升产品质量、倾听消费者的需求等各种渠道去提升品牌知名度，进而提升销售额。3.2.3从收藏数角度分析根据价格角度分析排名前十的品牌手机价格等级构成生成柱形图，具体操作如下：筛选出不同品牌手机商品的收藏数位于前五的数据；设置X轴和Y轴数值，分别为品牌和收藏数；设置元素，如膨胀距离和标题；用plt.pie（）函数生成饼图。代码如下：图20不同品牌手机商品的收藏数生成图片如下：图21不同品牌手机商品的收藏数从图中可以看到，荣耀品牌手机商品在这些品牌手机商品中所占比率是最高的，达到了30.1%，说明了荣耀品牌手机得到了众多消费者的喜爱程度较高。收藏量是淘宝店铺中一个重要非常的指标，收藏量的高低反映了消费者对某个商品的喜爱程度，而收藏的人数越多，对商品排名越有影响，商品的排名越高，消费者能看到的机会就越多。如果商品的收藏量越高，消费者越有想购买的夙愿。当消费者看到很多人在收藏这个产品时，他们就会无意识地觉得这个产品非常好，会增加信任度。所以从这个层面上看，收藏量高了，也就能提高成交量。因此，手机销售商可以根据消费者的消费心理特点策划活动，例如收藏送红包、收藏有礼，以及各种吸引消费者收藏商品的方法，从而增加收藏量，进而提升销售额。3.2.4从评分角度分析根据评分角度分析不同品牌手机的总评分生成水平柱形图，具体操作如下：筛选排名在二十之前的不同品牌手机的总评分；设置X轴和Y轴数值，分别为品牌和品牌评分总数；设置全局参数标签和视觉映射、设置柱形图的放置为水平柱形图；用bar.render（）函数生成柱形图。 代码如下：图22不同品牌手机的总评分代码图形如下：图23不同品牌手机的总评分柱形图由图可知，华为品牌手机商品的总评分是最高的，说明华为品牌手机商品得到了众多消费者的喜爱。我们都知道华为品牌手机总评分最高的原因是：第一，研发质量好。华为坚持研发，技术研发，能够把握住技术的走势，在技术上引领行业的发展；第二，研究消费者。做消费趋势的研究，不断跟随消费者的需求并满足消费者需求，所以深得了众多消费者的喜爱；第三，营销做得好。华为从一开始不做广告，到后来大规模的做宣传广告，因此，华为的影响力不断在扩大；第四，研究竞争对手。华为通过对竞争对手的研究，把自己的研发和竞争对手的研发相结合在一起，使效果达到了最好；第五，懂得合作。华为刚开始成立，就和人大合作来提升他的管理。后来随着公司的规模在不断扩大，华为就跟IBM合作，学习IBM的集成管理，进入了一个国际化公司的行列，顺利地走向世界市场。因此，作为手机销售商应该向华为学习，研发高质量的产品、研究消费者和竞争对手、做广告宣传、提升管理各方面等等。3.3合理化建议综合以上的从不同角度对数据进行分析得出的结果，提出以下合理化建议：制定合理的价格。对于大多数的销售商来说，在销售数量没有改变的条件下，手机商品的价格增加百分之一，利润就会上升很多。因此，销售商必须恰当地分辨报价与实际商品的价格。在大打折扣的手机市场中，消费者中几乎没有按报价的进行购物的。而且对于喜欢收集优惠券和折扣的所有种类的消费者来说，很难让销售商从消费者那里获利。俗话说得好，“没有卖不出的商品，只有卖不出的价格”。制定合理的价格是商品营销的关键。对于价格的合理的制定，应做到：选择定价目标。定价目标要服从公司销售计划，要了解不同时期销售计划的定价目标是不一样的。确定需求。需求在很大程度上决定着制定商品的价格。一般来说，价格越低，需求越大；反之，价格越高，需求越低。比如价格定在3000元以上的商品和300元左右的商品对比，其需求情况大家应该可想而知。成本预算。商品的成本的多少是制定合理的价格的基础，我们必须考虑所有产品的生产、分销、销售过程中所要的成本。在不低于成本的基础上制定合理的价格。分析竞争者的成本和价格。分析竞争者的成本和价格，可以帮助销售商在进行制定合理的价格时做参考，但需要注意的是，它只是作为一个参照点，它不一定代表消费者也愿意支付相同的价格。提高品牌的知名度。当在淘宝上选择某一品牌手机商品时，消费者可能想到大多数品牌的是华为、荣耀、小米以及苹果等。从品牌对产品的影响中得知，品牌在消费者的脑海里是占一部分的，比如品牌的质量、价格乃至于广告内容等。所以销售商对于自身的品牌需要不断地去优化，这样才能让自身的地位不断地加强和巩固，否则会被对竞争对手打败。品牌的知名度打造是长期积累的过程，销售商应制定长远的计划，比如：建立品牌特色。如果销售商想从众多竞争对手中突出品牌，就必须拥有自身特色，这样才能给消费者留下深刻的印象。注重品牌个性化发展。多做宣传广告，把品牌推广出去。现在很多品牌宣传的内容都差不多，因此，销售商应要区别于其他品牌的内容，注重品牌的个性化发展，只有这样才能够很好将品牌进行推广，从而让更多消费者知道。倾听消费者的需求。只有不断跟随消费者的需求并满足消费者需求，才能够提升市场口碑。增加商品的收藏量。增加收藏量可以带来很多好处，其中最重要的是可以提高消费者购买某一商品的重复率。如果商品的收藏量越高，在搜索时出现中的商品里面排名就会越靠前。有些消费者从来都没有收藏过销售商店铺，可能在搜索的时候，商品排名可能变化就不是很大。但是如果之前已经收藏过，然后再次搜索商品关键词时，就会给予优先权而且带有标签，即“收藏过的店铺”。因此，销售商可以通过各种途径去提升店铺或者商品的收藏量：试用推广活动，可以通过修改出售中的商品标题，例如“收藏送礼品”。送小礼品、优惠券，在宝贝详情页添加收藏该宝贝送精美礼品，或者收藏宝贝后截图找客服领取优惠券。针对发货量比较大的商品，也可以选择设置收藏加购优先发货的活动，可在商品标题进行修改，也可在详情页添加该信息。4数据建模本章主要对数据数据建模。进行数据建模的目的是为了预测效果。以月销量为目标值，利用热力图筛选影响月销量的显著连续变量，然后选择这些显著连续变量中进行数据建模，预测效果，是否这些显著连续变量影响不同品牌手机商品的月销量，如果预测效果较好，则说明这些显著连续变量影响不同品牌手机商品的月销量。因此，销售商可以把这些显著连续变量作为参考，从而提升不同品牌手机商品月销量，进而提升销售额。4.1回归模型回归模型（regressionmodel）通常用于创建各种数据建模，是用来确定两个或者多个变量之间的定量关系的一种统计分析方法。常见的回归模型有：（1）线性回归线性回归是一种使用数学统计学回归分析来确定两个或两个以上变量之间的定量关系的统计分析方法，运用非常广泛。其表达形式为y=w'x+e，e为误差服从均值为0的正态分布。\t"/item/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/_blank"回归分析分为一元线性回归和多元线性回归，如果只包含一个独立变量和一个从属变量，那么它们的关系可以用直线表示，并且这种回归分析被称为一元线性回归线；回归分析包括两个或更多个独立变量，如果相关变量与独立变量之间存在线性关系，则称之为多线性回归分析。（2）岭回归岭回归又称脊回归、吉洪诺夫正则化（Tikhonovregularization），是共线数据分析的偏置估计回归方法之一。本质上是改进的最小二乘法的估计方法。回归系数是通过丢掉最小二乘法的不偏性并丢失该信息的一部分而获得的。这是一种更实用和可靠的回归方法，不良条件数据的拟合优于最小二乘法。（3）随机森林回归随机森林是机器学习模型的相对新的组合学习方法。在20世纪，briman等人通过重复二值数据分类或回归大大减少了计算量。21世纪初，Briiman随机树和随机分类的分类树，即随机使用变量和数据，产生了许多分类树，并总结了分类树的结果。梯度提升决策树梯度提升决策树算法由多个决策树组成，并将所有树木的结果相加以给出最终的答案。第一个建议是基于svm的强广义算法。GBDT（GradientBoostedDecisionTrees）的树是回归树（不是分类树）。GBDT的想法具有自然优点，它可以找到各种识别功能和功能组合。在行业中，Facebook使用它来自动发现作为LR模型功能的有效功能，以提高CTR（Click-ThroughRatePrediction）的预测精度。（5）轻量梯度提升机LGBM使用基于木学学习算法的梯度增强框架。lightgbm是基于决策木算法的高速，分布性和高性能梯度促进框架。这可以用于分类、回归和其他很多机器的学习任务。极限梯度提升XGBoost是梯度增强决策树的实现。另外，也有用SkLearn实施的方法，但比XGBoost更有优势。使用模型的预测结果重复处理，并使用误差估计模型对新的误差估计模型进行建模。因为第一估计精度可以在随后的误差估计中补偿，所以它不高。4.2建模分析利用热力图筛选影响月销量的特征值。代码如下：图24影响月销量特征值代码运行结果如下：图25影响月销量特征值热力图由图可知，根据热力图得出影响月销量的连续变量中，库存、收藏数、累计评价数、追评数、图片等影响着月销量。故对这些特征值进行建模分析，预测效果。代码如下：图26数据建模代码运行结果如下：图27数据建模结果MSE是均方误差，误差越小越好；Score的值是拟合优度，拟合优度越大越好。因此得知，线性回归及岭回归中，MSE均方误差最小，Score预测值最大，在其他几种回归模型中，误差值比预测值还大，所以与其他几种回归模型相比，线性回归及岭回归拟合效果较理想，即预测效果较好。因此，手机销售商在提升销售额时，应把这些特征值作为参考，从而提升销售额。5文本分析本章利用SnowNLP情感库中的情感分析分析消费者在评价不同品牌手机商品时一个情绪状态，以及用LDA主题模型分析消费者在评价不同品牌手机商品内容的评论数据集中某主题下出现的概率最多的词。5.1、SnowNLP情感分析SnowNLP是情感分析库，是用python脚本编辑的一个类库，主要处理鸿篇巨制的文本内容。它能够分析文本中消费者对某些相关特定商品所带有的情绪偏好以及本质想法。所以，SnowNLP情感分析主要是应用于评估电子商务服务方面，比如对影像娱乐场所的预测、股票动向、评论分析、销售服务和特定产品进行改善，了解并分析消费者的经验等等。本文将消费者的评论信息作为情绪分析的数据集合，并制定了相关规则：如果情绪概率大于0.6，我们则称为积极情绪；如果情绪概率小于0.4，我们则称为消极情绪；如果0.6<情绪概率<0.4，我们则称为平和情绪。由于运行较久，于是本文创建了一个函数，利用随机取数方法，进行抽样分析。代码如下：图28SnowNLP情感分析部分代码运行结果（截取部分）如下：图29SnowNLP情感分析从图中可知，消费者在评价手机商品的情绪中积极情绪占比最高，总体上多数是积极的，说明了大部分品牌下的手机的评价内容的情感是比较积极偏向的。5.2、LDA主题模型潜在狄利克雷模型（LatentDirichletAllocation）是一种主题模型，关于贝叶斯话题学习和潜在语义分析的扩展。它一般应用于文本数据中的挖掘、复杂图像处理等相关领域。也称为三层贝叶斯概率模型(three-tierBayesianprobabilitymodel)，主要包括三个结构层次：单词、主题和文档。我们所说的生成模型，就是我们从一篇文章中选择某个有概率的话题，然后以某个概率话题中选择某个单词的过程，它简化了问题的复杂性，并为改进模型提供了机会。文本选择五个有概率的话题，代码如下： 图30LDA主题模型代码输出结果如下：图31LDA主题分析根据LDA主题模型得知，每个主题中出现的都是高频率的词。所以由图可知，消费者的评价信息中，出现高频率的词都是一些褒义词，说明了我们消费者在对手机商品的评价中总体上是好评的。综上可知，消费者对不同品牌手机商品的评价内容总体是积极情绪和好评。因此，销售商可以根据消费者的评价内容提取有用的信息，无论是好评还