基于京东商城智能手机的价格趋势分析—南京财经大学2016年优秀论文终稿—刘波

南京财经大学本科毕业论文 学校代码： 10327学 号： 2120120299本 科 毕 业 论 文 （ 设 计 ）中文题目： 基于京东商城智能手机的价格趋势分析 英文题目：Analysis of the Price Trend of Smart Phone Based on Jingdong Mall 所在院系： 国际经济与贸易学院 专业班级： 电子商务 1202班 学生姓名： 刘波 指导教师： 吴刚 完成时间： 2016年 6月 5日 南京财经大学本科毕业论文0目录中英文摘要与关键词.1一、引言 .2二、B2C 及京东商城的介绍 .2（一）我国 B2C 的介绍 .2（二）京东商城的介绍 .2三、京东智能手机在线数据采集和整理 .2（一）信息抓取工具现状介绍 .2（二）京东商城智能手机数据采集 .3（三）京东商城智能手机价格数据和在线评价要素量化 .7四、京东商城智能手机消费者信息分析 .8（一）京东商城智能手机消费者购买能力和所在地的分析 .8（二）京东商城智能手机价格和时间数据分析 .9（三）京东商城智能手机消费者在线评价分析 .11五、京东商城智能手机价格趋势分析的总结及前景预测 .13（一）本文的研究结论 .13（二）本文研究的现实意义 .14（三）本文的不足之处 .14参考文献 .15南京财经大学本科毕业论文1基于京东商城智能手机的价格趋势分析摘要：随着 20 多年互联网进入中国后的迅速发展，依托互联网来搭建平台来进行各行各业的贸易行为已经随处可见，互联网平台的影响力日益增加，中国也步入了互联网+时代，网上购物已经成为消费的一种习惯。尽管我国互联网发展迅猛，但是对电子商务发展的规律等方面的研究还处于初级阶段。本论文以京东商城为目标，借助爬虫软件和人工收集数据方式进行了为期 2 个月的数据爬取，抓取了 31429 条在线商品价格和用户评价等数据，通过对收集的数据的整理和分析，得出用户在京东商城价格趋势、消费者和所在地的关系、用户评价和销售量的之间的关系。关键词：京东；智能手机；价格；销售量；用户评价 Analysis of the Price Trend of Smart Phone Based on Jingdong MallAbstract: After the 20 years rapid development of the Internet in China, The use of the Internet to build a platform for the development of the industry and every kind of behavior becomes popular. Accordingly, the increasingly strong influence of the Internet platform brings china to the Internet plus era. Online shopping has become a habit of consumption. Despite the rapid development of Internet in China, the study of the law and other aspects of e-commerce development remain in their infancy. In this dissertation, we used the reptiles software accompanied with manual data collection to crawl data for two months in Jingdong Mall. Finally, we collected 31429 users data on online commodity prices and their evaluations. After the analysis of these the collected data, we present the trend of Jingdong Mall prices, the relationship between consumers and their locations, as well as the user reviews and sales.Keywords: Jingdong；Smart Phone；Price ；Sales 南京财经大学本科毕业论文2一、 引言据中国互联网信息中心第 37 次调查报告显示，截至到 2015 年 12 月，中国网民数量统计数量达到 88 亿，网络在中国的普及率达到 50.3%；超过一半的中国公民已经步入互联网的大家庭。电子商务的迅猛发展以及物流、政策各项周边项目的发展为网上购物奠定了基础，越来越多的电子商务平台出现，却没有一套成型的理论来分析该模式的发展，本文依托京东智能手机在线数据对京东智能手机市场数据的分析，确定多种因素对手机价格以及销售量的影响，从而为商家在进行制定营销手段、价格定价等方面提供依据。二、 B2C 及京东商城的介绍（一）我国 B2C 的介绍B2C 全称是 Business-to-Customer，是指商家直接面向客户。以京东为例，B 即指京东商城中的各个商家，C 即指京东商城中的消费者，商家直接面向消费者即为 B2C， 商家以零售业生产为主，依托电子商务平台开展的一系列营销活动，借助在线平台从而从事销售的一种销售方式。消费者在电子商务平台上咨询、下单、付费、收取快递、检验质量、缴费、在线评论的一套流程从而进行线上交易。（二）京东商城的介绍京东商城是目前中国最大的 B2C 企业，在 2015 年的第一季度市场占有率调查中显示，京东的市场的占有率高达 56.3%。目前，京东集团旗下设有多处企业，2014 年 5月，京东作为中国第一个成功赴美上市的大型综合型电商平台在美国纳斯达克证券交易所正式挂牌上市，同年，据京东 2015 年度报表数据显示，京东市场交易额的达到2602 亿元，净收入达到 1150 亿元。三、 京东智能手机在线数据采集和整理本章内容主要是通过国内外信息抓取现状的分析，选取此次京东智能手机在线数据的采集方式、对京东商城智能手机的价格、评价信息和销售量数据的爬取采集，为论文后续分析和总结奠定基础。（一）信息抓取工具现状介绍在进行数据分析前，首先要进行的是对消费者在京东商城网上消费过程中的消费南京财经大学本科毕业论文3信息进行采集，京东商城智能手机价格、评价信息机制及销售量的信息采集。虽然我国的电子商务平台出现的较晚，对平台的在线数据的分析理论都是较新的内容，但是国家对电子商务和互联网+的大力支持，其发展速度也是相当的快。目前，网络爬虫技术作为国内主流的在线信息抓取技术，又称 Spider 或者Robot，在爬取时，爬取软件先从主页面或初始页面网址开始，按照预先设定的规则，打开第一个预先设定好的 URL，开始抓取网页后，以首页为起点，按照网页排版选取子页面获取新的 URL，将其保存为新的爬取页面，等到符合其预先设定的规则才停止爬取或进入下一个循环，中国目前爬虫现状是按照关键字和相对应的正则表达式来进行搜集页面上的符合数据，通过预先设定的网页、关键字、正则表达式来进行检索爬取数据，极大地方便了此次对于京东商城智能手机价格、在线评价、销售量等数据的爬取，因此，关于京东商城的数据经过 2 个月的爬取，我们抓取了 6372 条数据，由于京东商城的自带屏蔽 follow 语句，导致了无效数据占有率达到了 5.2%。（二）京东商城智能手机数据采集打开集搜客网页 /,使用邮箱和用户名进行注册八爪鱼，成功注册后，登录相应的邮箱点击网站发送的激活邮件链接，进行激活用户，如图 1所示，下载八爪鱼爬取工具，解压安装后登录，提前定义好相关 id 规则，准备爬取。图 1 八爪鱼注册信息1京东商城智能手机在线价格数据抓取打开八爪鱼爬取软件，打开京东官方网站，访问智能手机一级页面，将一级页面网址 URL 定义到爬虫软件初始打开网页上，添加点击元素，点击对应一级菜单区域，多次重复点击不同一级菜单区域，形成循环爬取多页面，点击价格区域，选取统计轨南京财经大学本科毕业论文4迹流程和规则，单一不重复性的爬取，如图 2 所示，操作步骤使用工具京东商城智能手机价格数据爬取八爪鱼爬取工具S Q L 数据库 e x c e l 宏抓取数据保存为 e x c e l京东商城智能手机价格数据爬取流程统计频数和分类汇总图 2 东智能手机价格爬取流程图打开八爪鱼爬取工具，将京东智能手机页面网址作为爬取的首页的 URL，设定好规则表达式和爬取内容，爬取内容后保存到 SQL 数据库和 excel 宏，转化为 excel 数据，分类汇总统计词频和数据。预先设计好关键字有智能手机、价格（price）规则，选取页面循环，使用递增的 page 网页形式进行循环页面爬取，如图 3 所示。图 3 京东商城价格爬取规则配置南京财经大学本科毕业论文5点击下一步，进入设置采集选项，此次所需爬取的数据均是简单数据，没有涉及到图片等超文本，所以在采集选项中勾选禁止浏览器加载图片，禁止加载图片会加快爬取的速度，定义 Ajax 加载数据为 30s，网页的加载页面需要 2-10s 才能完全加载出来，点击元素的反应时间需要 3-10s 才能点击显示完毕，进行下一步的抓取数据，如图 4 所示。图 4 京东商城价格数据爬取规则经过 2 个月的爬取，以字段价格、手机名称为主要字段的爬取数据共计 6757 条，其中无效数据达到 5.4%，将爬取数据下载到相对应 sql 数据库中保存到 excel 表格中，按照对应标题和价格字段进行统计归纳，以递增数列标识，形成京东商城智能手机名称对应价格数据表,如图 5 所示。共计 6543 条数据爬取，由于字段爬取的丢失，如价格字段数据缺省，名称不全或指向性不明等因素导致的无效数据，在经过初步处理删减后存留数据量 6217 条，保存为京东商城智能手机价格 V1.1 excel 数据。手机名称型号 价格小米 Note 白色 ￥1499.00小米 5 全网通标准版 ￥2349.00荣耀 7i (ATH-TL00H) ￥1399.00Apple iPhone 6s Plus (A1699) 64G ￥6288.00华为 P9 ￥3688.00三星 Galaxy S7 edge（G9350）32G 版 ￥5688.00vivo Xplay5 全网通 4GB+128GB ￥3698.00华为 Mate 8 3GB+32GB 版 ￥3199.00OPPO R9 4GB+64GB 内存版 ￥2799.00图 5 京东商城智能手机名称部分价格表南京财经大学本科毕业论文62.京东商城智能手机在线评价信息数据抓取京东商城智能手机用户在购买后的进行在线评价，经分析得出，在线评价中可以进行简化的信息处理，可以直接进行抓取和保存，智能手机购买用户购买后的评价具体页面如图 6 所示，其中我们可以看出，客户的评价信息中包含了总评价数，好评数、中评数、差评数、用户名称、用户所在地区、购买日期字段。图 6 京东商城智能手机评价打开八爪鱼爬取软件，点击京东官方网址 ，访问智能手机页面，将查询后的智能手机一级页面网址 URL 定义到爬虫软件初始打开网页上，添加页面点击元素，点击对应手机描述一级菜单区域，多次重复点击不同手机描述一级菜单区域，形成循环爬取多页面，点击评价区域，选取统计轨迹流程和规则，单一不重复性的爬取，提取数据字段总评价数，好评数、中评数、差评数、用户名称、用户所在地区、购买日期，禁止加载图片会加快爬取的速度，定义 Ajax 加载数据为 60s，网页的加载页面需要 5-10s 才能完全加载出来，点击元素的反应时间需要 5-15s 才能点击显示完毕，进行下一步的数据抓取，如图 7 所示南京财经大学本科毕业论文7图 7 京东商城评价信息爬取流程进入设计工作流程，循环网页，预先设计好关键字有智能手机、价格（price）规则，选取页面循环，使用递增的 page 网页形式进行循环页面爬取，如图 8 所示。图 8 爬取定义递增式网页爬取目录将爬取的数据进行特征量化处理，我们发现，消费者在京东商城购买手机后的评价主要是关于“很漂亮” 、 “物美价廉” 、 “信号超级强” 、 “分辨率很高”四个关键词。得出来的四个关键词并不是凭空臆测出来的，通过消费者在消费并收到商品进行实际的操作和审核后再次回到京东商城智能手机购买评价页面进行评价，京东对这些评价进行归纳汇总从而得出的四个关键词。通过 2 个月的数据爬取，我们对象对应的字段进行数据的爬取，最终下载为 xml 格式转化 excel 表格进行保存，为下一步的量化打好基础。如图 9 所示。图 9 京东商城在线评价信息爬取南京财经大学本科毕业论文8（三）京东商城智能手机价格数据和在线评价要素量化在通过八爪鱼爬取软件爬取后，京东智能手机名称和价格爬取的数据存为 excel表格形式，选取了手机名称和手机价格字段作为量化要素。在线评价包括的好评数、中评数、差评数、用户名称、用户所在地区、购买日期6 个字段 excel 表格，通过 excel 自带的排序功能和宏功能我们手动的将用户在消费后进行线上评价的集中的文字做了汇总统计，其中总结出了 93 个消费者在消费时关注的频率较高的词组，并将数据中的相关量进行了数目统计，通过汇总统计，使用