【《基于网络爬虫的电商评论分析系统设计》8800字（论文）】

基于网络爬虫的电商评论分析系统设计摘要 随着全球互联网技术的快速应用与发展，越来越多的行业开始选用网上电商的方式进行商品的销售，在对应商品销售详细信息中存在大量的用户购买评价信息。很长时间以来，这部分数据并没有得到有效的运用，其存在经常只是为下一位消费者的购物进行一定经验的分享，很多消费者也只是通过对逐条评价信息的浏览来获取该商品的以往购买使用情况，进而决定是否需要进行下单购买。随着对当前商品评价数据的不断扩充，消费者对于商品评价信息的使用越来越困难，如何能够在大量的消费评价中获取有针对性的评价数据，逐渐成为当下关注的热点问题。电商评价数据对于消费者以及电商企业具有强大的价值，通过对电商产品的评价关键信息进行提取并形成相应的热词展示，能够帮助消费者进行更为准确的商品特征把控。关键词：网络爬虫、电商评价、分析系统、设计目录16580第一章引言 1141891.1选题背景 1207741.2选题意义 178861.3研究内容 227020第二章项目需求分析与技术基础 386072.1系统需求分析 3220632.1.1系统功能需求 3289532.1.2系统非功能需求 3188752.2关键技术介绍 426012.2.1网络爬虫 4221642.2.2MySQL数据库 516929第三章系统总体设计 6243833.1系统整体架构 6128103.1.1技术架构 679133.1.2功能架构 7157373.2数据库设计 7131653.2.1数据库结构 764203.2.2数据库表结构 87241第四章系统详细设计与实现 1056684.1开发环境 10323404.2系统功能设计实现 10255834.2.1数据爬取设计实现 12149194.2.2数据分析设计实现 13155384.2.3结果展示设计实现 145195第五章系统测试 16254425.1测试环境 16238475.2测试内容 17165565.3测试数据 17209415.4测试结论 188398第六章总结 1924882参考文献 21第一章引言1.1选题背景在当前社会信息化发展时代背景下，进行网上购物已经逐渐成为一种新型消费形式，人们借助电商平台进行所需商品的选择与购买，在提供便捷服务的同时也产生了大量的用户活动数据信息，其中对用户购物具有重要影响内容的就是用户的评论数据。电商评论信息主要是指用户在进行网络购物之后对于此次购物体验、商品质量等内容进行的评价与描述，能够帮助之后的消费者进行间接商品质量的参考。通过对所购买的商品进行相关性价比、质量、使用感受等方面的阐述，为之后的消费者提供一定的购买参考。但是这些数据有着繁杂、非结构化、数据量庞大并且高度碎片化的特征，不能使用常规的数据库技术进行相关数据的采集与分析。但是借助网络爬虫这种互联网的新型数据采集方式能够通过网络爬取技术的使用，对相关数据进行收集并进行分析，通过电商用户评价的爬取收集，能够为相应的电商评论数据分析提供有效的数据支持。借助大数据与网络爬虫等技术，进行电商评论数据的深入价值挖掘与分析，能够为消费者以及电商企业提供有效数据信息，也能够为进一步的商品质量提升以及企业服务能力的提高形成重要影响。网络爬虫技术作为一种能够根据特定策略程序进行动态网页信息抓取的手段，不仅仅能够通过自动化的方式进行数据的采集，还能够支持用户进行自定义化的采集规则与数据形式，强大的便捷性与可用性对于电商评价分析系统的数据采集具有重要作用。1.2选题意义目前互联网中的数据信息主要是通过网页的形式进行展现，而网页中也是使用HTML语言进行非结构化数据内容的呈现，例如对一些图片、视频或文本等内容进行展示。而网页中这些非结构化的数据并不能够直接进行数据分析与运用，非结构化或半结构化的数据无法直接进行结构化处理进行分析。而以往人工进行数据收集的方式不仅仅需要大量的人力、物力以及精力的浪费，所进行的分析结果也存在质量等方面的问题。网络爬虫技术作为一种网络数据采集的重要手段，能够通过特定的规则与方式，对网络中相关网页信息的抓取进行较快且自动化的网络资源收集，并且对对关键数据进行提取与分析，为进一步的数据运用提供强大的数据支撑。而电商评价作为消费者购物的反馈信息，不仅仅能够为之后的消费者提供有效的购买经验分享，还能够为商家进行商品销售信息的分析提供良好的数据依据。面对众多的商品评价信息，如果单纯使用人工浏览的形式将会造成大量资源的浪费，而通过网络爬虫的方式进行电商评价分析系统的设计与实现能够为消费者以及商家的评价数据分析需求提供重要意义。1.3研究内容本文主要是基于网络爬虫技术设计一套电商评论分析系统，该系统能够将网络电商平台中用户评价信息爬取并存储下来，通过jieba分词等进行语言处理与有效分析，进而将结果以直观的可视化形式展现出来。本文主要研究内容分为六部分：第一章是本文的引言，也就是对本文所设计的系统的选题背景以及意义进行简要介绍，并概括阐述了本文主要的研究内容；第二章是项目简介，也就是针对该系统设计的需求进行分析，然后阐述了系统建设用到的关键技术；第三章则是对该系统的整体架构进行阐述，指出了该系统主要的功能模块以及有关数据库的设计结构；第四章主要是进行详细的系统设计与实现过程，包括该系统开发环境的介绍，系统主要功能的实现等；第五章则是系统的测试，针对测试环境、内容、数据以及结论几个方面进行阐述；第六章是本文的总结部分，对前面对该系统的规划与设计内容进行总结阐述。

第二章项目需求分析与技术基础2.1系统需求分析2.1.1系统功能需求互联网电商行业的飞速发展带动越来越多的消费者采用网上购物的方式进行商品的购买，并且通过对所购买到的商品进行评价的方式，对其所购买到的商品进行商品质量、店铺服务等内容的分享，这也就产生了大量的电商平台中用户评价数据的存在。这些用户评价数据主要是以非结构化的文本形式存在，常规的大数据采集与分析方式无法对其进行有效的采集与分析工作，因此该部分数据的潜在价值无法得到有效利用。所以基于网络爬虫技术，针对电商用户评价信息进行爬取与分析，对其大量的用户评价数据价值进行挖掘与运用，成为越来越多电商企业以及消费者的需求。进行基于网络爬虫的电商评论分析系统的设计与开发是否成功，主要是取决于系统是否能够满足用户对于该系统的功能要求，相关功能的设计与开发能否满足其实际使用中的要求。本文的系统开发主要是通过对电商网络评价数据的爬取系统进行设计以及爬取结果的分析展示，主要是以某电商平台作为研究案例进行程序的开发，通过对该网页数据的爬取与数据结果的展示，满足消费者以及相应电商企业的进一步消费或销售需求。2.1.2系统非功能需求该电商评论分析系统除了要能够满足用户的功能性需求以外，还要进行一些非功能需求的设计与开发，主要包括以下几个方面：一是平台的便捷性，需要该系统在实际使用过程中简单易懂，通过简便的操作就能够进行相关结果的获得，在实际使用过程中不需要设计开发、代码编写等问题；二是可靠性，也就是系统基于复杂的网络环境中，面对网络中很多的不可控因素需要进行提前的管理，避免因为某个突发或者其他原因导致系统运行崩溃，影响整体系统的运行效率；三是强大的容错性能，在一些不可预料的突发情况下，避免出现因用户操作不当造成的系统无法响应，影响下一步的继续使用；最后就是高效性，也就是该系统要能够尽可能的过滤掉网页中的脏数据，提高数据存储效率，降低冗余数据的空间占用，提高数据进一步的分析精确性。2.2关键技术介绍2.2.1网络爬虫网络爬虫技术是一种动态的运行程序，能够依照特定的规则进行持续性互联网数据的抓取。也就是说使用一种程序控制进行网站页面中需求数据的识别与提取，进而实现自动获取网页数据的目的。从根本上来看，进行网络爬虫其实就是使用程序控制的方式模拟人为网页浏览与数据读取的行为，其工作的主要程序如下：图2-1网络爬虫技术工作流程在其实际工作当中首先是经过HTTP向需要爬取的目标进行请求发送，请求成功以后需要等待服务器的响应，当返回状态码为200的时候表明能够获得服务器的响应，也就是获得相应的Response，其内容即为需要进行爬取的信息。这些信息形式并不固定并且多种多样，可能是HTML、字符串或二进制数据等等，需要通过正则表达式对界面信息进行分析，当获得想要的信息以后进行相应数据的存储以及下一步工作，存储形式并不固定，可以为数据库或文本或者特定形式的文件，可以根据需求进行使用。网络爬虫能够通过对大量网页链接获取URL的方式进行详细信息的抓取操作，并进行该项工作的反复，指导完成用户相应的预设需求。通常情况下，面对大量的数据爬取任务，需要在短时间中进行大量数据的抓取，也就要求爬虫系统有着较为高效的工作效率。网络爬虫能够根据特定规则进行网站信息的抓取。网络爬虫主要包括通用、聚焦、增量以及深层网络爬虫四种类型。其优点主要是能够依照相应的规则进行低俗或无用数据的识别与过滤，进而提高爬取数据的质量。2.2.2MySQL数据库MySQL数据库作为当前较为主流的关系型数据库，通过使用标准化的sql语言进行相应数据的分析与处理。是一种开源的数据库，能够兼容多种开发需求，其较为强大的运行速度、使用的稳定性与易用性，使其受到越来越多开发者的关注与运用。很多的中小型系统都采用MySQL数据库来降低系统的开发成本。MySQL数据库有着很多的特点：一是具有强大的代码可移植性，能够适用于不同的代码编辑器；兼容多种操作系统，不论是常用的windows、linux、unix还是其他的操作系统，都能够进行不同操作系统之间的快速移植；再有能够在不同的开发平台上进行多种编程语言的开发；核心使用多线程，能够满足多线程、多处理器的操作，资源占用较低；很多时候都是免费提供使用的，用户直接进行下载就能使用，开发成本大大降低；并且具有强大的数据存储能力，对于数据量的存储只是取决于操作系统内存的限制，支持千万条记录的处理。

第三章系统总体设计3.1系统整体架构3.1.1技术架构该电商评论分析系统在整体技术架构上主要可以分成数据采集层、逻辑分析层以及数据表示层三部分。图3-1系统技术架构图最底层的数据层即为数据采集层，在该部分主要是进行网页中数据的爬取，这些数据主要是来源于电商平台中相关有效评价数据，常规的电商平台网页会分为列表与详情页进行呈现，在列表页进行数据处理并进行详细评价数据URL链接的获取，然后对相应URL详情页中的评价内容进行读取与采集；逻辑层则是进行电商网站爬取数据的加工与处理，通过对爬取数据的关键信息读取与提取等，进行相应有价值数据的保留，从而进行进一步的数据分析；表示层则是对于逻辑层数据分析结果的展示，不涉及到数据分析与处理，能够对与该电商网站中相关评论数据进行数据高频词汇的展示。3.1.2功能架构该本系统主要是规划建设一个基于网络爬虫的电商评价分析系统，通过对电商网站上用户评价信息的爬取进行有效信息的提取与整合分析，获得高频词汇的展示。该系统的总体功能架构如下：图3-2系统功能架构图从整体上来看，主要是借助网络爬虫技术手段进行电商网站中用户评价数据的分析系统的构建与规划。在数据提取功能中，应当进行尽可能人性化的配置，可以固定需要爬取数据的网站地址，通过确定爬取数据的页码，通过两者之间的结合自动获取需要进行数据爬取的URL链接，再根据这些链接进行制定界面内容的确定。通过对所需信息的识别进行相应数据的爬取，然后将采集到的数据存入数据库，不断反复直至该地址内数据全部爬取完成；然后对于存入数据库的信息进行深入处理与分析操作，通过对文本内容关键信息的提取，对相应的数据价值进行评分并统计高频词汇；最后对相应的分析结果进行展示，对高频词汇进行输出。3.2数据库设计3.2.1数据库结构进行数据库结构的设计主要是依照用户对于分析结果的要求，形成一种能够想要展示的形式，不仅仅能够满足用户的使用需要，还能够符合数据库管理的方式，站在这两种角度下对数据库的结构进行设计。有效的数据库结构能够提高数据的处理与分析速度，在较短时间内进行更快结果的展示。因此设计出一套科学、合理的数据库结构极为重要，需要综合考虑到数据库的数据存储架构、数据的共享使用以及数据质量等多角度。该电商评价分析系统的数据库E-R图设计如下，主要可以解释为，进行数据爬取的电商网页中包括N个需要进行读取的评价数据信息，而每一条评价信息都具有其相应的编码、ID号、标题、评价之间等多种信息，因为最初进行数据库结构设计的初衷就是尽可能的降低无效数据冗余，提高系统的稳定性以及数据读取速度，因此在数据库结构的设计上尽可能多的简便且固定，以便提高数据结果的输出速度。图3-3数据库结构图3.2.2数据库表结构根据数据库结构设计E-R图进行了用户评价爬取数据表的规划与设计，下表即为详细的用户评价信息表的展示，将ID编号作为该表的主键。设置了用户编码、用户名称、爬取时间以及详细评价内容及关键词提取等等字段，用户进行用户整体评价信息的展示。表3-1用户评价信息表序号字段名称类型是否主键是否允许为空说明备注1IDint是否数据编号自动增长2USERIDint否否用户编码3addtimedatetime否否爬取时间4tilevarchar（255）否否评价标题5uservarchar（255）否否用户名6posttimedatetime否是评论时间7comidint否是商品编码8comvarchar（255）否是商品名称9contentvarchar（255）否是评论内容10keywordvarchar（255）否是评价关键词

第四章系统详细设计与实现4.1开发环境此系统的开发主要是基于windows系统设计的，相关的系统开发工具涉及到Visio流程图绘制工具进行系统流程的绘制、E-R图进行数据库结构的绘制、Mysql数据库进行数据库结构的实现以及数据库表的建立等，达到对爬取数据的存储目的。使用Python框架进行简洁系统交互以及业务逻辑的构建。数据来源主要是各个电商平台中的用户评价数据信息。表4-1系统开发环境及工具环境类型详细要求操作系统Windows1064位运行内存8G系统框架Python数据库Mysql关键技术网络爬取4.2系统功能设计实现该系统主要的功能模块包括网络数据爬取模块、数据分析模块以及结果展示模块三大部分，以此为基础进行详细功能的开发与设计。系统的网络数据爬取模块主要是针对特定的网页进行数据的爬取，从网页中进行相应文本的识别，找到电商评价数据并进行爬取以及存储。图4-1数据抓取模块流程图数据分析模块则是依照从网站中爬取的电商评价数据对其关键词汇进行热词分析以及词云图的输出。通过对数据库中数据的筛选与统计等进行统计与分析。结果展示模块则是根据数据分析模块中分析结果进行一种高频词汇的词云图的呈现以及可视化展现，便于消费者以及电商企业等用户进行更为直观的数据结果以及价值的运用。图4-2结果展示流程主要是进行基于网络爬虫的电商评价分析系统各个功能模块的实现流程，并对其实际展现结果进行描述与呈现，重点是使用网络爬虫技术进行电商评价数据的爬取过程的实现。4.2.1数据爬取设计实现在数据爬取功能中首先要明确需要进行数据爬取的网页地址，作为数据信息爬取来源的关键，只有明确地址才能够进行下一步的工作。然后选用Chrome浏览器作为辅助浏览器工具，通过webdriver进行谷歌浏览器的驱动进行网页浏览动作的模拟。首先打开目标商品信息的网页，通过F12按钮启动谷歌浏览器的开发者工具模块，通过浏览器网页中关键信息的检索进行开发展工具栏信息的拖动以及关键模块信息的查找。图4-3商品详情页信息然后通过代码信息的查找进行关键信息的识别与抓取，使用检查->network->all的方式进行下一页数据的请求，发现详细评论信息的URL，通过对该链接的点击找到所需数据，然后进行相应的识别与提取。图4-4商品评价详细信息通过对详细评价URL地址的分析，将对应的参数进行爬取代码的参数修改，进而进行关键信息的读取与存储：import

os

import

requests

import

html

headers

=

{

'cookie':

'shshshfp=22dd633052035d21be92463ffa35684d;

shshshfpa=ab283f84-c40f-9710-db89-84a8d3366a81-1586333030;

__jda=122270672.1586333031101106032014.1586333031.1586333031.1586333031.1;

__jdv=122270672|direct|-|none|-|1586333031103;

__jdc=122270672;

shshshfpb=bUe7tI9%2FOOaJKd7vP0EtSOg%3D%3D;

__jdu=1586333031101106032014;

areaId=22;

ipLoc-djd=22-1977-1980-0;

3AB9D23F7A4B3C9B=7XEQD4BFTGEH44EK7LN7HLFCHJW6W2NS5VJOQOCHABZVI7LXJJIW3K2IX5MTPZ4TBERBLY6TRQR5CA3S3IYVLQ2JGI;

jwotest_product=99;

shshshsID=a7457cee6a4a9fa285fe2cff44c6bd17_4_1586333142454;

__jdb=122270672.4.1586333031101106032014|1.1586333031;

JSESSIONID=8C21549A613B83F0CB86EF1F38FD63D3.s1',

'sec-fetch-dest':

'document',

'sec-fetch-mode':

'navigate',

'sec-fetch-site':

'none',

'sec-fetch-user':

'?1',

'upgrade-insecure-requests':

'1',

'User-Agent':

'Mozilla/5.0

(Windows

NT

10.0;

WOW64)

AppleWebKit/537.36

(KHTML,

like

Gecko)

Chrome/70.0.3538.25

Safari/537.36'

}

def

comment_crawl(page,

writer):

print('当前正在下载第%d页评论'

%

(page

+

1))

url

=

'/comment/productPageComments.action?callback=fetchJSON_comment98&productId=10026434916372&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1'

#

请求链接获取数据

text

=

requests.get(url,

headers=headers).text

comment_list

=

re.findall(

r'guid":".*?"content":"(.*?)".*?"creationTime":"(.*?)",".*?"replyCount":(\d+),"score":(\d+).*?usefulVoteCount":(\d+).*?imageCount":(\d+).*?images":',

text)

for

result

in

comment_list:

content

=

html.unescape(result[0]).replace('\n',

'

')

comment_time

=

result[1]

reply_count

=

result[2]

score

=

result[3]

vote_count

=

result[4]

image_count

=

result[5]

writer.writerow((comment_time,

score,

reply_count,

vote_count,

image_count,

content))

图4-5通过此能够获得商品的评价信息，也就完成了数据爬取的过程。然后就需要对爬去的数据进行导出与存储，在已经规划好的Mysql数据库架构基础上，对于网页中爬取的数据信息进行存储，将爬取的信息与数据库字段进行一一映射并存储。4.2.2数据分析设计实现数据分析模块中数据就是来源于从网页中爬取获得的数据信息，在该数据分析模块进行数据库中数据表数据的分析，包括用户评论的概述以及详细评论信息，还有用户名、用户编码等信息，在数据库中的数据文本进行中文分词以后，能够在分词结果上进行进一步的数据分析操作。数据分析中的关键部分就是对所爬取的内容进行分词，本系统选用jieba分词库对采集到的文本数据进行分词，jieba分词库不仅仅能够支持对中文的分词，还能够实现词性标注的效果，通过jeiba库对分词结果当中符合描述词典需求的分词数量进行统计，然后依照预定的规则开展基础分数的运算，对每个词组出现的频率进行统计。import

jieba

import

re

from

collections

import

Counter

cut_words=""

for

line

in

open('E:/PYCHARM/3.txt',encoding='utf-8'):

line.strip('\n')

line

=

re.sub("[A-Za-z0-9/：/·/—/，/。/“

/”]",

"",

line)

seg_list=jieba.cut(line,cut_all=False)

cut_words+=("

".join(seg_list))

all_words=cut_words.split()

print(all_words)

c=Counter()

for

x

in

all_words:

if

len(x)>1

and

x

!=

'\r\n':

c[x]

+=

1

print('\n统计结果：')

for

(k,v)

in

c.most_common(10):

print("%s:%d"%(k,v))

图4-6本系统设计的最终目的就是通过对网络电商评价数据的爬取，将关键信息进行直观展现的形式，为电商企业以及消费者进行良好经营与购物依据的支撑。通过网络爬虫技术进行电商评价信息的采集，因为所采集到的数据主要是文本形式的非结构化数据，对其进行结构化处理、存储以及中文分词、词频统计等操作，进行有效的用户需求的数据分析，并将其进行下一步的合理展现。4.2.3结果展示实现数据结果展现就是使用可视化的方式将电商平台评价信息中爬取到的有效数据进行更高价值的呈现与运用。本系统主要是借助词云图的形式将爬取到的电商评价数据进行词组出现次数的统计以及展示，出现次数以词云图中文字大小进行区分，文字越大就表明出现的频率越高，也就是用户评价中更多提及到的内容。在词云图的生成中，首先要下载并安装词云库，并进行词云颜色、字体、背景等的设置，然后根据网络爬取到数据中心词频的统计结果进行词云图的生成。from

wordcloud

import

WordCloud

#导入词云模块

words

=

open('E:/PYCHARM/3.txt',encoding='utf-8').read()#打开文件

wordcloud

=

WordCloud(width=1000,

#图片的宽度

height=860,

#高度

margin=2,

#边距

background_color='black',#指定背景颜色

font_path='C:\Windows\Fonts\Sitka

Banner\msyh.ttc'#指定字体文件

)

wordcloud.generate(words)

#分词

wordcloud.to_file('again.jpg')#保存到图片

图4-7评价结果可视化词云图第五章系统测试软件平台的测试时进行软件开发工作中的关键一步，进行软件功能的开发主要就是为了实现用户的功能需求。通过平台功能的方式进行用户需求的满足，而进行软件平台的测试工作是保障平台使用稳定性以及可用性的重要工作。软件开发程序中问题越晚发现，相应投入的完善改进成本就会越多，因此对软件平台进行有效的测试工作极为重要。通过测试的方式对软件功能进行检验，能够帮助在平台实际使用的时候降低用户使用问题。避免出现因为软件平台关键错误导致用户无法继续使用或者无法满足用户需求的情况出现。5.1测试环境依照基于网络爬虫的电商评价分析系统的设计与实现需求，对以上设计出的软件系统进行有效运行测试工作，相关的测试工作流程如下图所示，对于在测试中发现的问题要进行及时的修改与完善。图5-1系统测试工作流程图在测试环境中选用IE浏览器以及Chrome浏览器进行测试。5.2测试内容针对基于网络爬虫的电商评价分析系统的用户需求以及相关的功能要求，主要对该系统进行以下测试：一是功能测试，也就是针对相应的测试用例对该系统的实现功能进行测试，来检测所设计的功能能够满足实际的用户需求；二是系统的兼容性测试，即对该系统能否在IE以及Chrome两个浏览器中进行良好数据爬取的测试，并且验证功能是否运行正常；三是UI展示测试，也就是本着提高用户系统使用体验的角度，测试系统展示是否合理、美观，页面信息展示以及信息布局能否满足用户的实际需求等。5.3测试数据依照对于基于网络爬虫的电商评价分析系统的实际需求，对该系统的相关内容进行实际测试，相关的测试数据以及结果如下：（1）功能测试表5-1功能测试结果测试序号测试功能测试目的测试操作预期结果测试结果1网络爬虫功能是否能够从网页中进行数据的抓取并进行存储选取一个电商网页执行爬虫操作，并与实际网页中