版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
基于Python网络爬虫的设计与实现摘要随着大数据,云计算,机器学习,人工智能等领域的兴起,python语言由于其简单易上手和强大的第三方库等特点成为当前炙手可热的一门新兴语言,而爬虫作为一种搜集数据的技术以python为载体也成为当下热度极高的一门技术。基于此,python的网络爬虫选取的豆瓣电影top250信息获取系统以python爬虫技术入门为目的,采用基本的url请求,运用了标签逐层查询,正则表达式等几种解析技术,爬取了250部经典的电影的详情页信息,电影名称,电影评分,电影一句话概括和电影信息简介等属性;同时选取sqlite数据库,excel文档对数据进行存储。同时为了将结果更好的呈现给使用者,系统利用html前端技术,flask模型,Echarts,WordCloud及Mamba模板进行数据可视化,以柱状图和词云图和数据库表等技术以网站的形式展现数据。由于技术原因没有实现增量式爬取和主流的spider框架进行爬虫设计是该系统的不足。关键字:爬虫,词云图,数据可视化,python目录第1章绪论 第1章绪论1.1网络爬虫定义网络爬虫,也叫网络spider;是一种通过预先设定的一定规则,自动从网络中获取数据信息(如文字,图片,链接,视频等)的一种程序或脚本。通俗来说就是通过程序模拟浏览器打开网页进行数据捕获,也就是自动抓取数据。由于网络数据量日益庞大,根据用户的需求定向抓取相关网页并分析成为了当今主流的爬取策略。一个完整的爬虫主要包括三个步骤:获取数据——通过模拟浏览器发出请求获取服务器正常响应,得到的response就是目标页面的源代码。解析数据——得到的内容有可能是html格式或json格式等,通过分析网页结构规则,可以用页面解析库,构造正则表达式等进行标签解析,获取数据。保存数据——将爬取到的信息以多种样式存储,可以存为txt文本格式,也可以保存到数据库,或者其他特定形式的文件以便进一步运用数据。此外,对于爬虫来说,数据的可视化展示虽然不算必要但也是一项及其重要的步骤,因为爬取到的数据只有以一种清晰直观的形式展现出来才有意义1.2爬虫历史介绍爬虫的起源早在万维网出现就可以追寻,此时互联网还没有智能的方便我们查找信息的插件,仅仅是一堆ftp即文件传输站点的集合,用户通过与其他主机通信远程访问资源,传输文件;这种方法基于ftp协议,需要三次握手来保证客户与服务器之间建立起了可靠的连接服务,十分麻烦。为了在互联网上搜寻可用的分布式数据,人们突发奇想,编写了一个自动化脚本,这就是网络爬虫,利用爬虫模拟人们浏览浏览器,抓取互联网上的符合我们需要的网页,然后将捕获到的页面内容复制到本地数据库内并制作索引。由于当时网站相对较少,数据内容也很有限,查找信息相对容易。但是随着互联网的迅猛发展,网络中的资源日益丰富却变得鱼龙混杂,由此,获取信息的成本变高了,相应的,爬虫软件也变得更加智能,功能更加强大。1.3课题现实意义1.传统搜索引擎无法实现特定人群的定向检索需求互联网是一个超级庞大的数据库,有着海量的网页,包含着日益增多的信息,传统的通用性的搜索引擎根据用户输入返回的检索信息数据依然十分庞大,例如百度随便搜索一个关键字都可能返回数十页相关内容,但对于不同背景,不同领域的人,反馈的结果很可能包含大量无关的信息。为了获所要内容,用户必须进行二次检索,才能筛选出相关信息;并且对于信息含量密集的具有复杂结构的数据类型(如图片,音频,视频等)收效甚微,为了解决这个问题,一个灵活的爬虫有着无可替代的重要意义。2.人工智能等基于数据的新兴领域对于特定数据的获取需求显著增长。近年来人工智能专业大火,与深度学习密不可分,而深度学习学的是什么,是数据,通过海量的数据进行分析,优化模型最后实现智能处理,而爬虫可以为我们提供海量的数据,给我们提供了一个快速,精准,可靠的数据来源。
第2章实验设计2.1开发环境概述基于python爬虫的豆瓣电影top250信息获取系统是在windows10操作系统下开发的,python版本3.9.4,JetBrainsPyCharmCommunityEdition2021.1x64的IDE开发环境进行代码编写与优化;对于数据存储方面,系统利用了python自带的sqlite3数据库对爬取到的数据进行存储,对于数据可视化方面运用了很多flask框架和很多第三方库如wordcloud,jieba,matplotlib库等等。2.2爬虫原理概述Request和Response简介: 1.Request:浏览器客户端将请求发送到URL所在的服务器端。此过程称为HTTP请求。 2.Response:服务器收到request请求后正常响应后向浏览器发送响应信息浏览器接收到响应信息后将相应地处理该信息,然后显示它。该过程称为HTTP响应。 Request详情 请求方法:大部分都是POST和GET这两种模式,get会把参数跟在url后面,post会把参数以表单的形式发送。请求头:主要是一些头信息,有host主机地址,代理,缓存信息,cookie之类的。请求体:这是你要传输的数据,当你使用POST来发送请求时,请求体里面就是你的表单信息。Response详情 有响应状态,响应头,响应体这几个主要部分。响应状态有很多标志码,200为成功,404为找不到页面等等,响应头包括内容的相关信息,响应体是具体的内容,以二进制数据形式传输。图2-1请求头图2-2get请求的响应头和响应体图2-3post请求的响应头和响应体图2-4post请求传参通过图2-4可以看出,将表单data以二进制字节码封装后通过post请求发送后成功被服务器接收并返回响应,form内的数据即为我们post请求发送的数据聚焦爬虫基本流程向服务器发送请求。请求的结构我们在上文中已经介绍过了,主要有请求头,请求体,之后会等待服务器响应。 2.获取响应内容。当服务器给你了正确的响应时,响应的内容就是页面的源码或者说是一些json格式的数据信息。 3.分析内容。我们拿到相应内容后,里面会有我们需要采集的数据信息,这是使用一些工具,比如正则表达式,xpath等等来分析里面的内容,获取我们需要的字段。 4.保存内容。它可以以各种格式保存,例如文本,数据库或特定格式的文件。图2-5获取相应内容 【注意】: 图2-4响应内容为json格式,图2-5相应内容为页面源码2.3相关技术概述 Python由于其强大的第三方库,在爬虫方面极占优势。http请求urllib库——python中自带的用于处理HTTP请求库requests库——第三方请求库(本程序使用较少)2.页面解析BeautifulSoup4——HTML或XML解析库正则表达式——一款及其方便,功能强大的解析工具3.数据存储xls文本存储——EXCEL表格呈现数据sqlite数据库存储4.数据可视化falsk框架—一种轻量型的web框架WordCloud(词云图)jieba分词统计——智能的中文分词库柱状图——matplotlib(一个Python的2D绘图库)Numpy库——常用于矩阵运算Echats——用于生成图表的可视化库Matplotlib——一个python的绘图模块,经常用来绘制一些二维图像,比如条形图,散点图,扇形图等等,重要的是Matplotlib和numpy是互相兼容的,我们可以通过numpy进行数据处理,对于的到的数据通过Matplotlib模块进行可视化生成图片。此外,常见反爬虫的原理有:检查User-Agent;检验访问频率次数,封掉异常IP;设置验证码;Ajax异步加载等。对应于每一种反爬虫的方法,也都有相应的策略来避免爬虫被反爬虫程序所识别。由于本系统并未遇到除检查User-Agent以外的其他问题,所以本系统仅用了修改User-Agent一种反反爬虫技术。此外,在实践中多次访问同一网站会返回403错误,此时通过重建dns缓存方法,成功的解决了403问题。2.4系统设计概述2.4.1程序结构图图2-6程序结构图 如图2-6所示,基于python爬虫的豆瓣电影top250信息获取系统主要分为两部分,第一部分为爬取信息,其任务为对全部250部电影信息的爬取,其中单个电影的信息内容包括:电影详情链接,电影图片链接,电影中文名称,电影外文名称,电影评分,电影评分人数,电影一句话概括,电影其他信息。将信息存入excel表格中并存入sqlite数据库,第二部分为数据可视化部分,将数据库中的数据通过网页以表格形式分页展示,评分以柱状图展示,一句话概述信息生成词云图并在网页展示。2.4.2爬虫流程图 如图2-7所示,这是爬虫获取信息系统的全部流程。首先根据目标网址获取页面源代码,并从HTML源码中进行标签查看,筛选出我们所需要的信息;再选用解析工具处理爬虫选中的各类有用信息并对数据进行筛选与数据清洗,将我们真正需要的内容提取出来或将其转化为特定的格式;然后,根据不同的数据类型选择恰当的方式存储不同的数据,例如;将电影信息以表格形式存储在excel表格中;最后,针对不同的数据选用合适的可视化方式呈现出来,如:评分信息以柱状图展示可以直观的得知评分区间峰值及其分布。图2-7爬虫流程2.5本章小结本章对系统的开发环境和应用技术做了一个简要介绍,具体用法在后面会有进一步描述,介绍了一些网络解析相关原理,同时对于系统的设计思路以流程图形式予以一个直观的显示。下一章将主要对本系统的实现和相关技术进行阐述。第3章系统技术应用及功能设计与实现3.1http请求与数据获取http请求是网络爬虫的第一步,也是至关重要的一步。爬虫程序模拟浏览器向服务器发送http请求并接收服务器传回的响应信息。http常用请求一般为get请求和post请求,其中get请求用于从服务器上获取数据,post向服务器传送数据,数据以字典形式封装并在请求时同时发送。这部分工作主要通过url请求库获取网页源代码。【注意】: 第二章已介绍请求相关技术原理,这里不再赘述,仅进行实例分析1.http请求程序源码:#importurllib.parse#解析器#data=bytes(urllib.parse.urlencode({"hello":"world"}),encoding="utf-8")#data可以用来储存cookie#response=urllib.request.urlopen("/post",data=data)#print(response.read().decode("utf-8"))其中urllib.parse解析器将键值对解析以后以utf-8格式用二进制形式封装在数据包并在post请求中发送,得到的响应说明数据包已被成功接收。如图3-1-1.图3-1数据包接收2.请求出现问题如何解决,反爬虫策略与反反爬虫技术实例程序请求有时可能会出问题如页面不存在,请求超时等图3-2请求超时甚至是网站监测到我们是一个爬虫项目:图3-3网站识别出我们是一个爬虫,状态响应码418这是网站的反爬虫策略,通过检查User-Agent;检验访问频率次数,封IP地址等方式对可能是爬虫或攻击性程序进行禁止访问的一种网站的保护措施。通过图3-1-1我们可以看到我们的User-Agent是一个python程序,也就是爬虫。所以为了伪装我们的身份,以一个模拟浏览器的方式访问。我们需要更改我们的User-Agent。3.User-Agent封装程序源码:url="/post"headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/90.0.4430.93Safari/537.36Edg/90.0.818.51"}data=bytes(urllib.parse.urlencode({"name":"eric"}),encoding="utf-8")req=urllib.request.Request(url=url,data=data,headers=headers,method="POST")response=urllib.request.urlopen(req)print(response.read().decode("utf-8"))其中User-Agent我们可以打开任意一个网页借助Chrome开发者工具(F12)其中我们发出的请求头中就包含了我们的User-Agent即我们的浏览器信息,通过它告知服务器我们是什么样的浏览器版本,内核等信息如图3-4所示图3-4user-agent通过更改我们头部信息中的User-Agent,再次访问,我们就可以成功“骗过”网站的反爬虫策略,进行我们的爬虫操作了。如图3-5所示图3-5运行结果4.请求url函数程序源码#得到指定一个URL的网页内容defaskURL(url):head={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/90.0.4430.212Safari/537.36Edg/90.0.818.62"#模拟浏览器头部信息,像豆瓣服务器发送消息}#字典#head[]#数目多的可以用列表#用户代理,表示告诉豆瓣服务器,我们是什么类型的机器,浏览器(本质是告诉浏览器,我们可以接收什么水平的文件内容)request=urllib.request.Request(url,headers=head)html=""try:response=urllib.request.urlopen(request)html=response.read().decode("utf-8")#print(html)excepturllib.error.URLErrorase:ifhasattr(e,"code"):print(e.code)ifhasattr(e,"reason"):print(e.reason)returnhtml【注意】异常处理部分:针对可能出现的服务器端问题,如404,500等。将状态码和error原因反馈个用户。通过url请求网页并解析,我们成功获得了目标网页的源代码以待下一步的数据提取与解析,由于该系统目的以爬虫入门为主,爬取网站相对简单,没有遇到其他问题和相关技术,对于增量式爬取和异步爬取还需要更进一步的技术学习才能实现。3.2内容解析与数据存储对于豆瓣电影top250的源码,我们借助于Chrome开发者工具(F12)进行分析。如图3-6所示图3-6网页源码分析通过文档解析,可以看到我们所需要的电影信息就在<div>标签中,并且每一个div都有一个属性class=item,因此只要我们拿到对应的标签里的html源码并解析,就可以完成我们的爬虫目的,为此我们需要引入BeautifulSoup4模块帮助我们解析网页。BeautifulSoup4简介BeautifulSoup4解析html源码时会将一个html文档以一个树形结构进行重构,每个节点都是一个python的对象,所有对象可以归纳为四种Tag即html中的标签通过BeautifulSoup4对象加标签名我们可以轻松获取标签的内容,但值得注意的是它查找的是他找到的第一个符合要求的标签内容如图3-7图3-7效果展示对于Tag,它有两个重要的属性,name和attrs,bs对象本身特殊,他的name就是[document],对于其他内部标签,输出的就是标签本身的名称。attrs会将该标签的所有内容以字典形式返回。.NavigableString如果想要获取标签内部的文字,只需要用.string方法即可。返回得到的字符串类型为bs4.element.NavigableString.如图3-8所示图3-8标签内字符串类型BeautifulSoupbs对象表示的是一个文档的内容,大部分情况下可以将它看作Tag对象,用法同上。Commentcomment对象是一个特殊类型的NavigableString对象,其输出内容不包括注释。BeautifulSoup可以将html文档解析城文档树并通过内置的方法提取数据,对于我们的爬虫程序来说,这是一个非常方便的工具。尽管通过BeautifulSoup模块我们可以提取出html文档中的所需内容,但其中的数据可能并不是我们想要的格式或并不全是有用的信息,我们依然要对数据进行进一步的解析与提取。2.正则表达式简介正则表达式,通常被用来检索,替换那些符合某些模式(规则)的文本,正则表达式是操作字符串的一类规则描述,即用一些特定字符,根据这些字符的组合组成一种“规则字符串”,利用这种字符串对数据进行过滤。Python中通过re模块对正则表达式进行操作。3.数据存储形式对于爬取并分析后得到的数据,我们希望将它们保存到本地,然后再进行可视化操作,数据存储方式大致上分为两种:文档存储和数据库存储,针对电影的相关链接,我们把他们统一当作文字存储,与电影名称,评分,介绍的信息一同以xls格式进行存储。对于图片信息,我们将图片链接以字符串形式保存在文档和数据库中,用户可以通过点击链接访问图片具体内容和位置,同时我们也将所有图片保存在了本地文件中,在图片文件夹中我们就可以看到所有的图片。爬虫一般数据量庞大,一般可通过mysql,Oracle等关系型数据库,甚至是Nosql等非关系型数据库进行存储,由于本系统数据量不大,我们不必使用额外的第三方数据库,python自带的sqlite轻量型数据库就可以满足我们的所有需求。3.3系统设计与功能实现通过上述技术分析及爬虫系统流程图,确立的程序流程:爬取网页获取数据并逐一解析数据保存数据爬取网页我们已经在http请求那里详细介绍,所以我们接下来重点介绍获取数据,解析数据与保存。程序源码:#影片详情链接的规则
findLink=pile(r'<ahref="(.*?)">')#创建正则表达式对象,表示规则(字符串的模式),?表示出现一次或0次,防止超链接不存在
#影片图片findImgSrc=pile(r'<img.*src="(.*?)"',re.S)#re.S确保识别换行符“\n”让换行符包含在字符中#影片片名
findTitle=pile(r'<spanclass="title">(.*)</span>')
#影片片名外文名补充
findTitle0=pile(r'<spanclass="other">\xa0/\xa0(.*)</span>')
#影片评分
findRating=pile(r'<spanclass="rating_num"property="v:average">(.*)</span>')
#找到评价人数
findJudge=pile(r'<span>(\d*)人评价</span>')
#找到概况
findInq=pile(r'<spanclass="inq">(.*?)</span>')
#找到影片的相关内容
findBd=pile(r'<pclass="">(.*?)</p>',re.S)【注意】这部分为我们设置的正则表达式,用来作为数据过滤的规则#爬取网页defgetData(baseurl):datalist=[]foriinrange(0,10):#调用获取页面信息的函数,10次url=baseurl+str(i*25)html=Askurl.askURL(url)#保存获取到的网页源码#2.逐一解析数据soup=BeautifulSoup(html,"html.parser")foriteminsoup.find_all('div',class_="item"):#查找符合要求的字符串,形成列表#print(item)#为了测试,查看电影item全部信息data=[]#保存一部电影的所有信息item=str(item)#获取影片详情的超链接link=re.findall(findLink,item)[0]#re库用来通过正则表达式查找指定的字符串link:超链接#[0]使link不以列表形式出现#link=re.search(findImgSrc,item)[0]data.append(link)#添加链接imgsrc=re.findall(findImgSrc,item)[0]data.append(imgsrc)#添加图片titles=re.findall(findTitle,item)#片名可能只有一个中文名,没有外国名#补充titles0=re.findall(findTitle0,item)#片名补充titles0=titles0[0].replace("/",",")titles0=titles0.split(",")#补充结束if(len(titles)==2):ctitle=titles[0]#添加中文名data.append(ctitle)otitle=[]otitle.append(titles[1].replace("\xa0/\xa0","")+"")#去掉无关的符号otitle.extend(titles0)data.append(otitle)#添加外文名else:data.append(titles[0])data.append('')#外国名字留空rating=re.findall(findRating,item)[0]data.append(rating)#添加评分judgeNum=re.findall(findJudge,item)[0]data.append(judgeNum)#添加评价人数inq=re.findall(findInq,item)iflen(inq)!=0:inq=inq[0].replace("。","")#去掉句号data.append(inq)#添加概述else:data.append("")bd=re.findall(findBd,item)[0]bd=re.sub('<br(\s+)?/>(\s+)?',"",bd)#去掉<br/>bd=re.sub('/',"",bd)#替换“/”bd=re.sub('\xa0\xa0',"",bd)bd=re.sub('\xa0\xa0\xa0',"",bd)data.append(bd.strip())#去掉前后的空格#print(data)datalist.append(data)#把处理好的一部电影信息放入datalistprint(datalist)returndatalist正则表达式部分:图3-9源码解析通过对图3-9的分析,我们发现我们需要的数据在标签中可以通过特定规则唯一识别:1.通过多个电影信息对比,我们可以归纳出共同特点,即所有的详情链接都在<ahref="/subject/1292052/">中,所以我们可以利用正则表达式固定形式:'<ahref="(.*?)">',括号外字符即为我们的目的过滤规则,符合该格式,那么括号内的数据就会被提取出来。其中括号内的.代表字符,*代表重复0次或多次,而?代表非贪婪模式,选取长度最少的内容,爬取效果如图3-3-2所示图3-10运行效果 【注意】:link=re.findall(findlink,item)[0]为提取链接,其中[0]使link变为纯字符串形式,否则link为列表属性,左右会有[]影响后续任务。2. 刚才介绍了电影详情链接的正则表达式和实际效果,其他信息大体一致,但有一些地方需要注意:1)图片链接的正则表达式findImgSrc=pile(r'<img.*src="(.*?)"',re.S)中,因为源码的标签中存在换行符,所以要设置正则表达式的模式re.S,re.S能确保正则表达式识别换行符,让换行符识别在获取到的数据中,2)如图影片外文名包含两部分,一部分在class=title标签中,一部分在class=other标签中,而我们设置的正则表达式findTitle=pile(r'<spanclass="title">(.*)</span>')会识别出中文名和第一个外文名,findTitle0=pile(r'<spanclass="other">\xa0/\xa0(.*)</span>')会识别出其他的外文名,所以在数据处理和存储时要将中文名外文名分开在将外文名重新组合以列表格式存储,在程序编写过程中,这一度成为我的一个小困难。图3-11标签分析3)对于影片的相关内容正则表达式indBd=pile(r'<pclass="">(.*?)</p>',re.S)除了要通过re.S读取换行符,还需要在后面进行再次处理去除空格。爬取网页部分:datalist=[]
foriinrange(0,10):#调用获取页面信息的函数,10次
url=baseurl+str(i*25)
html=Askurl.askURL(url)#保存获取到的网页源码【注意】baseurl为全局变量,在主函数定义,baseurl="/top250?start="由于豆瓣电影top250共有10页每页25条记录,所以我们只要爬取一页电影的全部信息然后通过for循环即可爬取全部信息,第3句实现了翻页功能,str(i*25)为baseurl为start参数传参,当start=0时为第一页的url,第一行数据为top1的电影信息,执行一次循环后,start自增25,第一行数据为top26,正好显示到下一页,到i=9时第一行数据top226,为最后一页。soup=BeautifulSoup(html,"html.parser")foriteminsoup.find_all('div',class_="item"):#查找符合要求的字符串,形成列表print(item)#为了测试,查看电影item全部信息data=[]#保存一部电影的所有信息item=str(item)第一行创建bs4对象解析获取到的网页源码并通过html.parser解析器解析html文件。通过分析我们知道电影信息都储存在class=”item”的div标签中所以通过第二句我们得到了包含单个电影全部信息的item并转化为字符串类型。接下来是通过正则表达式和find_all函数提取数据并添加到data[]列表中,其中append函数用来将数据按原形式添加到列表中,extend函数用来将数据一个一个添加到列表中,即append将一个列表添加到另一个列表会把第二个列表整体作为新列表的一个元素。而extend方法会将第二个列表中的每个元素作为一个新元素,效果如图3-3-4图3-12append与extend函数效果对于其他数据信息插入操作大同小异,所以我们重点研究如何插入电影外文信息,一句话概述和电影其他信息这三个比较复杂且具有代表性的插入过程,电影外文信息插入程序源码:titles=re.findall(findTitle,item)#片名可能只有一个中文名,没有外国名#补充titles0=re.findall(findTitle0,item)#片名补充titles0=titles0[0].replace("/",",")titles0=titles0.split(",")#补充结束if(len(titles)==2):ctitle=titles[0]#添加中文名data.append(ctitle)otitle=[]otitle.append(titles[1].replace("\xa0/\xa0","")+"")#去掉无关的符号otitle.extend(titles0)data.append(otitle)#添加外文名else:data.append(titles[0])data.append('')#外国名字留空titles0=re.findall(findTitle0,item)titles0=titles0[0].replace("/",",")titles0=titles0.split(",")这段代码取得所有标签为class=other的额外外文名,并且将其中的’/’用,分割同时第三步将获得数据以逗号分隔。if(len(titles)==2):ctitle=titles[0]#添加中文名data.append(ctitle)otitle=[]otitle.append(titles[1].replace("\xa0/\xa0","")+"")#去掉无关的符号otitle.extend(titles0)data.append(otitle)#添加外文名else:data.append(titles[0])data.append(titles0)因为通过title=re.findall(findTitle,item)获取到的数据为中文名和一个外文名而外文名部分有的电影并没有,所以titles的数据数量可能为1可能为2对于len(titles)=1时data直接append中文名称再append外文名称列表就好,而len(titles)=2时需要将titles[1]的”\xa0”去除并添加空格(添加空格主要为了excel表格存储时的格式美观,如果不加有的电影前两个外文名称会连在一起难以区分),再将titles[1]的数据存储到一个临时列表,最后将整个列表整体添加到data中【注意】此处的data为单个电影信息数据结构,为一个列表,其中包含电影详情链接,电影图片链接,评分等共计7个数据,全局变量中的datalist也为一个列表,列表中的每个元素为一个data元素。电影一句话概述插入程序源码:inq=re.findall(findInq,item)iflen(inq)!=0:inq=inq[0].replace("。","")#去掉句号data.append(inq)#添加概述else:data.append("")第一句获取到一句话概述的文本内容,其中有的电影可能没有一句话概述,所以要判断是否有该内容,如果有,通过replace函数去掉句号,添加进data,如果没有,在概述位置留空占位。电影其他信息插入程序源码:bd=re.findall(findBd,item)[0]bd=re.sub('<br(\s+)?/>(\s+)?',"",bd)#去掉<br/>bd=re.sub('/',"",bd)#替换“/”bd=re.sub('\xa0\xa0',"",bd)bd=re.sub('\xa0\xa0\xa0',"",bd)data.append(bd.strip())#strip()函数去掉前后的空格#print(data)datalist.append(data)#把处理好的一部电影信息放入datalist通过源码分析我们看到电影其他信息所在标签的文本内容有大量无关的数据,如中间存在<br/>换行标签,”/”,\xa0和大量的空格,为了获取到所需数据我们要通过正则表达式逐一过滤无用字符,最后将数据插入data中。至此,一部电影的全部信息我们就都拿到了,接下来就是循环然后将data存到datalist中即可。效果展示如图3-13:图3-13效果展示数据存储部分对于获取到的电影信息,我们采用sqlite数据库和excel文档存储,其中,电影图片我们一方面将链接以字符串形式存储,用户只要点击到相应的图片链接就可以查看,同时我们也将图片下载到了本地的picture文件目录下,在这里我们可以直观的看到所有250部电影的封面图片存储到excel表格:程序源码: #保存数据defsaveData(datalist,savepath):#print("save...")book=xlwt.Workbook(encoding="utf-8",style_compression=0)#创建workbook对象sheet=book.add_sheet('豆瓣电影TOP250',cell_overwrite_ok=True)#创建工作表col=('电影详情链接','图片链接','影片中文名','影片外文名','评分','评价人数','概况','相关信息')foriinrange(len(col)):sheet.write(0,i,col[i])#列名foriinrange(0,len(datalist)):#print("写到第%d条"%(i+1))data=datalist[i]forjinrange(len(col)):sheet.write(i+1,j,data[j])#数据book.save(savepath)#保存在此过程中我们用到了python的xlwt库:通过创建workbook对象对excel文档进行操作,其中workbook类初始化时有encoding和style_compression参数,分别表示字符编码(utf-8中文编码)和是否可压缩。第二句表明创建表的名字和参数cell_overwrite_ok(是否允许单元格覆盖,默认值为False)。接下来需要创建目录行共8种信息,最后循环保存datalist中的影片信息,最后写入预先定义好的文件目录中,其中的i,j分别表示单元格的行数与列数。【注意】由于我们解码后的到的文件是二进制类型,所以选择xls文件存储。图3-14xls文件存储效果展示图片下载并保存到本地:程序源码:defsavepage(datalist):
#将图片下载到本地
try:
path="F:/代码/python/douban/venv/pictures"
os.mkdir(path)
except(FileExistsError,OSError):
print("图片已爬取,请点击文件夹查看")
return
i=0
fordataindatalist:
picture=requests.get(data[1])
print(picture)
withopen(path+'\{}.jpg'.format(i+1),'wb')asf:
f.write(picture.content)
print("第{}张".format(i+1))
i+=1
print("下载完毕")本段为下载图片函数,通过我们已经获得的图片链接,将图片下载到本地再次之前我们要引入os模块try:
path="F:/代码/python/douban/venv/pictures"
os.mkdir(path)
except(FileExistsError,OSError):
print("图片已爬取,请点击文件夹查看")
returnpath为保存图片的本地目录,通过os模块下的mkdir函数创建本地目录,而在多次实验中我们发现会出现两种错误:FileExistsError:示意我们的本地已有目标目录,不能重复创建。而当我们想用rmdir删除后在重新创建时又出现了第二个错误。OSError:文件无法访问。但是我们不需要在爬取一次后再将数据删除后重新爬取一摸一样的数据,所以我们利用python中的try-catch异常捕捉当出现错误我们直接提醒用户我们本地已有数据,只需打开文件夹查看即可。i=0
fordataindatalist:
picture=requests.get(data[1])
print(picture)
withopen(path+'\{}.jpg'.format(i+1),'wb')asf:
f.write(picture.content)
print("第{}张".format(i+1))
i+=1print("下载完毕")接下来我们读取datalist中的图片链接信息,利用requests.get获取网页信息,之后以读取顺序为图片标号命名,下载完毕后告知用户。效果展示如图3-15:图3-15下载图片效果截图图片文件如图3-16:图3-16图片下载到文件夹3.存储到数据库:Sqlite数据库是一个轻量型的小型数据库,功能简约,追求磁盘效率最大化,对于数据量不大且需要频繁读写磁盘文件时很是方便,用于程序开发和测试时很占优势,当然没有用户管理和额外优化性能也是该数据库的短板。首先我们要创建数据库:程序源码:definit_db(dbpath):#创建数据库sql='''createtableifnotexistsmovie250(idintegerprimarykeyautoincrement,info_linktext,pic_linktext,cnamevarchar,enamevarchar,scorenumeric,ratednumeric,introductiontext,infotext)'''#创建数据表conn=sqlite3.connect(dbpath)cursor=conn.cursor()cursor.execute(sql)mit()conn.close()在创建表movie250时为防止弹出existsError我们加了一条ifnotexists,否则每次创建都要删除原有数据库,表中设置编号id作为主键(也可以看做top排名)并设置自增长,为其他的信息设置相应数据类型,电影名称设置成可变字符串,而一句话描述和电影其他信息有序字数很多所以设置成text类型。接下来保存数据到数据库:程序源码:defsaveData2DB(datalist,dbpath):init_db(dbpath)conn=sqlite3.connect(dbpath)cur=conn.cursor()fordataindatalist:#print(data[3])data[3]="".join(data[3])#print(data[3])#测试forindexinrange(len(data)):ifindex==4orindex==5:continuedata[index]='"'+data[index]+'"'sql='''insertintomovie250(info_link,pic_link,cname,ename,score,rated,introduction,info)values(%s)'''%",".join(data)#print(sql)cur.execute(sql)mit()cur.close()conn.close()由于之前提到的电影外文名有多个,在datalist中是以列表存储,而列表对象是无法直接存到数据库中的,所以我们要将该列表转化为字符串形式:#print(data[3])data[3]="".join(data[3])#print(data[3])#测试测试结果如图3-17:图3-17效果截图可以看到执行前data[3]为一个list类型,而执行后data[3]变成了一个字符串类型,每个电影名以一个空格间隔,这样datalist就由一个嵌套list的list变成了一个字符串列表【注意】只是看起来像是,实际无法确定。此时的datalist看起来确实是字符串列表,但由于每个元素没有被引号括上,由于python的list类型元素可以不一致且可以为任意类型,所以无法保证存入数据库时可以完全符合我们定义movie250表项的数据类型,所以在后续我们还要对数据进行二次处理:forindexinrange(len(data)):ifindex==4orindex==5:continuedata[index]='"'+data[index]+'"'通过对每项左右添加双引号,可以让数据库明确我们的类型与表项一致(其中data[4]与data[5]对应影片评分,与评价人数,在数据库中以numeric类型存储,所以不用添加双引号)sql='''insertintomovie250(info_link,pic_link,cname,ename,score,rated,introduction,info)values(%s)'''%",".join(data)sql语句中%s为占位,实际内容为后面的",".join(data),将data即一部电影的全部信息以逗号分隔作为values的值插入表中。效果展示:图3-18数据库存储结果展示第4章数据可视化4.1数据可视化总体设计针对我们爬取到的电影信息我们共分为四个页面进行展示。1.首页信息:将我们爬取的内容主题即豆瓣电影top250数据分析和使用技术以标题形式展示出来,同时分为3个功能模块每一个功能用一个额外网页展示,同时设置跳转按钮跳转到不同的功能界面。2.电影详情信息:将我们爬取的所有电影信息按名词以表格分页展示,共十页每页25条电影信息,信息包括排名,封面图片,中文及外文名称评分,评分人数,一句话概述和电影其他信息。在封面和电影中文名称我们还设置了跳转功能,用户点击封面或中文名称就可以直接跳转到电影详情页面。我们还在底部设置了分页按钮点击相应页数就可以跳转相应的第几页电影信息页面。3.评分柱状图,对所有电影我们统计了评分情况并形成了评分区间柱状图,通过它可以直观地看出观众对电影评分区间集中在哪里。4.一句话概述词云图。我们对250部电影的一句话概述进行常用词句分析,按照出现顺序确定大小制作了词云图,模板为一个树,通过它我们也可以直观看出观众常用哪些字评论。4.2首页及详情页制作4.2.1Flask框架介绍:Flask作为一个web框架,主要为了开发web应用程序,在本项目中主要用到两个功能,即1.路由解析2.模板渲染其中Flask用Werkzeug路由模块来做路由分发,针对不同的HTTP请求,根据每个url请求找到具体的视图函数。在Flask程序中,路由一般通过程序实例的装饰器实现,通过调用视图函数获取到数据后将数据传入html模板文件中,再由模板引擎负责渲染HTTP响应数据,由Flask返回响应数据提交给浏览器,最后在浏览器显示返回结果,模板渲染由另一个模块jinjia2来完成。路由解析示例:fromflaskimportFlaskapp=Flask(__name__)@app.route('/')defhello_world():return'helloworld!'if__name__=='__main__':app.run()图4-1效果截图前两句引入Falsk模块并初始化app对象,将Flask框架导入当前程序。后两句为程序接口,当全局名字=__name__时调用app.run方法,启动服务器监听5000端口并执行相应操作。这几句负责将Flask启动。而中间三句就是根据不同的HTTP请求进行路由解析,通过用户访问的路径匹配相应函数执行不同操作。如上述三句就是:当用户访问路径‘/’时输出’helloworld’效果如图4-2所示。图4-2通过路径返回的渲染后的内容【注意】通过设置debug模式可以实现网页的动态更新和错误提示,当我们在后台更改响应函数时只要在网页点击刷新就可以实时显示我们更改的内容和显示我们出现的错误类型和位置。模板渲染实例:fromflaskimportFlask,render_templateapp=Flask(__name__)@app.route('/')defindex():returnrender_template("bar-simple.html")if__name__=='__main__':app.run()图4-3渲染实例效果截图jinjia2通过render_template进行网页渲染,其中里面的参数即为我们要传给用户的HTML网页信息。这里我们的bar-simple.html是一个Echarts模板的柱状图,通过’/’返回给用户。【注意】我们要传输的HTML文件一定要保存在templates目录下不然渲染模板找不到。4.2.2首页及详情页响应函数及页面设计首页响应函数:@app.route('/')defindex():returnrender_template("index.html")@app.route('/index')defhome():returnrender_template("index.html")returnindex()由于源码是使用的mamba模板,代码量较大,这里不详细展示,只介绍几点1.直接使用模板,一些网站图片无法显示,因为路径名无法识别,我们将其修改为本地路径2.我们删去了其余未用到的界面,只保留首页的代码并修改,如更改<title>标题,href的跳转网址,<div>的class中的col-lg-4,col-md-6参数:<divclass="col-lg-4col-md-6text-center"data-aos="fade-up"><!--col-lg-4,一共12份,占4份--><ahref="/movie"><divclass="count-box"><iclass="icofont-simple-smile"style="color:#20b38e;"></i><spandata-toggle="counter-up">250</span><p>经典电影</p></div></a></div>其中col-lg-4表示屏幕横向分为12份,而我们每块占了4份,实现了全屏展示一行共有三个模块。3.我们保留了一些原模版的一些附加功能如动态响应,自适应页面(当页面缩小时自适应为手机屏幕样式,大小col-md-6参数控制)等。首页效果展示如图4-4通过点击相应功能按钮或右上角文字即可跳转到相应功能页;左上角的MAMBA点击可以查看原模版;图片上的文字代表共250条电影信息,生成了一个评分统计图;一句话概述词云图共统计字数5562个。图4-4首页效果展示电影信息详情页响应函数:@app.route('/movie',methods=['GET',POST])defmovie():start=request.args.get('start')ifstart==None:start="0"datalist=[]conn=sqlite3.connect("movie.db")cur=conn.cursor()sql="select*frommovie250limit25offset%s"%startdata=cur.execute(sql)foritemindata:datalist.append(item)cur.close()conn.close()lstart=int(start)-25iflstart<0:lstart=0lstart=str(lstart)rstart=int(start)+25ifrstart>=250:rstart=225rstart=str(rstart)returnrender_template("movie.html",movies=datalist,lstart=lstart,rstart=rstart)程序片段解析1)@app.route('/movie',methods=['GET',POST])标记路由/movie当用户访问时执行下面的movie函数,后面的方法表示可以接收get和post请求,如不设置默认为get。2)start=request.args.get('start')ifstart==None:start="0"这段程序为了获取用户访问路由中的start参数,而第一页中我们并没有start参数,所以我们要设置初始值0来访问我们的前25条电影数据。3)datalist=[]conn=sqlite3.connect("movie.db")cur=conn.cursor()sql="select*frommovie250limit25offset%s"%startdata=cur.execute(sql)foritemindata:datalist.append(item)cur.close()conn.close()这段程序用来加载数据库(我们在爬虫数据获取阶段创建的)并查询电影信息。由于我们每页要展示25条数据,所以我们通过sql中的limit参数每次查询25条记录,同时offset表示跳过前多少条记录来实现分页。然后再将查询到的数据添加到我们预先设置的datalist列表中最后传递给前端程序。【注意】由于sqlite3中没有top语法结构,所以要通过limit来实现的功能。4)lstart=int(start)-25iflstart<0:lstart=0lstart=str(lstart)rstart=int(start)+25ifrstart>=250:rstart=225rstart=str(rstart)returnrender_template("movie.html",movies=datalist,lstart=lstart,rstart=rstart)这里的lstart和rstart分别表示前一页和后一页功能所显示网页的start参数。每一次执行前一页就在当前的start参数基础上减少25然后返回给前端而当显示到第一页时再次执行lstart参数不变,依然显示第一页,后一页功能同理。最后我们将前端html代码中需要的参数传给它们,这样render_template中所指定的html文件就会按后面的参数进行网页渲染了。【注意】render_temple中的参数传递,等号前面的参数是在html文件中定义的参数即我们在html文件中操作的参数,等号后面的参数是我们在服务器端定义并发送的数据。这里由于名字定义相同使用上不会出错,但还是需要理解含义。电影页面详情页前端部分代码片段:1)<tableclass="tabletable-striped"><tr><td>排名</td><td>电影中文名称</td><td>电影外文名称</td><td>评分</td><td>评价人数</td><td>一句话概述</td><td>其他信息</td></tr>{%formovieinmovies%}<tr><td>{{movie[0]}}<ahref="{{movie[1]}}"><imgwidth="80px";height="80px"src="{{movie[2]}}"referrerPolicy="no-referrer"></a></td><td><ahref="{{movie[1]}}">{{movie[3]}}</a></td><td>{{movie[4]}}</td><td>{{movie[5]}}</td><td>{{movie[6]}}</td><td>{{movie[7]}}</td><td>{{movie[8]}}</td></tr>{%endfor%}</table>程序片段解析这里我们定义了一个表单table,样式table-striped(为了美观),<tr>内为表单的列名及每个表单项的含义。最后我们通过for循环将我们的电影信息逐行加入,并在排名出添加图片,在图片和电影中文名称处添加电影详情信息以便更合理的展示。【注意】<ahref="{{movie[1]}}"><imgwidth="80px";height="80px"src="{{movie[2]}}"referrerPolicy="no-referrer"></a>为添加图片并设置为点击图片即可访问该电影详情信息页面。但是直接设置图片会被禁止访问,这是因为我们在页面引入图片时会产生新的HTTP请求,,浏览器会在这些请求头上加上表示来源的referrer字段,而豆瓣top250网站进行了图片防盗链设置,对非同源或非白名单中的网址不能访问,从而出现403请求错误,所以我们需要给链接加上属性referrerPolicy="no-referrer,这样在HTTP请求时会在请求头里屏蔽掉referer的发送从而正常访问图片。2)<divstyle="width:100%"><divstyle="padding-left:35%"><spanclass="next"><linkrel="next"href="?start=&filter="><ahref="?start={{lstart}}&filter=">前页></a></span></span><ahref="?start=0&filter=">1</a><ahref="?start=25&filter=">2</a><ahref="?start=50&filter=">3</a><ahref="?start=75&filter=">4</a><ahref="?start=100&filter=">5</a><ahref="?start=125&filter=">6</a><ahref="?start=150&filter=">7</a><ahref="?start=175&filter=">8</a><ahref="?start=200&filter=">9</a><ahref="?start=225&filter=">10</a><spanclass="next"><linkrel="next"href="?start=&filter="><ahref="?start={{rstart}}&filter=">后页></a></span><spanclass="count">(共250条)</span></div></div>这一段时为了页面的分页显示和设置分页按钮,通过start参数进行分页并传给服务器读取分页数据,前页后页则通过服务器传过来的lstart和rstart跳转。【注意】对于服务器传来的数据我们不能直接访问,要用双层大括号才能拿来用,对于for循环语句以及if语句我们要用大括号加百分号形式并有特定的结束循环形式如{%endfor%}。电影信息详情页效果展示如图4-5,图4-6所示图4-5详情页展示其1图4-6详情页展示其24.3评分页制作4.3.1Echarts简介Echarts是百度的一个开源的数据可视化工具,一个纯javascript图库表。可以提供直观生动可交互的数据可视化图表。特点:1.使用简单。2.种类多,介绍全。3.兼容性好,基于html5有着良好的动画渲染结果。4.3.2评分页响应函数及页面设计评分页面响应函数程序:@app.route('/score')defscore():score=[]#评分num=[]#每个评分所统计出的电影数量conn=sqlite3.connect("movie.db")cur=conn.cursor()sql="selectscore,count(score),ratedfrommovie250groupbyscore"data=cur.execute(sql)foritemindata:score.append(item[0])
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2027四川资阳市人民医院人才招聘笔试备考题库及答案解析
- 2026平果市自然资源局城镇公益性岗位人员招聘考试备考试题及答案解析
- 海南省儋州市某校2024-2025学年高一下学期3月月考物理试题
- 招聘2人!海南州2026年第四季度公开招录编外临聘人员考试备考试题及答案解析
- 2026年甘肃省陇南市两当县显龙镇卫生院招聘乡村医生笔试备考试题及答案解析
- 2026年医疗设备经营租赁行业洞察报告及未来五至十年发展趋势报告
- 2026年IGBT分立器件行业洞察报告及未来五至十年发展趋势报告
- 2026浙江温州市平阳县福阳铁路开发建设有限公司招聘项目制员工2人笔试备考试题及答案解析
- 2026中食(雄安)供销集团有限公司及所属企业公开招聘6人笔试模拟试题及答案解析
- 2026年中国广电齐齐哈尔分公司招聘5人笔试备考题库及答案解析
- ReFi动态养老财务模型目标基准点及养老财务相关知识测试题附答案
- GB/T 29911-2025汽车租赁服务规范
- 河大版小学信息技术课件教学
- 北京大学2025年推免研究生申请个人陈述范文
- 贝壳租房合同协议
- 风机降噪方案
- 多学科交叉融合驱动下机器人导论课程实践与思考
- ABBdcs组态课件CONDUCTORVMS操作
- DB43T 833-2016 前(后)置微耕机
- 求职OMG-大学生就业指导与技能开发智慧树知到期末考试答案章节答案2024年中国海洋大学
- 心脏搭桥手术病历
评论
0/150
提交评论