【《基于Python的影视数据爬取分析》9300字(论文)】_第1页
【《基于Python的影视数据爬取分析》9300字(论文)】_第2页
【《基于Python的影视数据爬取分析》9300字(论文)】_第3页
【《基于Python的影视数据爬取分析》9300字(论文)】_第4页
【《基于Python的影视数据爬取分析》9300字(论文)】_第5页
已阅读5页,还剩31页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

I绪论研究背景和意义研究背景和意义随着当今经济社会的飞速发展,人们对精神文化的需求与日俱增,电影是精神文化的重要组成部分,也越来越受到人们的欢迎。大量的影视资源丰富了人们的生活。2020年随着新冠肺炎的爆发影院等大型人群聚集场所被迫停业,此时大批审批过线的电影选择了上线网络。而同时随着数字电视和网络存储技术的不段提高,电影相关产业也迎来发展的新机遇[1]。,网络上也出现了各种资源。而在这信息的海洋中,作为用户要如何快速而高效的筛选出自己喜欢的,符合自己品味的电影,成为了新的问题。在互联网发展初期,网站相对较少,信息查找比较容易。然而伴随互联网爆炸性的发展,普通网络用户想找到所需的资料简直如同大海捞针,这时为满足大众信息检索需求的专业搜索网站便应运而生了。目前,人们大多通过搜索引擎获得有用的信息,因此,搜索引擎技术的发展将直接影响人们获得所需信息的速度和质量。随着搜索引擎的出现,提出了网络爬虫的概念。网络爬虫就像蜘蛛一样,蜘蛛可以感知其网上任何区域移动并获取该区域内猎物的位置以捕获猎物。网络爬虫也是在其所能涉及的网上获取它想获取的信息,而范围便是所有接入公开互联网的服务器。网络爬虫已经成为个人与公司获取网络信息的最佳方式之一。目前,网络爬虫的主要开发语言有Java,Python和C++,对于一般的信息采集需要,各种开发语言的差别不大。Python写起程序来很便捷,尤其是对聚焦爬虫,目标网站经常变换,要根据目标的变化修改爬虫程序,使用Python开发就显得很方便。在网络信息资源不停变化的今天,传统搜索引擎提供的信息检索服务已不能满足人们日益增长的个性化服务需求,面临着巨大的挑战。由用户自身来进行数据搜索挖掘也变得普遍起来。爬虫技术和可视化技术研究现状爬虫技术现状目前无论是国外的还是国外的IMDB还是国内的豆瓣平台的数据获取都主要有两种方法:一种是通过平台提供公开的应用程序编程接口(API)获取数据;另外一种是通过网络爬虫获取数据[2,3]虽然基于开放的API同样可以直接获取数据,但其网站开放的权限有比较大限制。比如,目前豆瓣网站只有一部份端口开放,而且很多开放的端口不是免费的,或者直接拒绝对外开放;而对于开放的API,访问数据的频率和数目都有着严格的规定,所以以这种方式采集的数据量不会太大。通过爬虫的的网页解析技术,也可以采集到豆瓣数据。这种方法的难点在于需要用户有一定的代码能力,以及如何应对反爬虫机制[4,5]。网络爬虫的优点有:不在受限于官方的API,可以较快的采集大量数据,并且数据也比较全面[6]。缺点则是爬虫程序的编写和开发需要一定的代码能力,爬虫系统的维护成本较高。除了以上两种方法,还有一些开源的爬虫工具,以Python开源爬虫工具为例:QuickRecon、PyRailgun、Scrapy等[7]。优点是减小了开发难度,但是大大降低了灵活性。可视化技术现状数据可视化的目的是可视化数据,以便其可以清晰有效地传达信息。豆瓣电影拥有大量信息,信息纷繁复杂,仅以文本形式,就不太直观。因此,可视化数据运用图像处理技术将数据处理过后,转化成图像或者图表展示在用户界面上,已经成为决策处理,数据分析,web可视化的等问题的重要手段[8-10]。目前,可视化技术的研究已经比较完善了,列如Wanner[11]等设计了可视化系统ForAVis,百度免费开源的可视化图标工具——Echarts,它使用方便快捷,可以动态的在互联网上展示效果,Python上自带的绘图库Matplotlib等等.研究目标及主要工作本文的目标是通过用户自身建立爬虫从而准确高效的获取数据并将通过数据处理以后的可视化数据进行展示为用户观影时提供决策支持。主要工作是通过Scrapy框架和Urllib库设计并实现对豆瓣电影网上的影视数据的采集,清洗,保存到本地或数据库中。并用Pandas,Numpy库对影评进行处理,使用WordCloud对处理的影评进行词云展示,让用户对电影有一个认知。用Matplotlib、Echart展示数据。由Flask框架进行前端展示。1.4论文组织结构本文结构如下:第一章是绪论,介绍选题背景以及意义,以及对相关技术研究现状做了概述,并且介绍了工作目标及内容。第二章是系统需求分析,阐述了系统的功能性需求和非功能性需求。第三章是系统设计,本章介绍了系统的功能如何设计,数据如何设计,以及前端界面的设计。第四章是系统实现,本章介绍系统功能如何实现的,介绍技术内容以及遇到的问题。第五章是系统测试具体的给出系统测试方案和测试结果第六章是总结与展望,对本系统进行总结,提出了系统待改进部分以及未来系统发展走向系统需求分析系统业务流程分析基于爬虫和可视化的电影数据爬取,数据分析,能为用户提供客观分析的结果。系统业务流图如图2-1所示。图21系统业务流图用户使用方法:现在pycharm运行爬虫程序后获得所需数据。随后单击Flask前端路由程序,随即便可登陆或注册,登陆完成后,跳转可视化首页,单击电影跳转电影展示页,单击评分跳转评分展示页,单击数据下拉菜单,跳转与之对应的数据展示页。系统功能性需求第一,解决电影数据源问题,实现电影数据高效快捷地全面地采集和存储,采集的数据主要有:电影的排名、评分、又名、导演、影评文本信息等等,以豆瓣电影TOP250作为采集源。第二,实现电影数据的处理。电影信息层峦叠嶂,需要通过把数据分析的结果直观地展示出来,以审视其视庐山真面目。所以,在数据挖掘后,词云用于总结展示影评,根据影评中词语出现频率设计不同大小以形成视觉上的不同效果,形成“关键词云”和运用绘图软件进行多个维度地对电影数据进行可视化分析。第三,分析处理过后的数据以前端的形式进行展示。将以上三大具体功能细分后如下:爬虫模块(1)简要说明用于管理员爬取豆瓣网数据参与者管理员事件流开始于用户进入可视化模块之前进行相关操作用户开始运行爬虫程序爬取完毕关闭爬虫程序,在数据库和本地文件中查看爬取结果。特殊要求在规定的编译环境以及适配地编译器中运行。前置条件搭建好数据库中的数据库以及数据表。后置条件成功后数据库数据更新。模块流程图如图2-3图23模块流程图数据分析模块(1)简要说明在数据获取完成后进行词云和可视化信息生产参与者管理员事件流开始于数据获取结束。管理员运行词云生成程序,数据分析程序。生成词云结果存储于相对应电影名文本下,数据分析结果以svg格式或png格式保存在目录下。特殊要求无。前置条件数据源获取成功。后置条件若成功则有词云和数据分析结果产生。登陆模块简要说明用于用户创建账户或登陆系统参与者用户事件流开始于用户进入登陆界面进行相关操作用户单击注册,进入注册页面在文本框中分别输入名字,邮箱,密码,由系统判断注册邮箱是否重复以及邮箱格式是否正确后将数据保存至数据库。用户输入邮箱及密码,点击登陆,系统核对正确后跳转可视化系统首页。特殊要求遵循邮箱地址输入标准。前置条件无。后置条件成功后数据库数据更新,跳转可视化系统首页。模块流程图如图2-2图22模块流程图可视化模块(1)简要说明用于管理员展示数据,用户观察数据参与者管理员,用户事件流开始于管理员结束爬虫程序运行数据分析程序用户登陆完成单击网站页面可跳转相对应地页面跳转特殊要求在规定的编译环境以及适配地编译器中运行。前置条件完成了数据爬取及数据分析及登陆。后置条件无。系统非功能性需求(1)系统易操作性用户界面友好,结果展示方便直观,尽量使系统操作满足用户的需求。

(2)系统可维护性系统故障能在规定时间内得到解决。

(3)有足够的容量存储所有用户的相关信息

(4)安全性要求保护系统数据的安全性,整个系统要具有良好的安全管理功能;

(5)可扩展性随着数据量的增加和运行节点的扩展,必须考虑可扩展性的要求在现有的技术和硬件下能够完成用户对豆瓣TOP250作品的爬取,用户可以根据需要爬取豆瓣网的数据并可视化展示,达到了需求的现实性有效性完整性和一致性。系统设计系统架构设计本系统主要分为浏览器端和服务器端。用于完成注册登陆,数据展示为浏览器端,电影数据获取,处理前端传回的请求为服务器端。如图3-1为详细的系统架构图。图3-1系统架构图系统主要功能模块设计系统功能结构设计如图3-2图3-2系统功能结构设计图软件结构设计系统软件结构设计如图3-3图3-3系统软件结构设计图爬虫模块设计本文针对需求所设计了两个爬虫,考虑到Scrapy框架拥有足够完善的并发处理能力以及功能,我们用来进行电影详情和影评爬取。Urllib作为Python自带框架我们使用他来爬取电影详情,以此来观察两种不同方法的爬虫程序。系统的爬取对象是豆瓣top250电影排行榜,根据不同的需求建立了三个爬虫程序分别为:top250.py,move.py,pachong.py。其中top250.py的爬取对象为TOP250的电影详细内容,move.py则为影评内容列如图3-4,pachong.py则为top250排行的基本信息列如图3-5地址为/top250。其中pachong.py的数据将存入Mysql数据库中。图3-4豆瓣top250首页图3-5豆瓣影评可视化模块设计可视化分析功能模块主要将数据挖掘的计算结果与采集的数据信息通过绘图工具展示在用户界面。对影评进行词云话展示,对作品素数量前十导演的统计,对影评的评分分布、电影产地数量等等做一个统计分析,最后将分析后的结果绘制成相应的图表在前台展示,个分析功能详细见表3-3.表33电影数据页面展示表数据项数据介绍可视化类型人气前20描绘人气前20的电影雷达图作品数量前十导演描绘作品数前十的导演柱状图产地电影数量描绘产地产出数量柱状图电影种类数量描绘电影种类数量占比饼图数据库设计数据库概念结构设计电影movie是指该可视化系统采集的电影资源,电影对象所包含的属性主要包括、电影名、电影简介、导演、主演、编剧、电影类型、上映日期,对象之间的E-R实体关系图如图3-6所示。因为本系统包含登陆注册模块数据库中还包含user表。其对象实体E-R图如图3-7所示。图3-6实体E-R图图3-7实体E-R图数据库的结构逻辑设计根据上述的概念设计出相对应的doubantop250表,如表3-1所示表31电影基本信息表doubantop250字段类型长度描述能否为空Idint11电影排名,主键NfindLinkvarchar255电影链接YimgLinkvarchar255图片链接Yctitlevarchar255电影名Ywtitlevarchar255别名Ydaoyanvarchar255导演Yzhuyanvarchar255主演Ytimevarchar255上映时间Yguojiavarchar255国家Yleibievarchar255类别Ypingfenvarchar255评分Y根据上述的概念设计出相对应的user表,如表3-2所示表32用户表user表字段类型长度描述能否为空namevarchar20ID名NPasswordvarchar20密码NEmailvarchar200邮箱N界面设计登陆注册界面登陆和注册界面作为软件启动界面,最基础的需要有账号与密码的输入框以及登录和注册按钮。登陆界面设计如图3-8所示,注册界面如图3-9所示。图3-8登陆界面图3-9注册界面主界面主界面由关键字,词云展示,前6部电影和导航栏组成,如图3-10,3-11所示。图3-10主界面图3-11主界面电影页由爬取下来的250部电影作为基础进行展示,如图3-12。图3-11电影页评分页展示250部电影的评分分布,如图3-12所示。图3-11评分分布数据页数据展示规格人气前20的电影,雷达图如图3-12所示,描绘作品数前十的导演,柱状图如图3-13所示,描绘产地产出数量,柱状图如图3-14所示,描绘电影种类数量占比,饼图如图3-15所示。图3-12人气对比图图3-13作品数量前十的导演图3-14产地与电影数量图3-15电影种类饼图系统实现Scrapy爬虫模块要想完成数据可视化操作之前需要获取数据。因为我们采用了Scrapy框架和Urllib库两种方法来进行爬取。我们首先介绍Scrapy框架的流程。定义Rule首先将start_urls修改为豆瓣top250排行榜的链接,这是起始链接,Spider会爬取start_urls里的每一个链接,所以第一个爬取页面就是刚才定义的排行榜链接。得到Response(响应)就会根据每一个Rule来提取这个页面内的超链接,去生成进一步的Request(请求),接下来,就是定义Rule来指定提取那些链接。起始链接页面如图4-1所示,下一步就是获取,每一部电影的超链接,使用谷歌浏览器按F12查看源代码,查看电影链接,如图4-1所示。图4-1网页链接可以看到电影链接是以“subject”开头的,然后链接又在属性为“class=info”的div下。现在可以构造出一个Rule了。代码如图4-2所示。图4-2代码段解析豆瓣电影top250页面运用Item,Item可以理解为一个字典,在声明的时候需要实例化,然后依次将解析结果赋值给Item的每一个字段,最后将Item返回(yield),这就是实现top250_parse_item(第一个Rule的回调函数)的过程。需要说明的是在该top250_parse_item方法中使用了ItemLoader来提取Item,因为ItemLoader对Item的提取方法做规则定义,提取方法更完整,这里定义了一个ItemLoader的子类,名为NewsLoader,实现将提取出来的消息,去除换行符,从列表形式变成字符串的形式,代码如图4-3,4-4所示。图4-3代码段图4-4代码段保存文件经过上面一系列操作后,我们可以获取到要爬取的数据,可以用ItemPipeline来保存数据。json.dumps()方法是对json数据的操作。创建一个json文件,把所有数据保存到里面,然后把各个电影的数据保存为txt文件分别放在Result文件夹下的电影名字文件夹下如图4-5。由于要爬取的还有图片所以我们还得再定义一个ImagePipeline,专门处理下载图片的Pipeline如图4-6。图4-5代码段图4-6代码段settings配置定义完ItemPipeline后还得到settings上启动ItemPipeline,设置ImagePipeline图片下载路径、变量,并且由于豆瓣网有反爬虫机制,还得设置请求头(模拟浏览器),关闭遵守robotstxt协议文件。如图4-7。图4-7代码段运行蜘蛛Spider的运行可以用在命令行输入:scrapycrawlxxx,xxx是Spider的名字。但这样子的话每次运行一个蜘蛛就要在命令行输入一次显得很麻烦,自定义一个top250_run类来运行top250这个spider。代码如图4-8所示。图4-8代码段影评爬取上面一系列操作后完成了top250spider,获得了每部电影的基本信息包括评论链接,那么现在可以用这些链接来采集评论了。打开一部电影的短评链接页面,如图4—9所示图4-9影评分析可以看到评论的标签还是比较容易筛选出来的,这里要爬取的数据就只有评论,然后点击后页可以发现,网站后面start发生了变化,然后我们直接修改start后面的值到200,会发现无权限访问,因为豆瓣针对未登录用户只开放前200条信息。想要访问电影影评那就需要从top250.json读取链接,然后加入到start_urls中进行访问,或者重写start_requests方法进行访问,此方法用于生成初始请求,考虑到影评数据不需要图片,而这个spider又和top250的spider放一起,Settings配置文件与top250共用,需要在运行时更改下settings配置,禁用ImagePipeline。代码段如图4-10所示。图4-10代码段运行蜘蛛自定义一个move_run类来运行top250这个spider。代码如图4-11所示。图4-11代码段运行结果top250的运行结果如图4-12所示。图4-12每部电影数据详情Move的运行结果如图4—13所示。图4-13影评详情Urllib爬虫准备工作同Scrapy爬虫一样在爬取内容之前我们需要对要爬取的内容进行分析。如图4-14图4-14页面分析获取数据对每一个页面,调用函数获取页面内容,定义一个获取页面的函数,传入一个URL参数,表示网址,如http:///top250?start=0,图4-15爬取指定网页解析内容使用BeautifulSoup定位特定的标签位置使用正则表达式找到具体的内容。BeautifulSoup是一个库,提供一些简单的python式的用来处理导航、搜索、修改分析树等功能,通过解析文档为用户提供需要抓取的据。我们需要的每个电影都在一个<div>的标签中,且每个div标签都有一个属性class="item"如图4-16所示创建BeautifulSoup对象,html为页面内容,html.parser是一种页面解析器,class="item"找到能够完整提取出一个影片内容的项,即页面中所有样式是item类的div。图4-16代码段正则表达式,通常被用来检索、替换那些符合某个模式(规则)的文本。正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符及这些特定字符的组合,组成一个"规则字符串”,这个"规则字符串”用来表达对字符串的一种过滤逻辑。Python中使用re模块操作正则表达式。如图4-17所示。图4-17代码段保存数据引入了Mysql数据库存储数据,如图4-18所示。图4-18代码段运行结果爬虫结束后数据结果存入数据库中如图4-19所示。图4-19数据库数据可视化模块影评词云先循环遍历出影评文件,用正则表达式匹配单词符,去除换行符,转换成字符串,用jieba分词进行中文分词,由于中文分词不会把那些虚词去掉什么的,这些虚词又会占高频次使用停用词文本,把那些虚词去掉,统计词频,用词云展示,为了用下载好的图片作词云背景,还需要用PIL处理图像,最后词云化。具体代码如图4-20所示结果如图4-21所示。图4-20代码段图4-21词云图数据分析获取电影名字、豆瓣排名、豆瓣评分、评论人数(原始数据转成整数除以万,以万为单位)、片长,添加到字典中,键为电影名字,按评论人数排序筛选前二十部,用此数据做雷达图。结果如图3-12。获得电影制片国家时,中国有中国大陆,中国台湾,中国香港,需要直接归纳成中国不细分,实现过程也是用字典统计各国电影数量3-14。其余产生方式不一一列举前端可视化前端HTML页面设计和Flask使用来自成都工业大学李巍老师提供的模板和课程化的讲解。前端采用了python的web框架Flask,所有Flask程序必须有一个程序实例。Flask调用视图函数后,会将视图函数的返回值作为响应的内容,返回给客户端。一般情况下,响应内容主要是字符串和状态码。当客户端想要获取资源时,一般会通过浏览器发起HTTP请求。前端页面的路由如图4-22所示。结果展示如图3-8—3-15。图4-22前端路由图遇见的问题在构造Scrapy爬虫的时候,遇到的电影详细爬取中有部分电影是没有电影又名的,那么loade会报错。为了防止他报错可以重写add_xpth,加入一个判断语句,判断值是否为空,空值的话输入字段为null。或者所以当add_xpath获取不到数据时,就会有add_value添加Null字段,防止报错。在前端可视化操作中,导入了以SVG格式的可视化结果,但在经由Flask路由以后搭建起来的可视化结果SVG的互动性得不到展现,此问题还没得到完全的解决。系统测试登录模块测试基于黑盒测试的基础设计测试用例测试用例表如表5-1。表5-1登陆模块测试用例表测试项测试步骤预期结果实际结果邮箱输入单击邮箱输入框输入不含@及域名的邮箱提示错误提示错误邮箱输入未注册过邮箱提示错误提示错误密码输入输入错误密码提示错误提示错误密码输入输入正确密码跳转首页跳转首页注册模块测试基于黑盒测试的基础设计测试用例测试用例表如表5-2。表5-2注册模块测试用例表测试项测试步骤预期结果实际结果名字输入单击名字输入框输入超过20个字符提示错误提示错误邮箱输入单击邮箱输入框输入不含@及域名的邮箱提示错误提示错误密码输入输入超过20个字符提示错误提示错误输入只输入邮箱提示错误提示错误输入只输入密码提示错误提示错误输入只输入名字提示错误提示错误输入输入正确的名字邮箱地址密码跳转登录跳转登录页面模块测试表5-3页面模块测试用例表测试项测试步骤预期结果实际结果首页单击导航栏跳转跳转跳转首页单击国家,词云图片转换图片转换图片转换电影页抬头广告栏单击转换内容转换内容转换电影页单击影片跳转跳转页面跳转页面评分页单击导航栏跳转跳转页面跳转页面数据页单击下拉菜单出现菜单内容出现菜单内容数据页单击数据页内容跳转页面跳转页面总结与展望总结本文基于豆瓣电影top250数据平台,利用爬虫技术设计和Flask框架实现了电影网站数据爬取可视化系统。主要实现电影数据的采集以及相关数据的计算,并将分析的结果通过饼图、词云图、柱形图等可视化图表对电影进行可视化分析。本文的主要工作如下:设计并实现了电影爬虫系统。网络爬虫、可视化展示技术、前端页面搭建。采集了电影相关数据设置UserAgent数据池和采用低速率爬取来应对豆瓣反爬虫机制。并利用关系型数据库MySQL存储数据,完成了电影数据的采集以及存储,为后期的数据挖掘奠定了基础。(2)设计并实现了系统每个功能模块,功能模块虽有不足但是也几经波折的完成了。展望本文基于Python和Scrapy等开源技术,实现了一个易定制易拓展的聚焦爬虫。此网络爬虫以豆瓣top250为目标,爬取电影基本信息。事实证明,利用Scrapy进行爬虫开发将极大地提高效率,带来了很大的便利。同时还兼顾了爬虫的性能。此外,当同一个帐户的登录频率很高时,豆瓣将设置滑块验证。尽管此项目使用Selenium来模拟浏览器以进行自动登录,但是它无法解决滑块验证,即手动单击滑块以获取验证。本文实现的爬虫已经满足了前文所提出的要求,也具有一定的现实意义。但是,距离成熟面向大众的终端还有一定的差距。我认为,可以在以下几个方面进行适当的改进:1.单击性能不够强大,可以考虑引入Redis开源框架,实现爬虫的分布化,多机合作将极大提高爬虫的性能。2.开发出基于此爬虫的搜索引擎。用户可以选择关键词来搜索,实现前端的交互。3.可以拓展到其他网站中去,如对文献内容的搜索,将非常具有公益性。4.解决手工参与的问题,达到自动化的效果,并提高效率通过本次研究,我们可以发现爬虫技术已经深入到我们身边的每一处[12]。学会爬虫开发,让我们对搜索引擎有了更好的理解,可以通过自己搜索到准确的信息,但是我们生活在科学技术日

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论