Python爬取豆瓣电影信息

这篇文章主要介绍使用Python爬取豆瓣上热门电影的信息，包括电影名称、海报、评分等信息。在开始介绍本项目前，先简单介绍下网上的信息是如何被“爬”下来的。我们看到的网页都是用HTML+CSS+JS等语言写出，而页面中加载文字、图片、视频等元素也是通过嵌入到超文本标记语言中展现。我们可以在打开一个网页后通过键盘上F12键或单击鼠标右键选择“查看源文件”查看该网页的源码，我们想要的抓取的文字、图片、视频等信息也都嵌入在该超文本标记语言中。见图：接下来，我们开始正式介绍本项目，Python爬取豆瓣热门电影：1、

首先准备项目开发环境安装lxml、Scrapy、urllib、json等关键库文件pipinstalllxmlpipinstallScrapypipinstallurllibpipinstalljson2、

构建整体思路本次爬虫使用scrapy框架，scrapy中定义了数据的请求、返回、调度、保存、持久化等行为，通过调用scrapy大大简化了人为编程量。执行：scrapystartprojecttutorial，安装好scrapy后的文件系统是这样：我们只需重写dmoz_spider.py文件即可。3、

分析网页开始动手时一直抓不到豆瓣上电影的信息，掉在在坑里冥思苦想+各种搜索学习后发现豆瓣上有关电影的信息都是采用ajax方式加载到HTML中，于是在Network下找到加载ajax的链接，将该链接作为请求地址。4、动手编程第一步：先定义请求网页原址：name='douban'allowed_domains=[""]start_list=[]foriinrange(1,14):url='/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start='+str(i*20)start_list.append(url)start_urls=start_list#定义start_urls为一个存储链接的列表第二步：重写请求头文件：defstart_requests(self):user_agent='Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/49.0.2623.22Safari/537.36SE2.XMetaSr1.0'headers={'User-Agent':user_agent}forurlinself.start_urls:yieldscrapy.Request(url=url,headers=headers,method='GET',callback=self.parse)第三步：在获取的网页源码中提取信息：defparse(self,response):hxs=response.body.decode('utf-8')hjson=json.loads(hxs)#字典forlisinhjson['subjects']:item=Tutorial2Item()#实例化类item["info"]=lis['url']item["pic"]=lis['cover']item["score"]=lis['rate']item["title"]=lis['title']filename=item["title"]+'_'+item["score"]+'分'+'.jpg'urllib.request.urlre