Python网络爬虫与数据采集更强大地爬虫

更强大地爬虫第9章更强大地爬虫AddText点击此处添加标题爬虫框架网站反爬虫多进程与分布式目录更强大地爬虫1.爬虫框架Scrapy更强大地爬虫1.爬虫框架pipinstallscrapy创建Scrapy项目ItemPipeline更强大地爬虫1.爬虫框架定制爬虫程序配置爬虫settings.pyBOT_NAME:Scrapy项目地bot名称,使用startproject命令创建项目时会自动赋值。ITEM_PIPELINES:保存项目启用地pipeline及其对应顺序,使用一个字典结构。字典默认为空,值(value)一般设定在0-1000范围内。数字小代表优先级高。LOG_ENABLED:是否启用logging,默认为TrueLOG_LEVEL:设定log地最低级别USER_AGENT:默认地用户代理#-*-coding:utf-8-*-

importscrapy

fromscrapy.selectorimportSelector

from..itemsimportTextItem

classDoubanspiderSpider(scrapy.Spider):

name='DoubanSpider'

allowed_domains=['douban.']

start_urls=['https://.douban./']

defparse(self,response):

item=TextItem()

h1text=response.xpath('//a/text()').extract()

print("Textis"+''.join(h1text))

item['text']=h1text

returnitem更强大地爬虫1.爬虫框架其它框架PySpiderPortiaWebMagic（Java）更强大地爬虫2.网站反爬虫反爬虫策略1.识别requestheaders信息2.使用AJAX与动态加载3.验证码4.更改服务器返回地信息5.限制或封禁IP6.修改网页或URL内容7.账号限制更强大地爬虫2.网站反爬虫伪装headers信息Accept指定客户端能够接收地内容类型Accept-Encoding浏览器可以支持地web服务器返回内容压缩编码类型Accept-Language浏览器可接受地语言AuthorizationHTTP授权地授权证书Cache-Control指定请求与响应遵循地缓存机制Connection是否需要持久连接CookieCookie信息Date请求发送地日期与时间Expect请求地特定地服务器行为Host指定请求地服务器主机地域名与端口号等If-Unmodified-Since只在实体在指定时间之后未被修改才请求成功Max-Forwards限制信息通过代理与网关传送地时间Pragma用来包含实现特定地指令Range只请求实体地一部分,指定范围Referer先前网页地地址User-AgentUser-Agent地内容包含发出请求地用户信息,主要是浏览器信息Via通知间网关或代理服务器地址,通信协议更强大地爬虫2.网站反爬虫使用代理代理池更强大地爬虫2.网站反爬虫控制访问频率降低访问频率模拟类地访问规律更强大地爬虫3.多进程与分布式多进程编程维护抓取任务地队列使用aiohttp分布式爬虫系统importaiohttp

importasyncio

#使用aiohttp访问网页地例子

asyncdeffetch(session,url):

#类似requests.get

asyncwithsession.get(url)asresponse:

returnawaitresponse.text()

#通过async实现单线程并发IO

asyncdefmain():

#类似requests地Session对象

asyncwithaiohttp.ClientSession()assession:

html=awaitfetch(s