教程python收集爬虫scrapy存进数据库

1、教程pythonscrapyPython网络爬虫Scrapy存入数据库(转载)scrapy三步曲scrapy的简介、安装与实例(python抓取的爬虫框架)(原文地址:)实例，官方有个实例教程，算是比较简单了，然后后面有更详细的一项项解释，不过老实讲我还真是看不太懂，很多地方没有给出实例，所以我在网上找了一大堆资料后，弄了一个实例。现在列出来跟大家分享。1.实例初级目标:从一个网站的列表页抓取文章列表，然后存入数据库中，数据库包括文章标题、链接、时间首先生成一个项目:scrapy startproject fjsen目录结构大致如下:先定义下items,打开items.py: 我们开始建模的项

2、目，我们想抓取的标题，地址和时间的网站，我们定义域为这三个属性。这样做，我们编辑items.py，发现在开放目录目录。我们的项目看起来像这样:# Define here the models for your scraped items# See documentation in:#import Item, Field class FjsenItem(Item):# define the fields for your item here like:# name = Field()title=Field()link=Field()addtime=Field()大家想知道更加详细的话看:第二步:

3、定义一个spider,就是爬行蜘蛛(注意在工程的spiders文件夹下)，他们确定一个初步清单的网址下载，如何跟随链接，以及如何分析这些内容的页面中提取项目(我们要抓取的网站是这列表的所有十页的链接和时间)。 新建一个fjsen_spider.py,内容如下: #-*- coding: utf-8 -*-from scrapy.spider import BaseSpiderfrom scrapy.selector import HtmlXPathSelector from fjsen.itemsimport FjsenItemclass FjsenSpider(BaseSpider):nam

4、e=fjsenallowed_domains=start_urls=+str(x)+.htm for x inrange(2,11)+def parse(self,response):hxs=HtmlXPathSelector(response)sites=hxs.select(/ul/li)items=for site in sites:item=FjsenItem()itemtitle=site.select(a/text().extract()itemlink = site.select(a/href).extract()itemaddtime=site.select(span/text

5、().extract()items.append(item)return items name:是确定蜘蛛的名称。它必须是独特的，就是说，你不能设置相同的名称不同的蜘蛛。allowed_domains:这个很明显，就是允许的域名，或者说爬虫所允许抓取的范围仅限这个列表里面的域名。 start_urls:是一个网址列表，蜘蛛会开始爬。所以，第一页将被列在这里下载。随后的网址将生成先后从数据中包含的起始网址。我这里直接是列出十个列表页。 parse():是蜘蛛的一个方法，当每一个开始下载的url返回的Response对象都会执行该函数。 这里面，我抓取每一个列表页中的下的下的数据，包括title,

6、链接，还有时间，并插入到一个列表中.第三步，将抓取到的数据存入数据库中，这里就得在pipelines.py这个文件里面修改了 # Define your item pipelines here# Dont forget to add your pipeline to the ITEM_PIPELINESsetting# See:import sqlite3from os import pathfrom scrapy import signalsfrom scrapy.xlib.pydispatch import dispatcherclass FjsenPipeline(object):def

7、 _init_(self):self.conn=Nonedispatcher.connect(self.initialize,signals.engine_started)dispatcher.connect(self.finalize,signals.engine_stopped)def process_item(self,item,spider):self.conn.execute(insert into fjsenvalues(?,?,?,?),(None,itemtitle0,+itemlink0,itemaddtime0)return item def initialize(self

8、):if path.exists(self.filename):self.conn=sqlite3.connect(self.filename)else:self.conn=self.create_table(self.filename)def finalize(self):if self.conn is not None:mit()self.conn.close()self.conn=Nonedef create_table(self,filename):conn=sqlite3.connect(filename)conn.execute(create table fjsen(id integer primary keyautoincrement,title text,link text,addtime text)mit()return conn这里我暂时不解释，先继续，让这个蜘蛛跑起来再说。 第四步:修改setting.py