《数据采集与预处理》教学教案—05使用Scrapy爬取北京公交信息

1、教学提示网络爬虫实践教 案NO. 5教师姓名授课班级授课形式理实一体化授课时间年 月 日第周授课时数4授课章节名称任务3使用Scrapy爬取北京公交信息教学目的学会使用Scrapy爬取北京公交信息°教材分析教学重点使用Scrapy爬取北京公交信息教学难点使用Scrapy爬取北京公交信息更新、补充、删节内容课外作业积极动手实践， 熟练完成相关任务的实施操作教学过程任务三、使用Scrapy收取北京公交信乩1.任务描述(1)借助学习论坛、网络视频等网络资源和各种图书资源，学习网络爬虫 相关技术，熟悉Scrapy的使用。(2)使用Scrapy实现淘宝网站信息的获取。2、任务目标学会使用Scr

2、apy爬取北京公交信息°3、知识准备了解 Scrapy:Scrapy是一个为了爬取网站数据、提取结构性数据而编写的应用框架，可 以应用在包括实现数据挖堀功能、信息处理功能或存储历史数据切能等的一系 列处理程序中。(2)Scrapy的操作流程：1. 选择一个网站2 .创延一个Scrapy项目3 .创建一个spider4 .定义Item5 .编写 spider创戏一个spider,必须继承scrapy.Spider类，且定义以下3个属性：(1) name:用于区分spider。该名称必须是唯一的，不可以为不同的spider 设定相同的名称。(2) start.urls:包含了叩ider在

3、启动时进行爬取的URL列表。因此，第 一个被获取到的页面将是其中之一。后续的 URL则从初始的 URL获取到的 数据中提取。(3) parse(): spider的一个方法。被调用时.每个初始URL完成下载后生 成的Response对象将会作为唯一的参数传递给该函数。该方法负资解析返回的 数据，提取数据(生成Item)以及生成需要进一步处理的 URL的Request对 象。6 .提取 Item(使用机制：Scrapy Selectors)(1)淋用的Xpath表达式以及对应的含义：0/html/head/title:选择HTML文档中head标签内的title元素。/html/head/tit

4、le/text。：选择前面提到的title元素的文字。/td ：选择所有的td元素。/div(§>class=MmineH：选择所有具有 class="mine”属性的 div 元素。(2)selector有以下4个基本的方法：xpath():传入Xpath表达式，返回该表达式所对应的所有节点的selector列表。css():传入CSS表达式，返回该表达式所对应的所有节点的selector列表。 extract():序列化该节点为Unicode字符串并返回list。re():根据传入的正则表达式对数据进行提取，返回Unicode字符串的list7 .存储爬取的数据(

5、使用Feed exports)8 .执行项目4、任务实施(1)在命令行窗口中新戏，一个名为beibus的Scrapy项目C:Usersiac>serai>y startproject beibusNw Scrapy project beibus* , using tsirpl斗b directory ' c： u59rsiracWappdataloca 1 kprograni5pyt.honpyt.hca36 1site-pa'±asesscrapyWtenplitesj>roject '"eated in:C: User33acb

6、eibusYou can start your first spider with: cd beibus scrapy senspider exanple ex-airple. can(2)切换到beibus目录，并使用genspider创建一个spiderbeibus?: Usws kT»cbeibus>scrpy genspider be5 Jxjg boi jins，0684. cnCreated spider ' beibiB* usingbasic in ircdile:beibis. epi ctors- bei.bjs(3)使用PyCharm打开beibu

7、s项目y b«ibus C:U5er5macbffibu57 beibus v I spiders ,%_py+ b«i_bu5.py/ _init_.py.item5.py/ middl'ares.pyA pipelines-pyH settings.py 宗 saapydg > Dill External libraries(4)进入 settings,将 ROBOTSTXT_OBEY 的参数改为 False(5)将DEFAULT_REQUEST_HEADERS方法的注释去掉，并在其中流力口 User-Agent 属性。(6)进入bei_bus.py文件，

8、对start_urls进行修改。(7)新提一h startequests()方法(此方法名 固定)，获得并构延一级网页URL (8)在parse_index()方法中.使用Xpath寻找详细信息页面的URL,并 对网址进彳亍拼接，之后对二级网页发限请求，并返回回调函数parsjdetail。(9)在parse_detail()方法中对详细信息页面进行操作。(10)对 wang_list_tag字段和fan_list_tag字段进彳亍格式化。(II)进入items.py文件，修改其中的class以格式化数据。(12)在beLbus.py文件的parse_detail()方法的末尾添加如下语句，以

9、格式 化数据。bus_item = BeibusItemOfor field in bus_iten. fields: bus_itemlfield = eval(field)yield bus_item(13)在MySQL的studb数据库中创提一个stu businfo表hysql> CREATE TABLE stu_businfo(- > bus_name varchar(1000),- > bus-type varchar (1000),- > bus.tine varchar(1000) - > ticket varchar(1000),- > g

10、ongsi varchar(1000)»- > gengxin varchar(lOOO),- > licheng varchar(1000).- > wang_info varchar(1000),- > wang_buff varchar (1000),- >fan_info varchar(1000),- > fan_buff varchar(1000)- > DEFAULT CHARSET=utf-8:(14)在settings.py文件末尾添加如下参数.DB_HOST = * I oca I host,DB_USER = '

11、stu'DB_PWD = ,stu123,DBCHARSET='UTF8,(15)修改 pipelines.py 文件import pymysqIfrom beibus import settingscI ass MysqIP i peIi ne(object):def _init_(self):self, host = settings. DB_HOSTself.user = settings. DB_USERself, pwd = settings. DB_PWDself, db = settings. DBself, charset = setting. DB. CHAR

12、SETself, connect ()def connect (seIf):self.conn = pymysqI. connect (host=seIf. host, user=self.user, password;self. pwd. db=self. db.charset=self. charset)self, cursor = self. conn.cursor 0(16)添加一个close_spider()方法，用于关闭MySQL数据库。(17)实现 process_item()方法。(18)在settings.py中将ITEM.PIPELINES方法的注释去掉，并将其中的内容改为

13、 “'beibus.pipelines.MysqlPipeline':300"oITEM.PIPELINES =(? beibus. pipelines. MysqlPipeline' ： 300启动爬虫项目：在 PyCharm 软件左下角单击“Terminal”标签，进入命令行界面，在其中 执行 ascrapy crawl bei_bus”命令。J，K»” X，匕OPea y CBXm,Ms J W_UmW T 、“ 3M>, aMPiC*- 一-* *Fm* F*r*1 1080> M，F2 Ubr*W*1 9 B”.一tryvang

14、_3nfo r«R>cr««. aputhl* / r<i«i*"bu«_l if>«- Mdav(4)/dir/Btron«/t«st()* I. axtract.firat II xcaptv«n«. info -径 try r«Mjprrw*. sruthTm»"j <dlv5)/d»v/di*/a</t««t ()' I. i>xtr4Ct O<vc«ptMU3.”5.3 Noiw ->pathi( /(ld«*bu*-l xn* /dlr(6/d»T/Btran</t«xt () > >. xtract.r»r«t (>IC»Dtf«n_>n£o Non« try幺-r«t»cnwe. n»xh(' /(1d-*bu«_l»