人工智能及大数据学习python爬虫介绍

1、爬虫介一爬二爬虫架 调度器：相当于一台电脑的CPUURLURL管理器：URL地址和已爬取的URLURL 器：通过传入一个URL载器有方包爬虫介一爬二爬虫架 调度器：相当于一台电脑的CPUURLURL管理器：URL地址和已爬取的URLURL 器：通过传入一个URL载器有方包 自带的html.parser xml parser beautifulsoup lxml DOM 三、urllib2 网页的三种方#-*-coding:UTF-8-*- libimport 2url=response1=urllib2.urlopen(url)三、urllib2 网页的三种方#-*-coding:UTF-8-

2、*- libimport 2url=response1=urllib2.urlopen(url) 的长度 pr第二种方法request=urllib2.Re) 浏览器进行爬虫 zilla/5.0)response2=urllib2.urlopen(request) response2.getcode 第三种方法 () ieJar()#加入urllib2处的能力opener= =urllib2.urlopen(url) pr len(response3.re ad()BeautifulSoup 的安四、Beautiful xml HTML eautiful cmd（命令提示符），（2.7 版本）

3、安装目录中的 scripts dir pip.exe, pip 五、使用Beautiful文#!/usr/bin/ #BeautifulSoup 的安四、Beautiful xml HTML eautiful cmd（命令提示符），（2.7 版本）安装目录中的 scripts dir pip.exe, pip 五、使用Beautiful文#!/usr/bin/ #-*-coding:UTF-8-*-importrefrombs4import tifulSouphtml_doc=TheDormouses TheDormousesstoryOnceuponatimetherewerethreeli

4、ttlesisters;andtheirnam es were Elsie, Lacieandaclass=sister;andtheylivedatthebottomofawell. #创建一个BeautifulSoup对象soup=BeautifulSoup(html_do c,html.parser,from_encoding=utf-8) #获取所有的links = soup.find_ all(a) forlinkinlinks: ,linkhref ,link.get_textURL地址link_nodesoup.find(a,hr/elsie)link_,link_nodehref,li() 正则表达式匹配 link_node = pile(rti)link_,link_nodehr() 获取P段落的文字p_node=soup.find