实验16-网络爬虫实验

网络爬虫【实验名称】网络爬虫【实验目的】用相关的python工具包来实现网络爬虫【实验要求】学习urllib学习BeautifulSoup爬取豆瓣top250数据处理【知识准备】python的开发环境Python的根底知识【实验背景描述】互联网包含了迄今为止最有用的数据集,并且大局部可以免费公开访问。但是,这些数据难以复用。它们被嵌入在网站的结构和样式当中,需要抽取出来才能使用。从网页中抽取数据的过程又被称为网络爬虫。随着越来越多的信息被发布到网络上,网络爬虫也变得越来越有用。所以,本实验主要是实践怎样网络爬虫,用到urllib包,beautifulSoap包等工具来实现从某个网页获取有用的信息.【实验设备】Windows或Linux或MacOS的操作系统的计算机。本实验提供win7系统。【实验成员】本实验按个人完成.【实验配置参数】Windows系统,有python环境Python版本为3.7【实验步骤】学习urlliburllib是python自带的库，可以用来抓取简单的静态页面。urllib根本根本方法有:urllib.request.urlopen(url,data=None,【timeout,】*,cafile=None,capath=None,cadefault=False,context=None)*url:需要翻开的网址*data：Post提交的数据*timeout：设置网站的访问超时时间直接用urllib.request模块的urlopen〔〕获取页面，page_的数据格式为bytes类型，需要decode〔〕解码，转换成str类型。可以看到加了decode方法后,在输出那局部没有了b前缀了.表示输出为str类型了.urlopen返回对象提供方法：*read(),readline(),readlines(),fileno(),close()：对Response类型数据进行操作*info()：返回Message对象，表示远程效劳器返回的头信息*getcode()：返回状态码。如果是请求，200请求成功完成;404网址未找到*geturl()：返回请求的urlurlopen〔〕的data参数默认为None，当data参数不为空的时候，urlopen〔〕提交方式为Post。学习BeautifulSoupBeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化，之后便可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单.BeautifulSoup默认支持Python的标准HTML解析库，但是它也支持一些第三方的解析库.下面列举一些解析库:解析器使用方法优势劣势Python标准库BeautifulSoup(html,’html.parser’)Python内置标准库；执行速度快容错能力较差lxmlHTML解析库BeautifulSoup(html,’lxml’)速度快；容错能力强需要安装，需要C语言库lxmlXML解析库BeautifulSoup(html,【‘lxml’,’xml’】)速度快；容错能力强；支持XML格式需要C语言库htm5lib解析库BeautifulSoup(html,’htm5llib’)以浏览器方式解析，最好的容错性速度慢本次实验用第一种解析器.展示怎样获取标签名称用到上面的getHtml()函数来获取页面内容,并将之作为参数传入到BeautifulSoup函数中,并设置用’html.parser’解析器.返回的是一个BeautifulSoup类型的对象,如果用print函数来打印soup的内容,就会将页面的详细代码信息都打印出来.可以看到上面例子中还展示了获取页面标签名称的例子.相对于find函数,还有一个find_all()函数.是获取相对应资源的集合.下面展示怎样用标签属性:获取的标签属性类型是一个字典,可以用字典的常规方法来获取到属性值.如果想要通过过滤来获取信息,如想获取如下页面的信息,可以用’id=...’或’class_=...’来过滤.获取’main-content’内的信息:好啦,BeautifulSoap包的根本功能练到这.如果想更深入学习其api,可以参考〞拓展1〞爬取豆瓣top250好啦,有urllib和BeautifulSoap的铺垫,爬取豆瓣top250电影的信息就非常简单了.