Python获取网页指定内容bs4模块_第1页
Python获取网页指定内容bs4模块_第2页
Python获取网页指定内容bs4模块_第3页
Python获取网页指定内容bs4模块_第4页
Python获取网页指定内容bs4模块_第5页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Python获取网页指定内容bs4模块

Python用做数据处理还是相当不错的，如果你想要做爬虫，Python是很好的选择，它有很多已经写

好的类包，只要调用，即可完成很多复杂的功能

在我们开始之前，我们需要安装一些环境依赖包，打开命令行

确保电脑中具有python和pip,如果没有的话则需要自行进行安装

之后我们可使用pip安装必备模块requests

pipinstallrequests

requests是python实现的简单易用的HTTP库，使用起来比urllib箍洁很多，requests允许你发送

HTTP/1.1请求。指定URL并添加杳询url字符串即可开始爬取网页信息

1.抓取网页源代码

以该平台为例，抓取网页中的公司名称数据，网页链

^:https7/www.crrcgo.cc/admin/crr_supplier.html?page=1

目标网页源代码如下：

首先明确步骤

1.打开目标站点

2.抓取目标站点代码并输出

importrequests

导入我们需要的requests功能模块

page=requests.get('https://www.crrcgo.cc/admin/crr_supplier.html?page=l')

这句命令的意思就是使用get方式获取该网页的数据。实际上我们获取到的就是浏览器打开百度网址

时候首页画面的数据信息

print(page.text)

这句是把我们获取数据的文字(text)内容输出(print)出来

importrequests

page=requests.get('https://www.crrcgo.ee/admin/crr_supplier.html2pageH)

print(page.text)

成功爬取到了目标网页源代码

2.抓取一个网页源代码中的某标签内容

但是上面抓取到的代码充满尖括弓•的一片字符，对我们没有什么作用，这样的充满尖括号的数据就是

我们从服务器收到的网页文件，就像Office的doc,pptx文件格式一样，网页文件一般是html格式。

我们的浏览器可以把这些html代码数据展示成我们看到的网页。

我们如果需要这些字符里面提取有价值的数据，就必须先了解标记元素

每个标记的文字内容都是夹在两个尖括号中间的，结尾尖括号用/开头，尖括号内（img和div）表示

标记元素的类型（图片或文字），尖括号内可以有其他的属性（比如src）

开始标记

__人__

标记属性标记内容结尾标记

<divid='biaoti'dass='dazi、十分钟上手数据爬虫</div>

id属性class属性

标记名

CSDN@liver100cay

标记内容文字才是我们需要的数据，但我们要利用id或class属性才能从众多标记中找到需要的标记

元素。

我们可以在电脑浏览器中打开任意网页，按卜.”2键即可打开元素查看器（Elements）,就可以看到

组成这个页面的成百上千个各种各样的标记元素

标记元素是可以一层一层嵌套的，比如下面就是body嵌套了div元素，body是父层、上层元素：div

是子层、下层元素。

<body>

<div>十分钟上「数据爬虫</div>

</body>

回到抓取上面来，现在我只想在网页中抓取公司名这个数据，其他的我不想要

查看网页html代码，发现公司名在标签detail_head里面

▼<aiv[0="14〉

▼〈divcldssk-detail_headM^

<P>浙江金宇机械电器股份有限公司</P>-的

><sp8n>_〈/span)

importrequests

req-requests.get('https://www.crrcgo.cc/admin/crr_supplier.htnl?page=l')

这两行上面解料过了，是获取页面数据

frombs4importBeautifulSoup

我们需要使用BeautifulSoup这个功能模块来把充满尖括号的html数据变为更好用的格式，frombs4

importBeautifulSoup这个是说从bs4这个功能模块中导入BeautifulSoup,是的，因为bs4中包含

了多个模块，BeauHfulSoup只是其中一个

req.encoding=Mutf-8"

指定获取的网页内容用utf-8编码

soup=BeautifulSoup(html.text,'html.parser')

这句代码用html解析器(parser)来分析我们requests得到的html文孑内容，soup就是我们解析出来

的结果。

company_item=soup.find_all('div',class_="detail_head")

find是查找，find_all杏找全部。荏找标记名是div并Jiclass属性是detail_head的全部元素

dd=company_item.text.strip()

strip()方法用于移除字符串头尾指定的字符(钛认为空格或换行符)或字符序列。在这里就是移除多

余的尖括号的html数据

最后拼接之后代码如下：

importrequests

frombs4importBeautifulSoup

req=requests.get(url=Mhttps://www.crrcgo.cc/admin/crr_supplier.html?page=l")

req.encoding="utf-8"

html-req.text

soup=BeautifulSoup(req.text,features="html.parser")

companyitem=soup.find("div",class_="detail_head")

dd-company_item.text.strip()

print(dd)

最后执行结果成功的抓取到了网页中我们想要的公司信息，但是却只抓取到了••个公司，其余的则并

未抓取到

所以我们需要加入一个循环，抓取网页中所有公司名，并没多大改变

•Forcompany_itemincompany_items:

dd=company_item.text.strip()

print(dd)

最终代码如下：

importrequests

frombs4importBeautifulSoup

req=requests.get(url="https://www.crrcgo.cc/admin/crr_supplier.html?page=l")

req.encoding="utf-8"

html=req.text

soup=BeautifulSoup(req.text,features="html.parser")

company_items=soup.find_all("div",class_="detail_head")

forcompany_itemincompany_items:

dd=company_item.text.strip()

print(dd)

最终运行结果查询出了该网页中所有的公司名

3.抓取多个网页子标签的内容

那我现在想要抓取多个网页中的公司名呢？很简单，大体代码都已经写出，我们只需要再次加入一个

循环即可

查看我们需要进行抓取的网页，发现当网页变化时，就只有page后面的数字会发生变化。当然很多

大的厂商的网页，例如京东、淘宝它们的网页变化时常让人摸不着头脑，很难猜测。

ficrrcgo.cc/admin/crr_supplier.html?page^F]

翻译0上网登录页■TM■资料文案・学习■在线把场・娱乐・真实法适■

中车购।登录客服电话：400-099-6220

1车购

供应商产品/服务推荐榜

应链电商协同平台CSDN@liver100day

Acircgo.cc/admin/crr_supplier.html?page^J

至&上网登录页■TM■资料文案・学习■在线杷场・娱乐・真实

购！登录客服电话：400-099-6220

E

购供应商产品/服务推荐榜

生电商协同平台

CSDN@liver100day

inurl«Mhttps://www.crrcgo.cc/admin/crr_supplier.html?page»"

fornuminrange(l,6):

print("...”“正在爬虫第”+str(nijm)+”页数据”)

写入循环，我们只抓取1到5页的内容，这里的循环我们使用range函数来实现，range函数左闭右

开的特性使得我们要抓取到5页必须指定6

outurl=inurl+str(num)

req=requests,get(url^uTurl)

将循环值与url拼接成完整的url,并获取页面数据

完整代码如下：

importrequests

frombs4importBeautifulSoup

inurl="https://www.crrcgo.cc/admin/crr_supplier.html?page="

fornuminrange(l,6):

print("================正在爬虫第"+str(num)+”页数据=================")

outurl=inurl+str(num)

req=requests,get(url=ou-：url)

req.encoding="ut

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论