利用python实现查看溧阳的摄影圈

第利用python实现查看溧阳的摄影圈目录目标站点分析溧阳摄影圈图片采集代码前言：

本篇博客继续学习BeautifulSoup，目标站点选取溧阳摄影圈，这一地方论坛。

目标站点分析

本次要采集的目标站点分页规则如下：

/thread-htm-fid-45{页码}.html

代码采用多线程threading模块+requests模块+BeautifulSoup模块编写。

采取规则依据列表页详情页：

溧阳摄影圈图片采集代码

本案例属于实操案例，先展示完整代码，然后基于注释与重点函数进行说明。

主要实现步骤如下所示：

设置日志输出级别声明一个LiYang类，其继承自threading.Thread实例化多线程对象每个线程都去获取全局资源调用html解析函数获取板块主题分割区域，主要为防止获取置顶的主题使用lxml进行解析解析出标题与数据解析图片地址保存图片

importrandom

importthreading

importlogging

frombs4importBeautifulSoup

importrequests

importlxml

logging.basicConfig(level=logging.NOTSET)#设置日志输出级别

#声明一个LiYang类，其继承自threading.Thread

classLiYangThread(threading.Thread):

def__init__(self):

threading.Thread.__init__(self)#实例化多线程对象

self._headers=self._get_headers()#随机获取ua

self._timeout=5#设置超时时间

#每个线程都去获取全局资源

defrun(self):

#whileTrue:#此处为多线程开启位置

try:

res=requests.get(url="/thread-htm-fid-451.html",headers=self._headers,

timeout=self._timeout)#测试获取第一页数据

exceptExceptionase:

logging.error(e)

ifresisnotNone:

html_text=res.text

self._format_html(html_text)#调用html解析函数

def_format_html(self,html):

#使用lxml进行解析

soup=BeautifulSoup(html,'lxml')

#获取板块主题分割区域，主要为防止获取置顶的主题

part_tr=soup.find(attrs={'class':'bbs_tr4'})

ifpart_trisnotNone:

items=part_tr.find_all_next(attrs={"name":"readlink"})#获取详情页地址

else:

items=soup.find_all(attrs={"name":"readlink"})

#解析出标题与数据

data=[(item.text,f'/{item["href"]}')foriteminitems]

#进入标题内页

forname,urlindata:

self._get_imgs(name,url)

def_get_imgs(self,name,url):

"""解析图片地址"""

try:

res=requests.get(url=url,headers=self._headers,timeout=self._timeout)

exceptExceptionase:

logging.error(e)

#图片提取逻辑

ifresisnotNone:

soup=BeautifulSoup(res.text,'lxml')

origin_div1=soup.find(attrs={'class':'tpc_content'})

origin_div2=soup.find(attrs={'class':'imgList'})

content=origin_div2iforigin_div2elseorigin_div1

ifcontentisnotNone:

imgs=content.find_all('img')

#print([img.get("src")forimginimgs])

self._save_img(name,imgs)#保存图片

def_save_img(self,name,imgs):

"""保存图片"""

forimginimgs:

url=img.get("src")

ifurl.find('http')0:

continue

#寻找父标签中的id属性

id_=img.find_parent('span').get("id")

try:

res=requests.get(url=url,headers=self._headers,timeout=self._timeout)

exceptExceptionase:

logging.error(e)

ifresisnotNone:

name=name.replace("/","_")

withopen(f'./imgs/{name}_{id_}.jpg',"wb+")asf:#注意在python运行时目录提前创建imgs文件夹

f.write(res.content)

def_get_headers(self):

uas=[

"Mozilla/5.0(compatible;Baiduspider/2.0;+/search/spider.html)",

ua=random.choice(uas)

headers={

"user-agent":ua

returnheaders

if__name__=='__main__':

my_thread=LiYangThread()

my_thread.run()

本次案例采用中，BeautifulSoup模块采用lxml解析器对HTML数据进行解析，后续多采用此解析器，在使用前注意先导入lxml模块。

数据提取部分采用soup.find()与soup.find_all()两个函数