《Python编程基础》课件-7.3爬虫基础

爬虫基础教学目标1.了解什么是爬虫

2.掌握使用requests库

3.掌握使用BeautifulSoup

Python爬虫（WebCrawler）是一种自动化程序，用于从网站提取数据，通过模拟浏览器请求网页、解析HTML并保存信息。核心概念：爬虫模拟HTTP请求提取数据；重要性在于自动化采集；依赖库如requests/BS4；伦理考虑合规性。1、什么是Python爬虫及其重要性

#导入requests库（需pipinstallrequests）importrequests#用于发送HTTP请求#简单GET请求示例response=requests.get('')#发送GET请求获取网页print(response.status_code)#输出200，表示成功print(response.text[:100])#输出前100字符的HTML内容#爬虫概念：检查响应（完整实现见后续页）ifresponse.ok:#检查是否成功#解析内容...else:print("Requestfailed")#处理错误用requests库发送HTTP请求是爬虫的核心，通过get/post方法获取网页响应，支持参数、headers和cookies自定义。核心概念:requests简化HTTP交互；get()获取数据；headers伪装请求；响应对象提供内容/状态。2.使用requests库发送HTTP请求importrequests#导入库#发送GET请求url='/get'#测试URLparams={'key':'value'}#查询参数headers={'User-Agent':'Mozilla/5.0'}#伪装浏览器response=requests.get(url,params=params,headers=headers)#发送请求#处理响应ifresponse.status_code==200:#检查成功print(response.json())#输出JSON响应else:print(f"Error:{response.status_code}")#输出错误码核心概念:爬虫结合请求和解析；提取使用CSS选择器；简单示例突出端到端流程。3.简单爬虫代码示例importrequests#请求库frombs4importBeautifulSoup#解析库（需pipinstallbeautifulsoup4）url=''#目标URLtry:response=requests.get(url)#发送请求response.raise_for_status()#检查错误soup=BeautifulSoup(response.text,'html.parser')#解析HTMLtitle=soup.find('title').text#提取标题print(f"PageTitle:{title}")#输出标题exceptrequests.RequestExceptionase:#处理请求异常print(f"Error:{e}")#输出错误使用BeautifulSoup解析HTML通过创建Soup对象、find/find_all方法提取元素，支持CSS选择器和属性过滤。这允许处理复杂网页结构，如导航标签树或提取特定类核心概念：BeautifulSoup构建DOM树；find()返回匹配元素；select()用CSS；解析后提取text/attrs。4.使用BeautifulSoup解析HTMLfrombs4importBeautifulSoup#导入库importrequests#请求response=requests.get('')#获取页面soup=BeautifulSoup(response.text,'html.parser')#创建Soup，指定解析器#查找元素headings=soup.find_all('h1')#所有h1标签forhinheadings:#遍历print(h.text)#输出文本#CSS选择器links=soup.select('a[href]')#所有带href的a标签print(links[0]['href'])#输出第一个链接爬虫用于数据分析、价格监控或内容聚合。核心概念:实际应用聚焦数据采集；与数据库结合存储；场景如监控/分析5.爬虫在实际场景中的应用importrequestsfrombs4importBeautifulSoupurl=''#名言网站response=requests.get(url)#请求soup=BeautifulSoup(response.text,'html.parser')#解析quotes=soup.find_all('span',class_='text')#提取名言forqinquotes[:3]:#前3个print(q.text)#输出GET请求获取资源，使用params传递查询参数。在Python中，requests.get支持timeout防止挂起。用于搜索或API调用。核心概念:GETidempotent，不修改服务器6.发送GET请求importrequests#导入params={'key':'value'}#参数字典r=requests.get("",params=params,timeout=5)#发送GET，超时5秒print(r.url)#输出:?key=valuePOST提交数据，使用data或json。在Python中，requests.post用于表单或API推送。核心概念:POST修改服务器状态7.发送POST请求importrequests#导入data={'user':'test'}#数据r=requests.post("/login",json=data)#发送POST，JSON格式print(r.json())#输出响应JSON小结1.Python爬虫是自动化程序，用于从网站提取数据，模拟浏览器请求和解析HTML。2.requests库简化HTT