《Python编程基础》课件-项目7：网络爬虫

爬虫基础教学目标1.了解什么是爬虫

2.掌握使用requests库

3.掌握使用BeautifulSoup

Python爬虫（WebCrawler）是一种自动化程序，用于从网站提取数据，通过模拟浏览器请求网页、解析HTML并保存信息。核心概念：爬虫模拟HTTP请求提取数据；重要性在于自动化采集；依赖库如requests/BS4；伦理考虑合规性。1、什么是Python爬虫及其重要性

#导入requests库（需pipinstallrequests）importrequests#用于发送HTTP请求#简单GET请求示例response=requests.get('')#发送GET请求获取网页print(response.status_code)#输出200，表示成功print(response.text[:100])#输出前100字符的HTML内容#爬虫概念：检查响应（完整实现见后续页）ifresponse.ok:#检查是否成功#解析内容...else:print("Requestfailed")#处理错误用requests库发送HTTP请求是爬虫的核心，通过get/post方法获取网页响应，支持参数、headers和cookies自定义。核心概念:requests简化HTTP交互；get()获取数据；headers伪装请求；响应对象提供内容/状态。2.使用requests库发送HTTP请求importrequests#导入库#发送GET请求url='/get'#测试URLparams={'key':'value'}#查询参数headers={'User-Agent':'Mozilla/5.0'}#伪装浏览器response=requests.get(url,params=params,headers=headers)#发送请求#处理响应ifresponse.status_code==200:#检查成功print(response.json())#输出JSON响应else:print(f"Error:{response.status_code}")#输出错误码核心概念:爬虫结合请求和解析；提取使用CSS选择器；简单示例突出端到端流程。3.简单爬虫代码示例importrequests#请求库frombs4importBeautifulSoup#解析库（需pipinstallbeautifulsoup4）url=''#目标URLtry:response=requests.get(url)#发送请求response.raise_for_status()#检查错误soup=BeautifulSoup(response.text,'html.parser')#解析HTMLtitle=soup.find('title').text#提取标题print(f"PageTitle:{title}")#输出标题exceptrequests.RequestExceptionase:#处理请求异常print(f"Error:{e}")#输出错误使用BeautifulSoup解析HTML通过创建Soup对象、find/find_all方法提取元素，支持CSS选择器和属性过滤。这允许处理复杂网页结构，如导航标签树或提取特定类核心概念：BeautifulSoup构建DOM树；find()返回匹配元素；select()用CSS；解析后提取text/attrs。4.使用BeautifulSoup解析HTMLfrombs4importBeautifulSoup#导入库importrequests#请求response=requests.get('')#获取页面soup=BeautifulSoup(response.text,'html.parser')#创建Soup，指定解析器#查找元素headings=soup.find_all('h1')#所有h1标签forhinheadings:#遍历print(h.text)#输出文本#CSS选择器links=soup.select('a[href]')#所有带href的a标签print(links[0]['href'])#输出第一个链接爬虫用于数据分析、价格监控或内容聚合。核心概念:实际应用聚焦数据采集；与数据库结合存储；场景如监控/分析5.爬虫在实际场景中的应用importrequestsfrombs4importBeautifulSoupurl=''#名言网站response=requests.get(url)#请求soup=BeautifulSoup(response.text,'html.parser')#解析quotes=soup.find_all('span',class_='text')#提取名言forqinquotes[:3]:#前3个print(q.text)#输出GET请求获取资源，使用params传递查询参数。在Python中，requests.get支持timeout防止挂起。用于搜索或API调用。核心概念:GETidempotent，不修改服务器6.发送GET请求importrequests#导入params={'key':'value'}#参数字典r=requests.get("",params=params,timeout=5)#发送GET，超时5秒print(r.url)#输出:?key=valuePOST提交数据，使用data或json。在Python中，requests.post用于表单或API推送。核心概念:POST修改服务器状态7.发送POST请求importrequests#导入data={'user':'test'}#数据r=requests.post("/login",json=data)#发送POST，JSON格式print(r.json())#输出响应JSON小结1.Python爬虫是自动化程序，用于从网站提取数据，模拟浏览器请求和解析HTML。2.requests库简化HTTP交互，支持GET和POST方法，可自定义参数、headers和cookies。3.BeautifulSoup库用于解析HTML，支持find/find_all方法和CSS选择器，用于提取和处理网页数据。4.爬虫应用于数据分析、价格监控和内容聚合，结合数据库进行数据存储。爬虫进阶教学目标1.了解动态网页处理

2.学习使用Selenium模拟浏览器行为

3.掌握异步爬虫与aiohttp实现

通过模拟浏览器执行JavaScript来爬取由前端框架如React或Vue生成的页面内容，而非静态HTML。核心概念：动态处理模拟JS渲染；重要性在于现代网页兼容；依赖Selenium等工具；平衡性能与准确。1、动态网页处理及其重要性

importrequests#静态请求库#静态爬取示例（可能失败于动态页）response=requests.get('')#发送GETprint(response.text)#输出HTML，但缺JS内容#动态处理概念：使用浏览器模拟（完整见后续页）fromseleniumimportwebdriver#导入Seleniumdriver=webdriver.Chrome()#初始化Chrome驱动driver.get('')#加载页面，执行JSprint(driver.page_source)#输出完整渲染HTMLdriver.quit()#关闭浏览器通过WebDriver接口自动化操作，如点击按钮、填写表单或等待元素出现，支持Chrome/Firefox等浏览器。核心概念:Selenium提供浏览器自动化；find_element_by_*定位；implicit_wait处理异步；模拟行为防反爬。2.使用Selenium模拟浏览器行为fromseleniumimportwebdriver#导入Seleniumfrommon.byimportBy#定位策略options=webdriver.ChromeOptions()#配置选项options.add_argument('--headless')#无UIdriver=webdriver.Chrome(options=options)#模拟行为driver.get('')#导航页面element=driver.find_element(By.ID,'search')#定位ID元素element.send_keys('query')#输入文本element.submit()#提交表单print(driver.title)#输出页面标题driver.quit()#关闭驱动，释放资源核心概念:Selenium结合等待和定位提取动态数据；简单示例突出自动化流程。3.Selenium爬虫简单示例fromseleniumimportwebdriver#驱动frommon.byimportBy#定位fromselenium.webdriver.support.uiimportWebDriverWait#等待fromselenium.webdriver.supportimportexpected_conditionsasEC#条件driver=webdriver.Chrome()#初始化driver.get('')#加载#等待并提取wait=WebDriverWait(driver,10)#10秒超时element=wait.until(EC.presence_of_element_located((By.CLASS_NAME,'title')))#等待标题出现titles=driver.find_elements(By.CLASS_NAME,'title')#所有标题fortitleintitles:#遍历print(title.text)#输出文本driver.quit()#关闭通过asyncio和aiohttp库处理并发请求，提升效率，适合大量URL抓取而非阻塞等待核心概念：aiohttp异步请求；asyncio管理协程；gather并发执行；提升IO-bound性能。4.异步爬虫与aiohttp实现importaiohttp#异步HTTPimportasyncio#异步框架asyncdeffetch(session,url):#异步获取asyncwithsession.get(url)asresponse:#异步请求returnawaitresponse.text()#返回文本asyncdefmain():#主协程asyncwithaiohttp.ClientSession()assession:#创建会话tasks=[fetch(session,'')for_inrange(5)]#创建任务results=awaitasyncio.gather(*tasks)#并发执行print(results[0][:100])#输出第一个结果片段asyncio.run(main())#运行主协程分布式爬取、机器学习数据采集或实时监控，如从股票网站抓取行情建模型；在电商平台监控价格波动生成报告。核心概念:实际应用聚焦大规模/实时；与ML/监控结合；框架如Scrapy增强5.进阶爬虫在实际场景中的应用importaiohttpimportasyncioasyncdefmonitor_price(session,url):#监控函数asyncwithsession.get(url)asresp:#请求#假设解析价格returnawaitresp.text()#返回asyncdefapp():#应用asyncwithaiohttp.ClientSession()assession:#会话prices=awa