《Python编程基础》课件-7.4爬虫进阶

爬虫进阶教学目标1.了解动态网页处理

2.学习使用Selenium模拟浏览器行为

3.掌握异步爬虫与aiohttp实现

通过模拟浏览器执行JavaScript来爬取由前端框架如React或Vue生成的页面内容，而非静态HTML。核心概念：动态处理模拟JS渲染；重要性在于现代网页兼容；依赖Selenium等工具；平衡性能与准确。1、动态网页处理及其重要性

importrequests#静态请求库#静态爬取示例（可能失败于动态页）response=requests.get('')#发送GETprint(response.text)#输出HTML，但缺JS内容#动态处理概念：使用浏览器模拟（完整见后续页）fromseleniumimportwebdriver#导入Seleniumdriver=webdriver.Chrome()#初始化Chrome驱动driver.get('')#加载页面，执行JSprint(driver.page_source)#输出完整渲染HTMLdriver.quit()#关闭浏览器通过WebDriver接口自动化操作，如点击按钮、填写表单或等待元素出现，支持Chrome/Firefox等浏览器。核心概念:Selenium提供浏览器自动化；find_element_by_*定位；implicit_wait处理异步；模拟行为防反爬。2.使用Selenium模拟浏览器行为fromseleniumimportwebdriver#导入Seleniumfrommon.byimportBy#定位策略options=webdriver.ChromeOptions()#配置选项options.add_argument('--headless')#无UIdriver=webdriver.Chrome(options=options)#模拟行为driver.get('')#导航页面element=driver.find_element(By.ID,'search')#定位ID元素element.send_keys('query')#输入文本element.submit()#提交表单print(driver.title)#输出页面标题driver.quit()#关闭驱动，释放资源核心概念:Selenium结合等待和定位提取动态数据；简单示例突出自动化流程。3.Selenium爬虫简单示例fromseleniumimportwebdriver#驱动frommon.byimportBy#定位fromselenium.webdriver.support.uiimportWebDriverWait#等待fromselenium.webdriver.supportimportexpected_conditionsasEC#条件driver=webdriver.Chrome()#初始化driver.get('')#加载#等待并提取wait=WebDriverWait(driver,10)#10秒超时element=wait.until(EC.presence_of_element_located((By.CLASS_NAME,'title')))#等待标题出现titles=driver.find_elements(By.CLASS_NAME,'title')#所有标题fortitleintitles:#遍历print(title.text)#输出文本driver.quit()#关闭通过asyncio和aiohttp库处理并发请求，提升效率，适合大量URL抓取而非阻塞等待核心概念：aiohttp异步请求；asyncio管理协程；gather并发执行；提升IO-bound性能。4.异步爬虫与aiohttp实现importaiohttp#异步HTTPimportasyncio#异步框架asyncdeffetch(session,url):#异步获取asyncwithsession.get(url)asresponse:#异步请求returnawaitresponse.text()#返回文本asyncdefmain():#主协程asyncwithaiohttp.ClientSession()assession:#创建会话tasks=[fetch(session,'')for_inrange(5)]#创建任务results=awaitasyncio.gather(*tasks)#并发执行print(results[0][:100])#输出第一个结果片段asyncio.run(main())#运行主协程分布式爬取、机器学习数据采集或实时监控，如从股票网站抓取行情建模型；在电商平台监控价格波动生成报告。核心概念:实际应用聚焦大规模/实时；与ML/监控结合；框架如Scrapy增强5.进阶爬虫在实际场景中的应用importaiohttpimportasyncioasyncdefmonitor_price(session,url):#监控函数asyncwithsession.get(url)asresp:#请求#假设解析价格returnawaitresp.text()#返回asyncdefapp():#应用asyncwithaiohttp.ClientSession()assession:#会话prices=awaitasyncio.gather(*(monitor_price(session,'')for_inrange(10)))#多URLprint(prices)#处理价格asyncio.run(app())#运行Session持久连接、cookie。在Python中，requests.Session()。核心概念:Session模拟浏览器会话6.Session维护importrequests#导入s=requests.Session()#创建sessions.get("")#登录r=s.get("")#携带cookie访问代理隐藏IP，避免封禁。在Python中，proxies字典设置。核心概念:代理绕过限制7.代理使用importrequests#导入proxies={'http':':8080'}#代理r=requests.get("",proxies=proxies)#