版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Python程序设计9-网络数据获取本章内容9.1概述9.2Python网络数据获取库介绍9.3使用BeautifulSoup解析网页内容9.4网页下载案例(网页爬取小说内容)9.5本章小结9.6本章习题1/349.1概述:网络数据获取的意义与应用2/34网络数据获取(WebScraping)是指通过程序自动从网页中提取并收集所需数据的技术。随着互联网的普及,大量有价值的信息以网页形式存储,通过网络数据获取技术可为分析、研究和决策提供支持。网络数据获取的应用领域市场研究与竞争分析:抓取竞争对手的产品信息、价格变动、用户评价等,帮助制定市场策略。新闻与舆情分析:抓取新闻网站、论坛、社交媒体上的文章和评论,进行舆情监测与情感分析。金融数据采集:抓取股票、基金、期货等市场数据,进行投资分析与预测。学术研究:从学术论文数据库、科研项目网站中抓取研究成果,进行文献分析。电商分析:从电商平台抓取产品详情、评论、价格趋势等数据,帮助做出购物决策。9.1.2常见的网络数据获取方式3/34手动数据获取:用户通过浏览器手动访问网页,复制数据并粘贴到本地文件中。费时低效,仅适合小规模数据抓取。应用程序编程接口(API):许多网站提供API接口,允许开发者直接访问其数据,通常返回结构化的JSON或XML格式。如Facebook、GitHub等平台均提供开放API。网页爬虫:通过编程方式模拟用户访问网页,获取HTML源代码并从中提取有用信息。适合抓取公开网页内容,尤其在没有开放API的情况下,可自动抓取大量网页。RSS订阅:RSS(ReallySimpleSyndication)是一种基于XML的内容分发方式,可获取新闻、博客等网站更新信息,对特定类型网站仍是一种有效工具。9.1.3HTTP协议基础4/34HTTP(超文本传输协议)是互联网上的基础通信协议,定义了客户端(浏览器或爬虫)和服务器之间的请求和响应格式。HTTP请求的组成请求行:HTTP方法(GET/POST/PUT等)、URL、协议版本。请求头:浏览器类型(user-agent)、语言、授权信息等。请求体:主要用于POST请求,如表单数据或JSON数据。HTTP响应的组成状态行:状态码(200成功、404找不到页面等)。响应头:服务器信息、缓存设置等。响应体:实际的网页内容(HTML、JSON等)。理解这些基本概念后,使用Python中的requests库,能够轻松地模拟HTTP的请求与响应,获取网页内容。9.1.4数据获取与数据分析的关系5/34数据获取通常是数据分析的第一步,获取到的数据质量和结构直接影响后续分析的效率和结果。数据获取的关键任务数据收集:从网页、API接口等不同渠道收集数据。数据清洗:处理缺失值、重复数据或错误格式。数据存储:存储到CSV、JSON或数据库(MySQL、MongoDB)。数据分析与可视化:统计分析、机器学习并可视化。数据质量对分析的影响数据准确性:确保抓取的数据是最新的、准确的。数据完整性:避免遗漏重要信息。数据格式:根据分析需求进行格式化,方便后续处理。9.2.1requests库概述与安装6/34requests是Python第三方库,比内置urllib更简洁人性化,需使用pip安装:requests库的主要特点简洁易用:API设计非常简洁,几乎所有操作都可以通过几行简单的代码完成。支持多种HTTP请求方式:如GET、POST、PUT、DELETE等。强大的会话管理:可轻松管理HTTP会话中的Cookie、请求头等信息。自动处理:自动处理HTTP重定向、压缩数据等。功能丰富:支持文件上传、JSON数据处理、表单提交等。安装命令pipinstallrequests9.2.1requests常用方法7/34使用前先引入库:importrequests。requests支持多种HTTP请求方法:请求方法requests.get(url):发送GET请求,最常用的方法,返回response对象。requests.post(url,data=payload):发送POST请求,payload存放表单参数。requests.put(url,data=payload):发送PUT请求,payload存放表单参数。requests.delete(url):发送DELETE请求。response响应对象的常用属性response.status_code:状态码(200成功、404失败、500服务器错误)。response.text:响应内容的字符串形式(页面内容)。response.content:响应内容的二进制形式。response.encoding/response.json()/response.headers/response.cookies9.2.1请求参数与使用注意事项8/34请求方法可使用以下常用请求参数:params:GET请求的查询参数。data:POST请求的表单数据。json:POST请求的JSON数据。headers:请求头。cookies:请求的cookie。timeout:超时时间(秒)。verify:是否验证SSL证书(布尔值)。使用注意事项避免频繁请求:向同一网站发送大量请求可能导致IP被封禁。异常处理:网络请求可能失败,建议使用try-except捕获异常。9.2.1例9.1GET请求|例9.2带参数GET请求9/34例9.1GET请求示例(url参数值请换成实际网址)例9.2带参数GET请求示例(url参数值请换成实际网址)9.2.1例9.3POST请求|例9.4带JSON的POST请求10/34例9.3POST请求示例(url参数值请换成实际网址)例9.4带JSON的POST请求示例(url参数值请换成实际网址)9.2.1例9.5设置请求头|例9.6处理响应11/34例9.5设置请求头示例例9.6处理响应示例9.2.1例9.7设置超时|例9.8处理异常12/34例9.7设置超时示例例9.8处理异常示例9.2.2使用requests获取百度主页内容13/34用requests库获取百度主页的内容,返回response对象,可查看其类型、状态码和响应头信息:9.2.2查看网页文本内容与编码问题14/34直接使用res.text获取内容时,中文会显示为乱码,原因是字符编码不匹配。百度主页使用UTF-8编码,而requests默认使用ISO-8859-1(Latin-1)。①直接获取文本(中文乱码)②查看编码方式解析:res.encoding为requests默认解析编码(ISO-8859-1);res.apparent_encoding从内容分析得出实际编码(utf-8)。二者不一致时即出现乱码。apparent_encoding从响应内容中分析出编码方式。9.2.2修复编码问题|res.content二进制内容15/34①修正编码后查看文本②res.content二进制内容解决方案:将res.apparent_encoding赋值给res.encoding,即可用正确编码访问response,使中文正常显示。res.content以二进制(bytes)方式返回响应内容;requests可基于HTTP头部信息对编码做出推测,使用正确编码以字节形式返回数据。9.3BeautifulSoup库概述与安装16/34BeautifulSoup是第三方库,需与HTML解析器一起安装:BeautifulSoup的特点简洁易用:提供非常直观的方法来查找和提取HTML中的元素。兼容性强:支持HTML和XML格式,可处理不规范或错误的HTML文档。支持多种解析器:如Python内置的html.parser、lxml等。强大的查找功能:能通过标签、属性、文本等多种方式查找网页中的元素。安装命令pipinstallbeautifulsoup4pipinstalllxml9.3.3BeautifulSoup常用方法:创建对象与查找标签17/34①创建BeautifulSoup对象②find()与find_all()查找标签9.3.3BeautifulSoup查找标签属性、文本与复杂结构18/34①获取标签属性attrs②获取标签文本text③查找特定class标签说明:find()查找第一个符合条件的标签,find_all()查找所有符合条件的标签(返回列表)。使用attrs获取标签属性,text获取标签文本内容。查找特定class的标签时,可使用find_all("div",class_="article")的形式(class为Python保留字,需用class_)。9.3.4解析百度主页:创建对象|查看head与title19/34①创建BeautifulSoup对象②bs.head与bs.title9.3.4解析百度主页:查看所有文本|格式化显示20/34①stripped_strings获取所有文本②prettify()格式化显示9.3.4解析百度主页:find()查找|class查找21/34①find()查找第一个<a>标签②4种写法查找class=cp-feedback说明:class是Python保留字,用class做参数会报语法错误。从BS4.1.2起可用class_参数搜索指定CSS类名的tag。9.3.4解析百度主页:find_all()查找<p>标签22/34①find_all("p")所有<p>标签②find_all("p",id="cp")说明:find_all()查找所有符合条件的节点,返回结果存放在列表中。可通过标签名、id属性、class属性等多种条件查找。每个元素都是BeautifulSoup的Tag对象。9.3.4解析百度主页:find_all()查找<a>标签23/34①find_all("a")所有链接标签②find_all("a","mnav")说明:查找所有class="mnav"的<a>标签,返回导航栏链接(新闻、hao123、地图、视频、贴吧)。9.3.4利用Tag对象获取节点信息24/34Tag(标签)就是HTML里的每一个标签对象。一个Tag自带三类核心信息:标签名字、标签属性、标签内容。find()方法返回的结果是Tag对象,可通过其属性获取节点信息:9.4网页下载案例:网页爬取小说内容25/34案例任务:下载小说《红楼梦》任务描述:在网络上寻找《红楼梦》小说网站,找到小说主页和每个目录对应的url,爬取网页内容并保存到本地文件中。第1步找到小说目录网址:在百度搜索"红楼梦小说",选用"古典小说网"红楼梦主页,本例选择的网址为/mingqing/4/第2步分析目录网页结构:右键"查看页面源代码",每章链接存放在<a>标签中,目录部分标识为<divid="content">第3步解析章节页:点击章节链接,章节内容在<divid="content">下,每段在<p>标签里第4步合并完善代码:下载每一章,解析内容并存储到本地文件hongloumeng.txt9.4定义网络请求函数getHTMLreq(url)26/34封装网络请求函数,设置请求头(user-agent等),加入异常处理与重试机制(最多3次):9.4分析目录网页结构并解析目录27/34获取目录网页,解析出目录部分。通过<divid="content">定位目录,find_all("a")获取所有章节链接:9.4解析章节页内容28/34下载章节网页,通过<divid="content">定位章节内容,find_all("p")获取每一段落:9.4合并完善代码:完整下载小说29/34合并上述代码,下载每一章并解析存储到文件hongloumeng.txt中:9.4下载小说等文本的注意事项30/34注意事项观察目录项标签的特点:获取目录,根据标签结构提取章节链接。观察章节内容的标签特点:网页下载要根据不同情况具体分析,根据标签、属性等信息,运用合理方法提取需要的内容。动态生成网页:若看到的网页内容和下载的不一致,或网页结构过于
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 高中信息技术必修2计算机系统组成教学设计
- 小学英语四年级下册Unit 2 What classes do you have this morning教学设计
- 初中语文七年级下册期末复习基础知识背诵手册教学设计
- 初中七年级人文地理《富庶的四川盆地》创新教学设计
- 高中二年级英语选择性必修第一册UNIT 2 Success单元检测讲评教学设计
- 初中英语六年级上册Unit 2 We're Family!单元同步写作教学设计
- 会计师事务所管理制度(2篇)
- 消防器材库房的管理制度
- 妇产科质控中心总结报告
- 无废城市+脑机接口:残障人士参与垃圾分类的辅助技术展望
- 2026年济南铁路局人员招聘考试模拟试题及答案
- 浙江杭州市2026学年第一学期高三年级教学质量检测(杭州一模)英语+答案
- 2026天津市教师职称考试(道德与法治)历年参考题库含答案详解
- 2026年秋招:中国三峡笔试题及答案
- 2.5 热传导 课件(内嵌视频)2026-2027学年科学五年级上册苏教版
- 胃肠镜检查技术与并发症处理
- 高三语文教学设计:高考作文审题立意与结构构建深度训练
- 交通仿真实验教程(第3版)课件全套 康学建 第1-10章 交通仿真基本理论与VISSIM-交通仿真应用案例
- 登封市君鑫煤业有限责任公司矿产资源开采与生态修复方案
- GB/T 28039-2011中国人名汉语拼音字母拼写规则
- GA/T 1681-2019法庭科学凹窝牙花钥匙增配痕迹检验技术规范
评论
0/150
提交评论