《Python程序设计》课件 孙辉 第7-12章 文件和异常处理 -Matplotlib数据可视化_第1页
《Python程序设计》课件 孙辉 第7-12章 文件和异常处理 -Matplotlib数据可视化_第2页
《Python程序设计》课件 孙辉 第7-12章 文件和异常处理 -Matplotlib数据可视化_第3页
《Python程序设计》课件 孙辉 第7-12章 文件和异常处理 -Matplotlib数据可视化_第4页
《Python程序设计》课件 孙辉 第7-12章 文件和异常处理 -Matplotlib数据可视化_第5页
已阅读5页,还剩169页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

Python程序设计第7章文件和异常处理本章内容理解文件文件操作os模块:路径、目录与文件异常处理本章要点理解文件程序中的数据是存储在内存中的,一旦程序运行结束,数据会被清除。希望数据能够被长期保存,或者被多个程序共享,需要保存成文件程序不能直接操作外存中的文件,需要先将外存中的文件加载到内存程序对于文件操作的基本步骤:打开文件(open)操作文件(读/写)关闭文件(close)打开文件

程序操作文件操作前要先打开文件,此时操作系统为程序建立一个与文件之间的连接,并分配相应的系统资源。Python使用内置函数open()打开文件。基本语法:5f=open("文件名","模式")

常见打开文件模式

open()函数成功打开文件后,会返回一个文件对象,程序要通过这个文件对象对文件进行操作。

关闭文件

在完成文件的读取或写入操作后,需要及时关闭文件。关闭文件可以释放操作系统分配的资源,并确保写入的数据能够正确保存到磁盘中。语法:5文件对象.close()如果文件操作完成后没有关闭文件,可能会导致以下问题:系统资源被占用;文件内容没有完全写入磁盘;文件被锁定,其他程序无法访问

推荐使用with语句进行文件操作。

用with读取文件

打开已有的data.txt,读取全部文本。离开with代码块时,文件自动关闭。withopen('data.txt','r',encoding='utf-8')asf:content=f.read()print(content)结果与观察输出取决于data.txt的内容。5文件操作举例|逐行读取与追加写入

read()可读取全部内容;readline()读一行;readlines()返回行列表。逐行遍历适合不必一次读取整个文件的场景。withopen('big_data.txt','r',encoding='utf-8')asf:forlineinf:print(line.strip())

withopen('output.txt','a',encoding='utf-8')asf:f.write('\nnewline')结果与观察第一段逐行显示;第二段在文件末尾追加换行和newline。6二进制文件的读写

复制图片:直接搬运字节,以wb打开目标文件后,write写入原图的字节序列。withopen('image.jpg','rb')asf1:data=f1.read()withopen('copy.jpg','wb')asf2:f2.write(data)结果与观察copy.jpg与原文件的字节内容相同。7文件指针对文件的操作都是从文件对象当前指针所在的位置开始的读写操作会推进文件指针当前位置f.tell()查询当前文件指针的位置f.seek(offset,from_what):将文件指针移动到指定位置。os模块:路径、目录与文件os模块提供了大量作用于操作系统的函数,其中包括许多与文件和目录管理相关的功能路径管理类如获取当前路径,路径拼接,路径拆解等目录操作类创建文件夹,列出当前目录下所有内容等文件操作类删除文件、文件重命名等例:批量给文件夹的照片添加前缀

文件夹中有一堆照片也有其他文件,统一在.jpg格式的照片文件的文件名中添加前缀“2026_北京_”importosfolder,prefix='photos','2026_北京_'ifos.path.exists(folder):forfilenameinos.listdir(folder):iffilename.endswith('.jpg'):old_path=os.path.join(folder,filename)new_path=os.path.join(folder,prefix+filename)os.rename(old_path,new_path)结果与观察在练习目录中运行;符合条件的照片会被改名。11文件夹名为photos,遍历photos目录,筛选.jpg后缀的所有文件,分别拼接旧路径与新路径,再调用os.rename给文件改名。异常处理运行时异常,如:FileNotFoundError:试图打开一个不存在的文件。ZeroDivisionError:除数为零。ValueError:传入了类型正确但值不合适的参数(如int("abc"))。PermissionError:没有权限操作某个文件。为了避免程序因错误而终止,异常处理机制在程序出现异常错误时进行提示,并继续执行程序异常处理语句:try-except语句try-except

把可能失败的操作放入try;异常发生后,跳过try的剩余语句,执行匹配的except。try:x=int(input('请输入一个整数:'))print(10/x)except:print('程序发生错误!')结果与观察输入0或abc时,程序显示错误提示。12如果用户输入不合法数据,如“abc”、0,程序不会终止,而会输出“程序发生错误!”。

分别处理不同异常

读取文件、转换整数和执行除法可能在不同位置失败。按异常类型给出对应提示。try:filename=input('请输入文件名:')withopen(filename,'r',encoding='utf-8')asf:num=100/int(f.read())exceptFileNotFoundError:print('文件不存在')exceptValueError:print('文件内容不是有效的整数')exceptZeroDivisionError:print('文件内容为0,无法除法')结果与观察缺失文件、非整数内容和0各进入不同分支。13完整的异常处理语句&主动抛出异常

else在try没有引发异常时执行。finally在离开整个结构前执行,常用于清理。raise可主动报告违反程序要求的输入。x=int(input('请输入一个正整数:'))ifx<=0:raiseValueError('输入必须是正整数')print('输入正确')结果与观察输入0会引发ValueError。14下面的条件明确要求正整数。本章要点文件操作文件打开与关闭读写操作os模块异常处理Python程序设计第8章正则表达式本章内容8.1正则表达式的简介8.2.1re模块介绍8.2.2正则表达式的基本语法8.2.3正则表达式的基本方法8.2.4编译正则表达式8.2.5正则匹配示例8.2.6贪婪匹配8.3本章小结8.4本章习题2/30什么是正则表达式3/30正则表达式(regularexpression,RegEx)是一种用于描述字符模式的工具。它允许我们通过定义特定的字符串模式来进行搜索、匹配、替换等操作。正则表达式广泛应用于文本处理、数据清洗、日志分析、爬虫等领域,尤其是在处理大量的非结构化文本数据时,它能够帮助我们高效地提取、验证和操作数据。主要应用领域●文本处理与数据清洗●日志分析与数据提取●网络爬虫与数据抓取●表单验证(邮箱、手机号等)8.1正则表达式的简介4/30正则表达式正则表达式是一种特殊的字符串,可以用来描述某些字符集合的模式。正则表达式并不是一种特定的编程语言,而是一种标准化的工具,许多编程语言(包括Python)都支持正则表达式。四种主要操作序号操作说明(1)匹配字符串查找一个符合某种模式的文本(2)提取子字符串从一个长文本中提取出符合某种模式的部分(3)替换文本将符合模式的部分替换为其他内容(4)分割字符串按照某个模式将字符串分割成多个部分8.2正则表达式的使用5/30Python中的re模块为正则表达式提供完整的支持8.2.1re模块介绍6/30在Python中,正则表达式的功能由re模块提供。re模块是Python内置的标准库模块,专门用于处理正则表达式的匹配、搜索、替换、分割等操作。re模块常用函数函数功能说明re.match()从字符串的起始位置开始匹配正则表达式re.search()搜索整个字符串,找到第一个匹配的部分re.findall()以列表形式返回字符串中所有匹配的部分re.finditer()返回一个迭代器,迭代每个匹配的对象re.sub()替换字符串中所有匹配的部分re.split()按照正则表达式分割字符串8.2.2正则表达式的基本语法—字符类7/30在Python中,正则表达式的语法遵循标准的正则表达式规则。字符类用于匹配特定字符集中的字符。语法说明等价形式.匹配除换行符以外的任何字符—[abc]匹配字符集中的任意一个字符(a、b或c)—[^abc]匹配除了a、b、c以外的任何字符—[a-z]匹配小写字母中的任意一个字符—[A-Z]匹配大写字母中的任意一个字符—[0-9]匹配任何数字—\d匹配任何数字[0-9]\D匹配任何非数字字符[^0-9]\w匹配任何字母、数字和下划线[a-zA-Z0-9_]\W匹配任何非字母、非数字和非下划线字符[^a-zA-Z0-9_]\s匹配任何空白字符(空格、制表符、换行符等)—\S匹配任何非空白字符—字符类示例8/30运行下列代码,观察各种字符类的匹配效果精确匹配示例9/30直接给出字符就是精确匹配'00\d'可以匹配'007',但无法匹配'00A''\d\d\d'可以匹配'010''\w\w\d'可以匹配'py3''.'可以匹配任意字符,所以'py.'可以匹配'pyc'、'pyo'、'py!'等元字符10/30元字符用于构建更复杂的正则表达式元字符说明示例^匹配字符串的开头^abc匹配以abc开头的字符串$匹配字符串的结尾abc$匹配以abc结尾的字符串|表示"或"操作abc|def匹配abc或def()用于分组和捕获匹配的内容(abc)将abc捕获为一个组[]用于定义字符集[a-z]匹配任何小写字母字符集高级用法11/30用[]表示字符集的范围,可以更精确地匹配●[0-9a-zA-Z\_]可以匹配一个数字、字母或者下划线●[0-9a-zA-Z\_]+可以匹配至少由一个数字、字母或下划线组成的字符串,如'a100'、'0_Z'、'Py3000'等●[a-zA-Z\_][0-9a-zA-Z\_]*匹配由字母或下划线开头,后接任意个数字、字母或下划线的字符串(Python合法变量名)●[a-zA-Z\_][0-9a-zA-Z\_]{0,19}更精确地限制变量长度为1~20个字符●(P|p)ython可以匹配'Python'或者'python'●^\d表示必须以数字开头;\d$表示必须以数字结束量词12/30量词用于指定匹配的次数或频率量词说明示例匹配前面的表达式零次或多次a*匹配零个或多个a+匹配前面的表达式一次或多次a+匹配一个或多个a?匹配前面的表达式零次或一次a?匹配零个或一个a{n}匹配前面的表达式恰好n次a{3}匹配aaa{n,}匹配前面的表达式至少n次a{2,}匹配aa、aaa、aaaa等{n,m}匹配前面的表达式至少n次,但不超过m次a{2,4}匹配aa、aaa或aaaa量词综合示例:匹配电话号码13/30分析正则表达式\d{3}\s+\d{3,8}表达式解读●\d{3}匹配3个数字,例如'010'●\s+匹配至少一个空格(也包括Tab等空白符)●\d{3,8}匹配3~8个数字,例如'1234567'●综合起来,可以匹配以任意个空格隔开的带区号的电话号码8.2.3正则表达式的基本方法14/30转义问题由于Python的字符串本身也用\转义,所以要特别注意:s='ABC\\-001'#Python字符串,对应的正则表达式是'ABC\-001'【建议】使用Python的r前缀,就不用考虑转义的问题:s=r'ABC\-001're模块常用方法●1.re.match()—从字符串起始位置匹配●2.re.search()—搜索整个字符串●3.re.findall()—返回所有匹配的字符串(列表)●4.re.finditer()—返回所有匹配的迭代器●5.re.sub()—替换匹配的内容●6.re.split()—按模式分割字符串1.re.match():从字符串起始位置匹配15/30re.match()用于从字符串的起始位置开始匹配,如果匹配成功,返回一个匹配对象,否则返回None。可用match()方法判断字符串是否符合某种模式,匹配成功返回match对象,否则返回None2.re.search():搜索整个字符串16/30re.search()会扫描整个字符串,返回第一个匹配的结果。如果没有匹配,则返回None。与match()的区别:search()不要求从字符串开头匹配,会扫描整个字符串3.re.findall():返回所有匹配的字符串17/30re.findall()返回所有与正则表达式匹配的子串,以列表形式返回。findall()返回的是字符串列表,每个元素是一次匹配的结果4.re.finditer():返回所有匹配的迭代器18/30re.finditer()返回一个迭代器,其中每个元素都是一个匹配对象。适合需要获取匹配位置的场景。与findall()相比,finditer()返回match对象,可以获取位置、捕获组等更多信息5.re.sub():替换匹配的内容19/30re.sub()用于替换字符串中所有匹配正则表达式的部分。在替换字符串中可以使用\1、\2等引用分组捕获的内容6.re.split():分割字符串20/30re.split()根据正则表达式分割字符串,并返回一个列表。比str.split()更强大:可以按多种分隔符、变长空白等进行分割8.2.4编译正则表达式21/30为什么要编译?在Python中使用正则表达式时,re模块内部会做两件事:①编译正则表达式,如果正则表达式字符串本身不合法,会报错②用编译后的正则表达式去匹配字符串预编译示例8.2.5正则匹配示例—切分字符串22/30用正则表达式切分字符串比用固定的字符更灵活,可以处理连续的空白或多种分隔符。对比说明●'abc'.split('')→['a','b','','','c']❌多个空格产生空字符串●re.split(r'\s+','abc')→['a','b','c']✓正确处理连续空白正则匹配示例—分组(Group)23/30除了简单地判断是否匹配之外,正则表达式还有提取子串的强大功能。用()表示要提取的分组。●group(0)永远是整个正则表达式匹配的字符串●group(1)、group(2)、…表示第1、2、…个分组●groups()返回所有分组的元组8.2.6贪婪匹配24/30需要特别指出的是,正则匹配默认是贪婪匹配,也就是匹配尽可能多的字符。非贪婪匹配●在量词后加?可以让正则采用非贪婪匹配(尽可能少匹配)●贪婪\d+把'102300'中的所有数字都匹配了,导致0*只能匹配空字符串●非贪婪\d+?只匹配到'1023',0*就可以匹配到'00'贪婪匹配vs非贪婪匹配对照25/30常见量词的贪婪与非贪婪形式贪婪非贪婪说明?零次或多次→尽可能少++?一次或多次→尽可能少???零次或一次→尽可能少{n,m}{n,m}?n到m次→尽可能少示例:匹配HTML标签文本:<div>content</div>贪婪<.*>→['<div>content</div>']非贪婪<.*?>→['<div>','</div>']8.3本章小结26/30本章核心要点①字符类:\d、\w、\s、.、[...]②量词:*、+、?、{n}、{n,}、{n,m}③元字符:^、$、|、()、[]④常用函数:match()、search()、findall()、sub()、split()⑤编译:pile()提高重复使用效率⑥分组:用()提取子串,group()获取内容⑦贪婪/非贪婪:默认贪婪,加?变非贪婪最佳实践●使用r前缀(原始字符串)避免转义问题●频繁使用的正则表达式建议用pile()预编译●贪婪匹配注意加?转为非贪婪,避免过度匹配8.4本章习题(1)27/30习题1:验证Email地址请编写一个验证Email地址的正则表达式。可以验证以下邮箱:✓someone@✓bill.gates@✗bob#(含非法字符#)✗mr-bob@(含非法字符-)8.4本章习题(2)28/30习题2:提取Email中的名字版本二:可以提取出带名字的Email地址中的名字部分。✓<TomParis>tom@→TomParis✓tom@→tom拓展思考29/30课后挑战题①编写正则表达式验证中国大陆手机号(11位数字,以1开头,第二位是3-9)②从HTML文本中提取所有URL(处理双引号和单引号两种情况)③解析日志:'[2024-03-1510:30:45][ERROR]Somethingwentwrong'提取时间、级别、消息④从一段文本中提取所有合法的IPv4地址⑤将'2024年03月15日'转换为'2024-03-15'的标准日期格式30/30本章结束Python程序设计9-网络数据获取本章内容9.1概述9.2Python网络数据获取库介绍9.3使用BeautifulSoup解析网页内容9.4网页下载案例(网页爬取小说内容)9.5本章小结9.6本章习题1/349.1概述:网络数据获取的意义与应用2/34网络数据获取(WebScraping)是指通过程序自动从网页中提取并收集所需数据的技术。随着互联网的普及,大量有价值的信息以网页形式存储,通过网络数据获取技术可为分析、研究和决策提供支持。网络数据获取的应用领域市场研究与竞争分析:抓取竞争对手的产品信息、价格变动、用户评价等,帮助制定市场策略。新闻与舆情分析:抓取新闻网站、论坛、社交媒体上的文章和评论,进行舆情监测与情感分析。金融数据采集:抓取股票、基金、期货等市场数据,进行投资分析与预测。学术研究:从学术论文数据库、科研项目网站中抓取研究成果,进行文献分析。电商分析:从电商平台抓取产品详情、评论、价格趋势等数据,帮助做出购物决策。9.1.2常见的网络数据获取方式3/34手动数据获取:用户通过浏览器手动访问网页,复制数据并粘贴到本地文件中。费时低效,仅适合小规模数据抓取。应用程序编程接口(API):许多网站提供API接口,允许开发者直接访问其数据,通常返回结构化的JSON或XML格式。如Facebook、GitHub等平台均提供开放API。网页爬虫:通过编程方式模拟用户访问网页,获取HTML源代码并从中提取有用信息。适合抓取公开网页内容,尤其在没有开放API的情况下,可自动抓取大量网页。RSS订阅:RSS(ReallySimpleSyndication)是一种基于XML的内容分发方式,可获取新闻、博客等网站更新信息,对特定类型网站仍是一种有效工具。9.1.3HTTP协议基础4/34HTTP(超文本传输协议)是互联网上的基础通信协议,定义了客户端(浏览器或爬虫)和服务器之间的请求和响应格式。HTTP请求的组成请求行:HTTP方法(GET/POST/PUT等)、URL、协议版本。请求头:浏览器类型(user-agent)、语言、授权信息等。请求体:主要用于POST请求,如表单数据或JSON数据。HTTP响应的组成状态行:状态码(200成功、404找不到页面等)。响应头:服务器信息、缓存设置等。响应体:实际的网页内容(HTML、JSON等)。理解这些基本概念后,使用Python中的requests库,能够轻松地模拟HTTP的请求与响应,获取网页内容。9.1.4数据获取与数据分析的关系5/34数据获取通常是数据分析的第一步,获取到的数据质量和结构直接影响后续分析的效率和结果。数据获取的关键任务数据收集:从网页、API接口等不同渠道收集数据。数据清洗:处理缺失值、重复数据或错误格式。数据存储:存储到CSV、JSON或数据库(MySQL、MongoDB)。数据分析与可视化:统计分析、机器学习并可视化。数据质量对分析的影响数据准确性:确保抓取的数据是最新的、准确的。数据完整性:避免遗漏重要信息。数据格式:根据分析需求进行格式化,方便后续处理。9.2.1requests库概述与安装6/34requests是Python第三方库,比内置urllib更简洁人性化,需使用pip安装:requests库的主要特点简洁易用:API设计非常简洁,几乎所有操作都可以通过几行简单的代码完成。支持多种HTTP请求方式:如GET、POST、PUT、DELETE等。强大的会话管理:可轻松管理HTTP会话中的Cookie、请求头等信息。自动处理:自动处理HTTP重定向、压缩数据等。功能丰富:支持文件上传、JSON数据处理、表单提交等。安装命令pipinstallrequests9.2.1requests常用方法7/34使用前先引入库:importrequests。requests支持多种HTTP请求方法:请求方法requests.get(url):发送GET请求,最常用的方法,返回response对象。requests.post(url,data=payload):发送POST请求,payload存放表单参数。requests.put(url,data=payload):发送PUT请求,payload存放表单参数。requests.delete(url):发送DELETE请求。response响应对象的常用属性response.status_code:状态码(200成功、404失败、500服务器错误)。response.text:响应内容的字符串形式(页面内容)。response.content:响应内容的二进制形式。response.encoding/response.json()/response.headers/response.cookies9.2.1请求参数与使用注意事项8/34请求方法可使用以下常用请求参数:params:GET请求的查询参数。data:POST请求的表单数据。json:POST请求的JSON数据。headers:请求头。cookies:请求的cookie。timeout:超时时间(秒)。verify:是否验证SSL证书(布尔值)。使用注意事项避免频繁请求:向同一网站发送大量请求可能导致IP被封禁。异常处理:网络请求可能失败,建议使用try-except捕获异常。9.2.1例9.1GET请求|例9.2带参数GET请求9/34例9.1GET请求示例(url参数值请换成实际网址)例9.2带参数GET请求示例(url参数值请换成实际网址)9.2.1例9.3POST请求|例9.4带JSON的POST请求10/34例9.3POST请求示例(url参数值请换成实际网址)例9.4带JSON的POST请求示例(url参数值请换成实际网址)9.2.1例9.5设置请求头|例9.6处理响应11/34例9.5设置请求头示例例9.6处理响应示例9.2.1例9.7设置超时|例9.8处理异常12/34例9.7设置超时示例例9.8处理异常示例9.2.2使用requests获取百度主页内容13/34用requests库获取百度主页的内容,返回response对象,可查看其类型、状态码和响应头信息:9.2.2查看网页文本内容与编码问题14/34直接使用res.text获取内容时,中文会显示为乱码,原因是字符编码不匹配。百度主页使用UTF-8编码,而requests默认使用ISO-8859-1(Latin-1)。①直接获取文本(中文乱码)②查看编码方式解析:res.encoding为requests默认解析编码(ISO-8859-1);res.apparent_encoding从内容分析得出实际编码(utf-8)。二者不一致时即出现乱码。apparent_encoding从响应内容中分析出编码方式。9.2.2修复编码问题|res.content二进制内容15/34①修正编码后查看文本②res.content二进制内容解决方案:将res.apparent_encoding赋值给res.encoding,即可用正确编码访问response,使中文正常显示。res.content以二进制(bytes)方式返回响应内容;requests可基于HTTP头部信息对编码做出推测,使用正确编码以字节形式返回数据。9.3BeautifulSoup库概述与安装16/34BeautifulSoup是第三方库,需与HTML解析器一起安装:BeautifulSoup的特点简洁易用:提供非常直观的方法来查找和提取HTML中的元素。兼容性强:支持HTML和XML格式,可处理不规范或错误的HTML文档。支持多种解析器:如Python内置的html.parser、lxml等。强大的查找功能:能通过标签、属性、文本等多种方式查找网页中的元素。安装命令pipinstallbeautifulsoup4pipinstalllxml9.3.3BeautifulSoup常用方法:创建对象与查找标签17/34①创建BeautifulSoup对象②find()与find_all()查找标签9.3.3BeautifulSoup查找标签属性、文本与复杂结构18/34①获取标签属性attrs②获取标签文本text③查找特定class标签说明:find()查找第一个符合条件的标签,find_all()查找所有符合条件的标签(返回列表)。使用attrs获取标签属性,text获取标签文本内容。查找特定class的标签时,可使用find_all("div",class_="article")的形式(class为Python保留字,需用class_)。9.3.4解析百度主页:创建对象|查看head与title19/34①创建BeautifulSoup对象②bs.head与bs.title9.3.4解析百度主页:查看所有文本|格式化显示20/34①stripped_strings获取所有文本②prettify()格式化显示9.3.4解析百度主页:find()查找|class查找21/34①find()查找第一个<a>标签②4种写法查找class=cp-feedback说明:class是Python保留字,用class做参数会报语法错误。从BS4.1.2起可用class_参数搜索指定CSS类名的tag。9.3.4解析百度主页:find_all()查找<p>标签22/34①find_all("p")所有<p>标签②find_all("p",id="cp")说明:find_all()查找所有符合条件的节点,返回结果存放在列表中。可通过标签名、id属性、class属性等多种条件查找。每个元素都是BeautifulSoup的Tag对象。9.3.4解析百度主页:find_all()查找<a>标签23/34①find_all("a")所有链接标签②find_all("a","mnav")说明:查找所有class="mnav"的<a>标签,返回导航栏链接(新闻、hao123、地图、视频、贴吧)。9.3.4利用Tag对象获取节点信息24/34Tag(标签)就是HTML里的每一个标签对象。一个Tag自带三类核心信息:标签名字、标签属性、标签内容。find()方法返回的结果是Tag对象,可通过其属性获取节点信息:9.4网页下载案例:网页爬取小说内容25/34案例任务:下载小说《红楼梦》任务描述:在网络上寻找《红楼梦》小说网站,找到小说主页和每个目录对应的url,爬取网页内容并保存到本地文件中。第1步找到小说目录网址:在百度搜索"红楼梦小说",选用"古典小说网"红楼梦主页,本例选择的网址为/mingqing/4/第2步分析目录网页结构:右键"查看页面源代码",每章链接存放在<a>标签中,目录部分标识为<divid="content">第3步解析章节页:点击章节链接,章节内容在<divid="content">下,每段在<p>标签里第4步合并完善代码:下载每一章,解析内容并存储到本地文件hongloumeng.txt9.4定义网络请求函数getHTMLreq(url)26/34封装网络请求函数,设置请求头(user-agent等),加入异常处理与重试机制(最多3次):9.4分析目录网页结构并解析目录27/34获取目录网页,解析出目录部分。通过<divid="content">定位目录,find_all("a")获取所有章节链接:9.4解析章节页内容28/34下载章节网页,通过<divid="content">定位章节内容,find_all("p")获取每一段落:9.4合并完善代码:完整下载小说29/34合并上述代码,下载每一章并解析存储到文件hongloumeng.txt中:9.4下载小说等文本的注意事项30/34注意事项观察目录项标签的特点:获取目录,根据标签结构提取章节链接。观察章节内容的标签特点:网页下载要根据不同情况具体分析,根据标签、属性等信息,运用合理方法提取需要的内容。动态生成网页:若看到的网页内容和下载的不一致,或网页结构过于复杂难以处理,可换一个网页下载。编码与网站变动:网页下载与编码密切相关,网站经常更新变动,代码要根据网页结构的变化做出相应改变和处理。9.5本章小结31/34本章围绕Python网络数据获取全流程,讲解了网络请求的核心逻辑,介绍了requests等主流网络请求库的使用方法,以及BeautifulSoup网页解析工具的基本操作。结合网页小说下载实战案例,演示了从网络请求到数据解析的完整过程。通过本章学习,读者可初步掌握网络数据的采集与解析能力,为数据分析提供稳定的数据来源,适配爬虫开发、数据采集等场景需求。核心要点requests库:发送HTTP请求(GET/POST等),处理响应、编码、异常与超时。BeautifulSoup库:解析HTML文档,通过find/find_all查找标签,提取属性与文本。实战流程:请求网页→解析HTML→提取数据→存储到本地文件。9.6本章习题32/34请完成以下练习:习题1:请换个网站,下载另一部小说。习题2:请找一个商品网站(如手机、汽车网站等),下载商品信息。提示:参考本章红楼梦下载案例的流程——找到目标网址→分析网页结构→编写请求函数→解析目录与内容→存储到本地文件。注意观察标签特点,合理运用find/find_all方法。本章结束ThankYou33/34Python程序设计第10章NumPy模块本章内容NumPy简介核心数据类型-ndarray数组的运算与广播机制聚合运算本章小结NumPy简介Python最常用的第三方库,支持对数据进行高效的存储与运算提供了一种高效的多维数组对象(ndarray),并在此基础上实现了丰富的数学运算功能与普通列表相比,NumPy数组具有更高的计算效率,并支持向量化操作和广播机制NumPy与ndarrayNumPy中最核心的数据结构是多维数组对象ndarrayndarray数组具有明确的形状和元素类型,便于批量存储和运算数据类型元素数据类型运算方式计算效率List可不同需要循环较低ndarray必须相同支持向量化很高ndarray与list的对比

ndarray数组的创建|np.array()

用np.array把序列转换为数组。嵌套的两个等长列表可创建二维数组importnumpyasnp

a=np.array([1,2,3,4])b=np.array([[1,2,3],[4,5,6]])print(a)print(b)运行结果[1234][[123][456]]4ndarray数组的创建|用规则生成数组

arange用步长生成序列,不含终点;linspace用元素个数生成等间隔数据,默认包含终点。print(np.arange(0,10,2))print(np.linspace(0,1,5))运行结果[02468][0.0.250.50.751.]5其他常见生成数组的方法:np.zeros(shape):创建全为0的数组。np.ones(shape):创建全为1的数组。np.full(shape,value):创建全为指定值的数组。np.eye(n):创建n阶单位矩阵。np.random.randn(4,3):创建4*3的矩阵,矩阵元素随机产生。

读懂ndarray数组的四个属性

ndim:

秩,即数组轴的个数,一维数组的秩为1,二维数组的秩为2,依此类推;shape:一个元组,描述数组的形状,

元组的长度是数组的秩,元组中一个元素表示数组某个轴上的元素个数,如:一个3行2列的矩阵数组,其shape为(3,2)。size:数组中是元素的总个数,即shape元组各元素的乘积;dtype:数组元素的类型。arr=np.array([[1,2,3],[4,5,6]])print(arr.ndim)print(arr.shape)Print(arr.size)print(arr.dtype)运行结果2(2,3)6int326数组的基本操作索引和切片数组变形布尔索引索引和切片

索引:选数组中的单个元素,对于一维数组,a[i]访问数组下标为i(从0开始)的元素切片:获取数组的子集,a[start:stop:step]以步长step从下标start开始获取下标小于stop的元素a=np.arange(10)print(a[2])print(a[:4:2])

arr3d=np.array([[[1,2,3],[4,5,6],[7,8,9]],[[0,1,2],[3,4,5],[6,7,8]]])print(arr3d[1,0,0])print(arr3d[:2,1:3,1:3])运行结果2[02]0[[[56][89]][[45][78]]]7上例演示了一维数组和三维数组中的索引和切片。切片与副本

基本切片是共享原数组的数据,如果希望为切片独立是原数据创建副本需要显式调用copy()。a=np.arange(10)print(a)b=a[5:8]c=a[2:5].copy()b[0]=123print(b)c[0]=100print(c)print(a)运行结果[0123456789][12367][10034][012341236789]8改变形状与交换轴

reshape改变各轴长度,元素总数需保持一致;transpose重排轴,例中保留第0轴、交换后两轴。a=np.arange(6)print(a.reshape(2,3))arr3d=np.arange(24).reshape(2,3,4)print(arr3d)print(arr3d.transpose(0,2,1))运行结果[[012][345]][[[0123][4567][891011]][[12131415][16171819][20212223]]][[[048][159][2610][3711]][[121620][131721][141822][151923]]]9布尔索引

布尔索引是数据筛选的利器,它通过逻辑运算生成一个布尔数组,再利用该数组作为索引,一次性提取符合条件的元素。data=np.random.randn(4,3)print(data[data<0])#将数组中所有负数置为0data[data<0]=0print(data)运行结果[[0.18145979-2.992950770.66856459][-0.12232983-0.89145710.29494505][-0.18421861.18485144-0.58913443][0.226219871.09024478-2.10672533]][-2.99295077-0.12232983-0.8914571-0.1842186-0.58913443-2.10672533][[0.181459790.0.66856459][0.0.0.29494505][0.1.184851440.][0.226219871.090244780.]]10对numpy数组进行比较运算,结果返回一个形状完全相同的布尔型数组,将这个布尔数组放在数组访问的[]中就可以选中所有结果为True的数组元素。数组的运算ndarray数组的灵魂:支持向量化运算和广播机制向量化运算对数组的操作会延伸到数组中的每一个元素上。这种不需要编写显式for循环就能处理批量数据的能力,被称为向量化。核心思想:相同形状的数组之间进行运算时,对应位置的元素会进行两两运算。广播机制(broadcasting)不同形状的数组在运算时自动扩展以匹配形状。是不同形状的数组之间能够进行快速向量化运算的基础。向量化运算

对数组的操作会延伸到数组中的每一个元素上,不需要编写显式for循环就能处理批量数据。a=np.array([1,2,3])b=np.array([4,5,6])print(a+b)#数组间的加法运算,直接使用+运算符print(a*b)#[41018]print(np.sqrt(a))运行结果[579][41018][1.1.414213561.73205081]11广播机制

广播机制操作的过程是:从后向前比较各维度的长度。维度长度不同,且其中有一个为1,可自动扩展成一样的。维度长度不同,且都不为1,无法计算,报错。a=np.array([1,2,3])print(a+10)#[111213],标量10自动广播到数组的每个元素b=np.array([[1,2,3],[4,5,6]])print(a+b)#一维数组a被广播到二维数组的每一行c=np.array([[10],[20]])print(b+c)#2维数组c的第0列广播到第1、2列运行结果[111213][[246][579]][[111213][242526]]11聚合运算numpy提供了丰富的聚合函数可直接对数组整体或者某个维度进行计算如sum()、mean()、max()、min()、argmax()、argmin()等聚合函数中都有一个参数axis(轴),表示运算在数组的某个轴上进行聚合运算与axis

指定axis就沿指定轴进行聚合运算,本例中数组原形状为(2,2,3),沿轴0求平均得到一个形状为(2,3)的结果数组,每个元素分别是原数组在轴0上的平均值;而沿轴2求平均则得到形状(2,2)的结果数组,每个元素分别是行上的平均值。data=np.arange(12).reshape(2,2,3)print(data)print(data.mean(axis=0))print(data.mean(axis=2))运行结果[[[012][345]][[678][91011]]][[3.4.5.][6.7.8.]]

[[1.4.][7.10.]]12print(data.mean(axis=1))的结果是什么?文件操作NumPy直接提供了文件读写的方法np.load/np.save以.npy的类型读写二进制数据。np.loadtxt/np.savetxt用于读写文本数据。本章小结理解ndarray数组ndarray数组常见操作:索引、切片、数组变形、布尔索引向量化运算和广播机制Python程序设计第11章Pandas数据分析与处理本章内容认识表格数据Pandas的核心数据:Series和DataFrame数据基本操作数据清洗与预处理数据运算与统计分析应用案例:学生成绩分析本章要点认识表格数据现实中,很多数据是以表格形式呈现的,如学生成绩表、商品销售记录表、股票数据等表格数据以行和列的方式组织,每行是一条记录,每列描述一类属性。行标签用于定位记录,列标签标识字段。Pandas正是围绕这种表格数据结构工作的

Pandas核心数据结构Series:一维数据可以理解为带有索引的一维数组,对应excel中的一列包含两部分——数据、索引

DataFrame:表格型二维数据Pandas最常用的对象表格型的数据结构,含两组索引———行索引和列索引,分别用来标识表格中的一行和一列可以理解为由多个共享相同索引的Series组成的。Series:带标签的一维数据

Series把一维数据与索引配对Series的属性有:values:一组数据,本质是ndarray一维数组index:数组对应的一组索引,不指定时,默认是从0开始的整数name:Series的名称,为字符串类型importpandasaspd

data=[85,92,78]idx=['数学','语文','英语']s=pd.Series(data,index=idx)print(s)print(s.values)print(s.index)print()print(s['数学'])运行结果数学85语文92英语78dtype:int64[859278]Index(['数学','语文','英语'],dtype='object')None854DataFrame:带行列标签的二维表

DataFrame包括以下三个重要属性:index:行索引,默认为从0开始的整数,也可以用自定义的数据类型。columns:列标签,也可以称之为列索引。values:表格中的数据,本质是一个numpy的二维数组,每一列中数据的类型是相同,不同列的数据类型可以不同

#使用字典创建DataFramestudent_data={'学号':[2026001,2026002,2026003],'姓名':['张三','李四','王五'],'数学':[85,92,76],'英语':[78,88,90]}df=pd.DataFrame(student_data)df.index=['a','b','c']print(df)运行结果学号姓名数学英语a2026001张三8578b2026002李四9288c2026003王五76905创建DataFrame对象Pandas可以通过list创建DataFrame,也支持从很多格式文件中直接读入DataFrame对象。理解DataFrame的属性

data=[[2026001,'张三',85,78],[2026002,'李四',92,88],[2026003,'王五',76,90]]df=pd.DataFrame(data,columns=['学号','姓名','数学','英语'],index=list('abc'))print(df)print(df.values)print(df.index)print(df.columns)print(type(df.index))运行结果学号姓名数学英语a2026001张三8578b2026002李四9288c2026003王五7690[[2026001'张三'8578][2026002'李四'9288][2026003'王五'7690]]Index(['a','b','c'],dtype='object')Index(['学号','姓名','数学','英语'],dtype='object')<class'pandas.core.indexes.base.Index'>5上例通过列表创建DataFrame,并打印DataFrame各个属性。如运行结果显示,df.values本质是二维ndarray数组。

Pandas基本操作选择数据数据筛选修改数据选择数据

7按列访问数据通过列名访问,如df[‘数学’]、df.数学

都能访问列索引为数学那一列df[[‘学号’,‘数学’]],用学号、数学两列的数据,创建一个新的DataFrame按行访问数据loc:基于行标签访问,如df.loc['a']是指行索引'a'对应的那一行数据iloc:基于整数位置访问数据,从0开始,如df.iloc[1]是指表格中的第2行数据,即行索引为'b'那一行访问单个数据at[行标签,列标签]:按行列标签访问单个元素iat[行标签,列标签]:从0开始的数字位置访问单个元素按行、列访问数据loc[行切片,列切片]:基于行、列标签的切片访问iloc[整数位置行切片,整数位置列切片]:基于整数位置的行列切片df数据选择举例

data=[[2026001,'张三',85,78],[2026002,'李四',92,88],[2026003,'王五',76,90]]df=pd.DataFrame(data,columns=['学号','姓名','数学','英语’],index=list('abc'))print(df.数学)print(df[['学号','数学']])print(df.loc['a':'c','学号':'数学'])print(df.at['a','姓名'])print(df.iat[1,1])print(df.iloc[:2,0:2])7运行结果a85b92c76Name:数学,dtype:int64

学号数学a202600185b202600292c202600376

学号姓名数学a2026001张三85b2026002李四92c2026003王五76张三李四学号姓名a2026001张三b2026002李四数据筛选

Pandas中也可以用布尔索引实现数据筛选基于query()方法的筛选按照文本进行筛选(通过Series.str中一系列字符串方法实现)按缺失值筛选isna()方法

data=[[2026001,'张三',85,78],[2026002,'李四',92,88],[2026003,'王五',76,90]]df=pd.DataFrame(data,columns=['学号','姓名','数学','英语'],index=list('abc'))print(df.loc[(df['数学']>80)&(df['英语']>80)])print(df.query('数学>80and英语>80'))print(df[df['姓名'].str.contains('张')])运行结果学号姓名数学英语b2026002李四9288

学号姓名数学英语b2026002李四9288

学号姓名数学英语a2026001张三85784修改数据

定位后赋值修改基于replace()方法,进行值替换data=[[2026001,'张三',85,78],[2026002,'李四',92,88],[2026003,'王五',76,90]]df=pd.DataFrame(data,columns=['学号','姓名','数学','英语'])df['数学']=df['数学']+3#所有数学成绩+3df.loc[df['姓名']=='张三','英语']=95#将张三的英语成绩改为95print(df)df['姓名'].replace('张三','张伟',inplace=True)print(df)8运行结果

学号姓名数学英语02026001张三889512026002李四958822026003王五7990

学号姓名数学英语02026001张伟889512026002李四958822026003王五7990数据修改|基于map()方法的映射转换

data=[[2026001,'张三',85,78],[2026002,'李四',92,88],[2026003,'王五',76,90]]df=pd.DataFrame(data,columns=['学号','姓名','数学','英语'])grade_map={88:'良好',90:'优秀',}df['英语']=df['英语'].map(grade_map)#使用字典映射#使用函数映射#df['数学等级']=df['数学'].map(lambdax:'优秀'ifx>=90else'良好')print(df)运行结果9学号姓名数学数学等级英语02026001张三85良好NaN12026002李四92优秀良好22026003王五76良好优秀数据修改|基于applymap()方法

data=[[2026001,'张三',85,78],[2026002,'李四',92,88],[2026003,'王五',76,90]]df=pd.DataFrame(data,columns=['学号','姓名','数学','英语'])df[['数学','英语']]=df[['数学','英语']].applymap(lambdax:x+5ifx<=95else100)print(df)运行结果9学号姓名数学英语02026001张三908312026002李四1009322026003王五8195applymap用于对DataFrame中的每一个元素进行处理。

数据修改|新增列、删除行列

9直接赋值可以在原数据表中追加一列如前面例子中“数学等级”这一列。df.insert()可以在指定位置插入一列,语法:DataFrame.insert(loc,column,value)loc表示新增列位于DataFrame中的位置,column是新增列的列索引名,value是新增列的数值列表。drop()方法能删除行列,调用时必须指定axis参数来决定删除的方向,axis=1时删除列;axis=0时删除行,如:#删除“数学等级”列,inplace=True表示直接修改原表df.drop(['数学等级’],axis=1,inplace=True)数据修改|行、列标签修改

9rename()方法直接覆盖修改索引重置与设置(reset_index、set_index)df=pd.DataFrame(data,columns=['学号','姓名','数学','英语'])#将列名'姓名'修改为'name','成绩'修改为'math'df.rename(columns={'姓名':'name','数学':'math'},inplace=True)print(df)#也可以用来修改行索引df.rename(index={0:'第一行'},inplace=True)print(df)df.columns=['id','name','math','English']df.index=list('abc')print(df)df.set_index('id',inplace=True)print(df)运行结果学号namemath英语02026001张三857812026002李四968822026003王五7690

学号namemath英语第一行2026001张三857812026002李四968822026003王五7690idnamemathEnglisha2026001张三8578b2026002李四9688c2026003王五7690namemathEnglishid2026001张三85782026002李四96882026003王五7690基于apply()方法的数据处理

apply函数可以将自定义的Python函数应用于数据的行或列,进行数据处理deflevel_check(row):ifrow['数学']>=85androw['英语']>=85:return'全优'return'普通'

df['综合评定']=df.apply(level_check,axis=1)print(df)运行结果学号姓名数学英语综合评定02026001张三8578普通12026002李四9688全优22026003王五7690普通11数据清洗与预处理原始数据往往是脏的,比如存在缺失值、重复数据、格式不统一或异常值等问题;数据清洗与预处理的目标是确保数据的完整性、唯一性和一致性。常见的数据清洗和预处理包括:缺失值处理重复值处理数据类型转换异常值与数据规范化缺失值处理

isna()标记缺失值;dropna()删除;fillna()可用指定值填补。df=pd.DataFrame({'姓名':['张三','李四','王五'],'数学':[85,np.nan,76],'英语':[78,88,np.nan]})print(df)#用本列前一个非缺失值填充df.fillna(method='ffill',inplace=True)print(df)运行结果姓名数学英语0张三85.078.01李四NaN88.02王五76.0NaN

姓名数学英语0张三85.078.01李四85.088.02王五76.088.012重复值处理

duplicated()检测重复行用法:df.duplicated(subset=None,keep='first’)返回与原DataFrame长度相同的布尔型Series,判断每一行是否重复:True表示该行是重复的,False表示该行是唯一的,或是该重复组中被保留的那一个。keep:决定保留谁(重复记录只有一条对应返回结果为False)12drop_duplicates()几乎与duplicated()的参数几乎一致,直接删除重复值。异常值和数据规范化

异常值条件筛选可以用于处理异常值,只保留正常范围的数据。clip()方法可以将数据限制在合理区间内,超出部分直接“截断”到边界值。如:

df['分数']=df['分数'].clip(0,100)12数据规范化将数据按一定规则转换到可比的、统一的范围或形式pandas提供str访问器可以批量文本格式混乱的问题,比如str.strip(),str.lower()等数据统计分析常用统计函数分组运算聚合函数排序与名次常用统计函数

一键描述性统计describe():一次性返回数值列的计数、均值、标准差及四分位数基本统计函数:mean()、sum()、min()、max()、median()、std()等

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论