Python文件和数据格式化程序设计实务

汇报人：XX2024-01-10Python文件和数据格式化程序设计实务目录Python文件操作基础数据格式化基础文件与数据格式化应用Python高级文件操作技巧数据清洗与预处理实务实战案例：Python在数据处理中的应用01Python文件操作基础关闭文件使用`close()`方法关闭文件，释放资源。上下文管理器使用`with`语句可以自动管理文件的打开和关闭，无需手动调用`close()`方法。打开文件使用`open()`函数打开文件，需要指定文件路径和打开模式。文件打开与关闭读取模式以只读方式打开文件，使用`read()`方法读取文件内容。写入模式以写入方式打开文件，使用`write()`方法向文件中写入内容。追加模式以追加方式打开文件，使用`write()`方法向文件末尾追加内容。二进制模式以二进制方式打开文件，用于处理二进制数据。文件读写模式绝对路径是从根目录开始的完整路径，相对路径是相对于当前工作目录的路径。绝对路径与相对路径使用`os.path.join()`函数可以拼接路径。路径拼接使用`os.path.split()`函数可以分解路径，得到目录名和文件名。路径分解使用`os.path.normpath()`函数可以规范化路径，消除多余的斜杠和点。路径规范化文件路径处理文件异常处理文件不存在异常当试图打开不存在的文件时，会抛出`FileNotFoundError`异常。文件读写异常当读写文件发生错误时，会抛出`IOError`异常。文件关闭异常当试图关闭未打开的文件时，会抛出`ValueError`异常。使用`try...except`语句处理…可以使用`try...except`语句捕获并处理文件操作中的异常。02数据格式化基础123Python中的基本数据类型包括整数、浮点数、复数、布尔值、字符串、列表、元组、字典和集合等。数据类型Python提供了多种内置函数来实现不同类型之间的转换，如`int()`,`float()`,`str()`,`list()`,`tuple()`等。类型转换可以使用`type()`函数来判断一个变量的类型，或使用`isinstance()`函数来判断一个变量是否是某个类型的实例。类型判断数据类型与转换03f-string格式化在Python3.6及更高版本中，可以使用f-string进行字符串格式化，语法更简洁。01旧式字符串格式化使用`%`操作符进行字符串格式化，支持整数、浮点数、字符串等类型的格式化。02str.format()方法使用`{}`占位符进行字符串格式化，支持更丰富的格式化选项，如填充、对齐、精度等。字符串格式化整数格式化可以使用`format()`方法或f-string来格式化整数，指定宽度、进制、填充字符等。浮点数格式化可以使用`format()`方法或f-string来格式化浮点数，指定宽度、精度、舍入方式等。科学计数法可以使用`format()`方法或f-string来将浮点数格式化为科学计数法表示。数值格式化Python中可以使用`datetime`模块来表示日期和时间，支持年、月、日、时、分、秒等时间单位。日期和时间表示可以使用`strftime()`方法将日期和时间格式化为字符串，或使用`strptime()`方法将字符串解析为日期和时间对象。常用的时间格式符包括`%Y`（年份）、`%m`（月份）、`%d`（日期）、`%H`（小时）、`%M`（分钟）、`%S`（秒）等。日期和时间格式化日期和时间格式化03文件与数据格式化应用文本文件读写使用Python内置函数`open()`打开文本文件，通过指定模式（如读取模式'r'、写入模式'w'、追加模式'a'等）进行文件的读写操作。文本文件格式化利用字符串的`format()`方法或f-string格式化字符串，将特定格式的数据写入文本文件，或从文本文件中读取数据并进行格式化处理。文本文件读写与格式化VS使用Python标准库中的`csv`模块进行CSV文件的读写。通过创建`csv.reader`对象读取CSV文件内容，创建`csv.writer`对象将数据写入CSV文件。CSV文件格式化在读取CSV文件时，可以根据需要指定分隔符、引号字符等参数，对数据进行清洗和格式化。在写入CSV文件时，可以使用`csv.writer`对象的`writerow()`和`writerows()`方法将数据按照指定格式写入文件。CSV文件读写CSV文件读写与格式化使用Python标准库中的`json`模块进行JSON文件的读写。通过`json.load()`函数读取JSON文件内容，通过`json.dump()`函数将数据写入JSON文件。在读取JSON文件时，可以使用`json.loads()`函数将JSON字符串转换为Python对象，进而对数据进行处理。在写入JSON文件时，可以使用`json.dumps()`函数将Python对象转换为JSON格式的字符串，并指定缩进、分隔符等参数进行格式化。JSON文件读写JSON文件格式化JSON文件读写与格式化XML文件读写与格式化使用Python标准库中的`xml.etree.ElementTree`模块进行XML文件的读写。通过`ElementTree.parse()`函数读取XML文件内容，通过创建`ElementTree`对象并将数据写入XML文件。XML文件读写在读取XML文件时，可以使用XPath或遍历的方式获取XML元素和属性，对数据进行提取和处理。在写入XML文件时，可以使用`ElementTree`对象的`write()`方法将数据按照指定格式写入文件，并通过设置`xml_declaration`、`encoding`等参数进行格式化。XML文件格式化04Python高级文件操作技巧使用`seek()`方法可以在文件中移动指针到指定位置，实现随机访问。文件指针定位指针位置获取行间跳转通过`tell()`方法可以获取当前文件指针的位置。结合`seek()`和`readlines()`或`readline()`实现文件行间跳转。030201文件指针操作使用`'rb'`或`'wb'`模式打开文件，分别对应二进制读和写。二进制文件读写使用`struct`模块对二进制数据进行打包和解包，处理C语言结构体风格的数据。结构体数据处理利用专门库（如PIL、wave）处理特定类型的二进制文件。图像、音频等文件处理二进制文件处理使用`zipfile`模块实现ZIP文件的压缩和解压缩。ZIP文件处理通过`gzip`模块实现GZIP格式的压缩和解压缩。GZIP文件处理利用`tarfile`模块处理TAR归档文件，支持多种压缩格式。TAR文件处理文件压缩与解压缩通过分块读取大文件，避免一次性加载到内存导致内存溢出。分块读取迭代器应用内存映射外部命令调用利用生成器或迭代器逐行、逐块处理大文件内容。使用`mmap`模块将大文件映射到内存，实现高效随机访问。结合`subprocess`模块调用外部命令处理大文件，如使用`sort`、`awk`等命令。大文件处理策略05数据清洗与预处理实务数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。数据清洗定义在数据分析过程中，原始数据往往存在各种问题，如缺失值、异常值、重复值等，这些问题会严重影响数据分析结果的准确性和可靠性。因此，进行数据清洗是数据分析中不可或缺的重要步骤。数据清洗重要性数据清洗概述及重要性缺失值处理实务缺失值识别通过Pandas等数据处理工具识别数据中的缺失值，如NaN、None等。缺失值处理方法根据数据的实际情况，选择合适的处理方法，如删除含有缺失值的行或列、使用均值、中位数或众数填充缺失值、使用插值法或机器学习算法预测缺失值等。异常值识别通过可视化方法（如箱线图、散点图等）或统计方法（如Z-Score、IQR等）识别数据中的异常值。要点一要点二异常值处理方法根据异常值的性质和实际业务需求，选择合适的处理方法，如删除异常值、使用中位数或均值替换异常值、使用稳健的统计方法（如中位数绝对偏差）重新计算等。异常值处理实务重复值识别通过Pandas等数据处理工具识别数据中的重复值。重复值处理方法根据数据的实际情况和业务需求，选择合适的处理方法，如删除重复的行或列、保留特定的重复行（如保留最新的或最早的记录）、对数据进行去重处理等。重复值处理实务06实战案例：Python在数据处理中的应用使用`os`模块遍历指定目录下的所有文件，通过正则表达式匹配并替换文件名中的特定部分，实现批量重命名。利用Python的第三方库如`pandas`、`openpyxl`等，读取原格式文件（如CSV、Excel等），转换为所需格式（如JSON、XML等）并保存。案例一：批量修改文件名和格式转换文件格式批量重命名文件日志文件读取使用Python内置的文件操作函数或第三方库（如`loguru`）读取日志文件内容。正则表达式匹配根据日志格式编写正则表达式，匹配并提取关键信息（如时间戳、错误级别、错误信息等）。格式化输出将提取的关键信息按照特定格式（如表格、图表等）进行输出，便于分析和查看。案例二030201连接数据库01使用Python的数据库连接库（如`pymysql`、`psycopg2`等）连接到目标数据库。执行查询语句02编写SQL查询语句，获取所需数据。导出数据03将查询结果转换为Python数据结构（如列表、字典等），然后使用相应库（如`csv`、`pandas`等）将数据导出为多种