Python文件和数据格式化数据清洗与转换

Python文件和数据格式化数据清洗与转换汇报人：XX2024-01-12Python文件读写操作数据格式化基础数据清洗技术数据转换方法实战案例：Python在数据清洗与转换中的应用Python文件读写操作01打开文件使用`open()`函数打开文件，指定文件名和打开模式（如读取模式`'r'`，写入模式`'w'`，追加模式`'a'`等）。关闭文件使用`close()`方法关闭文件。在文件操作完成后，应该总是关闭文件以释放资源。打开与关闭文件123使用`read()`方法一次性读取整个文件内容。读取整个文件使用`readlines()`方法或循环遍历文件对象逐行读取文件内容。逐行读取文件使用`read(size)`方法读取指定数量的字符。读取指定字符读取文件内容写入文件内容写入字符串使用`write()`方法将字符串写入文件。写入多行数据使用`writelines()`方法将字符串列表或迭代器中的多行数据写入文件。获取当前工作目录使用`os.getcwd()`函数获取当前工作目录。拼接文件路径使用`os.path.join()`函数拼接文件路径，确保路径的正确性。获取文件绝对路径使用`os.path.abspath()`函数获取文件的绝对路径。分割文件路径使用`os.path.split()`函数分割文件路径，获取目录名和文件名。文件路径处理数据格式化基础02使用`%`操作符通过`%s`、`%d`等占位符，将变量值插入到字符串中。使用`str.format()`方法通过`{}`占位符和`format()`方法，将变量值替换到字符串中，支持位置参数和关键字参数。使用f-string在Python3.6及以上版本中，可以使用f-string（格式化字符串字面值）来嵌入表达式，语法为`f"{expression}"`。字符串格式化03使用`math`模块Python的`math`模块提供了许多用于数值计算的函数，如取整、四舍五入等。01使用`format()`方法通过指定格式化字符串，如`"{:,.2f}"`，可以将数值格式化为带有千位分隔符和两位小数的浮点数。02使用`%`操作符类似于字符串格式化，可以使用`%`操作符和格式化字符串来格式化数值。数值格式化格式化日期和时间通过`strftime()`方法将日期和时间对象格式化为字符串，使用特定的格式代码来表示年、月、日、时、分、秒等。解析日期和时间通过`strptime()`方法将格式化的日期和时间字符串解析为日期和时间对象。使用`datetime`模块Python的`datetime`模块提供了日期和时间类，以及相应的格式化和解析方法。日期和时间格式化使用lambda表达式对于简单的格式化需求，可以使用lambda表达式来定义匿名的格式化函数。继承内置类型通过继承Python的内置类型（如整数、浮点数、字符串等），可以自定义新的类型并为其添加特定的格式化方法。定义格式化函数根据需要，可以自定义格式化函数来处理特定类型的数据或满足特定的格式要求。自定义格式化数据清洗技术03对于包含缺失值的数据，可以通过删除缺失值所在行或列的方式进行处理。这种方法简单直接，但可能会丢失一些有用信息。使用某种策略对缺失值进行填充，如使用均值、中位数、众数等统计量进行填充，或使用机器学习算法进行预测填充。缺失值处理填充缺失值删除缺失值对于明显偏离正常范围的异常值，可以通过删除异常值所在行或列的方式进行处理。这种方法可以避免异常值对数据分析结果的干扰。删除异常值使用某种策略对异常值进行替换，如使用中位数、均值等统计量进行替换，或使用机器学习算法进行预测替换。替换异常值异常值处理删除重复值对于完全重复的数据行或列，可以通过删除重复值的方式进行处理。这种方法可以简化数据结构，减少数据冗余。保留唯一值只保留数据中的唯一值，删除其他重复的值。这种方法可以进一步减少数据冗余，提高数据处理效率。重复值处理数据类型转换将文本型数据转换为数值型数据，以便进行数学运算和统计分析。可以使用Python中的内置函数如`int()`、`float()`等进行转换。数据类型转换为文本型将数值型数据转换为文本型数据，以便进行文本处理和可视化展示。可以使用Python中的内置函数如`str()`等进行转换。数据类型转换为日期型将文本型或数值型数据转换为日期型数据，以便进行时间序列分析和可视化展示。可以使用Python中的`datetime`模块进行转换。数据类型转换为数值型数据转换方法04ASCII编码转换01将文本数据转换为ASCII编码，便于在不同系统和平台之间进行传输和处理。Unicode编码转换02支持全球各种语言的字符集，可将不同语言的文本数据转换为统一的Unicode编码。UTF-8编码转换03一种针对Unicode的可变长度字符编码，广泛应用于网页和文本文件。编码转换使用Python内置的zipfile模块对文件进行压缩和解压操作，支持ZIP格式。ZIP压缩与解压使用gzip模块对文件进行压缩和解压，常用于网络传输和文件存储。GZIP压缩与解压使用tarfile模块对文件进行打包和解包操作，支持TAR格式。TAR压缩与解压数据压缩与解压图像和音频格式转换使用PIL（PythonImagingLibrary）或OpenCV等库将图像从一种格式转换为另一种格式，如JPEG、PNG、BMP等。图像格式转换使用pydub或ffmpeg等库将音频文件从一种格式转换为另一种格式，如MP3、WAV、AAC等。音频格式转换批量重命名使用os模块对指定目录下的文件进行批量重命名操作。批量复制和移动使用shutil模块对文件进行批量复制和移动操作，支持跨目录和跨文件系统操作。批量删除使用os模块对指定目录下的文件进行批量删除操作，需谨慎使用以避免误删重要文件。批量文件操作实战案例：Python在数据清洗与转换中的应用05读取CSV文件使用Python内置的csv模块读取CSV文件，可以指定分隔符、编码等参数。清洗数据对于读取的数据，可以使用Python的字符串处理、正则表达式等功能进行数据清洗，如去除空格、替换特殊字符等。写入CSV文件清洗完成后，可以将数据写入新的CSV文件中，同样可以使用csv模块实现。案例一：CSV文件读写与清洗解析JSON数据对转换后的Python对象进行解析，可以方便地获取JSON数据中的各个字段。写入JSON文件将转换后的数据再次转换为JSON格式，并写入新的JSON文件中。转换JSON数据根据需要，可以对解析后的数据进行转换，如修改字段名、转换数据类型等。读取JSON文件使用Python内置的json模块读取JSON文件，将JSON数据转换为Python对象。案例二：JSON文件解析与转换使用Python内置的xml模块读取XML文件，将XML数据转换为Python对象。读取XML文件解析XML数据转换XML数据写入XML文件对转换后的Python对象进行解析，可以获取XML数据中的各个节点和属性。根据需要，可以对解析后的数据进行转换，如修改节点名、属性名等。将转换后的数据再次转换为XML格式，并写入新的XML文件中。案例三：XML文件处理与转换使用Python的第三方库如pandas、openpyxl等读取Excel文件