Python文件和数据格式化的学习笔记整理

汇报人：XX2024-01-11Python文件和数据格式化的学习笔记整理目录Python文件基本操作数据格式化基础文本文件格式化处理CSV文件格式化处理JSON文件格式化处理XML文件格式化处理01Python文件基本操作使用`open()`函数打开文件，需要指定文件路径和打开模式。打开文件关闭文件上下文管理器使用`close()`方法关闭文件，释放资源。使用`with`语句可以自动管理文件的打开和关闭，无需手动调用`close()`方法。030201文件打开与关闭二进制模式以二进制方式打开文件，用于处理二进制数据。读取模式以只读方式打开文件，使用`read()`方法读取文件内容。写入模式以写入方式打开文件，使用`write()`方法向文件中写入内容。如果文件不存在，则创建新文件；如果文件已存在，则覆盖原有内容。追加模式以追加方式打开文件，使用`write()`方法向文件中追加内容。如果文件不存在，则创建新文件；如果文件已存在，则在文件末尾追加内容。文件读写模式

文件指针操作文件指针位置使用`tell()`方法返回当前文件指针的位置。移动文件指针使用`seek()`方法移动文件指针到指定位置。重置文件指针使用`seek(0)`方法将文件指针重置到文件开头。文件异常处理文件不存在异常当尝试打开不存在的文件时，会抛出`FileNotFoundError`异常。文件读写异常当在读写文件过程中发生错误时，会抛出`IOError`异常。文件关闭异常当尝试关闭未打开的文件或已关闭的文件时，会抛出`ValueError`异常。使用`try...except`语句处理…在可能出现异常的代码块前加上`try`，在代码块后加上`except`捕获并处理异常。02数据格式化基础Python中的基础数据类型包括整数、浮点数、布尔值、字符串等。基础数据类型可以使用内置函数如`int()`,`float()`,`str()`等进行数据类型转换。数据类型转换使用`type()`函数可以判断一个变量的数据类型。数据类型判断数据类型与转换旧式字符串格式化01使用`%`操作符进行字符串格式化，例如`"Hello,%s!"%name`。str.format()方法02使用`{}`占位符和`format()`方法进行字符串格式化，例如`"Hello,{}!".format(name)`。f-string格式化03在Python3.6及以上版本，可以使用f-string进行字符串格式化，例如`f"Hello,{name}!"`。格式化字符串方法使用`open()`函数打开文件，可以指定文件名和打开模式（如读取、写入、追加等）。打开文件使用文件对象的`write()`方法将格式化的字符串写入文件。写入文件使用文件对象的`close()`方法关闭文件。建议使用`with`语句来自动管理文件的打开和关闭。关闭文件格式化输出到文件输入标题格式化占位符错误数据类型不匹配常见问题及解决方案在进行数据类型转换时，需要确保转换是合理的，例如不能将字符串直接转换为整数，除非该字符串表示一个数字。在写入文件时，可能会因为磁盘空间不足或文件被其他程序占用导致写入失败。需要确保有足够的磁盘空间，且文件没有被其他程序占用。在打开文件时，可能会因为文件不存在、路径错误或权限问题导致打开失败。需要确保文件名和路径正确，且有足够的权限打开文件。在使用`str.format()`或f-string进行字符串格式化时，需要确保占位符的数量和类型与提供的参数匹配。文件写入错误文件打开失败03文本文件格式化处理Python内置的`chardet`库可用于识别文本文件的编码格式，通过读取文件内容并进行分析，可以确定文件所使用的编码方式。使用Python内置的`codecs`库，可以实现文本文件编码格式的转换。通过指定输入和输出的编码方式，可以将文件从一种编码转换为另一种编码。文本文件编码格式识别与转换编码格式转换编码格式识别正则表达式提取利用Python的`re`模块，可以使用正则表达式对文本内容进行提取。通过编写匹配规则，可以提取出文本中的特定信息，如电话号码、邮箱地址等。文本清洗文本清洗是指对文本数据进行预处理，去除无关信息、噪声和重复内容。可以使用Python中的字符串处理方法、正则表达式等技术进行文本清洗。文本内容提取与清洗Python中的字符串替换非常简单，直接使用字符串的`replace()`方法即可实现。可以指定要替换的子字符串和替换后的新字符串，实现文本内容的替换。字符串替换对于更复杂的文本内容修改需求，可以使用Python的`re`模块提供的正则表达式功能。通过编写匹配和替换规则，可以对文本内容进行精确的修改。使用正则表达式修改文本内容替换与修改文本文件合并可以使用Python的文件操作功能，将多个文本文件的内容合并到一个文件中。通过打开多个输入文件和一个输出文件，将输入文件的内容逐行或整个读取并写入到输出文件中。文本文件拆分对于较大的文本文件，可以根据需要进行拆分。可以按照指定的行数、大小或特定标识进行拆分，将一个大文件拆分成多个小文件，便于后续处理和分析。文本文件合并与拆分04CSV文件格式化处理使用Python内置的csv模块，通过创建csv.reader对象来读取CSV文件内容，可以逐行或逐列读取数据。读取CSV文件同样使用csv模块，创建csv.writer对象来将数据写入CSV文件，可以指定分隔符、引用符等参数。写入CSV文件CSV文件读写操作CSV数据清洗与整理数据清洗对于读取的CSV数据，可以进行缺失值处理、异常值处理、重复值处理等清洗操作，以保证数据质量。数据整理对清洗后的数据进行必要的整理，如数据类型转换、数据排序、数据筛选等，以便后续分析。CSV数据可视化展示利用matplotlib库可以绘制各种图表，如柱状图、折线图、散点图等，以直观地展示CSV数据。使用matplotlib库pandas库提供了丰富的数据可视化功能，可以方便地绘制各种统计图表，如箱线图、直方图、热力图等。使用pandas库使用pandas库的read_excel函数，可以将CSV文件中的数据导入到Excel文件中。导入Excel使用pandas库的to_excel函数，可以将处理后的数据导出为Excel文件，以便在Excel中进行进一步的分析和处理。导出ExcelCSV数据导入导出Excel05JSON文件格式化处理JSON数组JSON数组是一种有序的值集合，以"[]"包围。数组中的值可以是任意数据类型。JSON对象JSON对象是一种无序的键值对集合，以"{}"包围。键必须是字符串，值可以是任意数据类型。数据类型JSON支持的数据类型包括字符串、数字、布尔值、null、对象和数组。JSON数据结构解析将Python对象转换为JSON格式的字符串，使用`json.dumps()`函数。编码将JSON格式的字符串转换为Python对象，使用`json.loads()`函数。解码通过设置`json.dumps()`函数的参数，可以控制JSON编码的行为，如缩进、排序等。编码选项JSON数据编码与解码校验使用`json.loads()`函数时，如果输入的字符串不是有效的JSON格式，将会抛出`json.JSONDecodeError`异常。验证可以使用第三方库如`jsonschema`对JSON数据进行验证，确保数据符合预期的格式和约束。JSON数据校验与验证03自定义展示根据需要，可以编写自定义的代码来解析JSON数据，并以特定的格式进行展示。01可视化工具可以使用在线的JSON可视化工具，如`jsonviewer.stack.hu`，将JSON数据以树状结构展示。02Python库使用Python的第三方库如`prettytable`或`pandas`，可以将JSON数据转换为表格形式进行展示。JSON数据可视化展示06XML文件格式化处理解析方式Python中可以使用内置的xml模块或第三方库如lxml进行XML文档的解析。解析步骤通常包括加载XML文档、获取根元素、遍历子元素等步骤。XML文档结构XML文档由元素、属性和文本内容构成，元素可以嵌套，形成层次化的结构。XML文档结构解析123可以使用XPath或CSS选择器等方式定位并提取XML文档中的特定元素。提取元素通过修改元素的文本内容或属性，可以实现对XML文档的修改。修改元素可以定位到要删除的元素，然后从其父元素中移除。删除元素XML元素提取与修改获取属性可以通过元素的属性名称获取属性值。修改属性可以直接对元素的属性进行修改。删除属性可以通过del语句删