数据采集技术 课件 任务4.3 CSV文件的应用

任务4.3CSV文件的应用——数据采集技术

任务描述010203知识点CSV文件格式读写CSV文件

04CSV转JSON文件

任务描述01

任务描述建军用Python爬取数据后，想用文件保存数据，并做进一步的分析。他了解到CSV文件、JSON文件都是目前非常流行的文件格式，本任务将练习CSV文件的读写等操作，CSV文件与JSON文件之间的转换操作，具体思路为：（1）了解什么是CSV文件及其特点和优势。（2）学习使用CSV文件的读写函数。（3）用Python的pandas模块读写CSV文件。（4）学习CSV文件转JSON文件的方法。CSV文件格式02

CSV文件格式学号,姓名,性别,年龄,城市1,张三,男,18,济南2,李四,,19,烟台3,赵五,女,18,青岛01普通CSV格式学号,姓名,性别,年龄,地址1,张三,男,18,"济南市,历下区"2,李四,,19,"烟台市芝罘区""烟台北站"""3,赵五,女,18,"青岛市,市南区"02含逗号、双引号等特殊字符的CSV文件学号,姓名,地址1,张三,”山东省济南市历下区新泺大街，齐鲁软件园北门”2,李四,"山东省烟台市芝罘区北马路135号‌‌,""烟台火车站""北广场北站出口"03含回车换行符的CSV文件CSV（Comma-SeparatedValues，逗号分隔值）是一种‌纯文本文件格式。CSV文件的每一行都是一条数据记录，每条记录由一个或多个字段组成，字段间用逗号（或其他符号）分隔，设计简单，易于使用。

读写CSV文件03

读写CSV文件0102读CSV文件importpandasaspddf=pd.read_csv('data.csv',encoding="gbk")print(df.head())写CSV文件importpandasaspddf=pd.read_csv('data.csv',encoding="gbk",na_values=["N/A","-","null"])print(df.head())df.to_csv("output_na.csv",na_rep="",header=False,index=False)CSV转JSON文件04JSON（JavaScriptObjectNotation）是一种轻量级的数据交换格式。JSON数据由两种主要类型的元素组成：对象（Object）和数组（Array）。对象（Object）以大括号{}表示，里面存放键值对组成的数据结构，键（Key）必须是字符串，值（Value）可以是任何类型的数据。

JSON文件{"name":"zhangsan","age":30,"city":"Beijing"}数组（Array）以方括号[]表示，是一组有序的值，可以是任何类型的对象，包括数字、字符串、布尔值、其他数组或对象等。在JSON文件中，一般用数组存放多个JSON对象。

JSON文件[{"name":"zhangsan","age":30,"city":"Beijing"},{"name":"lisi","age":29,"city":"Shanghai"},]

案例：CSV文件转JSON文件准备CSV文件datas.csv文件：sno,sanme,sex,age,city1,zhangs,male,18,JN2,lisi,female,19,YT3,zhaow,female,18,QD使用Python代码实现格式转换

#读取CSV文件并转换为JSON格式withopen(csv_file,'r',encoding='utf-8')ascsvfile:csv_reader=csv.DictReader(csvfile)json_data=list(csv_reader)检查程序运行结果运行上述代码后，在同一目录下会得到一个名为datas.json的文件。010203

#将数据写入JSON文件withopen(json_file,'w',encoding='utf-8')asjsonfile:json.dump(json_data,jsonfile,indent=4)#使用indent设置每行缩进的字符数，以美化显示格式datas.json文件

程序运行结果[{"sno":"1","sanme":"zhangs","sex":"male","age":"18","city":"JN"},{"sno":"2","sanme":"lisi","sex":"female","age":"19","city":"YT"},{"sno":"3","sanme":"zhaow","sex":"female","age":"18","city":"QD"}]文件的基本操作——数据采集技术主讲人：李爱菊

中国人民大学