《数据采集技术》课件-项目三 任务1 爬取岗位信息并存储为文本文件

实现某招聘网站的数据爬取并存储目录01任务1爬取岗位信息并存储为文本文件02任务2：爬取薪资信息并存储到MySQL03任务3：爬取工作地点并存储到MongoDB任务一

爬取岗位信息并存储为文本文件

2、json文件存储3、csv文件存储1、txt文件的存储任务目标任务一

爬取岗位信息并存储为文本文件1.1TXT文本文件存储—操作简单，但不利于检索方法一：open方法（省去requests异常处理部分）任务一

爬取岗位信息并存储为文本文件方法二：withas语法（不需要再调用close方法）常用文件打开方式任务一

爬取岗位信息并存储为文本文件1.2JSON文本文件存储JSON—全称为JavaScriptObjectNotation,也就是JavaScript对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。实例：将字符串转为JSON对象运行结果？列表(可操作的数据结构)JSON形式的字符串双引号任务一

爬取岗位信息并存储为文本文件JSON读取

Python为我们提供了简单易用的JSON库来实现JSON文件的读写操作，我们可以调用JSON库的loads方法将JSON文本字符串转为JSON对象，可以通过dumps()方法将JSON对象转为文本字符串。

注：JSON字符串的表示需要用双引号，否则loads方法会解析失败任务一

爬取岗位信息并存储为文本文件JSON输出调用dumps方法将JSON对象转化为字符串（如果想保存JSON的格式，可以再加一个参数indent，代表缩进字符个数，若JSON对象中包含中文字符，可指定参数ensure_ascii为False）任务一

爬取岗位信息并存储为文本文件1.3CSV文本文件存储全称为Comma-SeparatedValues，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据，它是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成（结构化表的纯文本形式）实例：CSV文件写入写入的文本默认以逗号分隔，调用一次writerow方法即可写入一行数据任务一

爬取岗位信息并存储为文本文件实例：delimiter参数（修改列与列之间的分隔符）任务一

爬取岗位信息并存储为文本文件实例：写入多行（调用writerows方法同时写入多行）注：此时参数需要为二维列表任务一

爬取岗位信息并存储为文本文件实例：写入字典（将字典写入CSV文件中）任务一

爬取岗位信息并存储为文本文件实例：追加写入（将open函数的第二个参数改成a）注：

如果要写入中文内容的话，可能会遇到字符编码的问题，此时需要给open参数指定编码格式任务一

爬取岗位信息并存储为文本文件实例：to_csv方法写入文件（需安装pandas库）任务一

爬取岗位信息并存储为文本文件实例：使用csv库来读取CSV文件注：如果CSV文件中包含中文，还需要指定文件编码任务一

爬取岗位信息并存储为文本文件实例：使用read_csv库方法读取任务实施爬取智联招聘网站中“数据采集”分类中的岗位名称，并将其保存为CSV文本文件步骤1：分析网站结构任务实施步骤2：确定目标数据项任务实施步骤3：使用BeautifulSoup获取相应数据并存储为CSV文