《数据采集技术》课件-项目三 任务2 爬取薪资信息并存储到MySQL

实现某招聘网站的数据爬取并存储目录01任务1爬取岗位信息并存储为文本文件02任务2：爬取薪资信息并存储到MySQL03任务3：爬取工作地点并存储到MongoDB任务二

爬取薪资信息并存储到MySQL

3、能实现对MySQL数据库中的数据进行增删改查2、掌握pymysql库的基本使用1、会安装Pymysql库任务目标任务二

爬取薪资信息并存储到MySQL2.1准备工作-pymysql库安装在命令提示符界面输入pipinstallpymysql进行库的安装。任务二

爬取薪资信息并存储到MySQL2.2连接并创建数据库假定：当前的MySQL运行在本地，用户名为root，密码123456，运行端口为3306步骤：①通过pymysql的connect方法声明一个MySQL连接对象db②连接成功后，需要再调用cursor方法获得MySQL的操作游标（利用游标来执行SQL语句）

③调用execute方法执行

④创建数据库

⑤连接并创建成功后进行验证任务二

爬取薪资信息并存储到MySQL任务二

爬取薪资信息并存储到MySQL2.3创建表—执行创建表的SQL语句

创建一个数据表job：注：在爬虫爬取的过程中，我们会根据爬取结果设计特定的字段任务二

爬取薪资信息并存储到MySQL任务二

爬取薪资信息并存储到MySQL2.4插入数据—通过字典插入（构造动态的SQL语句）构造插入的字段：将data的键名拿过来并用逗号隔开构造多个%s当作占位符（长度未1的数组用乘法扩充）任务二

爬取薪资信息并存储到MySQL利用字符串的format方法将表名、字段名和占位符构造出来需要使用commit方法提交才能生效任务二

爬取薪资信息并存储到MySQL任务二

爬取薪资信息并存储到MySQL2.5更新数据—去重的方法（如果数据存在，就更新，不存在就插入）如果主键已经存在，就执行更新操作任务二

爬取薪资信息并存储到MySQL任务二

爬取薪资信息并存储到MySQL2.6删除数据—DELETE语句（需要指定要删除的目标表名和删除条件）要删除的表名删除条件任务二

爬取薪资信息并存储到MySQL任务二

爬取薪资信息并存储到MySQL2.7查询数据—SELECT语句不再需要commit方法，调用cursor的rowcount属性获取查询结果的条数调用fetchone方法，获取结果的第一条数据（结果：元组）调用fetchall方法，得到结果的所有数据任务二

爬取薪资信息并存储到MySQL任务二

爬取薪资信息并存储到MySQL思考：

从刚才的实例运行结果可以看到，调用fetchall方法，得到了9条数据而不是10条，为什么？原因：

它的内部实现有一个偏移指针用来指向查询结果，最开始偏移指针指向第一条数据，取一次之后，指针偏移到下一条数据，这样再取的话，就会取到下一条数据了。我们最初调用了一次fetchone方法，这样结果的偏移指针就指向下一条数据，fetchall方法返回的是偏移指针指向的数据一直到结束的所有数据，所以该方法获取的结果就只剩9个了注：fetchall会将结果以元组形式全部返回，如果数据量很大，那么占用的开销会非常高推荐：用while循环加fetchone方法来获取所有数据任务实施爬取智联招聘网站中“数据采集”分类中的薪资信息，并将其存储至MySQL数据库中