大数据采集与预处理课件：模拟登录和数据采集综合案例 -1

网站模拟登录和数据采集案例 本章学习目标●分析业务网站人才招聘的网页结构和内容●使用selenium和chromedriver实现网站的模拟登录●使用selenium和chromedriver实现编写爬虫代码获取指定的静态和动态数据●使用pymysql库实现数据的持久化8.1任务描述本综合案例通过CHROME浏览器综合分析业务网站的网页结构和内容，找到该网站的登录入口，在提前注册的前提下，使用selenium和chromedriver实现网站的可视化模拟登录操作。然后，通过进一步地分析登录之后的用户主页，使用requests库和lxml库编写和解析自定义的爬虫代码获取字段为：公司名称(comname)、地址(address)、行业名称(industry_name)、工资(salary)、岗位名称(post_name)的静态和动态数据。最后，使用pymysql库在MYSQL数据库管理系统中创建指定的数据库test和数据表zhitong和zhitong1，实现数据的持久化存储。8.2页面分析该爬虫综合案例第一次使用的URL将是这个拥有“求职者登录/注册”的页面。这里不仅是任务中要求的模拟登录的起点，也是爬虫开始爬取该网站的起点和入口。案件一：某航空公司数据被境外间谍情报机关网络攻击窃取案2020年1月，某航空公司向国家安全机关报告，该公司信息系统出现异常，怀疑遭到网络攻击。国家安全机关立即进行技术检查，确认相关信息系统遭到网络武器攻击，多台重要服务器和网络设备被植入特种木马程序，部分乘客出行记录等数据被窃取。使用鼠标右键单击“登录”控件之后，将出现如下菜单选项，如图所示。通过使用鼠标左键单击该菜单选项中的“检查”选项，Chrome浏览器呈现自带的“开发者工具”，并将焦点指向该“求职者登录/注册”控件所在的具体的HTML页面结构当中。这里的目的是为了获取该“求职者登录/注册”控件所属的标签在页面内容中的class属性值“login-per-dialog”，使用鼠标右键单击“登录”控件之后，将出现如下菜单选项，如图所示。通过使用鼠标左键单击该菜单选项中的“检查”选项，Chrome浏览器呈现自带的“开发者工具”，并将焦点指向该“求职者登录/注册”控件所在的具体的HTML页面结构当中。这里的目的是为了获取该“求职者登录/注册”控件所属的标签在页面内容中的class属性值“login-per-dialog”，使用CHROME浏览器的“开发者工具”可以看到该登录页面位于一个form表单当中在该表单控件中，使用密码登录的方式，可以选择“密码登录”控件，标签为<div>，类class=“change-login-type-itemactive”或者XPATH路径为：//*[@id="commonLoginBox"]/div[2]/form/div[1]/div[2]在该表单控件中，可以进一步地观察到其中包含的多个控件，包括一个type为text，id为login_box_account的<input>标签和一个type为password，id为login_box_password的<input>标签。这两个标签分别用于获取用户输入的用户名和密码在该表单控件中，可以进一步地观察到其中包含的多个控件，包括一个type为text，id为login_box_account的<input>标签和一个type为password，id为login_box_password的<input>标签。这两个标签分别用于获取用户输入的用户名和密码在该表单控件中还包含一个class为btn-submit的<p>标签。