《数据采集技术》课件-项目二 任务2 使用Xpath爬取豆瓣电影排行榜

项目二：爬取豆瓣电影网站目录01任务1使用正则表达式02任务2：使用Xpath爬取豆瓣电影排行榜03任务3：使用BeautifulSoup爬取豆瓣电影TOP250任务2：使用Xpath爬取豆瓣电影排行榜

任务描述豆瓣电影是国内知名的电影信息平台，上面汇聚了丰富的电影数据，包括电影的基本信息（如名称、评分、导演、主演等）、影评、用户评价等。通过使用Xpath技术从豆瓣电影页面中爬取这些数据，能够为电影数据分析、电影推荐系统开发、电影市场研究等提供基础数据支持。任务目标了解常用XPath表达式0203使用XPath解析网页01正确安装XPath库2.1XPath概述2.1.1XPathXPath—全称XMLPathLanguage，即XML路径语言，它是一门在XML文档中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。2.1.2相应库的安装在pycharm的命令行界面输入pipinstalllxml进行库的安装。2.1XPath概述2.1.3XPath常用规则表达式描述/从当前节点选取直接子节点//从当前节点开始选取子孙节点.选取当前节点@选取属性Text()获取文本*通配符，表示任何元素节点Nodename[@atttib='value'选取具有给定值的指定元素例：div[@class='text']表示class为text的所有div元素。实例导入lxml库的etree模块声明HTML文本未闭合调用HTML类进行初始化，成功构造了一个XPath解析对象调用tostring方法输出修正后的HTML代码输出结果：li节点标签被补全，并且还自动添加了body、html节点2.2XPath基本用法1、获取所有节点—用//开头的XPath规则来选取所有符合要求的节点返回结果：

列表形式，元素：Element对象+节点名称返回结果：列表形式，元素：Element对象

可用“中括号加索引”方式提取2.2XPath概述2、获取子节点—通过/或//即可查找元素的子节点或子孙节点

思考：如使用//div/span，结果会有什么变化？

注：/和//的区别/用于获取直接子节点，//用于获取子孙节点2.2XPath概述3、获取父节点—用“..”或“parent::”来实现

2.2XPath概述4、属性匹配—选取节点的时候，可使用“@”符号进行属性过滤

2.2XPath概述5、文本获取—用“text”方法获取节点中的文本

注意：

①如果要想获取子孙节点内部的所有文本，可以直接用

//text方法的方式，这样可以保证获取到最全面的文本

信息，但是可能会夹杂一些换行符等特殊字符

②如果想获取某些特定子孙节点下的所有文本，可以先选

取到特定的子孙节点，然后再调用text方法方法获取其

内部文本，这样可以保证获取的结果是整洁的

2.2XPath概述6、属性获取—使用“@”符号

注：与属性匹配方法的不同

①属性匹配是中括号加属性名和值来限定某个属性

②属性获取是指获取节点的某个属性

2.2XPath概述7、属性多值匹配—使用contains方法

修改后：

使用contains方法：

参数1：属性名称

参数2：属性值2.2XPath概述8、多属性匹配—运用运算符“and”连接多个属性

2.2XPath概述9、按序选择—利用中括号传入索引的方法获取特定次序的节点

注:中括号中传入数字和代码中不同,序号以1开头，不是以0开头2.2XPath概述10、节点轴选择

—XPath提供了很多节点轴选择方法，包括获取子元素、兄弟元素、父元素、祖先元素等。

2.3任务实施使用XPath获取豆瓣电影步骤1：分析网站结构2.3任务实施使用XPath获取豆瓣电影排行榜步骤2：确定目标数据项2.3任务实施使用XPath获取豆