数据采集技术 课件 任务3.3 使用Selenium查找HTML元素

使用Selenium查找HTML元素——数据采集技术

定位元素010203知识点通过id属性查找元素通过class属性查找元素04通过定制方式查找元素

定位元素01

定位元素定位元素使用的函数名有find_element和find_elements。如果使用单数形式的find_element，则只会返回第一个匹配的节点；如果需要查找多个节点，则应使用find_elements。在获取相关内容时，以find_element为例，可以结合By指定不同的定位方式，也可以使用CSS选择器、XPath等策略找到特定元素，进而获取其文本内容或属性值。

定位元素常用的定位方式如下表所示。定位方式WebDriverBy写法含义iddriver.find_element(By.ID,"id值")使用元素id定位namedriver.find_element(By.NAME,"name值")使用元素name定位class_namedriver.find_element(By.CLASS_NAME,"类名")使用元素class属性定位tag_namedriver.find_element(By.TAG_NAME,"标签名")使用元素标签名称定位link_textdriver.find_element(By.LINK_TEXT,"完整链接文字")使用超链接的全部文字定位partial_link_textdriver.find_element(By.PARTIAL_LINK_TEXT,"部分链接文字")使用超链接的部分文字定位css_selectordriver.find_element(By.CSS_SELECTOR,"css表达式")使用CSS选择器定位XPathdriver.find_element(By.XPATH,"xpath表达式")使用XPath表达式定位通过id属性查找元素02

通过id属性查找元素当页面上的元素有一个唯一的id属性时，可以使用此属性来快速定位该元素。这是最直接和最有效的方法之一。以下是如何通过id查找元素的代码示例。#使用find_element方法并通过By.ID定位元素element=driver.find_element(By.ID,'unique-id')#将'unique-id'替换为实际的元素id通过class属性查找元素03

通过class属性查找元素如果多个元素共享同一个class属性，则可以通过find_elements方法来获取所有这些元素组成的列表。请注意，由于可能有多个相同class名的元素，所以这里使用复数形式的find_elements。#获取所有具有相同class属性的元素elements=driver.find_elements(By.CLASS_NAME,'common-class’)#将'common-class'替换为实际的类名通过定制方式查找元素04

通过定制方式查找元素有时需要根据更复杂的条件来查找元素，这时可以使用XPath或CSS选择器。这两种方式允许我们基于元素的结构、属性甚至内容来进行精确的匹配。下面是通过定制方式查找元素的示例。#使用XPath定位元素element=driver.find_element(By.XPATH,'//div[@class="book-item"]/h2')#根据实际情况修改XPath表达式#使用CSS选择器