项目二之任务三　 使用beautiful soup库解析数据

中高本一体化课程体系·大数据应用技术专业核心课程项目二实现数据爬虫Contents实现数据爬虫大数据应用编程——从数据采集到可视化的完整项目实践路径01任务一使用HTTP爬取数据02任务二使用Scrapy框架爬取数据03任务三使用beautifulsoup库解析数据任务三使用beautifulsoup库解析数据从Python基础语法入手，建立基本的数据分析处理意识与能力大数据应用编程·实战任务以京东空调热销榜单数据采集为实战场景，学习BeautifulSoup库的四种核心对象和CSS选择器定位技术，掌握'requests爬取→BS4解析→selector定位→json存储'的另一种网页数据采集方案。任务描述为空调厂商采集京东电商平台热销空调的厂商、型号、价格、评价条数等数据使用BeautifulSoup库的CSS选择器替代XPath，实现更直观的网页元素定位京东数据采集BS4四种对象Tag对象：HTML标签节点，通过name和attrs属性获取标签名和属性值NavigableString对象：标签内部文字内容，通过.string方法获取；Comment对象是特殊的注释类型Tag·NavigableString文档树操作遍历文档树：通过contents获取直接子节点、parent获取父节点、兄弟节点遍历搜索文档树：find_all()搜索所有匹配子节点，find()返回单个匹配结果，支持字符串、正则、列表参数find_all·find任务三·TASK03任务分析与实施路径BeautifulSoup方案遵循'requests爬取→BS4解析→selector定位→json存储'的四步流程，与lxml/XPath方案形成互补，CSS选择器语法更简洁直观，适合快速定位结构化网页中的目标元素。01FETCH发送请求获取页面requests库发送GET请求获取京东空调搜索页面HTML内容，设置User-Agent请求头避免被反爬02PARSE解析HTML为树形结构BeautifulSoup(text,'html.parser')将HTML字符串转换为树形结构对象，支持Python标准库解析器无需额外安装03SELECTCSS选择器精确定位soup.select('#J_goodsList>ul>li:nth-child(n)>div>div.p-name>a>em')精确定位空调名称和价格元素04STORE配对数据并持久化存储zip()函数将名称和价格列表配对，遍历存入字典后通过json.dumps格式化写入json文件WEBSCRAPING·BS4任务实施——BS4解析与CSS选择器定位通过BeautifulSoup的html.parser解析器将京东网页转换为树形结构，利用CSS选择器的层级路径精确定位商品名称和价格节点，配合zip函数实现多字段配对采集，最终生成结构化的空调榜单数据。电商购物平台·空调商品展示实景01环境安装：pipinstallbeautifulsoup4安装库，BS4支持Python标准库html.parser解析器，无需额外安装第三方解析器02创建解析对象：soup=BeautifulSoup(text,'html.parser')，将原始HTML转换为可遍历搜索的树形结构03CSS选择器定位：soup.select()通过层级路径精确定位空调名称节点，get_text()提取文本内容04数据配对输出：for循环遍历前10名，zip()将名称和价格配对，存入字典后json写入文件TASKTHREE·DETECTION任务检测通过两道核心概念填空题，验证学生对BeautifulSoup库解析对象类型（HTML/XML）和四种核心对象（Tag/NavigableString/BeautifulSoup/Comment）的理解，确保掌握BS4网页解析的理论基础。BS4库概述BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库，支持多种解析器后端HTML/XML四种核心对象Tag（标签节点）、NavigableString（标签内文字）、BeautifulSoup（整个文档）、Comment（注释内容）4类对象属性与方法Tag通过name获取标签名、attrs获取属性字典；NavigableString通过.string获取文本；Comment需提前判断类型避免混淆.name/.attrsTASKEVALUATION任务评价任务三评价体系覆盖BeautifulSoup爬虫方案的5个关键环节，与任务一lxml/XPath方案和任务二Scrapy框架方案形成技术互补，确保学生具备多种网页解析技术的选择与应用能力。任务三能力评价矩阵序号评价内容认知层次考核重点1安装BeautifulSoup库识记→应用pip安装与解析器选择2使用requests库爬取网页应用→分析GET请求与响应状态判断3使用BS4解析网页内容应用→分析html.parser与树形结构转换4使用