项目二之任务一　 使用HTTP爬取数据

中高本一体化课程体系·大数据应用技术专业核心课程项目二实现数据爬虫Contents实现数据爬虫大数据应用编程——从数据采集到可视化的完整项目实践路径01任务一使用HTTP爬取数据02任务二使用Scrapy框架爬取数据03任务三使用beautifulsoup库解析数据任务一：使用HTTP爬取数据掌握网络爬虫工作原理，学会使用多种技术栈自动化采集Web数据HTTPCRAWLER以电影影评数据采集为实战场景，学习网络爬虫的'请求-响应-解析-存储'完整工作流，掌握requests库发送HTTP请求、lxml库解析HTML文档、XPath定位网页元素位置的核心技术。任务描述为电影制片方采集网上影评数据，包括打星、评论、评价、用户名、评价时间数据采集工程师需完成数据抓取、解析和简单分析，为电影拍摄目标提供决策依据影评数据爬虫核心技术数据抓取：requests库模拟浏览器发送HTTPGET请求，构建headers防止被反爬虫程序拒绝数据解析：lxml库的etree方法将HTML文档转换为可遍历的树形结构，实现高效内容解析元素定位：XPath路径表达式精确定位网页中的目标元素，如用户名、评分、评论内容等节点请求·解析·定位数据存储将采集数据放入字典结构，处理空值用'-'代替，确保数据完整性使用json库的dumps方法格式化数据，以追加模式写入json文件提供给客户JSONTASK01·爬虫实施任务分析与实施路径HTTP爬虫的实施遵循'requests请求→lxml解析→XPath定位→json存储'的标准四步工作流，每一步都有明确的库函数对应，形成了可复用的网页数据采集模板。01requests发送GET请求：指定目标URL和headers请求头，通过status_code判断请求是否成功（200为成功）requests·status_code02lxml构建文档树：etree.HTML()方法将res.content.decode('utf-8')解码后的HTML字符串转换为可遍历的文档树对象etree.HTML()03XPath定位提取数据：在浏览器F12开发者工具中选中目标元素，右键CopyXPath获取路径表达式，用doc.xpath()提取数据doc.xpath()04json.dumps格式化存储：将采集的用户名、评分、评价、时间、评论等字段存入字典，通过json.dumps转为格式化字符串追加写入json文件json.dumps数据中心服务器机房·爬虫与服务器交互的物理基础TASK01·IMPLEMENTATION任务实施——搭建实施环境与网页爬取通过PyCharm图形界面或pip命令行安装爬虫依赖库，使用requests库构建带headers的HTTPGET请求获取网页内容，status_code=200确认请求成功，完成数据采集的第一步。STEP01安装依赖库PyCharm中Setting→搜索库名→InstallPackage图形化安装；或命令行pipinstallrequests直接安装pipinstallSTEP02构建Headers构建headers字典设置User-Agent模拟浏览器访问，防止被Web服务器的反爬虫程序拒绝请求User-AgentSTEP03发送GET请求requests.get(url,headers=headers)发送GET请求，res.status_code返回200表示成功获取网页内容status:200STEP04解码响应内容res.content.decode('utf-8')将响应内容解码为字符串，赋值给data变量供后续lxml解析使用UTF-8TASKASSESSMENT任务检测通过理论填空、技术对比简答和独立爬虫实操三类检测方式，全面验证学生对HTTP爬虫'请求-解析-定位-存储'工作流的理解深度与独立实施能力。FILL-IN填空题网络爬虫按规则自动抓取Web页面数据，Python处理URL的两种模块为urlparse和urlliburlparse·urllibSHORTANSWER数据抓取与解析对比数据抓取（requests/urllib3）与数据解析（lxml/xpath/正则）的功能与适用场景requests·lxml·xpathSHORTANSWERlxml与XPath分析分析两者相同点——都是用于在HTML/XML文档中定位和提取特定内容的工具HTML·XML定位提取HANDS-ON音乐网站爬取独立完成99音乐网站歌曲信息爬取：从pip安装requests到发送HTTP请求、解析响应内容pip·HTTP请求·解析HANDS-ON完整爬虫流程综合运用requests+lxml+XPath技术栈，实现网页元素定位和数据提取的完整流程请求→解析→定位→存储TASKASSESSMENT任务评价任务一评价体系对应HTTP爬虫工作流的5个关键环节，从库安装到数据保存逐项考核，确保学生掌握可复用的网页数据采集基础技能。序号评价内容认知层次考核重点1安装requests库、lxml库识记→应用pip命令与PyCharm两种安装方式2使用requests库爬取网页内容应用→分析GET请求、headers构建、状态码判断3使用lxml对网页内容进行解析应用→分析etree.HTML()树形结构