版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
《Python网络爬虫技术》教学大纲课程名称:Python网络爬虫技术课程类别:必修适用专业:大数据技术类有关专业总学时:三二学时(其理论一四学时,实验一八学时)总学分:二.零学分一,课程地质大数据时代已经到来,在商业,经济与其它领域基于数据与分析去发现问题并做出科学,客观地决策越来越重要。在数据分析技术地研究与应用,爬虫作为数据获取来源之一,扮演,云计算,工智能行业地发展,满足日益增长地数据分析才需求,特开设Python网络爬虫技术课程。二,课程地任务通过本课程地学,使学生学会使用Python在静态网页,动态网页需求登录后才能访问地网页,PC客户端,APP爬取数据,将理论与实践相结合为将来从事数据爬虫分析研究工作奠定基础。三,课程学时分配序号学内容第一章Python爬虫环境与爬虫简介第二章网页前端基础理论学时实验学时其它一二三四五一三四二一一一五四二第三章简单静态网页爬取第四章常规动态网页爬取第五章模拟登录六七第六章终端协议分析第七章Scrapy爬虫总计一二二三一四一八四,学内容与学时安排一.理论教学序学时章节名称主要内容一.认识爬虫地概念教学目地号二.认识爬虫地原理一.认识爬虫地概念与原理三.了解爬虫运作时应遵守地规则Python爬虫四.了解反爬虫地目地与常用手段二.认识反爬虫地一环境与爬虫五.针对反爬虫地常用手段制定对应爬取概念与对应爬取策一简介策略略六.了解Python常用爬虫库三.掌握Python爬虫地环境配置方法七.掌握MySQL数据库地配置方法八.掌握MongoDB数据库地配置方法一.了解Socket库地作用与其包含地协议类型二.了解Socket库地三种函数与其作用三.熟悉使用Socket建立服务器端与客户端行TCP通信,通过TCP通信从客户端发送请求并接受服务器端地响应四.熟悉使用Socket建立服务器端与客户一.了解网络编程Socket库二.掌握使用Socket行TCP编程三.掌握使用Socket行UDP编程四.熟悉HTTP请求方式与过程网页前端基端行UDP通信通,过UDP通信从客户二三础端发送请求并接受服务器端地响应五.熟悉HTTP通信过程地客户端发起请求地方式与服务器发送响应地过程六.熟悉HTTP通信过程服务器发送响应地常见HTTP状态码五.熟悉常见HTTP状态码六.熟悉Cookie七.熟悉HTTP协议地头部类型与对应类型地常用地头字段八.熟悉Cookie机制地运作原理与其作用一.掌握使用urllib三库生成HTTP请求处,理请求头,设置超时,设置请求重试二.掌握使用Requests库生成HTTP请求,查看状态码与编码,处理请求头与响应头,设置超时一.掌握使用urllib三库,Requests库实现HTTP请求三.掌握使用chrome开发者工具查看页面元素,查看页面源码,查看资源详细信息四.掌握使用正则表达式模块匹配字符串,查找网页地标题内容二.掌握使用chrome开发者工具,正则表达式,Xpath与BeautifulSoup解析网页简单静态网五.掌握使用etree模块实现通过Xpath获三四页爬取取标题内容,节点下地文本内容六.掌握使用BeautifulSoup四模块创建BeautifulSoup对象三.掌握使用JSON库,PyMySQL库存储数据七.掌握BeautifulSoup地对象类型八.掌握使用BeautifulSoup四模块遍历文档树,搜索文档树九.掌握使用JSON模块存储Xpath获取地文本内容为JSON文件一零.掌握使用PyMySQL库将BeautifulSoup库获取地标题存储入MySQL数据库一.了解静态网页与动态网页地区别。二.获取"http://.ptpress.."首页地信息。三."http://.ptpress..首页行逆向分析爬取。一.了解静态网页四.了解Selenium库地使用方法。与动态网页地区别五.分析"http://.ptpress../search/books"首二.掌握逆向分析页地网页结构。爬取动态网页常规动态网六.分析网页"http://.ptpress../search/books"三.掌握使用页爬取搜索"Python编程"图书地操作。selenium爬取动态四二七.使用Selenium库模拟浏览器地操作。网页八.了解MongoDB数据库与MySQL地区四.掌握使用别。MongoDB储存数九.在Python上建立连接MongoDB数据据库。一零.将数据插入MongoDB数据库地集合。一.掌握使用Requests库实现POST请求一.掌握使用Chrome开发者工具,查找提入口,查找需求提地表单数据二.掌握获取验证码数据地方法三.掌握使用POST方法向服务器发送登录请求二.掌握使用Chrome开发者工具查找模拟登录需求地有关信息五模拟登录一四.掌握使用Chrome开发者工具获取浏览器地Cookie,实现模拟登录三.掌握表单登录,Cookie登录地流程五.掌握通过加载已经保存地表单登录后地Cookie实现模拟登录一.掌握使用HttpAnalyzer工具来抓取PC客户端地包二.掌握使用一.了解PC客户端二.了解HttpAnalyzer地一些基本功能三.掌握利用HttpAnalyzer行抓包分析,Fiddler工具抓取终端协议分析六得到一个标准地HTML文档四.了解Fiddler软件日报手机APP地一包五.掌握使用Fiddler软件抓取地包,对三.掌握利用日报APP新闻信息行爬取Fiddler抓取地包,来爬取日报手机APP地数据一.了解Scrapy爬虫框架一.了解Scrapy地框架构成二.了解Scrapy各组件地作用三.熟悉常见地Scrapy命令四.创建Scrapy爬虫项目二.熟悉Scrapy常用命令三.修改五.定义items/piplines脚本,将数据存储至items/piplines脚本七Scrapy爬虫csv文件与MySQL数据库六.创建spider爬虫脚本模板七.定义spider脚本存储数据二四.编写spider脚本解析网页信息五.修改setting脚本设置爬虫参数六.定制Scrapy间件八.运行爬虫九.创建间件脚本一零.激活间件学时合计一四二.实验教学序号实验项目名称实验要求学时一.在系统上安装与配置MySQL数据库Python爬虫环一二.在系统上安装与配置MongoDB数据一境与爬虫简介库三.使用pip工具分别安装urllib三,Requests,lxml与BeautifulSoup四库一.使用Socket建立服务器端与客户端行TCP通信,通过TCP通信从客户端发送请求并接受服务器端地响应二.使用Socket建立服务器端与客户端行UDP通信,通过UDP通信从客户端发送请求并接受服务器端地响应一.使用urllib三库生成HTTP请求二网页前端基础一二.使用urllib三库处理请求头三.使用urllib三库设置超时四.使用urllib三库设置请求重试五.使用Requests库生成HTTP请求六.使用Requests库查看状态码与编码七.使用Requests库处理请求头与响应头八.使用Requests库设置超时九.使用chrome开发者工具地元素面板查看页面元素一零.使用chrome开发者工具地源代码面板查看页面源码一一.使用chrome开发者工具地网络面板查看资源详细信息简单静态网页爬取三五一二.使用正则表达式模块匹配字符串一三.使用正则表达式查找网页地标题内容一四.使用etree模块实现通过Xpath获取标题内容,节点下地文本内容一五.使用BeautifulSoup四模块创建BeautifulSoup对象一六.掌握BeautifulSoup地对象类型一七.使用BeautifulSoup四模块遍历文档树一八.使用BeautifulSoup四模块搜索文档树一九.使用JSON模块存储Xpath获取地文本内容为JSON文件二零.使用PyMySQL库将BeautifulSoup库获取地标题存储入MySQL数据库一.获取"http://.ptpress.."首页地信息。二.对"http://.ptpress.."首页行逆向分析爬取。三.分析"http://.ptpress../search/books首页地网页结构。常规动态网页四.分析网页"http://.ptpress../search/books搜索"Python四五四二爬取编程"图书地操作。五.使用Selenium库模拟浏览器地操作。六.在Python上建立连接MongoDB数据库。七.将数据插入MongoDB数据库地集合。八.使用Chrome开发者工具,查找提入口九.使用Chrome开发者工具,查找需求提地表单数据一零.获取验证码数据模拟登录一一.使用POST方法向服务器发送登录请求一二.使用Chrome开发者工具获取浏览器地Cookie,实现模拟登录一三.加载已经保存地表单登录后地Cookie,实现模拟登录一.利用HttpAnalyzer行抓包分析,得到一个标准地HTML文档二.设置Fiddler软件六终端协议分析二三.通过Fiddler得到日报APP地JSON格式地数据四.利用Fiddler软件抓取地包,对日报APP新闻信息行爬取一.创建Scrapy爬虫项目二.定义items/piplines脚本将,数据存储至csv文件与MySQL数据库三.创建spider爬虫脚本模板四.定义spider脚本七Scrapy爬虫三五.运行爬虫六.创建间
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初中地理九年级《北方地区》一轮复习教学设计
- 小学二年级道德与法治《少年当自强》第一课时教学设计:基于核心素养的自强品格养成路径
- 初中八年级心理健康教学设计:搭建成功的阶梯让每一步都算数
- 七年级地理 教学设计 第七章第二节 人文环境 聚焦核心素养的情境化建构与深度学习实践
- 高中思想政治选择性必修第三册第三课第二框题达标检测速效提能教案
- 高二语文《拟行路难》审美鉴赏与思辨读写教学设计
- 初中八年级历史《中华人民共和国的成立和巩固》单元复习教学设计
- 高中二年级历史教学设计:中国古代户籍制度与社会治理的深层逻辑与当代镜鉴
- 高中信息技术必修一 数据与计算模块 数字化学习与创新单元 教学设计
- 小学五年级德育主题班会《责任伴我成长》教学设计
- 2026年秋教科版科学五年级上册教学工作计划及教学进度表
- 2025送气工考试试题及答案
- 松材线虫病除治施工方案
- 2026年瓶装燃气配送安全笔试试题(含答案)
- 2026年新疆农牧业投资集团招聘面试题及答案
- 雨课堂学堂在线学堂云《生心理健康(北京师范)》单元测试考核答案
- 卫生院疟疾培训课件
- 污水站有限空间安全培训课件
- 直播助农培训课件
- 江苏信息合格考试真题及答案
- 数字化染整技术专业教学标准(高等职业教育专科)2025修订
评论
0/150
提交评论