python3网络爬虫电子书-Python3网络爬虫宝典

python3⽹络爬⾍电⼦书_Python3⽹络爬⾍宝典作者简介内容简介前⾔第1章爬⾍程序的构成和完整链条1.1⼀个简单的爬⾍程序1.2爬⾍的完整链条1.3爬取下来的数据被⽤在什么地⽅1.4爬⾍⼯程师常⽤的库1.4.1⽹络请求库1.4.2⽹页⽂本解析1.5数据存储1.5.1将数据存⼊MySQL数据库1.5.2将数据存⼊MongoDB数据库1.5.3将数据存⼊Redis数据库1.5.4Excel⽂件的读写1.6⼩试⽜⼑——出版社新闻资讯爬⾍实践题本章⼩结第2章⾃动化⼯具的使⽤2.1⽹页渲染⼯具2.1.1WebDriver是什么2.1.2Selenium的介绍和基本使⽤2.1.3Pyppeteer的介绍和基本使⽤2.1.4Splash知识扩展本节⼩结2.2App⾃动化⼯具2.2.1Android调试桥2.2.2AirtestProject与Poco2.2.3爬取App中的图⽚2.2.4控制多台设备本节⼩结实践题本章⼩结

第3章增量爬取的原理与实现3.1增量爬取的分类和实现原理3.1.1增量爬取的分类3.1.2增量爬取的实现原理本节⼩结3.2增量池的复杂度和效率3.2.1增量池的时间复杂度3.2.2增量池的空间复杂度本节⼩结3.3Redis的数据持久化3.3.1持久化⽅式的分类和特点3.3.2RDB持久化的实践3.3.3AOF持久化的实践3.3.4Redis密码持久化本节⼩结实践题本章⼩结第4章分布式爬⾍的设计与实现4.1分布式爬⾍的原理和分类4.1.1分布式爬⾍的原理4.1.2分布式爬⾍的分类4.1.3共享队列的选择本节⼩结4.2分布式爬⾍库Scrapy-Redis4.2.1Scrapy-Redis的介绍和基本使⽤4.2.2去重器、调度器和队列的源码解析本节⼩结4.3基于Redis的分布式爬⾍4.3.1对等分布式爬⾍的实现4.3.2主从分布式爬⾍的实现本节⼩结4.4基于RabbitMQ的分布式爬⾍4.4.1RabbitMQ的安装和基本操作4.4.2分布式爬⾍的具体实现

本节⼩结实践题本章⼩结第5章⽹页正⽂⾃动化提取⽅法5.1PythonReadability5.2基于⽂本及符号密度的⽹页正⽂提取⽅法5.3GeneralNewsExtractor5.3.1GeneralNewsExtractor的安装和使⽤5.3.2GeneralNewsExtractor的源码解读本节⼩结本章⼩结第6章Python项⽬打包部署与定时调度6.1如何判断项⽬是否需要部署6.2爬⾍部署平台Scrapyd6.2.1Scrapyd的安装和服务启动6.2.2爬⾍项⽬的打包和部署本节⼩结6.3Scrapyd源码深度剖析6.4项⽬打包与解包运⾏实战6.4.1⽤Setuptools打包项⽬6.4.2运⾏EGG包中的Python项⽬6.4.3编码实现Python项⽬打包本节⼩结6.5定时功能6.5.1操作系统提供的定时功能6.5.2编程语⾔实现的定时功能6.5.3APScheduler本节⼩结6.6实战：开发Python项⽬管理平台Sailboat6.6.1Sailboat的模块规划和技术选型6.6.2Sailboat的权限设计思路6.6.3Sailboat的数据结构设计6.6.4Sailboat基础结构的搭建6.6.5Sailboat⽤户注册和登录接⼝的编写

6.6.6Sailboat权限验证装饰器的编写6.6.7Sailboat项⽬部署接⼝和⽂件操作对象的编写6.6.8Sailboat项⽬调度接⼝的编写6.6.9Sailboat执⾏器的编写和⽇志的⽣成6.6.10Sail