已阅读5页，还剩8页未读， 继续免费阅读
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
网络爬虫简介 爬虫与反爬技术 目录 前言 robots txt Robots协议被称为爬虫协议 或机器人协议 是国际互联网界通行的道德规范 User agent 用于描述搜索引擎robot的名字 Disallow 禁止robot访问该网站的目录或文件 Allow 允许robot访问该网站的目录或文件 sitemap xml txt html Sitemaps协议使网站能够告知搜索引擎网站中可供抓取的网址 自动生成 更方便地了解一个网站的内容 布局 架构 主动提交 向百度 Google 雅虎 和微软等提交 被搜索引擎收录 数据采集流程 需求分析 业务类型 方向决定抓取策略和抓取频率 干什么用 抓取内容 具体需要什么数据 字段 怎么用 数据来源 数据来源于具体网站或其他 抓取方式 获取数据的方式 网页结构分析 API等 代码实现 自定义或开源爬虫框架 数据清洗 根据业务具体情况转换数据格式 类型 进行数据计算等 数据清洗分为入库前点清洗和入库后点清洗 数据存储 写文件或入库方式 远程数据入库 数据加密等 爬虫任务分发 分布式爬虫 多线程爬虫 反爬策略 日志管理 监控报警等 网页分析 数据抓取方式网页移动网页移动客户端API网页解析正则XpathBeautifulSoupJson格式解析网页编码 动态页面抓取 JS渲染页面WebkitRender类Ajax请求IframeSelenium库重定向Status codeHtmlmeta的refreshjs 可视化爬虫 Import ioPortia八爪鱼集搜客造数BBD 爬虫框架 Scrapy框架 案例1 58同城 简历中心 url E7 AE 80 E5 8E 86 E4 B8 AD E5 BF 83 案例2 阿里巴巴 搜索 url 反爬技术 User agent判断来源根据IP访问频率判断 封锁IP或者账号验证码识别Pillow库Tesseract库Numpy机器学习根据实际成本制定策略频繁变更网页结构非正常请求提供虚假信息 隐含输入字段或缺失参数 谢
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年中国高柔性导热石墨薄膜行业市场分析及投资价值评估前景预测报告
- 2025年新能源汽车市场生物质能燃料应用现状与趋势报告
- 二、一元一次方程和它的解法教学设计初中数学北京版2024七年级上册-北京版2024
- 2025年储能电池在电网储能市场中的储能电站投资分析与决策建议报告
- 2025年新能源汽车充电设施建设与城市规划协同发展报告
- 九年级信息技术第一学期机器人编程（仿真）软件简介说课稿 青岛版
- 2025年中国高仿珠宝首饰行业市场分析及投资价值评估前景预测报告
- 医疗气体安全知识培训课件
- 2025年环保产业技术创新与产业升级技术创新模式创新案例报告
- 口腔前台专业知识培训课件
- 2024年南昌市公安局东湖分局招聘警务辅助人员考试真题
- 4.1 认识厘米 课件 人教版数学二年级上册
- 人身意外险理赔细则手册
- 高三试卷：2025届浙江省新阵地联盟高三10月联考历史试题
- 2025公务员考试时事政治题库(含答案)
- 2025年度云南省成人高考专升本《教育理论》高频考题库汇编及答案
- 保温人员安全培训课件
- 本科教学审核评估汇报
- 《直线方程的两点式》教学设计
- 01 华为采购管理架构（20P）
- 望洞庭教学课件
评论
0/150
提交评论