版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
《大数据采集与应用》大数据采集与应用项目一认识大数据采集技术任务二理解网络爬虫回顾知识点1大数据概念及5V特性回顾知识点2大数据采集技术回顾知识点3大数据采集框架回顾任务引入1网络上那么多数据,怎么才能获取,难道要一个一个网页复制粘贴?任务描述:本任务介绍爬虫的概念、原理,类型以及涉及到的法律问题,使读者对爬虫有个初步的了解。任务教学目标:了解爬虫的基本概念。掌握爬虫的类型。熟悉爬虫的工作原理。熟悉爬虫涉及的法律问题。熟悉反爬虫的目的。掌握反爬虫的常用策略。任务概要教学内容爬虫的定义爬虫的类型爬虫的原理一二三爬虫的搜索策略四反爬虫五爬虫的定义知识点一爬虫:一种按照用户条件,并根据一定的规则,自动获取网络上的数据的程序。(一)爬虫的定义爬虫的分类知识点二爬虫的分类通用网络爬虫A聚焦网络爬虫B增量式网络爬虫C深层网络爬虫D爬行对象从一些URL扩充到整个Web,主要为门户站点搜索引擎和大型Web服务提供商采集数据。是指选择性地爬行那些与预先定义好的主题相关页面的网络爬虫。是指对已下载网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫,它能够在一定程度上保证所爬行的页面是尽可能新的页面。Web页面按存在方式可以分为表层网页(SurfaceWeb)和深层网页(DeepWeb),深层网络爬虫就是针对深层网页数据爬取的爬虫。通用网络爬虫通用网络爬虫增量式网络爬虫深层网络爬虫爬虫的分类爬虫的工作原理知识点三(一)通用网络爬虫通用网络爬虫工作过程(二)聚焦网络爬虫聚焦网络爬虫的实现过程爬虫的搜索策略知识点四(一)广度优先搜索广度优先搜索是图的基本算法其策略是在搜索过程中,在完成当前页面(节点)的搜索后,才进行下一页面(节点)的搜索。(二)最佳优先搜索最佳优先搜索策略按照一定的网页分析算法,预测候选URL与目标网页的相似度,或与主题的相关性,并选取评价最好的一个或几个URL进行抓取。(三)深度优先搜索深度优先搜索策略从起始网页开始,选择一个URL进入,分析这个网页中的URL,选择一个再进入。如此一个链接一个链接地抓取下去,直到处理完一条路线之后再处理下一条路线。反爬虫知识点五随着网络不断增长,网络用户也呈现几何增长。随之而来的数据安全事件不断发生。例如诈骗电话、电信诈骗等。(一)数据变得不安全
数据安全成为网络隐患保护数据,维护数据安全,保护个人与集体的利益。(二)反爬虫的目的保护数据安全(三)反爬虫的策略爬虫爬取某个网站数据时,会在短时间内发出大量访问请求,这些请求IP都是同一个。因此,网站会设置访问阈值,针对超过阈值的异常IP,网站可以禁止其访问。但是由于大量用户来说,公网IP地址相同,这种方法容易误伤普通用户,所以,一般采取禁止一段时间访问。IP地址限制目前大部分网站会设置会员限制,部分数据及操作只能登录账号才能有权限访问,这一做法限制了普通爬虫随意访问。深层爬虫可以通过携带cookie信息,突破网站权限设置,继续爬取数据。网站可以实时监测账号访问频率,设置访问频率限制,当某一账号访问超过限制,即可视为异常账号,禁止其访问。账号限制(三)反爬虫的策略网站通过浏览器请求信息中的Cookie信息来判断该请求是否有权限访问核心数据,一般网站直接输入用户的账号和密码即可成功登录并获取Cookie信息。这一操作爬虫可通过分析网页HTML源码来模拟发送请求,就能正常获取Cookies信息。于是部分网站设置了验证码等验证方式,只有成功输入验证码,才能获取cookie信息。同时,部分网站还会设置Session方式进行账号认证,只有获取服务器对用户的唯一标识ID,才能得到Cookies信息。登录控制(三)反爬虫的策略早期简单网页采取静态网页方式,网页所有内容都包含在Html源码里,爬虫通过伪造请求,获取网页HTML源码并分析HTML源码,就能提取出自己想要的数据。随着网页技术的发展,动态网页逐渐成为主流。动态网页相对于静态网页而言,显示的内容可以随着时间、环境或者数据库操作的结果而发生改变。如果爬虫只是单纯分析Html源码,将无法获取有效数据。网页数据异步加载(三)反爬虫的策略robots协议也叫做robots.txt,它是一种被放在网站根目录的文本文件。该文件表明网站哪些内容是可以被爬取的,哪些内容是不可以被爬取的。当一个爬虫程序访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,爬虫程序就会按照该文件中的内容来确定访问的范围;如果不存在,爬虫程序将能够访问网站上所有没有被保护的数据。Robots协议本任务学习了爬虫的基本概念、原理和搜索策略。包括如下内容:1.爬虫基本概念。2.爬虫分类。3.爬虫的工作原理。4.爬虫的搜索策略。
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年掘金工考试题库及答案
- 2026年临时用电考试题库及答案
- 上岗证考试题库及答案
- 2026年宏观经济学试题库及参考答案
- 2026年注册工程师职业考试模拟试卷(含答案)
- 2026年银行培训测试模拟试卷(含答案)
- 2026年中式面点师技能考核评估模拟试卷(含答案)
- 2026年中小学生道德与法治知识竞赛模拟试卷(含答案)
- 文档管理系统测试原理题库带答案
- 2026年学习通考试模拟试卷(含答案)
- 2026年水利安全员b证考试题库及答案解析
- 2026年消防安全专题培训(含近期火灾事故案例)
- 国聘社会招聘笔试测评题库
- 纳米多孔材料复合膜:化工分离领域的制备技术与应用探索
- 中医护理技术操作
- 2025版压力性损伤指南解读与临床实践
- 高三化学复习重点教学设计方案
- 2026年保安员证考试题库及答案1套
- 养老机构安全事故处理与报告制度
- 配网工程管理介绍
- 新版中华民族共同体概论课件第八讲共奉中国与中华民族内聚发展(辽宋夏金时期)-2025年版
评论
0/150
提交评论