《数据采集技术》课件-项目1：爬虫基础与入门

合法性与robots协议——数据采集技术主讲人：XXXXXX

中国人民大学出版社CHINARENMINUNIVERSITYPRESS

网络爬虫的合法性问题01020304知识点使用网络爬虫的道德规范robots协议法律风险与应对网络爬虫的合法性问题01

网络爬虫的合法性问题虽然爬虫为获取数据带来了便利，但并非所有的爬虫行为都是合法的。未经授权爬取受保护的数据，如用户个人隐私数据、商业机密数据等，可能会触犯法律法规。例如，私自爬取银行客户的账户信息、医疗系统中的患者病历等的行为严重侵犯了他人的隐私和权益，会面临法律的制裁。此外，如果爬虫的爬取行为对目标网站的正常运营造成严重影响，如导致服务器瘫痪、服务中断等，也可能构成侵权行为。robots协议02

robots协议robots协议（也称为爬虫协议、机器人协议等），是一种存放于网站根目录下的文本文件（通常命名为robots.txt），它用于告知搜索引擎爬虫哪些页面可以爬取，哪些页面不可以爬取。例如，一个网站的robots.txt文件内容如下：User-agent:*Disallow:/private/Disallow:/admin/上述代码表示，所有的爬虫（User-agent:*代表所有爬虫）都不允许爬取该网站的/private/和/admin/目录下的页面。使用网络爬虫的道德规范03

使用网络爬虫的道德规范在网络爬虫的开发与使用中，技术能力固然重要，但遵守道德与法律规范同样不可忽视。爬虫作为一种强大的数据采集工具，若使用不当，则可能给目标网站造成负担，甚至引发法律纠纷。因此，开发者必须遵循robots协议、控制爬取频率，并明确数据用途，以确保爬虫技术的合法、合规和负责任使用。

使用网络爬虫的道德规范1.尊重robots协议即使某些页面未被明确禁止，也应尽量避免过度爬取。2.控制爬取频率避免对目标网站服务器造成过大压力，建议设置合理的请求间隔。3.明确数据用途确保爬取的数据用于合法、正当的目的，不得用于非法或恶意目的。法律风险与应对04

法律风险与应对在网络爬虫的应用中，潜藏着诸多法律风险，需要开发者与使用者时刻警惕，确保操作合法、合规。版权问题：互联网上大量的内容，如文章、图片、视频等都受版权保护。未经授权爬取这些受版权保护的内容，极有可能构成侵权行为。隐私问题：隐私保护是网络活动中的重要议题，爬虫若涉及爬取个人隐私或敏感信息的页面，将引发严重的法律风险。12

法律风险与应对应对策略：为有效规避上述法律风险，在使用爬虫前，充分了解目标网站的相关政策是首要任务。首先，仔细研读目标网站的robots协议，明确哪些内容可爬取，哪些内容被禁止。其次，对于一些复杂或不确定的情况，必要时应与网站所有者沟通并获得授权。初识反爬虫——数据采集技术主讲人：XXXXXX

中国人民大学出版社CHINARENMINUNIVERSITYPRESS

什么是反爬虫010203知识点常见的反爬虫手段为什么会有反爬虫什么是反爬虫01

什么是反爬虫反爬虫技术是指网站为了防止爬虫过度爬取或非法爬取而采取的一系列技术手段。其目的是保护网站的正常运行、数据安全以及用户隐私。为什么会有反爬虫02

为什么会有反爬虫例如，一些不法分子通过爬虫获取电商平台的用户信息，进行诈骗活动。例如，某热门新闻网站在发布重大新闻时，可能会遭受大量爬虫的并发访问，导致网站响应速度缓慢甚至崩溃。恶意爬虫可能会大量爬取网站数据，导致网站数据泄露，损害网站所有者的利益。过多的爬虫访问可能会使服务器负载过高，影响正常用户的访问体验。随着网络爬虫的广泛应用，一些网站为了保护自身的数据安全、防止服务器过载等，采取了反爬虫措施。常见的反爬虫手段03

常见的反爬虫手段IP封禁验证码验证用户代理检测网站监测IP的访问频率，如果发现某个IP在短时间内发起过多的请求，就会将该IP暂时封禁。例如，正常用户每分钟可能只会访问几个页面，而爬虫可能在一分钟内请求上百个页面，当IP的访问频率超过设定阈值时，网站就会限制该IP的访问。

常见的反爬虫手段IP封禁验证码验证用户代理检测当网站怀疑访问者是爬虫时，会弹出验证码，要求用户只有输入正确的验证码才能继续访问。验证码的形式多样，如数字验证码、图片验证码、滑动验证码等。爬虫程序一般难以自动识别验证码，从而达到阻止爬虫的目的。

常见的反爬虫手段IP封禁验证码验证用户代理检测网站通过检查请求头中的用户代理（User-Agent）信息来判断访问者是否为爬虫。正常的浏览器在请求网页时，会携带特定的用户代理字符串，表明浏览器的类型、版本等信息。而一些爬虫的用户代理可能不符合常规格式，或者使用常见的爬虫默认用户代理，网站可以通过识别这些异常的用户代理来阻止爬虫访问。数据安全——数据采集技术主讲人：XXXXXX

中国人民大学出版社CHINARENMINUNIVERSITYPRESS

数据安全的重要性010203知识点数据安全相关法律法规数据安全措施数据安全的重要性01

数据安全的重要性在使用爬虫获取数据的过程中，数据安全至关重要。采集到的数据可能包含各种敏感信息，如个人身份信息、财务数据等。如果这些数据因为安全漏洞而泄露，则会给数据所有者带来严重的损失。例如，用户在电商平台的购物记录、支付信息等数据一旦泄露，可能会导致用户遭受经济损失，甚至引发身份盗用等问题。对于企业来说，商业数据的泄露可能会使其在市场竞争中处于劣势，损害企业的声誉和利益。数据安全措施02

数据安全措施数据加密访问控制数据脱敏在数据采集和存储过程中，对敏感数据进行加密处理。例如，使用AES（高级加密标准）算法对用户密码等敏感信息进行加密存储，即使数据存储介质被窃取，没有解密密钥也无法获取真实数据。

数据安全措施数据加密访问控制数据脱敏对采集到的数据设置严格的访问权限。只有经过授权的人员或程序才能访问特定的数据。例如，对于企业内部的数据仓库，只有相关的数据分析人员和授权的管理人员才能访问特定的业务数据，防止数据被非法获取。

数据安全措施数据加密访问控制数据脱敏在数据使用过程中，如果需要对外展示或分享数据，则要对敏感信息进行脱敏处理。例如，将用户的身份证号码中间几位用星号代替，将手机号中间几位隐藏等，既保留了数据的统计意义，又保护了用户的隐私。数据安全相关法律法规03

数据安全相关法律法规在中国，《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国网络安全法》是三大核心法规。《中华人民共和国数据安全法》明确了数据分类分级保护制度，要求数据处理者采取必要措施保障数据安全，防止数据泄露、篡改或丢失。《中华人民共和国个人信息保护法》则对个人信息的收集、存储、使用和传输提出了严格要求，强调“知情同意”原则，禁止未经授权的数据爬取和使用。《中华人民共和国网络安全法》对网络运营者的数据安全责任进行了规定，要求其建立健全数据安全管理制度，防止数据被非法访问或滥用。

在国际层面，欧盟的《通用数据保护条例》（GDPR）为全球数据保护树立了标杆，其严格的处罚机制对跨境数据流动产生了深远影响。Python爬虫环境——数据采集技术主讲人：XXXXXX

中国人民大学出版社CHINARENMINUNIVERSITYPRESS

Python介绍010203知识点Python下载与配置Anaconda下载与安装Python介绍01·Python是一门强大的编程语言，近年来在移动应用开发、数据采集与分析、人工智能等领域大放异彩。·Python语法结构简洁、易上手，被广大程序设计人员青睐，已为快速开发应用的理想语言。·Python自上个世纪80年代被GuidovanRossum创造以来，已经更迭了多个版本，在逐步流行后，被广泛应用的是其2.7版本（2020年1月1日后停止更新），后面Python3普及，Python2.x版本逐步不再使用。

Python简介Python下载与配置02（1）登录Python官网：/downloads/（2）点击Download下载Python的安装包

Python下载与配置（3）按照程序步骤安装Python（4）打开命令行（左）或Python解释器（右），检测是否安装成功

Python下载与配置Anaconda下载与安装03Anaconda是一个强大且易于使用的Python和R包分发工具。使用Anaconda，可以轻松搜索和安装数千个用于数据科学的包，包括最新版本的流行库。所以，Anaconda目前被数据分析师、人工智能研究者广泛使用。Anaconda提供了一个集成化的Python环境，登录官网：/download/success即可下载安装

Anaconda下载与安装编写简单爬虫案例——数据采集技术主讲人：

中国人民大学出版社CHINARENMINUNIVERSITYPRESS

集成开发环境安装010203知识点创建项目运行项目

集成开发环境安装01Python环境安装的方法：（1）Python官方网站/可以下载最新版或历史版本的Python（2）下载Anaconda，一款强大的Python集成环境/download

Python环境安装下载本课程需要的集成开发环境PyCharm：（1）登录PyCharm官方网站/pycharm/download，单击Download下载PyCharmCommunityEdition（社区版）。

集成开发环境PyCharm注：CommunityEdition（社区版）是许多开发软件\平台会提供的免费版本，主要用于丰富对应开发语言\架构的开发社区生态，供学习者免费进行使用。相比于ProfessionalEdition（专业版），缺少了许多定制化的开发功能，若需要更便捷、功能更强大的开发环境，读者可以根据情况下载专业版进行使用。（2）执行安装程序。（3）安装完后打开PyCharm。

集成开发环境PyCharm

创建项目02（1）点击NewProject，创建新项目；（2）定义项目位置和项目名称。

创建一个Python项目运行项目03（1）安装编写爬虫所需的库requests和BeautifulSoup

在PyCharm的Terminal（终端）中使用pip命令，安装两个库

实现一个简单的Python爬虫项目pipinstallrequests

pipinstallbs4说明安装成功（2）编写一个简单的爬虫，爬取示例网站中的内容，代码实现如下：

创建一个Python项目#导入必要库

importrequestsfrombs4importBeautifulSoup #1.发送HTTP请求

url=""#示例目标网站

response=requests.get(url) #2.检查请求状态

ifresponse.status_code==200: #3.解析HTML内容

soup=BeautifulSoup(response.text,"html.parser")

#4.提取目标数据（示例：抓取标题和首段内容）

title=soup.find("h1").text.strip() first_paragraph=soup.find("p").text.strip() #5.输出结果

print(f"标题:{title}") print(f"首段内容:{first_paragraph}") #6.保存到文件（可选）

withopen("output.txt","w",encod