《数据采集技术》课件-项目五 任务1 获取某电影网站

项目五

基于某电影网站实现模拟登录目录01任务一

获取某电影网站的Cookie02任务二

基于Session和Cookie实现模拟登录任务一

获取某电影网站的Cookie

任务描述

经过前面的学习与实际的爬虫实践，我们发现，很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站不会对所有页面都设置登录限制。如果我们想要看到这些网站中更深层的信息，通常需要登录之后才能实现。使用Cookie模拟登录是一种常见的方式，通过携带正确的Cookie信息，我们可以在爬虫中保持与网站的会话状态。任务目标了解session的基本概念0201了解Cookie的基本概念及结构。掌握在请求中携带Cookie进行身份认证的方法0403掌握获取并使用Cookie的方法任务一

获取某电影网站的Cookie1.1CookieCookie是某些网站为了鉴别用户身份，进行Session跟踪而存储在用户本地终端上的数据。它存在于在客户端，也可以理解为在浏览器端，有了Cookie，浏览器在下一次访问相同网页时，就会自动附带上它，并发送给服务器，服务器通过识别Cookie鉴定出是哪个用户在访问，然后判断此用户是否处于登录状态，并返回对应的响应。Cookie里保存着登录的凭证，因此，爬虫中，处理需要登录才能访问的页面时，我们一般会直接将登录成功后获取的Cookie放在请求头里面直接请求，而不是重新模拟登录。实操小任务：打开任意网址，切换到浏览器开发者工具，点击对应Application选项卡，切换到storage，找到Cookie任务一

获取某电影网站的Cookie1.2查看Cookie通常在浏览器中，我们可以通过以下方式查看Cookie：1.打开浏览器并登录目标网站。2.在浏览器的开发者工具中找到"Application"或"Storage"选项卡，查看Cookies。3.复制需要的Cookie信息。任务一

获取某电影网站的Cookie1.3Cookie属性结构Name：Cookie的名称（Cookie一旦创建，名称便不可更改）Value：Cookie的值（如果值Unicode字符，则需要为字符编码，如果为二进制数据，则使用BASE64编码）Domain：指定可以访问该Cookie的域名Path：Cookie的使用路径（如果设置为1，则本域名下的所有页面都可以访问）Max-Age：Cookie的失效时间，单位为秒，常和Expires一起使用Size：Cookie的大小HTTP字段：Cookie的httponly属性（若此属性为TRUE，则只有在HTTPHeaders中才会带有此Cookie的信息，而不能通过document.cookie来访问）任务一

获取某电影网站的Cookie1.4Cookie获取要获取Cookies，可以有多种方式1.手动在浏览器里输入用户密码，然后再把Cookies复制下来，在请求时将其复制到请求头中即可任务一

获取某电影网站的Cookie2.通过requests库中的cookies参数来手动设置Cookie，或者直接使用requests.Session()来自动管理会话中的Cookie任务实施以国家大学生就业服务平台为例，获取登录后的cookie任务小结通过学习了