豆瓣电影排行榜爬虫_第1页
豆瓣电影排行榜爬虫_第2页
豆瓣电影排行榜爬虫_第3页
豆瓣电影排行榜爬虫_第4页
豆瓣电影排行榜爬虫_第5页
已阅读5页，还剩7页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

豆瓣电影排行榜爬虫预期结果爬取豆瓣电影的热门榜，获取热门榜信息并生成excel文件实现数据可视化成果演示1.py-VisualStudioCode2022-06-2214-21-12.mp4设计思路以及代码展示豆瓣网未登陆的情况下无法采集数据，requests.get会返回418，418的意思是被网站的反爬程序识别返回的结果，所以采集之前要先登录网站，并且复制网站的User-Agent和Cookie信息，并且把User-Agent和Cookie转化为字典格式，网页鼠标右键——检查——Network——Doc——F5刷新网址（这步很重要）——选择Name下面的‘top250?start=0&filter=’——Headers——Cookie，User-Agent（位于cookie下面）User-Agent和Cookie在网站的位置如下：

可以看到，页面上每个电影的名称都是一个链接，链接会跳到电影的详情页。由于每一个页面上能看到的电影信息有限，所以需要进入电影的详情页，才可以采集电影的详细信息。首先采集页面上25部电影的链接采集每部电影的详细信息在每一部电影的详情页面，我们采集的信息包括：电影名称、豆瓣评分、评分人数、导演、编剧、主演、类型、制片国家/地区、语言、上映日期、片长、又名、IMDb链接。代码如下总代码展示（基础版）代码优化通过观察可以看出，豆瓣电影top250榜单总共有10个页面，每个页面有25部电影，总共250部电影。并且，这10个页面的网址有一定的规律性，那就是网址中的

start

位置，第1个页面start=0，第2个页面start=25，第10个页面start=225，可以推测出这10个页面的网址中的start呈现出[0,25,50,75,100,125,150,175,200,225]的序列分布规律。于是可以通过python循环自动生成10个网址，并且

人人文库> 全部分类> 教育资料 > 备课教案

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论