已阅读5页，还剩6页未读， 继续免费阅读
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
Scrapy抓取AJAX数据应用场景应用案例应用场景/01当前很多新网站在很多地方采用了ajax(异步JavaScript和XML)，大大提高了页面加载的速度。但是对于一些数据抓取来说，就增加了复杂度，ajax数据从源代码里找不到。如下案例，一篇文章页面中的评论信息和哪些专题进行了收录，都在源代码中看不到。应用场景应用案例/02
首先，使用抓包工具Fiddler或Chrome"检查"进行分析。文中使用的是Chrome工具。Chrome--"检查"--切换到“Network”，这时候刷新一下网页。找到发送收录专题的请求(request)。
应用案例
一个页面通常会有几十个请求（这个页面有89个），包括网页文档（document）,脚本（script）,图片（jpeg）,还有一种类型叫xhl就是XMLHttpRequest，就是异步请求类型。然后比较名字，找到所要的请求。点击它，就看到完整的URL了。
应用案例
注意，这个URL放到地址栏访问发现并不没有返回我们所要的数据，而是一个404页面。但看一下返回的Response，就是我们所需要的JSON数据。
应用案例
最后解析JSON,这一步就比较简单，引入json包，进行解析。当然做这步时，需要先发送一个请求
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 六年级上册英语教案-Unit 3 Staying Healthy 第三课时 广东开心英语
- 学校请假制度
- 幼儿园国庆节倡议书（3篇）
- 影响合同效力的强制性规定常见类型
- 民间抵押房产正规合同范本
- 江苏省期无锡市天一实验校2023-2024学年中考数学全真模拟试题含解析
- 个人交易房屋买卖合同
- 江苏省南京市二十九中致远校区重点名校2024年中考数学考试模拟冲刺卷含解析
- 江苏省海安八校2023-2024学年中考三模数学试题含解析
- 漫画欣赏（一）（教案）人美版（北京） (2013)美术二年级下册
- 2024年广东广州市海珠区琶洲街雇员协管员招聘笔试冲刺题（带答案解析）
- 2024年河北出版传媒集团招聘笔试参考题库含答案解析
- 2023年中国电建集团新能源开发有限责任公司招聘笔试题库含答案解析
- 广东省2018定额说明
- 彩钢瓦屋面更换施工组织设计方案
- 【企业管理与发展】战略管理与决策！.ppt
- 2011年初中生物课程标准(word版)
- 煌上煌酱卤世家社区推广活动执行策划案.ppt
- 《乐游原》(1).ppt
- (WHGC-JSBZ-017)烟道及排风井技术标准(A0)
- 矿泉水瓶热流道注射模具设计
评论
0/150
提交评论