《大数据导论》课件-3.3.3移动端APP的数据爬取

大数据导论数

据

采

集移动端APP的数据爬取目录01需求分析及环境要求

02电脑端Fiddler代理设置

03安卓模拟器端设置04APP数据包分析

05抓取代码实现

需求：采集网易新闻APP中的头条新闻数据分析环境：Fiddler抓包调试工具+雷电安卓模拟器+网易新闻客户端Fiddler抓包调试工具：HTTP协议包抓包并解析雷电安卓模拟器：实现在电脑端安装安卓APP网易新闻客户端：目标APP需求分析及环境要求1、安装Fiddler抓包调试工具2、设置菜单tools-->options-->HTTPS，勾选“DecryptHTTPStraffic”3、点击actions，选择“ExportRootCertificatetoDesktop”4、双击桌面中的证书，将证书安装到电脑中电脑端Fiddler代理设置5、Connections标签页下面勾选上“Allowremotecomputerstoconnect”电脑端Fiddler代理设置安卓模拟器端设置1、设置安卓模拟器网络，将wifi网络设置为通过电脑代理上网。2、在模拟器中安装Fiddler导出在桌面的证书。APP数据包分析1、打开fiddler，等待抓包数据

2、打开网易新闻客户端，点击头条新闻模块3、选中json数据报，点击Inspectors，选择headers选项

4、在内容解析模块中，选择JSON，即可看到解析后的JSON结构APP数据包分析1、查看请求报文2、获取到Host、和请求地址，拼接成请求链接。3、复制出请求头参数，供python程序设置headers参数GET/recommend/getSubDocPic?tid=T1348647909107&from=toutiao&offset=0&size=10&fn=3&LastStdTime=0&spestr=shortnews&prog=&passport=&devId=ftxGMynprA5efJeQQAZVNA%3D%3D&lat=cA34ftOajTcf8oiXnCnYSA%3D%3D&lon=hjgtNXtbGK4ek8fU60DW%2BQ%3D%3D&version=29.1&net=wifi&ts=1592493790&sign=K0u3LpRRaAyvwdOgB8g36fE63n9YoOmqopn8LLWUO4N48ErR02zJ6%2FKXOnxX046I&encryption=1&canal=360_news&mac=6WrupA9AJ%2Fa0004waqMD6oe1A3IUPLLdoCiqBVf2Go0%3D&open=&openpath=

HTTP/1.1data4-Sent-Millis:1592493790542Add-To-Queue-Millis:1592493790542User-D:ftxGMynprA5efJeQQAZVNA==User-L:49DH/sgjf1m26pXHWmtjB5o5IGoIr6qJgqlI+Ck7HyVoonbdvFa2PqECzZrEN4h8User-N:qqjk5Rf2eHuUjdbgPUrwPtFzNhofg+0ZZL1zci5OpgY=httpDNSIP:6User-C:5aS05p2hUser-Agent:NewsApp/29.1Android/5.1.1(nubia/NX629J)X-NR-Trace-Id:1592493790543_369738276_865166021987584Host:Connection:Keep-AliveAccept-Encoding:gzipAPP数据包分析1、提取响应报文中的JSON数据包，分析目标数据字段名，如：docid=FFE2TUB40530I1ON2、在APP中点击该新闻，重新分析数据包，得到该新闻的请求报文和响应报文APP数据包分析分析请求报文和响应报文后发现：请求链接“/nc/article/FFE2TUB40530I1ON/full.html”中的“FFE2TUB40530I1ON”即是JSON数据包中的docid中的值。通过json数据包中的docid，不断的变换请求数