《数据分析与应用》课件-用powerbi爬整个网页数据（补充）_第1页
《数据分析与应用》课件-用powerbi爬整个网页数据（补充）_第2页
《数据分析与应用》课件-用powerbi爬整个网页数据（补充）_第3页
《数据分析与应用》课件-用powerbi爬整个网页数据（补充）_第4页
《数据分析与应用》课件-用powerbi爬整个网页数据（补充）_第5页
已阅读5页，还剩8页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

用PowerBi爬整个网页数据首先以亚马逊网站搜索鼠标页面作为例子第一页的网址为：/s?k=%E9%BC%A0%E6%A0%87&__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&qid=1617351545&ref=sr_pg_1第二页为：/s?k=%E9%BC%A0%E6%A0%87&page=2&__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&qid=1617351551&ref=sr_pg_2可以看出，结尾1和2就是该页页码。打开PowerBi后，点击转换数据打开PowerQuery。第一步：复制任意一页网址，这里我用第二页/s?k=%E9%BC%A0%E6%A0%87&page=2&__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&qid=1617351551&ref=sr_pg_2第二步：在PowerQuery中点击新建源，点击Web，点击高级第三步：输入网址（注意：一定要把页码单独放在一行！否则下一步的代码就会错误）（如下图）点击确定，进入下一步第三步，点完确定后，等待连接成功，就会出现好几个建议的表格，随便点一个就行，右侧会出现第二页所有文字内容的预览，点确定可以看到，点完确定后，右侧有三个选项，分别是源、提取的表、和更改的类型，不要点别的选项，留在更改的类型里第四步：找到主页里的高级编辑器，并点击点进去后，可以看到该网页的代码在let前点击并用回车空出一行,在空出的一行输入(pasnumber)astable=>

下面看第三行（原本的第二行），在结尾处&的后面个“2”，这个就是页码，将“2”选中（包括双引号），并改成(Number.ToText(p))

点击完成点完完成后出来这个页面说明前面操作无错误在示例的框里输入鼠标网页任意的页码后点调用，该页面的内容就都能跳出来变成表但是我们的目的是一次性爬完整个网页，所以还要进行下面的步骤在该页面点击新建源，点击空查询回到鼠标的网页，可以看到一共有10页点完空查询后，可以看到一个能输入函数的框下面在框里输入={1..10}（大括号里的数字就是以爬的网站一共多少页决定）输完点击回车出现一个列表，点击上方转换到表，点击确定变为下面的页面在该页面点击添加列，点击调用自定义函数,点击功能查询，选择表1，点击确定可以看到右下角有加载几行，这个就是进度，网页是1

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论