商务数据分析与应用实训教程 课件 项目10 数据采集

项目10数据采集场景描述数据是数据分析的基础，电商数据可以从多个渠道进行获取，如后台的数据下载、生意参谋各模块的数据下载、网页数据采集等。学会如何在网页中采集目标数据是数据分析中不可或缺的一步。项目目标通过Excel的PowerQuery采集网页端的静态和动态数据。项目任务分析维度数据采集任务1：静态数据采集（一）如何使用PowerQuery数据清洗数据保存任务2：静态数据采集（二）获取静态数据的url在PowerQuery中输入公式及M函数数据清洗数据保存任务3：动态数据采集如何使用PowerQuery获取动态数据的url在PowerQuery中输入公式及M函数数据清洗数据保存分析思路判断方式：复制部分目标数据，进入网页源代码页面，利用快速查找（Ctrl+F）功能确定是否能够定位到目标数据，定位成功则目标数据属于静态数据，否则为动态数据。数据采集步骤判断目标数据是静态数据还是动态数据采集目标数据保存数据静态数据：在加载网页时，数据内容就已经存储在网页的源代码中，可以直接从源代码中提取出来。动态数据：在网页加载时，并不会立即显示出来，而是需要进行一些特定的动作，如滑动鼠标滚轮、点击按钮等，才会触发加载动作，将数据动态地加载到网页中。数据采集步骤判断目标数据是静态数据还是动态数据采集目标数据保存数据确定采集目标的url：静态数据的url与网址相同，而动态数据需要找到对应加载包中请求头页面下的RequestURL。明确目标所在位置：选中目标数据，鼠标右击选择“检查”，使用开发者工具（如浏览器的开发者工具）定位目标数据在网页中的位置，了解数据在网页中的呈现方式、存储形式。采集目标数据：编写代码，向网页发送请求，针对网页返回的内容并提取目标数据。将采集到的目标数据以文件的形式存储到本地电脑当中，也可以存储至云端数据库。项目10数据采集任务1静态数据采集(一)网址：/team/HOU.html（1）在NBA数据网页上采集休斯敦火箭队球员最新赛季的历史数据。静态数据采集（一）①利用Excel从“自网站”中获取数据。②选择目标数据“Table0”表，点击“编辑”进入PowerQuery编辑器。（1）在NBA数据网页上采集休斯敦火箭队球员最新赛季的历史数据。③删除第一列空列。④筛选数据。将“总计”“全队数据”“对手数据”的勾去掉，只选择需要的数据。静态数据采集（一）（1）在NBA数据网页上采集休斯敦火箭队球员最新赛季的历史数据。⑤关闭并上载数据。静态数据采集（一）项目10数据采集任务2静态数据采集(二)静态数据采集（二）①选中数据中任一单元格，选择“自表格/区域”，进入PowerQuery编辑器。（1）通过设置URL规则，一次性对多个球队的数据进行采集。（1）通过设置URL规则，一次性对多个球队的数据进行采集。②添加自定义列，创建url。静态数据采集（二）（1）通过设置URL规则，一次性对多个球队的数据进行采集。③再次添加自定义列。公式中的M函数说明：函数1：“Web.Page”是以网页的方式加载数据。函数2：“Web.Contents”是将网页以二进制文件的格式下载。{0}[Data]是打开网页中的第一张表格，也就是上一个采集的“Table0”。静态数据采集（二）静态数据采集（二）（1）通过设置URL规则，一次性对多个球队的数据进行采集。④展开table，空列可以直接取消勾选，并且取消勾选“使用原始列名作为前缀”复选框。⑤展开数据后，取消勾选“总计”“全队数据”“对手数据”复选框。⑥删除不需要的列。⑦关闭并上载数据。静态数据采集（二）（1）通过设置URL规则，一次性对多个球队的数据进行采集。项目10数据采集任务3动态数据采集网址：/team/HOU.html（1）在NBA数据网页上采集不同球队中不同球员的赛季比赛记录。动态数据采集①F12进入开发者模式NetWork(网络)界面,选择不同年份赛季，此时右侧的NetWork窗口的左侧会新增文件链接，单击该新增文件，在Preview窗口可查看文件内容。②单击“Headers”按钮，从“Headers”窗口可以看到请求RequestURL:/team/stat_box_team.php?team=HOU&season=2017&col=pts&order=1&isseason=1。（1）在NBA数据网页上采集不同球队中不同球员的赛季比赛记录。③将需要采集的球队和年份数据作为参数导入采集过程。选择“自表格/区域”选项，将数据导入PowerQuery编辑器。④将年份的格式设置为文本，方便参数传入URL中。动态数据采集（1）在NBA数据网页上采集不同球队中不同球员的赛季比赛记录。⑤添加自定义列，创建目标URL。动态数据采集⑥根据url下载文件，用自定义列实现。M函数说明：Text.FromBinary是将二进制文件转成文本，其语法结构为：Text.FromBinary(binaryasnullablebinary,optionalencodingasnullablenumber)asnullabletext。本例使用该函数是为了解决乱码问题，第二个参数65001表示UTF8编码。动态数据采集（1）在NBA数据网页上采集不同球队中不同球员的赛季比赛记录。⑦展