数据采集教育部资源中心据采集课件

国家中小学课程资源数据采集（第二十二课时）年级：高一学科：信息技术（人教/中图版）学校某省市第三十五中学回顾

数据处理一般过程数据采集高某著名企业息技术数据整理数据分析数据呈现什么是数据采集高某著名企业息技术数据获取的过程——数据采集数据采集指根据需求采用适当的方法和工具获取所需要的数据。课堂活动1：体验采集高某著名企业息技术你知道自己现在的精确位置吗？思考：需要采集什么数据？经纬度课堂活动1：体验采集高某著名企业息技术你知道自己现在位置的精确位置吗？思考：去哪儿找到当前经纬度？手机导航、手机APP课堂活动1：体验采集高某著名企业息技术你知道自己现在位置的精确位置吗？思考：APP怎么获取到经纬度数据？

手机定位传感器课堂活动1：体验采集。活动内容：下载一个定位APP，确定自己的经纬度例如：豆豆指南针暂停视频，填写任务单-任务1

中的表格高某著名企业息技术活动回顾高某著名企业息技术手机是怎样实现定位我们的精确位置的？找什么——明确数据需求——经纬度去哪儿找——确定数据来源——手机APP怎么找——选择采集方法——手机定位传感器传感器采集高某著名企业息技术传感器是能检测、采集物理世界的各种信息，并将信息转换为某著名企业号形式表示的数据采集设备。课堂活动2：寻找传感器我们生活中还有哪些通过传感器采集数据的物品呢？（任务单-任务2）高某著名企业息技术课堂活动2：寻找传感器高某著名企业息技术手机中的传感器高某著名企业息技术手机中的传感器高某著名企业息技术暂停视频请阅读任务单中阅读材料，了解手机中的传感器的功能。1.

陀螺仪5.摄像头9.GPS传感器2.

重力传感器6.电磁传感器10.感器3.

加速度传感器7.距离传感器11.麦克风4.

指纹传感器8.光线传感器12.气压传感器课堂活动3：手机中的传感器高某著名企业息技术打开手机，观察思考，你手机中的游戏或应用app，思考：1、APP中有哪些功能？2、该功能运用了什么传感器？3、该传感器采集什么数据实现了该功能？试一试：你能举出3个例子吗？填在表格中（任务单-任务3）新问题高某著名企业息技术传感器帮助手机实现了很多功能。如果我想了解北京今天的天气情况来确定出行，手机能帮到我吗？通过搜索引擎、天气类APP查找天气情况。网络采集方法——搜索引擎高某著名企业息技术网络采集方法——搜索引擎高某著名企业息技术网络采集方法——搜索引擎爬取数据检索查询缓存数据呈现结果高某著名企业息技术STEP1STEP3STEP2 STEP4搜索引擎spider——通用爬虫网络采集方法——搜索引擎搜索引擎给出的数据检索结果非常多。怎样选择才能获取最有权威、最准确的数据呢？需求：分某省市空气污染指数2015-2020年的变化情况这些空气质量数据在这2个网站都可以找到？如何选择？高某著名企业息技术网络采集方法——爬虫手机APP里的天气数据从哪来来的？一般网站、手机APP中的天气信息，都是从气象网站爬取的聚焦爬虫高某著名企业息技术网络采集方法——爬虫聚焦爬虫采集的数据过程02高某著名企业息技术01分析网页抓取网页03过滤数据保存数据04课堂活动4：体验爬虫在中国天气网爬取本地最近的天气预报，将抓取的最近7天天气数据存入一个csv文件。高某著名企业息技术课堂活动4：体验爬虫高某著名企业息技术活动说明：weather.csv1、下载

抓取天气.py2、运行代码在程序所在目录会生成抓取到的数据文件某省市某省市。SETP1:分析网页高某著名企业息技术SETP1:分析网页高某著名企业息技术STEP2:抓取网页抓取网页html——get_content函数高某著名企业息技术STEP3:过滤数据过滤html中的目标数据——get_data函数高某著名企业息技术SETP4:保存数据将过滤后的数据保存为csv文件——write_data函数高某著名企业息技术STEP5:实施采集直接运行程序，在指定的url抓取网页、过滤数据、保存数据提示：修改爬取的url，尝试抓取中国天气网上某省市的7天天气情况。高某著名企业息技术知识补充——函数函数是逻辑相对独立、功能相对单一的代码块。需要时直接调用，不必重写，提高代码可重用性。（参考教材P60

关于函数的定义)通常函数有0-N个参数，返回0-N个结果高某著名企业息技术爬虫软件可视化爬虫软件集搜客八爪鱼后羿采集器高某著名企业息技术课堂任务5：体验爬虫软件这部国产科幻片反响如何？下载安装软件——后羿采集器在豆瓣电影找到流浪地球电影参考学习资料中的操作流程，实现采集100条影评数据高某著名企业息技术爬虫使用规范爬虫使用起来很方便可以快速从互联网上获取到大量数据是否我们可以随意爬取想要的数据呢？高某著名企业息技术爬虫使用规范遵守robots.txt协议禁止：

恶意爬取侵犯个人隐私爬取信息用于不正当竞争侵犯高某著名企业息技术遵守相关法律法规高某著名企业息技术根据《中华人民共和某著名企业络安全法》以及最新刑事司法解释规定“非法提供”和“非法获取”公民个人信息构成犯罪的都可以入刑。网络爬虫功能强大便捷，但是我们使用时，一定要遵守相关法律法规。网络采集方法：调查问卷高某著名企业息技术网上有的数据，我们可以通过搜索引擎查找、爬虫爬取。如果网上没有的数据呢？例如：你所在学校同学们的课外时间分配情况，课外娱乐时长和课外学业负担如何？这种数据我们可以通过调查问卷形式采集。网络采集方法：调查问卷在线调查问卷工具问卷星、问卷网、腾讯问卷、问卷小程序等。高某著名企业息技术课后作业高某著名企业息技术你身边的高中生课余时间是怎样规划安排的？学业负担重吗？都有哪些娱乐？请参考资源包关于在线调查问卷的说明，设计一个在线调查，了解身边同学课余时间安排，可参考下表，也可自行规划调查内容。课后时间调查表

（单位：分钟）序号姓名写作业户外活动玩手机/上网看电视……1小明60120150302课堂小