数据采集、清洗与标注 教案全套 第1-9章 数据采集概述-综合项目

​​第1章数据采集概述（4理论+4实验）​​​​教案设计​​​​教学目标​​理解数据采集的定义、流程及核心工具。掌握Python和MySQL环境配置方法。​​重点难点​​重点：数据采集场景分类（传感器/互联网）、工具链选择。难点：MySQL配置与权限管理。​​教学方法​​​​理论课​​：案例导入：展示电商评论爬取和气象传感器数据对比（PPT图示）。互动讨论：数据隐私保护（GDPR案例）。​​实验课​​：任务1：Anaconda环境下安装pandas、requests库。任务2：MySQL8.0安装与用户创建（命令行操作）。​​教学过程​​导入环节​​（15分钟）展示电商平台评论爬取案例与气象传感器数据对比图分组讨论：数据隐私保护案例（GDPR与《网络安全法》对比）​​核心讲授​​（60分钟）数据采集场景三维模型展示（工业/医疗/互联网）现场演示MySQL用户创建命令：CREATEUSER'newuser'@'localhost'IDENTIFIEDBY'1234567';​​实验环节​​（120分钟）任务1：Anaconda环境配置竞赛（最快正确安装pandas库的小组加分）任务2：MySQL权限管理情景模拟（不同角色权限设置）​​总结提升​​（15分钟）绘制数据采集全流程思维导图布置Scrapy与Apify的对比矩阵作业课后任务​​调研报告：对比Scrapy与Apify工具的优缺点。​​第2章文件类型与编码（4理论+4实验）​​​​教案设计​​​​教学目标​​掌握常见文件格式（CSV/JSON/MP4）的编码原理。能使用Python处理多编码文本文件。​​重点难点​​重点：UTF-8与GBK编码转换。难点：视频H.264编码原理（简化为帧率/码率讲解）。​​教学方法​​​​理论课​​：二进制演示：用Hex编辑器解析JPEG文件头。​​实验课​​：任务1：Python读取乱码TXT文件并转UTF-8。任务2：用opencv提取MP4视频关键帧。教学过程​​情境导入​​（20分钟）展示JPEG与PNG格式的同一图片对比​​编码探秘​​（50分钟）用Hex编辑器解析文件头魔术数字字符编码转换实战：GBK→UTF-8的乱码修复​​实验设计​​（120分钟）文件格式转换接力赛（TXT→CSV→JSON→XLSX）视频关键帧提取比赛（使用OpenCV）​​创新应用​​（20分钟）设计跨平台文件兼容性测试方案布置自动检测文件编码的Python脚本作业​​课后任务​​编写脚本将CSV文件转换为JSON格式。​​第3章原始数据采集（4理论+4实验）​​​​教案设计​​​​教学目标​​掌握传感器数据采集流程。能通过树莓派获取温湿度数据。​​重点难点​​重点：I2C通信协议配置。难点：传感器数据校准（线性回归演示）。​​教学方法​​​​理论课​​：实物展示：DHT11传感器与树莓派引脚图。​​实验课​​：任务1：连接DHT11并读取数据（Python代码）。任务2：数据存入MySQL并可视化（Matplotlib）。教学过程​​实物展示​​（30分钟）传阅DHT11传感器实物分析树莓派GPIO接口图：​​数据采集​​（150分钟）分步演示温湿度数据采集代码： importRPi.GPIOasGPIO GPIO.setmode(GPIO.BCM)​​故障排查​​（60分钟）模拟I2C通信故障场景数据校准实战（线性回归法）​​拓展任务​​光照传感器替代实验设计传感器网络拓扑图课后任务​​扩展实验：用光照传感器替代温湿度传感器。​​第4章互联网数据采集（2理论+4实验）​​​​教案设计​​​​教学目标​​掌握Scrapy框架核心组件（Spider/Pipeline）。能应对反爬机制（UserAgent轮换）。​​重点难点​​重点：XPath与CSS选择器。难点：动态页面渲染（Selenium集成）。​​教学方法​​​​理论课​​：对比演示：静态网页（豆瓣电影）vs动态网页（京东评论）。​​实验课​​：任务1：爬取知乎热榜问题（Scrapy）。任务2：突破Cloudflare防护（代理IP池）。教学过程​​技术对比​​（30分钟）静态网页与动态网页对比演示：​​爬虫实战​​（180分钟）分阶段实现：基础爬取（豆瓣电影TOP250）突破反爬（UserAgent轮换+IP代理）数据存储（MySQL管道设计）​​伦理讨论​​（30分钟）分组辩论："爬取公开数据是否属于侵权"​​项目开发​​电商价格监控系统原型开发课后任务​​爬取指定电商网站商品价格并预警低价。​​第5章数据清洗基础（2理论+4实验）​​​​教案设计​​​​教学目标​​理解ETL流程与质量评估指标（缺失率/一致性）。掌握OpenRefine去重与标准化操作。​​重点难点​​重点：正则表达式清洗文本。难点：聚类算法检测异常值（简单示例）。​​教学方法​​​​理论课​​：案例：医院病历数据清洗（字段缺失/单位不统一）。​​实验课​​：任务1：用OpenRefine清洗脏数据CSV。任务2：Python实现电话号码格式归一化。教学过程​​问题诊断​​（30分钟）展示脏数据案例：​​工具实战​​（180分钟）OpenRefine清洗流程：数据类型转换演示缺失值处理竞赛字段分离挑战​​质量评估​​（30分钟）制定数据质量KPI（完整性/准确性/一致性）​​综合任务​​COVID-19数据集清洗报告课后任务​​清洗公开数据集（如COVID-19数据）。​​第6章多模态数据清洗（2理论+6实验）​​​​教案设计​​​​教学目标​​掌握图像去噪（高斯滤波）与语音降噪（FFT）。能处理视频关键帧提取与字幕同步。​​重点难点​​重点：OpenCV图像增强。难点：语音静音段检测（能量阈值法）。​​教学方法​​​​理论课​​：对比展示：原始图像vs直方图均衡化结果。​​实验课​​：任务1：批量处理模糊人脸图像。任务2：用librosa切除语音静音段。教学过程​​多模态清洗​​（200分钟）文本清洗：正则表达式擂台赛图像去噪：高斯滤波参数调优​​工具对比​​（120分钟）PandasvsOpenRefine清洗效率测试CleanVision检测报告分析​​流程优化​​设计自动化清洗流水线编写清洗日志分析脚本课后任务​​对自拍视频进行稳像和降噪处理。​​第7-8章数据标注（4理论+6实验）​​​​教案设计​​​​教学目标​​掌握标注工具（LabelImg/VGGImageAnnotator）。理解标注质量对AI模型的影响（mAP指标）。​​重点难点​​重点：COCO标注格式。难点：点云3D标注（简化用CloudCompare）。​​教学方法​​​​理论课​​：展示标注错误导致自动驾驶事故的案例。​​实验课​​：任务1：标注无人机图像中的车辆（矩形框）。任务2：对语音数据进行说话人分段标记。​​标注规范​​（60分钟）展示标注质量对比案例：​​工具实战​​（340分钟）Doccano文本标注马拉松LabelImg效率优化比赛MakeSense协作标注演练​​质量评估​​设计标注质量评分卡实施交叉验证方案课后任务​​标注10张工业缺陷图像并导出JSON。​