数据采集与预处理技术-P4T4-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学□课内实践□理论+实践☑习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号13授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点实训机房（多媒体）教学内容：项目四任务四网站访问日志数据采集课程思政设计：1.数据安全与合规意识——日志里记录着来源地址、访问时间与访问路径，属于可识别到人的信息。课堂讲清日志的采集、存储与使用要在授权范围内进行，课堂练习一律使用教材模拟数据。2.求实态度——解析总有失败的条目，失败多少条要如实统计。课堂讲清跳过不算处理完，统计不出来等于没采集清楚。3.工程规范——解析字段的类型要统一，状态码与字节数要转成数值。课堂讲清存进去的数据要能直接算，字符串状态没法做统计。4.责任担当——异常请求是网站出问题的信号，筛出来就要报。课堂讲清发现异常不藏着，是对网站和用户负责。教学目标：知识目标：能说出网站访问日志的定义与它在网站分析中的作用；能说出Nginx默认访问日志九个字段各自的含义；能说出Apache通用组合日志与Nginx标准日志在结构上的关系；能说出JSON格式日志的优点与缺点；能说出日志解析结果存储到文件与数据库两条路径各自的做法与适用场合。能力目标：能读懂一条Nginx访问日志并逐字段说出它的含义；能写出对应的正则表达式并把九个字段取出为字典，其中状态码与字节数转为数值；能用内置函数打开文件逐行读取并批量解析，统计成功与失败的条数；能把解析结果保存为表格文件；能把解析结果存入轻量数据库；能完成状态码分布、热门页面、独立访客数、总流量与异常请求五项统计分析。素质目标：养成涉及访问记录的练习一律使用模拟数据的习惯；养成解析失败条目如实统计的习惯；养成入库前把数值字段转成数值类型的习惯。教学重难点及解决方法：教学重点：Nginx日志九个字段的含义与正则分组的对应关系；逐行读取并统计成功失败条数的写法；五项统计分析的实现。教学难点：把一整行日志拆成九个捕获组的正则写法，尤其是方括号与引号这类特殊符号的处理；独立访客数与总流量两项指标背后的去重与求和思路。学生常在正则里漏掉字面量符号导致整条匹配不上，也常把独立访客数算成总条数。解决方法：针对难点：正则不一次写完，按字段从左到右一段一段加，每加一段就跑一条样例看是否匹配上，学生看到中间某一处写错会在哪一步暴露；独立访客数先演示直接数总条数会重复计数，再引出用集合去重后取长度的做法，差别由两个数字给出。针对重点问题：采用边讲边练，每讲完一组字段即在机房同步敲一遍并当场打印结果，教师巡看每行输出；九个字段做成一张字段与正则片段的对照表投屏，学生照表拼装；讲存储时把文件与数据库两条路径并列成对照表，学生按数据规模选；课后按随堂检测结果推送分层强化练习。教学环境及平台：实训机房（多媒体），人手一机，配备投影与广播教学系统；课程在线教学平台。软件与工具：Python3运行环境（内置正则、csv、sqlite3、collections模块）；文本编辑器。数据与素材：教材示例访问日志（六条，含成功、重定向与资源未找到三类状态）。课堂练习一律使用教材模拟数据，不采集任何真实服务器的访问记录。教学资源：①教材《数据采集与预处理技术》第108–113页正文与示例代码；②本课程课件（含九个字段与正则片段对照表、两种存储路径对照表、五项统计指标说明表）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂实操（主要部分）：完成日志解析、存储与五项统计分析，按解析成功率、存储文件可用性、五项指标正确性三项评分；②随堂测验：下课前5题（九个字段的含义、正则中捕获组的作用、两条存储路径的适用场合、独立访客数怎么算、异常请求的判定条件），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交解析程序的源码、运行结果截图与导出的存储文件。课前预习：平台3道诊断题（日志记录了什么、日志有什么用），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.给出情境：某电商平台希望通过分析用户的访问行为来优化网站使用体验。2.讲日志的来源：网站服务器每天都会产生大量的访问日志，记录了来源地址、访问时间、请求页面、浏览器类型等信息。3.讲技术团队要做的事：采集这些日志数据，进行清洗和分析，以此挖掘用户的访问规律和偏好。4.讲摆在面前的两个难题：日志数据量巨大、格式复杂。5.提问：日志文件天天在长，靠人一条条看能不能行？让学生先说。6.讲清结论：如何高效地采集和解析这些数据成为关键问题。7.点明本任务的内容：网站访问日志的格式特点和采集方法。8.讲清合规前提：课堂练习一律使用教材模拟数据，不涉及任何真实服务器的访问记录。【学生活动】记录日志里包含的四类信息；回答靠人逐条看能不能行；说出自己见过的网站统计指标有哪些。【设计意图】对应知识目标1。用优化体验这一业务目标引入，日志的价值由用途反衬；两个难题先摆出来，后面讲批量读取与正则解析都在回应它们；合规前提讲在开头，与上一任务的四条规范一脉相承，学生在整节课里都有这条约束。环节一情境导入：服务器每天都在写日记（8分钟）情境导入任务驱动法（投屏＋讲述）数据安全：访问记录属于可识别信息【教师活动】1.给定义：网站访问日志是服务器自动记录的用户访问信息，是分析网站流量和用户行为的重要数据来源。2.讲清定位：掌握日志文件格式和采集方法，是数据分析工作的基础技能之一。3.讲总规律：不同的网页服务器采用不同的日志格式，但整体结构相近。4.讲第一种Nginx默认格式：Nginx是目前应用最广泛的网页服务器之一，投屏一条默认访问日志。5.逐字段讲清九个部分的含义：第一个字段为来源地址；第二、三个字段通常为空，用短横线表示；方括号内为访问时间；引号内为请求行，包括请求方法、资源路径和协议版本；随后是状态码；再随后是响应体大小，单位为字节；下一组引号内为来源页面；末尾引号内为客户端标识。6.讲清状态码与响应大小这两个数字各自指什么。7.讲第二种Apache日志格式：其通用组合日志格式与Nginx标准访问日志字段结构相近，覆盖用户访问分析所需的全部基础信息。8.讲清学会一种即可迁移到另一种。9.讲第三种JSON日志格式：现代业务系统普遍采用JSON格式输出日志，方便程序解析与批量处理。投屏一条标准示例，逐字段讲清时间戳、来源地址、请求方法、路径、状态码、字节数与客户端标识。10.讲清它的取舍：优点是层级结构清晰、程序易于解析；缺点是在同等日志信息量下，文件存储体积大于纯文本分隔日志。11.并列三种格式成对照表投屏，逐列标注适用场景与取舍。【学生活动】记录Nginx日志九个字段的含义；说出三种格式各自的取舍；说出状态码与响应大小各自指什么；说出自己更愿意处理哪一种及理由。【设计意图】对应知识目标2、3、4，落实重点九个字段。九个字段按从左到右的顺序逐条讲，与后面正则的分组顺序完全一致，学生写正则时有直接对照；三种格式并列成表，其中JSON的体积代价单独点明，学生知道为什么老系统仍在用文本格式；让学生说出偏好并讲理由，取舍意识在表态中建立。环节二三种日志文件格式（14分钟）讲授＋板书对照表范例投屏求实态度：格式各有取舍不迷信新的【教师活动】1.讲思路：对于传统的文本格式日志，可以使用正则进行解析；Nginx日志的每一行都遵循固定格式，各字段由空格与特殊符号分隔，适合用正则分组提取。2.投屏完整的一条日志与对应的模式，先整体对照一遍。3.讲第一段：用匹配一个或多个非空白字符的写法匹配来源地址。4.讲第二段：两个短横线是字面量，方括号在正则里有特殊含义，要先用转义再匹配其中的内容，这里用匹配一个或多个非右括号字符的写法取出时间戳。5.单独强调转义这一处：不转义就会匹配失败，而且失败得不明显。6.讲第三段：引号内是请求行的三个部分，用三个匹配非空白字符的写法依次取出请求方法、资源路径与协议版本。7.讲第四段：用匹配三位数字的写法取状态码，用匹配一个或多个数字的写法取响应大小。8.讲第五段：两组引号内的内容分别用匹配零个或多个非引号字符的写法取出来源页面与客户端标识。9.讲清捕获组与取值：每一对圆括号构成一个捕获组，通过带序号的取值调用可以依次获取各字段的值。10.现场按字段从左到右一段一段加，每加一段就跑一条样例，学生看到中间某处写错会在哪一步暴露。11.讲函数结构：定义一个解析函数，匹配成功时返回包含九个字段的字典，其中状态码与字节数转成整数；匹配不上时返回空值。12.讲清文档字符串的写法与前面任务的要求一致。13.现场测试一条样例，学生核对打印出来的字典。【学生活动】跟着一段一段拼装正则并观察每加一段后的匹配结果；说出转义不写会怎样；说出捕获组怎么取值；核对测试打印出来的字典。【设计意图】对应能力目标2，突破难点正则拼装。按字段顺序逐步拼装并每步验证，抽象的匹配失败变成某一步的确定性暴露，学生学会的是排错方法而不是背下一条长模式；转义单独强调，这是本节最典型的一处写法问题；状态码与字节数转成整数这一要求讲在返回字典时，呼应思政中的工程规范。环节三用正则解析Nginx日志（15分钟）讲授＋板书分步演示（投屏＋同步敲）工程规范：数值字段要转成数值【教师活动】1.讲清实际场景：实际应用中需要处理大量日志数据，做法是逐行读取日志文件并批量解析。2.讲函数设计的内外分工：解析函数只管一行，读文件函数负责把文件里的行一条条送进去。3.讲读取的写法：用内置函数以只读方式打开文件并指定编码，配合上下文管理语句确保关闭。4.讲逐行处理：用循环遍历文件对象，取到一行后先去掉首尾空白，再判断是否为空行，非空才送进解析函数。5.讲统计：解析成功的加入结果列表，解析失败的让失败计数加一。6.讲完打印：分别输出成功条数与失败条数。7.讲清为什么要统计失败条数：解析总会有匹配不上的行，跳过不算处理完，失败多少要如实写出来。8.现场演示：在样例里故意掺入一条格式不对的行，学生看到失败计数变成一。9.提问：如果失败条数占了两成，下一步该做什么？引导学生说出先查这些行长什么样再改正则。【学生活动】记录读文件函数的写法与两处统计；观察掺入异常行后失败计数的变化；回答失败比例高时下一步该做什么。【设计意图】对应能力目标3。内外分工先讲清楚，学生知道一个函数只做一件事；空行判断与首尾空白处理这两处细节现场交代，减少不必要的解析失败；失败条数的意义单独讲并配合故意掺入异常行的演示，呼应思政中的求实态度；失败比例高时的处置方向用一个追问带出，学生知道统计之后还有动作。环节四批量读取与失败统计（10分钟）讲授＋板书直观演示法（投屏＋同步敲）如实记录：失败多少条要写得出来【教师活动】1.点明去处：解析后的日志数据需要存储起来以便后续分析，常见的存储方式包括表格文件、数据库等。2.讲第一步导入模块：使用Python内置的表格处理模块。3.讲第二步取表头：从日志数据列表的第一条记录中获取所有字段名，作为表格文件的表头。4.讲第三步创建写入器：打开文件后创建写入器对象，该对象能够将字典格式的数据按字段名写入对应的列。5.讲第四步写入：先写表头行，再把所有日志记录批量写入。6.讲两个关键参数：打开文件时加上换行参数避免在部分系统上出现多余空行，并指定编码。7.讲清这两处与前面任务里写表格文件的要求一致。8.现场演示保存并打开文件查看，学生确认中文与字段对齐。9.提问：如果结果列表是空的，这个函数该怎么做？引导学生说出直接返回不做无谓写入。【学生活动】记录四个步骤与两个关键参数；跟着保存并打开文件查看；回答结果为空时该怎么处理。【设计意图】对应能力目标4。四个步骤按取表头、建写入器、写表头、批量写的顺序讲，学生写的时候有顺序可依；两个关键参数与前面任务的要求串起来，工程规范在多次任务之间连贯；结果为空直接返回这一处用一个追问带出，学生注意到边界处理而不是只写主流程。环节五存储到表格文件（10分钟）讲授＋板书直观演示法（投屏＋同步敲）边界意识：空结果不做无谓写入【教师活动】1.讲适用场合：对于大规模日志数据，使用数据库存储更为合适，便于后续的查询和分析。2.讲所用的数据库：轻量数据库是Python内置的，无须另外安装服务。3.讲第一步连接：调用连接方法连接或创建数据库文件。4.讲第二步建表：通过游标执行建表语句，定义各字段的名称和数据类型；现场给出建表语句，讲清自增主键与文本、整数三种类型的选用。5.讲清加上不存在时才建的写法，重复运行不会报错。6.讲第三步插入：遍历日志数据列表，对每条记录执行插入语句。7.讲清占位符的写法：用问号占位而不是把值拼进语句，讲清这样既安全又能避免类型处理出错。8.讲第四步提交与关闭：调用提交方法确保数据写入磁盘，再调用关闭方法关闭连接。9.讲清提交这一步不能省，不提交等于没写进去。10.现场演示存库并查询前几条，学生看到数据确实落盘。11.并列两条存储路径成对照表投屏：文件方式简单直观、便于分享；数据库方式便于查询与增量追加，适合数据量大与需要反复分析的场合。【学生活动】记录建表、插入、提交、关闭四个步骤；说出问号占位的好处；说出不提交会怎样；跟着存库并查询确认；说出两条路径各自的适用场合。【设计意图】对应能力目标5。四个步骤按连接、建表、插入、提交关闭的顺序讲，与环节五的四个步骤形成对照，学生比较两条路径的复杂度；问号占位与提交不能省这两处单独强调，是数据库操作最基本的规范；两条路径并列成表，学生按数据规模选型，呼应思政中的工程规范。环节六存储到轻量数据库（10分钟）讲授＋板书对照表（投屏＋同步敲）规范操作：改完要提交用完要关闭【教师活动】1.布置任务：按教材第108–113页的任务实施，完成日志数据采集与统计分析的全流程，共三个阶段。2.讲清样例构成：教材给出六条模拟日志，涵盖成功、重定向与资源未找到三类状态。3.讲第一阶段解析：定义解析函数，遍历样例逐行解析，把非空结果加入列表，打印总条数。4.讲第二阶段五项统计并逐项讲清做法。5.讲第一项状态码分布：用计数工具统计各状态码的请求数量，按状态码排序后逐项打印。6.讲第二项热门页面：用同一工具统计各路径的出现次数，取出现次数最多的前三个打印。7.讲第三项独立访客数：先演示直接数总条数会重复计数，再引出把来源地址放进集合去重后取长度的做法，两个数字并排打印，差别一目了然。8.讲第四项总流量：把响应大小求和后换算成更可读的单位，打印时保留两位小数。9.讲第五项异常请求识别：筛选出状态码大于等于四百的记录，逐条打印其来源地址、请求路径与状态码。10.讲清异常请求的意义：这些是网站出问题的信号，筛出来就要报。11.运行程序，逐段核对输出：解析总条数、状态码分布、热门页面前三、独立访客数、总流量、异常请求数与明细。12.教师巡看，重点检查三处：状态码与字节数是否已转成数值、独立访客数是否用了去重、异常请求的判定条件是否写成大于等于。13.引导学生用三句话小结：①解析按字段分段写、每加一段就验证；②独立访客数要去重，总流量要换算单位；③异常请求筛出来就要报。14.课程在线教学平台推送当堂检测5题（九个字段的含义、正则中捕获组的作用、两条存储路径的适用场合、独立访客数怎么算、异常请求的判定条件），限时5分钟，系统自动批改，当场讲评错误率最高的一题。15.布置作业并预告：下一任务讲网页数据采集进阶，请课前把教材第114–123页的框架架构部分先看一遍。【学生活动】按三个阶段独立完成采集与统计