数据采集与预处理技术-P3T2-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学□课内实践□理论+实践☑习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号9授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点实训机房（多媒体）教学内容：项目三任务二文献调查数据采集课程思政设计：1.学术规范与调研诚信——文献是他人的劳动成果，引用必标出处，来源必可追溯。课堂讲清拼盘式的摘抄不是综述，说清谁的结论、来自哪里，才算完成信息整理。2.批判性思维——行业报告有付费与免费之分，发布机构的立场与方法各不相同。课堂讲清拿到一份文献先看发布时间、数据来源与研究方法，再谈能不能用。3.求实态度——文献反映的是过去某个时点的情况，存在滞后性。课堂讲清引用时要连同时间一起标注，不能把三年前的市场规模当成今天的结论用。4.知识产权意识——文献管理软件让引用格式自动生成，但不等于可以随意转载全文。课堂讲清课堂练习只做信息提取与整理，全文的使用要遵守数据库与出版方的规定。教学目标：知识目标：能说出文献调查的定义及其与问卷调查在数据性质上的区别；能说出文献调查的四个特点；能说出学术数据库、行业报告、政府出版物、企业公开资料四类文献来源各自的代表渠道与内容侧重；能说出关键词检索、布尔逻辑检索、高级检索三种方法的操作要点；能说出文献质量评估的五个维度。能力目标：能针对给定研究主题确定核心关键词、扩展关键词与限定关键词，并写出检索表达式；能按相关性与质量两个标准判断一份文献是否值得采用；能设计一张信息提取表并从中提取关键信息与关键数据；能用Pandas建立文献信息记录表并完成分类统计，能用Python提取PDF文本并统计关键词出现次数，能把结果导出为表格与文本两种文件。素质目标：养成引用他人成果必标出处的习惯；养成先看发布时间与数据来源再采信的习惯；养成把不同来源的信息交叉验证后再下结论的习惯。教学重难点及解决方法：教学重点：四类文献来源各自的代表渠道与内容侧重；三种检索方法尤其是布尔逻辑检索的运用；文献质量评估的五个维度与信息提取表的设计。教学难点：布尔逻辑检索中三种运算符对检索范围的不同影响；信息提取表字段的设计与关键数据的准确提取。学生常把逻辑与和逻辑或的作用记反，也常把文献的关键数据抄成整段文字而不是可比较的数字。解决方法：针对难点：三种运算符各配一条检索式，现场演示换一个运算符之后检索结果数量的变化，作用由数量变化说明而不是靠记忆；信息提取表先给出字段清单，再把同一份文献分别填成整段摘要与关键数据两种样子投屏对比，学生看到哪一种才便于横向比较。针对重点问题：采用边讲边练，每讲完一类来源即在课程在线教学平台推送1～2道判断练习当堂消化；四类来源做成一张对照表投屏，学生照表选渠道；讲质量评估时把五个维度列成一张评分卡，学生人手一份；课后按随堂检测结果推送分层强化练习。教学环境及平台：实训机房（多媒体），人手一机，配备投影与广播教学系统；课程在线教学平台。软件与工具：Python3运行环境、Pandas、PyPDF2；文本编辑器。数据与素材：教材示例文献信息记录表（五篇文献的标题、来源类型、发布机构、发布时间、主要内容、关键数据、参考价值）；课堂练习使用教材模拟数据。教学资源：①教材《数据采集与预处理技术》第77–86页正文、示例代码与数据采集流程图；②本课程课件（含四类来源对照表、三种检索方法示例、质量评估评分卡、信息提取表模板）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂实操（主要部分）：完成文献信息记录表的建立、分类统计与结果导出，按字段完整性、统计正确性、导出文件可用性三项评分；②随堂测验：下课前5题（四类来源的代表渠道、三个运算符各自的作用、质量评估的五个维度、信息提取表的字段、PDF文本提取的两步），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交五篇文献的信息提取表、数据处理程序的源码与运行结果截图。课前预习：平台3道诊断题（文献调查与问卷调查的区别、有哪些文献来源），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接上一任务：问卷调查拿到了宝妈群体的第一手想法，但只有这些够不够？2.讲只靠问卷的三点不足：看不到行业整体的规模与增速，看不到竞争对手在做什么，看不到政策法规的边界在哪里。3.讲行业白皮书的价值：汇聚专业机构的研究成果与深度分析，能呈现婴幼儿有机辅食行业的宏观发展趋势、市场规模预测、消费行为变化。4.讲竞品情报的价值：聚焦竞争对手的产品特点、营销策略、市场份额。5.点明本任务：把行业报告、学术研究、竞品情报这些二手资料整合起来，才能支撑差异化竞争策略的制定。6.讲清一手与二手的分工：问卷问的是用户怎么想，文献看的是行业怎么样，两者合起来才完整。【学生活动】记录只靠问卷的三点不足；说出行业白皮书与竞品情报各自能补上哪一块；说出自己查资料时常用的渠道。【设计意图】对应知识目标1。用上一任务留下的缺口引入，二手数据的价值由缺口反衬出来，学生不是被动接受新概念；一手与二手的分工一句话点明，两种调查方式在整门课里的位置清楚；让学生先说自己常用的查资料渠道，后面讲四类来源时有对照的基础。环节一情境导入：问卷之外还差什么（8分钟）情境导入任务驱动法（投屏＋讲述）全局观念：一手加二手才看得全【教师活动】1.给定义：文献调查是指通过收集、整理和分析已有的文献资料来获取所需信息的调查方法。2.讲数据性质的差别：与问卷调查获取的一手数据不同，文献调查获取的是二手数据，即他人已经收集、整理或发表的数据和信息。3.讲四个特点：成本较低，无须设计问卷与招募受访者；效率较高，可以快速获取大量已有成果；信息丰富，涵盖学术研究、行业分析、政策法规等多个维度；时效性有限，反映的是过去某个时点的情况，可能存在滞后。4.讲它在市场研究中的四点价值：了解行业的发展历程与当前状态、竞争格局与主要参与者、消费趋势与用户行为变化、政策法规与监管要求，为决策提供背景支撑和参考。5.讲第一类来源学术数据库：国内有三家常用的中文库，国际上也有两家权威库；逐一讲清各自的收录侧重与检索方式。6.讲第二类来源行业报告：国内有四家常发布报告的机构；讲清部分报告需要付费，免费的往往只有摘要；使用时要查看发布时间、数据来源与研究方法，评估可靠性与适用性。7.讲第三类来源政府出版物：国家统计局的统计年鉴与统计公报包含人口、经济、社会各方面宏观数据，可用来了解不同地区零到三岁婴幼儿的数量分布；市场监管部门的抽检与监管信息可用来了解质量要求；行业主管部门与协会的政策文件、行业标准同样重要。8.讲第四类来源企业公开资料：上市公司的年报与招股说明书包含经营状况、市场份额与竞争策略；企业官网与官方社交账号可用于跟踪最新动向；行业会议展会的资料与专家的公开演讲访谈也含有价值信息。9.并列四类来源成对照表投屏，逐列标注代表渠道、内容侧重与使用注意点。【学生活动】记录四个特点与四点价值；说出四类来源各自的代表渠道；说出使用行业报告前要先看哪三项；说出自己查过的资料属于哪一类。【设计意图】对应知识目标3，落实重点四类来源。四个特点按成本、效率、丰富度、时效四条线索讲，其中时效性有限为后面讲评估标准埋下伏笔；四类来源并列成表，学生选渠道时有对照而不是凭印象；行业报告的三项查看要求单独强调，呼应思政中的批判性思维。环节二文献调查概述与四类来源（14分钟）讲授＋板书对照表讲练结合批判思维：先看来源再决定采信【教师活动】1.讲第一种关键词检索：最基本的检索方法，输入与研究主题相关的关键词在数据库中搜索。2.讲确定关键词的做法：它应准确反映研究主题的核心概念，可从调查目的与研究问题中提取；现场给出本案例的四个关键词。3.讲关键词的两个方向：扩展是用同义词近义词增加覆盖面，现场演示把有机辅食扩展成有机婴儿食品、天然辅食；细化是添加限定词缩小范围，现场演示加上近三年、中国市场。4.讲第二种布尔逻辑检索：用三个逻辑运算符把多个检索词连接起来，实现更精准的检索。5.讲逻辑与：检索结果必须同时包含所有检索词，作用是缩小范围、提高精确性；现场演示一条含逻辑与的检索式。6.讲逻辑或：结果中包含任意一个检索词即可，作用是扩大范围、提高全面性；现场演示同一主题改用逻辑或的检索式。7.现场对比两条检索式的结果数量，作用由数量变化说明。8.讲逻辑非：包含第一个词但不包含第二个词，用于排除不需要的内容；现场演示一条含逻辑非的检索式。9.现场给出综合三个运算符的复杂检索表达式，逐段拆解它每一段管什么。10.讲第三种高级检索：支持按字段限定、按时间范围与文献类型语言筛选。11.讲短语检索：把多个词作为整体检索，通常用引号括起来；现场对比短语检索与分词检索的结果差别。12.讲截词检索：用通配符匹配词根的不同形式，讲清常见的两个通配符与不同数据库的差异。【学生活动】记录三种检索方法的操作要点；说出三个运算符各自对检索范围的影响；跟着拆解一条复杂检索表达式；说出短语检索与分词检索的差别。【设计意图】对应知识目标4，突破难点布尔逻辑。三个运算符各配一条检索式并现场对比结果数量，作用由可观察的数量变化给出，比背定义可靠；复杂表达式逐段拆解，学生看到组合是怎么搭起来的；短语与截词两种技巧按是否拆开这条线对比，学生知道什么时候该加引号、什么时候该用通配符。环节三三种检索方法（14分钟）讲授＋板书对照演示讲练结合检索素养：范围收放靠运算符【教师活动】1.点明检索到的文献数量可能很多，需要筛选与评估，选出相关且质量可靠的。2.讲第一步相关性筛选：通过阅读标题、摘要与关键词快速判断是否相关；标题与摘要均未涉及的可以直接排除。3.讲第二步深读：对初步入选的进一步阅读引言与结论，了解研究目的、主要发现与结论，判断参考价值。4.讲质量评估的五个维度并投屏成评分卡。5.讲第一维发表渠道：核心期刊、权威期刊上的论文经过严格同行评审，质量相对较高；可查看影响因子与被知名数据库收录的情况。6.讲第二维作者背景：知名学者与权威机构的研究成果通常更具可信度；可查看学术背景、研究经历与发表记录。7.讲第三维引用次数：它反映文献在学术界的影响力，被引用较多的通常具有较高的学术价值。8.讲第四维时效性：市场环境变化快，过于陈旧的文献可能已不能反映当前状况；一般优先选择近三年内发表的。9.讲第五维研究方法与数据来源：方法是否科学合理、数据来源是否可靠、样本量是否充足，都会影响结论可信度。10.现场出示三份质量参差的文献样本，学生按评分卡逐份打分并说明理由。11.讲清五个维度不是各自达标即可，要合起来看：一篇近三年的行业报告如果数据来源不明，参考价值仍然要打折。【学生活动】记录质量评估的五个维度；按评分卡给三份文献样本打分并说明理由；说出为什么五个维度要合起来看。【设计意图】对应知识目标5，落实重点质量评估。五个维度列成评分卡，学生评估时逐项对照而不是凭感觉；三份样本现场打分，标准在用的过程中被真正掌握；强调五个维度合起来看，避免学生把时效性当成唯一标准，呼应思政中的批判性思维与求实态度。环节四文献筛选与质量评估（12分钟）讲授＋板书评分卡样本辨析求实态度：引用要带发布时间【教师活动】1.点明选出有价值的文献之后，还要从中提取关键信息并系统整理，便于后续分析与引用。2.讲第一步建立文献管理系统：可以按主题、来源、时间等维度建立文件夹结构分类存储；也可以用文献管理软件自动识别标题、作者、期刊等信息，支持分类、标注与引用格式生成，现场点名三款常用软件。3.讲第二步提取关键信息，按文献类型分开讲：行业报告重点提取市场规模数据、增长趋势、消费者特征、竞争格局；学术论文重点提取研究目的、研究方法、主要发现和结论。4.讲整理的形式：可以用表格或思维导图，让信息更具结构化与可视化。5.现场给出信息提取表的字段清单：文献来源、发布时间、主要内容、关键数据、参考价值。6.把同一份文献分别填成整段摘要与关键数据两种样子投屏对比，学生看到哪一种才便于横向比较。7.讲第三步信息综合与分析：从不同文献中交叉验证相同信息，提高结论可靠性；对于不同文献中的矛盾信息，要分析原因，可能是研究时间、研究方法或数据来源的差异造成的。8.讲清交叉验证的做法：同一指标在两份文献里都出现时才更有把握，只有一份的要在结论里标注来源单一。【学生活动】记录信息提取表的五个字段；对比两种填法并说出哪一种便于比较；说出矛盾信息该从哪几个方面找原因；说出交叉验证时只有一份来源该怎么办。【设计意图】对应能力目标3，突破难点信息提取。字段清单先给出来，学生后面填表有依据；同一份文献的两种填法对比投屏，关键数据要写成可比较的数字这一要求由对比得出；矛盾信息的三个可能原因与交叉验证的做法一起讲，学生知道结论不是照抄而是要经过比对，呼应思政中的学术规范。环节五信息提取与整理（10分钟）讲授＋板书对照表范例投屏学术规范：引用标出处来源可追溯【教师活动】1.布置任务：按教材第77–86页的任务实施，用Python完成文献调查数据的采集与整理，共六步。2.讲第一步确定检索关键词：分核心、扩展、限定三组，现场给出本案例各组的具体词，再把核心组与扩展组用逻辑或连接、两组之间用逻辑与连接，拼出检索表达式并投屏打印出来。3.讲第二步建立文献信息记录表：用字典组织七列数据——序号、文献标题、来源类型、发布机构、发布时间、主要内容、关键数据、参考价值，再转成表格对象；现场打印出来，学生看到五篇文献的字段如何一一对应。4.讲第三步文献分类统计：按来源类型统计、按参考价值统计，两处都用频数统计方法，逐项打印篇数。5.讲清这一步的意义：一眼看出文献结构是不是偏了——如果五篇里四篇都是行业报告，说明学术证据不足。6.讲第四步PDF文本提取：定义一个提取函数，用二进制方式打开、逐页读取文本并拼接，出错时打印失败信息并返回已取到的部分；再定义一个统计函数，返回关键词在文本中出现的次数。7.讲清这两个函数的参数与返回值写法，讲清文档字符串的写法与上一任务的函数要求一致。8.讲第五步整合文献调查结论：把提取到的信息归纳成五条——市场规模与增长趋势、消费者特征与偏好、渠道变化趋势、竞争格局分析、策略建议，逐条讲清它对应前面哪一条关键数据。9.讲第六步保存结果：把文献信息表导出为表格文件，把调查结论写成文本文件，讲清两个导出方法的参数。10.运行程序，逐行核对输出：检索表达式、文献信息记录表、两类统计篇数、五条关键信息与五条结论、两个文件的保存提示。11.教师巡看，重点检查三处：关键数据列写的是可比较的数字还是整段文字、两个函数的文档字符串是否完整、导出文件的中文是否正常。【学生活动】独立完成六步采集与整理；逐行核对输出，不符则回看上一步；打开导出的两个文件各看一眼；记录三处检查结果。【设计意图】对应能力目标4，属形成性评价。检索表达式由三组关键词拼装而成，学生看到布尔逻辑在真实任务里怎么用；分类统计的意义单独讲，学生知道这一步是检查文献结构而不是凑数字；两个函数的写法与上一任务的要求一致，工程规范在两次任务之间连贯；巡看三处对应本节的three个重点，检查落在具体动作上。环节六上机实操文献调查数据的采集与整理（22分钟）演示—实操—巡视任务驱动法（机房实操）知识产权：只做信息提取全文不随意外传【教师活动】1.引导学生用三句话小结：①逻辑与缩小、逻辑或扩大、逻辑非排除；②文献评估看五维，时效只是其中一维；③关键数据要写成可比较的数字。2.板书项目三的知识框架：调查方案→问卷设计→问卷数据处理→文献检索→信息提取→综合分析，学生拍照记录。3.讲项目小结：本项目围绕网络调查数据采集这一主题，以某母婴电商平台拓展新品类为背景，系统介绍了从调查方案设计到数据分析的完整流程；通过本项目的学习，学生能够掌握调查方案设计的关键要素，能够运用问卷设计的基本原则设计结构合理、逻辑清晰的问卷，能够使用Python与Pandas对问卷数据做清洗编码和统计分析，能够通过学术数据库与行业报告网站进行文献检索并提取整理有价值的市场信息。4.讲清这项技能的意义：网络调查数据采集是市场研究和用户调研的重要手段，对从事产品规划、市场营销、用户研究等工作具有重要意义。5.布置技能强化任务：某新能源汽车销售平台计划推出消费者服务升级计划，需要了解目标消费者的购车动机、关注因素与服务需求；平台已有约五十万注册用户的基本信息、用户在平台上的咨询记录数据，以及行业报告、竞品车型信息、政策法规等资料。要求设计一份十五到二十题的网络问卷，用Python完成清洗编码与描述性统计并生成至少三张可视化图表，检索整理三到五份行业报告或学术文献并形成文献综述，最后综合两种调查结果写一份不少于一千字的调研报告。6.讲评价标准：问卷设计、数据分析、文献调查、调研报告四个维度各占二成五。7.讲聚焦前沿的三条趋势：智能问卷设计与优化借助自然语言处理与机器学习自动分析表述质量、预测理解难度并给出优化建议，部分平台还能按答题行为实时调整题目顺序；多渠道数据整合把问卷数据与社交媒体、电商行为、搜索引擎数据放在一起，形成更立体的用户画像；实时数据采集与分析通过设置在线调查面板对同一群体做追踪调查，观察态度与行为随时间的变化。8.讲清三条趋势的共同点：技术让采集更快更广，但对来源的追问与对结论的审慎不会变。9.课程在线教学平台推送当堂检测5题（四类来源的代表渠道、三个运算符各自的作用、质量评估的五个维度、信息提取表的字段、PDF文本提取的两步），限时5分钟，系统自动批改，当场讲评错误率最高的一题。