《数据预处理技术》课程标准

第第页六、课程教学实施（一）师资要求1.专任教师从事《数据预处理技术》教学的专任教师从知识结构看，应具备大数据知识体系结构并掌握基础理论和方法、大数据计算技术、领域业务知识3方面能力。大数据教师人才应该是具备多种能力的跨界人才，数据科学人才培养体系应该是多层次多类型的。大数据师资建设需要优化知识结构、教材和教师队伍，培养在大数据领域具有影响力的学术带头人，形成大数据学术创新团队。2.兼职教师在大数据领域尚没有行业通用的职业资格认证，兼职教师应具备红帽RHSCA及相关认证，或者长期从事大数据应用开发和运维的工程师资质。3.（二）设备、设施、软件要求名称单位最低数量备注2核8G，40G硬盘服务器台2虚拟机（三）教材及参考资料1.教材信息序号名称主编出版社1《Python数据预处理》黑马程序员人民邮电出版社2.参考资料信息序号名称主编出版社1《大数据采集与预处理》（微课版）宋磊人民邮电出版社（四）教学方法主要教学内容教学方法描述数据预处理的定义与重要性步骤概览在数据分析中的地位对模型性能的影响常见挑战（质量、规模、复杂性）案例导入+互动问答：用“高铁订票数据崩溃”新闻引出质量代价，10分钟分组讨论“坏数据”带来的社会影响，教师总结预处理全流程。缺失值类型及影响删除、填充、预测法（均值、KNN、回归）重复值检测与去重异常值定义3σ、IQR、IsolationForest、LOF一致性检查（格式、单位）任务驱动+现场编程：课前发放真实脏数据（CSV/日志），课堂3步闯关——①缺失值填充②异常值标注③重复值删除，教师巡视点评，完成即得分。特征选择重要性过滤法（相关、方差）包装法（RFE）、嵌入法（Lasso、树）PCA/SVD原理与应用One-Hot/Label/Embedding编码对比实验+小组竞赛：同一数据集分别用过滤/包装/嵌入法选特征，实时跑模型看准确率与耗时，投票选出最优策略并汇报思路。Min-Max、MaxAbs、Z-score、RobustScaling对数变换、Box-Cox归一化vs标准化定量比较可视化演示+即时测验：用Matplotlib动态展示归一化前后梯度下降路径，学生手机扫码答题“何时用RobustScaling”，答对加平时分。图像（旋转、裁剪、颜色）文本（同义词替换、回译）表格（加噪、SMOTE）增强高斯/Gamma生成GAN、Autoencoder原理翻转课堂+伦理辩论：课前看视频学SMOTE与GAN，课堂分组辩论“生成数据是否算造假”，教师用评分Rubrics评价逻辑与价值观。Pandas清洗案例Scikit-learn特征工程Albumentations/NLTK增强MLflow+DVC版本与追踪项目工坊+企业评价：4人团队完成“电商评论预处理管道”，用Airflow调度+DVC版本，结课路演出具企业导师评分，优秀方案直接推荐实习。（五）合作企业序号企业名称合作内容合作程度1广东泰迪智能科技股份有限公司大数据技术教学管理平台紧密2北京四合天地科技有限公司工业实时大数据分析实践教学平台紧密3江苏一道云科技发展有限公司大数据云计算教学实训平台紧密4上海睿亚训软件技术服务有限公司计算机专业教学机房云桌面系统紧密（六）人工智能技术的应用1.利用机器学习模型（KNN、回归、IsolationForest）自动识别并填补缺失值，提升清洗精度与效率。2.基于深度自编码器与GAN生成高质量合成样本，实现小样本场景下的数据增强，缓解类别不平衡问题。3.借助AutoML平台自动完成特征选择、降维与超参调优，显著缩短特征工程周期，降低人工干预门槛。七、课程考核方法与评价标准（一）考核方式本课程考核方式为：集中考试。（二）评价方式可以采取教师评价和学生互评相结合，过程评价和结果评价相结合，课内评价和课外评价相结合，理论评价、实践评价和职业精神评价相结合，校内评价和校外评价相结合，综合评价学生的学习效果。1.过程性评价课堂即时编程闯关：随堂完成缺失/异常值清洗脚本，自动评分≥90%得满分。章节实验报告：每章提交1份JupyterNotebook+数据质量报告，按规范性与结果准确性评分。线上阶段测验：学习通4次单元测试，取平均分。2.终结性评价120分钟现场考试3.增值评价对比入学摸底与期末考试成绩，提升≥20%加3分；1+X“大数据应用开发（Python）”数据治理模块获证加2分；将实验成果转化为校外竞赛/专利/开源PR，每项加2分，最多2项。（三）分项比例过程性考核成绩、终结性考核成绩和总评成绩、均为百分制，满分均为100分。总评成绩=过程性考核成绩×过程性考核占总评成绩的比例+终结