样本数据处理-教学大纲、授课计划 许桂秋

《样本数据处理》教学大纲课程信息课程名称：样本数据处理课程类别：素质选修课/专业基础课课程性质：选修/必修计划学时：64计划学分：4先修课程：无选用教材：《样本数据处理》，许桂秋，朱婷婷，李春平主编，2022年，电子工业出版社教材。适用专业：本课程可作为高等院校数据科学与大数据技术、计算机、信息管理等相关专业课程的基础课程，也可供对样本数据处理技术感兴趣的学生阅读。课程负责人：二、课程简介本课程从实用的角度出发，采用理论与实践相结合的方式，介绍样本数据处理的基础知识，力求培养读者使用Python语言及Kettle软件进行数据处理的能力。本课程内容分别为数据预处理概述、Kettle工具的初步使用、数据的导入与导出、数据清洗、数据标注、Kettle作业设计、基于Kettle构建数据仓库、基于Python的数据导入与导出、基于Python的数据整理。本课程作为人工智能学科相关的样本数据处理技术的入门课程，目的不是覆盖样本数据处理技术的所有知识点，而是介绍样本数据处理的主要应用，使学生了解样本数据处理的基本构成，以及如何应对不同数据类型的数据预处理工作。为了增强实践效果，课程中引入了多个基础技术案例及综合实践案例，以帮助学生了解样本数据处理涉及的基本技术的知识和技能。三、课程教学要求序号专业毕业要求课程教学要求关联程度1工程知识1.掌握Kettle工具的初步使用、数据的导入与导出、数据清洗等内容的方法。2.了解样本数据处理的应用领域和市场需求，为产品设计和开发提供指导。L2问题分析1.学会对样本数据处理中出现的问题进行分析和解决，包括硬件故障、软件错误、网络问题等。2.学会进行故障排除和维修和计算方法，以实现数据处理应用。H3设计/开发解决方案1.掌握基于Python的数据导入与导出和整理，能将样本数据处理应用到工作和生活领域中。2.学会进行系统测试和验证，以确保系统的质量和性能符合要求。H4研究L5使用现代工具1.掌握在数据处理领域研发的现代工具，如仿真软件、调试工具等。2.学会使用现代工具进行数据分析和处理，提高工作效率和准确性。M6工程与社会1.了解样本数据处理对社会的影响和作用，以及相关的法律法规和标准。2.学会将相应技术应用于实际生产和社会服务中，为社会做出贡献。L7环境和可持续发展L8职业规范L9个人和团队1.学会个人发展和团队合作，提高个人和团队的综合素质。2.学会与他人合作和沟通，建立良好的人际关系和团队合作氛围。H10沟通1.学会进行有效的沟通和表达，与客户、同事和上级保持良好的沟通和协作。2.学会进行跨文化沟通和合作，提高国际化视野和跨文化交流能力。M11项目管理1.学会进行项目管理和组织，包括项目计划、进度控制、质量管理等。2.学会进行风险评估和管理，提高项目成功的概率和效率。L12终身学习1.学会进行自我学习和自我提升，不断提高自身的专业水平和创新能力。2.学会进行终身学习和职业发展规划，不断拓展职业领域和发展空间。H注：“课程教学要求”栏中内容为针对该课程适用专业的专业毕业要求与相关教学要求的具体描述。“关联程度”栏中字母表示二者关联程度。关联程度按高关联、中关联、低关联三档分别表示为“H”“M”或“L”。“课程教学要求”及“关联程度”中的空白栏表示该课程与所对应的专业毕业要求条目不相关。四、课程教学内容章节名称主要内容重难点关键词学时类型1数据预处理概述数据预处理的背景与目的数据预处理的流程数据预处理的工具了解数据预处理的背景与目的、数据预处理的流程、数据预处理的工具4理论+实操2Kettle工具的初步使用Kettle的安装Kettle的使用掌握Kettle的安装、转换的基本概念、可视化编程及调试、定时启动转换4理论+实操3数据的导入与导出基于文件的数据导入与导出基于数据库的数据导入与导出基于Web的数据导入与导出基于CDC变更数据的导入与导出掌握基于文件的数据导入与导出、基于数据库的数据导入与导出、基于Web的数据导入与导出、基于CDC变更数据的导入与导出8理论+实操4数据清洗数据清洗概述数据排重使用脚本组件进行数据清洗掌握Kettle常用的数据清洗步骤、重复数据的识别及去除JavaScript代码组件清理数据、正则表达式组件清理数据6理论+实操5数据标注数据标注简介数据标注分类数据标注质量检验图像数据标注实战文本标注实战掌握数据标注简介、数据标注分类、数据标注质量检验、图像数据标注实战10理论+实操6Kettle作业设计作业的概念及组成作业的执行方式业的创建及常用作业项变量监控命令行启动作业实验掌握作业的概念及组成、作业的执行方式、作业的创建及常用作业工页、变量、监控、命令行启动、作业实验14理论+实操7基于Kettle构建数据仓库数据仓库的介绍构建维度表构建事实表掌握数据仓库的介绍、构建维度表、构建事实表6理论+实操8基于Python的数据导入与导出Pandas文本文件的导入与导出Excel文件的导入与导出数据库的导入与导出理解Pandas、文本文件的导入与导出、Excel文件的导入与导出、数据库的导入与导出6理论+实操9基于Python的数据整理合并多个数据集数据重塑数据转换掌握合并多个数据集、数据重塑、数据转换6理论+实操五、考核要求及成绩评定序号成绩类别考核方式考核要求权重（%）备注1期末成绩期末考试大作业50百分制，60分为及格2平时成绩实践9次40优、良、中、及格、不及格3平时表现出勤情况10两次未参加课程则无法获得学分注：此表中内容为该课程的全部考核方式及其相关信息。六、学生学习建议学习方法建议1.依据专业教学标准，结合岗位技能职业标准，通过案例展开学习，将每个项目分成多个任务，系统化地学习。2.通过每个项目最后搭配的习题，巩固知识点。3.了解行业企业技术标准，注重学习新技术、新工艺和新方法，根据教材中穿插设置的智能终端产品应用相关实例，对已有技术持续进行更新。4.通过开展课堂讨论、实践活动，增强的团队协作能力，学会如何与他人合作、沟通、协调等等。学生课外阅读参考资料《样本数据处理》，许桂秋，朱婷婷，李春平主编，2022年，电子工业出版社教材。七、课程改革与建设本课程作为人工智能学科相关的样本数据处理技术的入门教材，目的不是覆盖样本数据处理技术的所有知识点，而是介绍样本数据处理的主要应用，使学生了解样本数据处理的基本构成，以及如何应对不同数据类型的数据预处理工作。为了增强实践效果，课程中引入了多个基础技术案例及综合实践案例，以帮助学生了解样本数据处理涉及的基本技术的知识和技能。平时对学生的考核内容包括出勤情况、学生的学习成果、课堂讨论等方面，占期末总评的50%。期末考试成绩占期末总评的50%。制订人签字：教研室主任签字：院部负责人签字：修订时间：年月日教学日历（20xx～20xx学年第x学期）开课学院开课专业讲授学时32课程名称样本数据处理授课教师实践/实验学时32授课年级授课班级总学时64使用教材《样本数据处理》参考书目《样本数据处理》校历周次授课内容分章节题目第1周第一章数据预处理概述（4学时）1.1数据预处理的背景与目的（1学时）1.2数据预处理的流程（2学时）1.3数据预处理的工具（1学时）第2周第二章Kettle工具的初步使用（4学时）2.1Kettle的安装（2学时）2.2Kettle的使用（2学时）第3周第三章数据的导入与导出（4学时）3.1基于文件的数据导入与导出（2学时）3.2基于数据库的数据导入与导出（2学时）第4周第三章数据的导入与导出（4学时）3.3基于Web的数据导入与导出（2学时）3.4基于CDC变更数据的导入与导出（2学时）第5周第四章数据清洗（4学时）4.1数据清洗概述（2学时）4.2数据排重（2学时）第6周第四章数据清洗（2学时）4.3使用脚本组件进行数据清洗（2学时）第五章数据标注（2学时）5.1数据标注简介（2学时）第7周第五章数据标注（4学时）5.2数据标注分类（2学时）5.3数据标注质量检验（2学时）第8周第五章数据标注（4学时）5.4图像数据标注实战（2学时）5.5文本标注实战（2学时）第9周第六章Kettle作业设计（4学时）6.1作业的概念及组成（2学时）6.2作业的执行方式（2学时）第10周第六章Kettle作业设计（4学时）6.3作业的创建及常用作业项（2学时）6.4变量（2学时）第11周第六章Kettle作业设计（4学时）6.5监控（2学时）6.6命令行启动（2学时）第12周第六章Kettle作业设计（2学时）6.7作业实验（2学时）第七章基于Kettle构建数据仓库（2学时）7.1数据仓库的介绍（2学时）第13周第七章基于Kettle构建数据仓库（4学时）7.2构建维度表（2学时）7.3构建事实表（2学时）第14周第八章基于Python的数据导入与导出（4学时）