数据仓库与数据挖掘 教学大纲、授课计划

数据科学与大数据专业课程教学大纲

数据仓库与数据挖掘

一、说明

（-）课程性质

本课程以数据仓库和数据挖掘为主要内容，讲述数据仓库与数据挖掘的基本概念和方法，包括数据预处

理、数据仓库与联机分析处理、数据仓库的设计与开发、以及数据挖掘的主要功能、数据挖掘、机器学习算法

和应用，并通过对实际数据的分析更加深入地理解常用的数据挖掘与机器学习模型。培养学生数据分析和处

理的能力。该课程的先修课程有概率论与数理统计、数据库原理和程序设计等。

（二）教学目的

本课程的主要目的是培养学生的数据仓库与数据挖掘的基本理论分析与应用实践的综合能力。通过本课

程的教学，使学生掌握数据仓库和数据挖掘的一般原理和处理方法，能使用机器学习理论解决数据挖掘相关

的问题。

（三）教学内容

本课程全面而又系统地介绍了仓库与数据挖掘的方法和技术，反映了当前数据仓库与数据挖掘研究的最

新成果。本课程主要学习的内容包括Python数据分析与可视化基础、认识数据、数据预处理、回归分析、关

联规则挖掘、分类与预测、聚类分析、神经网络与机器学习基础、离群点检测以及Python数据挖掘案例分析

等内容。

（四）教学时数

本课程的教学时数为72学时，理论教学54学时，实验教学18学时。

（五）教学方式

多媒体机房教学、案例导向、项目驱动等教学方法、启发学生对学科知识的把握理解和实际操作能力。

课程教学方法的改革以调动学生的积极性为核心。除讲授、提问、学生分析、讨论等常用的方法外，结合管理

课程的特点，适应本科生培养的要求，探索并完善以参与式、体验式、交互式和模拟教学等实践教学为基本

形式的多种方法。并建立纸质、声音、电子、网络等多种媒体构成的立体化教学载体。

本课程的教学方式主要采用课堂讲授和实验操作，包括：课堂讲授、多媒体教学、实验操作、算法分析与

设计、习题解析、课堂讨论、批改作业、课外辅导等多种形式相结合，保证学生掌握数据挖掘与机器学习的基

本知识，理解算法的实现，培养学生的自学能力、分析问题和解决问题的能力。

教学方法：采用启发式教学和探究式教学，以学生为主体，鼓励学生自己针对某种数据挖掘与机器学习

算法进行分析和研究，培养学生的自学能力。

教学手段：充分利用电子教案、CAI课件和网络教学平台等多种教学手段和资源。

考试环节：两次课堂小测验；学期末学生分为若干小组，每个小组研究讨论并实现某一前沿的数据挖掘

算法或者实现实际的数据挖掘案例，以报告的形式进行讲解，最后提交一份课程学术报告。

二、本文

理论部分

第一章绪论

教学要点：

1.理解和掌握数据仓库与数据挖掘的基本概念、数据仓库的定义、组成以及数据挖掘的过程、数据挖掘的

主要任务以及数据挖掘使用的主要技术。

2.了解数据仓库和数据挖掘的应用和面临的问题。

3.对数据挖掘能够解决的问题和解决问题思路有清晰的认识。

4.熟练应用Jupyternotebook的开发环境。

教学时数：

2学时。

教学内容：

第一节数据仓库简介

1.了解数据仓库的定义和特点。

第二节数据仓库与操作型数据库的关系

1.熟练掌握数据仓库与数据库的区别。

第三节数据仓库的组成

1.掌握数据仓库系统的组成。

第四节数据仓库的应用

1.了解数据仓库的应用场景。

第五节基于Hadoop/Hive的数据仓库技术

1.了解基于Hadoop/Hive的数据仓库技术。

第六节数据挖掘的主要任务和数据源

1.理解数据挖掘中的主要问题，任务和数据源。

第七节数据挖掘与机器学习常用的建模工具

1.了解数据挖掘的商用和开源工具。

第八节利用Python进行数据挖掘

1.掌握Python数据挖掘的常用类库。

2.熟悉JupyterNotebook的使用方法。

第九节数据仓库与数据挖掘的区别与联系

1.掌握数据仓库与数据挖掘的区别及联系

考核要点：

掌握数据仓库与数据挖掘的定义和功能，理解数据挖掘在何种数据上进行，数据挖掘可以挖掘什么类

型的模式，掌握初级的数据仓库技术。

第二章认识数据

教学要点：

1.理解和掌握数据对象和属性类型，数据的基本统计描述，掌握度量数据相似性和相异性的方法。

2.了解数据可视化的方法。

教学时数：

2学时。

教学内容：

第一节数据对象与属性类型

1.熟练掌握数据的属性类型。

第二节数据的基本统计描述

1.熟练掌握中心趋势度量的方法、度量分散程度的方法、数据基本统计描述图形显示的方法。

第三节数据可视化

1.了解数据可视化的方法。

第四节度量数据的相似性和相异性

1.熟练掌握度量数据相似性和相异性的方法。

考核要点：

了解数据的属性类型，理解数据的基本统计描述，掌握度量数据相似性和相异性的方法。

第三章数据预处理

教学要点：

1.了解数据预处理的目的和意义。

2.掌握如何对数据进行清理。

3.掌握如何对不同数据源的数据进行合并。

4.掌握如何对数据进行变换，使之适合建模的需要。

5.掌握如何对数据进行消减，使得在消减后的数据集上挖掘更有效。

6.掌握利用Python进行数据预处理的方法。

教学时数

4学时。

教学内容：

第一节数据预处理概述

1.了解为什么要对数据预处理。

2.数据的质量要求

第二节数据清理

1.理解缺失值、噪音数据的处理方法。

2.利用Python进行数据清理的方法。

第三节数据集成

1.理解数据集成的方法。

2.利用Python进行数据合并。

第四节数据变换与数据离散化

1.了解数值数据的离散化和概念分层产生。

2.熟练掌握数据变换和数据离散化的方法。

第五节数据归约

1.了解维归约：可以检测并删除不相关、弱相关或冗余的属性或维。

2.理解数据压缩：使用编码机制压缩数据集。

3.理解数值压缩：用替代的、较小的数据表示替换或估计数据，如参数模型（只需要存放模型参数，

而不是实际数据）或非参数方法，如聚类、选样和使用直方图。

考核要点：

理解数据清理、数据集成、数据规约、数据变换于数据离散化的方法，掌握数据预处理的基本方法。

第四章数据仓库与联机分析处理

教学要点：

1.掌握数据仓库的体系。

2.掌握多维数据模型与OLAP。

3.掌握数据仓库的维度建模。

4.了解数据仓库的发展。

教学时数：

4学时。

教学内容：

第一节数据仓库的体系

1.理解数据仓库的体系结构。

2.理解数据仓库中的ETL、数据集市和元数据。

第二节多维数据模型与。LAP

1.掌握多维数据模型的概念。

2.理解OLAP的含义和基本操作。

3.掌握多维数据建模的实现过程。

第三节数据仓库的维度建模

1.理解数据仓库的维度建模。

2.理解星型模型和雪花模型。

第四节数据仓库的发展

1.了解动态数据仓库。

2.了解数据中心和数据中台。

考核要点：

掌握数据仓库体系、OLAP及维度建模。

第五章数据仓库设计与开发

教学要点：

1.掌握数据仓库设计的过程。

2.掌握基于Hive的数据仓库实现

教学时数：

4学时。

教学内容：

第一节数据仓库设计概述

1.了解数据仓库设计的特点。

2.掌握数据仓库的构建模式。

第二节数据仓库设计

1.掌握数据仓库规划、需求分析及概念设计。

2.理解数据仓库逻辑模型设计。

3.理解数据仓库物理设计。

4,了解数据仓库的部署与维护。

第三节基于Hive的数据仓库实现

1.理解Hive数据仓库和数据库比较。

2.掌握数据仓库的常用操作。

3.掌握利用Hive建立数据仓库。

考核要点：

掌握数据仓库的设计过程与方法，利用Hive进行数据仓库设计开发。

第六章回归分析

教学要点：

1.掌握回归分析原理。

2.掌握一元线性回归分析。

3.掌握多元线性回归分析。

4.掌握逻辑回归。

5.了解其他回归分析。

教学时数：

4学时。

教学内容：

第一节回归分析概述

1.理解回归分析的定义与分类。

2.理解回归分析的过程。

第二节一元线性回归分析

1.掌握一元线性回归方法。

2.理解一元线性回归模型的参数估计。

3.理解一元线性回归模型的误差方差估计。

4.掌握利用Python进行一元线性回归。

第三节多元线性回归

1.理解多元线性回归模型。

2.理解多元线性模型的参数估计。

3.了解多元线性回归的假设检验及其评价。

4.掌握利用Python进行多元线性回归。

第四节逻辑回归

3.理解Logistic回归模型。

4,掌握利用Python进行Logistic回归。

考核要点：

掌握回归的定义，各类回归的原理及Python实现。

第七章关联规则挖掘

教学要点：

1.了解关联规则的基本思想、概念和意义。

2.了解关联规则挖掘的应用背景；掌握常用的关联规则算法。

3.掌握利用Python实现关联规则分析。

4.了解其它方法的内容、了解关联规则挖掘的研究动态。

教学时数：

4学时。

教学内容：

第一节关联规则分析概述

1.了解购物篮分析。

2.熟练掌握频繁项集、闭项集和关联规则的概念。

3.理解频繁模式挖掘的路线图。

第二节频繁项集挖掘方法

1.掌握Apriori算法：使用候选项集找频繁项集。

2.掌握由频繁项集产生关联规则的方法。

3.理解提高Apriori算法有效性的方法。

4.掌握挖掘频繁项集的模式增长方法。

第三节关联规则评估方法

1,了解强关联规则不一定是有趣的。

2.使用提升度进行相关分析。

考核要点：

了解频繁项集、闭项集和关联规则的概念，理解模式评估方法，掌握Apriori算法和挖掘频繁项集的

模式增长方法。

第八章分类

教学要点：

1.了解分类及预测的基本思想、概念和意义。

2.掌握常用的分类及预测算法（或模型）。

3.了解分类及预测挖掘的研究动态。

4.掌握利用Python实现各种分类算法的方法。

教学时数：

12学时。

教学内容：

第一节基本概念

1.了解分类和预测的定义。

第二节决策树规约

1.理解决策树归纳的概念。

2.掌握属性选择度量的方法。

3.理解树剪枝。

4.决策树的Python实现。

第三节K近邻算法

1.K近邻算法原理。

2.Python算法实现。

第四节支持向量机

1.SVM算法原理。

2.Python算法实现。

第五节贝叶斯分类

1.理解贝叶斯定理。

2.掌握朴素贝叶斯分类算法。

3.朴素贝叶斯算法的Python实现。

第六节模型评估与选择

1.分类器性能的度量。

2.模型选择。

3.利用Python实现模型的评估与选择。

第七节组合分类

1.组合方法简介。

2.袋装。

3.提升和AdaBoost»

4.随机森林。

考核要点：

了解分类的概念，理解评估分类器性能的度量方法，掌握决策树分类算法、SVM、贝叶斯分类算法、

模型评估与选择、组合分类及利用Python实现分类的方法。

第九章聚类

教学要点：

1.了解如何计算由各种属性和不同的类型来表示的对象之间的相异度。

2.掌握K-Means聚类、层次聚类、基于密度的聚类和其他常用方法。

3.掌握利用sklearn实现聚类的方法。

教学时数：

10学时。

教学内容：

第一节聚类分析的概念

1.理解什么是聚类分析。

2.了解对聚类分析的要求。

3.掌握基本的聚类方法。

第二节K-Means聚类

1.掌握典型的划分方法：K-Means和K-Medoids»

2.掌握利用sklearn实现K-means聚类。

第三节层次方法

1.理解凝聚的和分裂的层次聚类。

2.掌握簇间的距离度量。

3.分裂和凝聚的层次聚类算法。

4.算法实现。

第四节基于密度的方法

1.算法原理。

2.掌握DBSCAN算法。

3.掌握算法的Python实现。

第五节其他聚类算法

1.了解STING算法。

2.了解COBWEB算法。

3.掌握模糊聚类算法。

第六节聚类评估

1.估计聚类趋势。

2.学习确定簇数的方法。

3.测定聚类质量。

考核要点：

了解聚类的概念，掌握k-Means和k-Medoids算法、层次方法和基于密度的方法等典型算法及其Python

的实现方法。

第十章神经网络与深度学习

教学要点：

1.了解理解神经网络与深度学习的原理。

2.掌握感知机与BP神经网络的原理。

3.了解深度学习基础。

教学时数：

2学时。

教学内容：

第一节神经网络基础

1.理解神经元模型。

2.理解感知机与多层网络。

第二节BP神经网络

1.理解多层前馈神经网络。

2.理解后向传播算法。

3.了解BP神经网络应用。

第三节深度学习

1.理解深度学习基本原理。

2.了解常用的深度学习算法。

考核要点：

了解神经网络的概念，掌握感知机模型和BP神经网络、了解深度学习算法。

第十一章离群点检测

教学要点：

1.了解离群点的概念与检测方法。

2.掌握sklearn中的异常值检测方法。

教学时数：

2学时。

教学内容：

第一节离群点概述

1.理解离群点的概念和类型。

2.理解离群点检测的挑战。

第二节离群点检测

1.理解基于统计学的离群点检测方法。

2.理解基于临近性的离群点检测方法。

3.理解基于聚类的离群点检测方法。

4.理解基于分类的离群点检测方法。

第三节sklearn中的异常值检测方法

1.了解利用Python进行异常值检测的方法。

考核要点：

了解离群点的概念、类型以及离群点检测的常用方法，掌握sklearn中的异常值检测方法。

第十二章文本和时序数据挖掘

教学要点：

1.掌握文本数据挖掘的过程和基本方法。

2.掌握时序数据挖掘主要方法。

教学时数：

4学时。

教学内容：

第一节文本数据挖掘

1.理解文本数据挖掘的任务。

第二节文本分析与挖掘的主要方法

1.理解文本挖掘预处理的方法。

2.理解文本表征、文本分类、聚类与文本可视化方法。

第三节时序数据挖掘

1.掌握时间序列平稳性与随机性判定方法。

2.掌握时序数据的典型分析挖掘模型，主要包括自回归滑动平均模型、差分整合移动平均自回归模型和

季节性差分自回归移动平均模型。

考核要点：

掌握文本挖掘的主要任务和基本方法，时序数据预测的主要模型。

第十三章数据挖掘案例

教学要点：

1.掌握数据挖掘的分析与实现。

2.掌握利用sklearn进行综合数据挖掘。

教学时数：

4学时。

教学内容：

1.良/恶性乳腺肿瘤预测

2.泰坦尼克号乘客生还预测

3.图像的聚类分割

考核要点：

掌握利用Python进行数据挖掘与机器学习的实现过程。

本课程使用教具和现代教育技术的指导性意见

本课程教材力求内容新颖，应采用多样化的方式进行教学，让学生在理论与实践相结合的基础上，对课

程所要求的实际操作能力有进一步的提高。

充分利用多媒体等现代化教学手段，整体优化教学过程和教学内容，调动学生学习积极性；布置实际操

作任务给学生上机操作并及时指导。

实验部分

基本要求

实验是数据仓库与数据挖掘课程教学中不可分割的重要组成部分。实验课程设计的思想是帮助学生理解

和掌握数据仓库和数据挖掘的基本概念、算法、技术和原理，熟练掌握利用Hive进行数据仓库设计，利用Python

进行数据挖掘和机器学习的使用方法，通过适当的编程提高学生的编程能力以及实践动手能力，提高学生对

课程的学习兴趣，加强创新精神与综合素质的培养。

实践课程课时：18学时

课程思政内容

1.培养学生民族认同感，树立远大职业理想。梳理国产操作系统的发展历史与现状，包括华为、中兴等

国产企业在全球市场的崛起，在操作系统领域的新架构，向学生展示中国的信息技术领域成就，增强使命感

与荣誉感；通过华为孟晚舟事件、美国的芯片垄断一引出：民族认同感。党的十八届五中全会通过的“十三

五”规划《建议》，明确提出实施网络强国战略以及与之密切相关的“互联网+”行动计划。国家正着力实现关

键技术自主可控，为维护国家安全、网络安全提供技术保障。中国信息化需求巨大，但在一些关键技术领域

如操作系统、芯片技术、CPU技术等方面，还难以做到自主可控，对国家安全造成威胁。引导学生明确：建

设网络强国，不仅仅是靠网络技术，还要有软件技术等其他各类技术的支撑。引导学生作为软件技术专业的

一员，应更加明晰专业人才的培养目标，更加明确专业领域内工作岗位和工作内容的社会价值，自觉树立远

大职业理想，将职业生涯、职业发展脉络与国家发展的历史进程融合起来。

2.向学生介绍中国在人工智能领域的布局，重点分析当代人工智能下软件技术如何支撑中国制造的智能

化发展；

3.通过专业知识的学习，引导学生深刻理解与认识所学软件开发知识对于国家信息产业发展、智慧城市

建设、大数据智能信息处理等各方面的重要意义，使学生在学习过程中逐渐树立专业荣誉感；

4.培养学生精益求精、工匠精神。告诉学生在学好软件技术之后，走上工作岗位会成为程序员、软件系统

运维人员、软件测试员、售前售后服务人员等。在这些职位岗位上，要发挥工匠精神，精益求精地将程序开

发、系统运维、程序测试、需求分析及技术问题处理等工作内容完成好，保证软件系统运行时正确、稳定，保

证客户的需求被精确采集和纳入软件开发计划，保证软件运行时遇到问题能被及时解决。引导学生在学习时，

将知识夯实、精技强能，方能在今后工作中本领过硬，不出缴漏，工作成果令用户满意。引导学生认识到，作

为职业人，其专注、敬业、责任担当对完成好本职工作，进而促进软件行业整体的高水平、优质化发展具有重

要意义。

5.培养学生团结协作，合作共赢的精神。通过实践项目、竞赛等，告诉学生今天的社会无论什么行业想要

做出一番成就，靠一个人打拼已经不现实了。所谓人多力量大，三个臭皮匠顶个诸葛亮……强调团队成员之

间的资源共享、协同合作精神，团队成员在一个项目中要各司其职，每个人发挥自己的特长完成分配的任务，

最终才能高质量、有效率地完成项目，从而形成更强大而持久的生产力和创造力。

教学进度计划表

（教学日历）

202*/202*学年第二学期

采用教材：《数据仓库与数据挖掘(Hadoop+Hive+Python)》

魏伟一主编，清华大学出版社

参考教材：《数据挖掘概念与技术》，韩家炜，机械工业出版社

实践/实

名称总时数讲课上机习题课程设计周学时

验

计划时数7254184

周次课次授课内容摘要时数目的要求备注

理解和掌握数据仓库与数据挖

第1章数据仓库与数据挖掘概述

掘的基本概念、数据仓库的组

一、数据仓库概述

成、应用及基于Hadoop/Spark

1二、数据挖掘概述2的数据仓库技术，数据挖掘过

程、数据挖掘的主要任务、数

三、数据仓库与数据挖掘的区别于

据挖掘使用的主要技术及工

联系

具。

1

第2章认识数据

数据对象与属性类型理解和掌握数据对象和属性类

型，数据的基本统计描述，掌握

2数据的基本统计描述2

度量数据相似性和相异性的方

数据可视化法；了解数据可视化的方法。

度量数据的相似性

第3章数据预处理

一、数据预处理概述，Python数了解数据预处理的目的和意义；

32

据预处理方法掌握如何对数据进行清理。

二、数据清洗及Python清洗方法

2掌握如何对不同数据源的数据

三、数据集成及利用Python进行进行合并；掌握如何对数据进行

数据合并变换，使之适合建模的需要；掌

42握如何对数据进行消减，使得在

四、数据变换与离散化

消减后的数据集上挖掘更有效：

五、数据归约掌握利用Python进行数据预处

理的方法。

实验一、利用Python实现数据预

掌握利用Python实现数据清洗、

5处理（数据合并、数据清洗、数据2

数据集成和数据变换的方法。

变换）

3

第4章、数据仓库与联机分析处理掌握数据仓库的体系、多维数

6一、数据仓库体系，二、多维数据2据模型与OLAP、数据仓库的维

模型与OLAP三、维度建模度建模及数据仓库的发展。

周次课次授课内容摘要时数目的要求备注

第5章、数据仓库设计与开发

掌握数据仓库设计的特点，数据

一、数据仓库设计概述仓库构建模式和构建框架，数据

72

二、数据仓库设计仓库的规划、需求分析、逻辑设

4计、物理设计，部署和维护。

掌握基于Hive的数据仓库实现

8三、基于Hive的数据仓库实现2

过程。

实验二（选做）、基于Hadoop平

掌握基于Hive的数据仓库的设

9台，利用Hive实现数据仓库的设

计与实现。

计实现及基本操作

5

第6章回归分析

掌握回归分析原理；掌握一元线

10一、回归分析概述2

性回归分析的原理与方法。

二、一元线性回归分析

三、多元线性回归

掌握多元线性回归分析；掌握逻

11四、逻辑回归2

辑回归；了解其他回归分析。

五、其他回归分析

6

实验三、利用Python掌握利用Python实现典型的回

122

实现典型的回归分析归分析方法。

第7章关联规则挖掘

了解频繁项集、闭项集和关联规

713一、关联规则分析概述2则的概念，理解模式评估方法，

掌握Apriori算法。

二、频繁项集挖掘方法

周次课次授课内容摘要时数目的要求备注

掌握FP挖掘算法；利用Python

三、频繁模式树算法实现关联规则分析；了解其它方

142

四、关联规则评估方法法的内容、了解关联规则挖掘的

研究动态。

实验四、Python实现数据的关联掌握利用Python实现数据的关

152

规则分析联规则分析。

8

第8章分类

了解分类及预测的基本思想、概

16一、分类概述2念和意义；掌握决策树规约算

法。

二、决策树规约及其Python实现

三、近邻算法

K掌握KNN算法原理与实现；了解

172

四、支持向量机算法及其实现SVM算法及其实现。

9

五、贝叶斯分类熟悉掌握贝叶斯分类算法；理

182解评估分类器性能的度量方

六、模型评估与选择

法。

七、组合分类

掌握组合分类的原理；掌握随机

19组合方法概述；袋装；提升和2

森林框架及Python实现方法。

Adaboost；随机森林

10

用不同的算法实现给定数据集

的分类分析，掌握利用Python

20实验五、分类分析综合实验2

实现数据分类分析的常用方

法。

周次课次授课内容摘要时数目的要求备注

第9章聚类

掌握聚类分析的基本原理；熟练

一、聚类概述

212掌握K-Means算法的原理及其实

二、・算法

KMeans现。

11K-Means算法实现

三、层次聚类方法

222掌握层次聚类算法及其实现。

层次聚类算法及其Python实现

四、基于密度的聚类方法

232掌握DBSCAN算法及其实现。

DBSCAN算法原理及其实现

12

五、其他聚类方法

了解STING算法、COBWENB算

242

STING算法、COBWENB算法及模法；掌握模糊聚类算法。

糊聚类算法

六、聚类评估

掌握聚类评估的基本方法；确

估计聚类趋势

252定簇数目的常用方法；聚类质

确定簇数目的方法

量的测定。

测定聚类质量

13

26实验六数据的聚类分析综合实验2掌握数据聚类的典型算法。

第10章神经网络与深度学习

理解神经网络基本原理；掌握

1427一、神经网络基础2

感知机的原理。

神经元模型，感知机与多层网络

周次课次授课内容摘要