《数据仓库技术与应用》教学大纲

《数据仓库技术与应用》教学大纲

适用范围：202X版本科人才培养方案

课程代码：08150871

课程性质：方业选修课

学分：2学分

学时：32学时（理论20学时，实验12学时）

先修课程：数据库原理及应用

后续课程：商务智能分析

适用专业：数据科学与大数据技术

开课单位：计算机科学与技术学院

一、课程说明

本课程是数据科学与大数据技术专业的一门选修课程，是在学习《数据库原理及应用》

课程后，具备了SQL编程的基本能力的基础上，开设的一门理实一体化的课程，其功能是

对接专业人才培养目标，面向数据仓库相关岗位群，培养学生理解数据仓库与数据库的区别

及各自的应用场景，掌握数据仓库体系架构的设计，掌握Hive数据仓库的基本使用，树立

和践行社会主义核心价值观，建立逻辑严律的科学思维能力、灵活的分析问题和解决问题能

力，提高学生探索创新、求真务实的科学态度和团队精神、沟通协作等综合素质，为后续《商

务智能分析》课程学习奠定基础。

二、课程目标

通过本课程的学习，使学生达到如下目标：

课程目标1：理解课程包含的基本概念和理论，掌握并运用数据仓库开发技术的基本思

想和方法，为后续课程“商务智能分析”打下良好的基础。

课程目标2：掌握数据仓库设计的企业应用规范，并运用相关技术解决实际工程问题：

具备一定的综合分析问题能力、评价能力和创新性解决问题的能力。

课程目标3：积极培育社会主义核心价值观，践行中国优秀传统文化教育，树立正确的

人生观、世界观和价值观；树立正确的劳动观念，切实提升心理素质，增强干事创业的信心。

三、课程目标与毕业要求

《数据仓库技术与应用》课程教学目标对数据科学与大数据技术专业毕业要求的支撑见

表1O

表1课程教学目标与毕业要求关系

支

毕业要求指标点课程目标强

L工程知识1.3掌握相关自然科学知课程目标1：理解课程包含的基

识、工程基础知识和思维本概念和理论，掌握并运用数据

方法，能够将其用于解决仓库开发技术的基本思想和方

数据科学与大数据技术法，为后续课程“课程设计”和

领域的发杂工程问题，能“毕业设计”打下良好的基础。

够将数据科学与大数据课程目标2：掌握数据仓库设计II

技术专业知识用于对复的企业应用规范，并运用相关技

杂工程问题解决方案的术解决实际工程问题；具备一定

分析与优化。的综合分析问题能力、较基础的

评价能力和创新性解决问题的能

力。

4.研究4.2能够基于科学原理课程目标2：掌握数据仓库设计

并采用科学方法对数据的企业应用规范，并运用相关技

科学与大数据技术领域术解决实际工程问题；具备一定

M

相关问题选择研究路线，的综合分析问题能力、较基础的

并设计实验方案。评价能力和创新性解决问题的能

力。

12.终身学习12.2养成正确的生活、课程目标3：积极培育社会主义

学习习惯，具备良好的身核心价值观，践行中国优秀传统

心素质，为自身知识和能文化教育，树立正确的人生观、

M

力的持久发展提供身心世界观和价值观；树立正确的劳

保障。动观念，切实提升心理素质，增

强干事创业的信心。

注：表中“H（高”M（中）”表示课程与相关毕业要求的关联度。

四、教学内容、基本要求与学时分配

1.理论部分

理论部分的教学内容、基本要求与学时分配见表2。

表2教学内容、基本要求与学时分配

实

理论对应的课

教学内容教学要求，教学重点难点学

学时程目标

1.概述教学要求：了解数据仓库的基本概念及

1.1数据仓库概述应用场景，理解数据仓库的基本架构。

21,2

1.2数据中心重点：数据仓库的基本概念、数据中心

1.3混合型数据中心难点：混合型数据中心

2.数据仓库与数据ETL

教学要求：理解数据仓库的结构及数据

2.1数据仓库的结构

模型的概念；了解ETL和OLAP的概念。

2.2数据仓库的数据模型41,2

重点：数据仓库的结构及数据模型

2.3ETL

难点：数据仓库与ETL的使用

2.4OLAP

3.Hive入门教学要求：了解Hive的基本概念及应

3.1Hive概述用场景，掌握Hive的配置及客户端的221,2

3.2Hive安装部署使用、JR,备基于Hadoop平台对Hive数

3.3Hive架构与工作原理据仓库进行搭建维护的能力。

3.4Hive基本类型重点：Hive客户端的使用

难点：Hive安装部署

4.Hive的基本操作教学要求：学生能够掌握Hive表的管

4.1DDL基础理相关操作、理解分区和分桶的基本概

4.2分区与分桶念及应用场景、具备利用SQL对数据进

4.3库与表操作行处理的能力。221,2,3

4.4数据加教查询重点：分区与分桶、数据库及表常见操

作。

难点：数据加载、查询数据。

5.Hive运算符与函数

5.1Hive运算符教学要求：学生能够掌握常见内置函数

5.2Hive内置函数的使用、掌握自定义函数的使用、具备

函数进行数据分析和处理的能力。

5.3自定义函数421,2,3

5.4聚合函数重点：Hive内置函数、自定义函数、聚

5.5窗口函数合函数。

难点：窗口函数。

6.Hive优化教学要求：学生能够了解Hive优化的

6.1Hive存储优化基本概念、掌握Hive优化的常见方法。

2

6.2Hive参数优化重点：Hive存储优化、参数优化

6.3HiveQL语句优化难点:HiveQL语句优化

7.Sqoop迁移工具

7.1Sqoop概述教学要求：学生能够理解Sqoop迁移的

7.2数据导入基本原理、掌握Sqoop的配置与使用、

7.3数据导出具备利用Sqoop迁移数据的能力。221,2,3

7.4Sqoopjob作业重点：导入数据、导出数据。

难点：job作业。

8.数据仓库综合应用

8.1需求分析教学要求：学生能够理解数据仓库设计

8.2数仓设计的整体过程、掌握数据仓库各层次的实

8.3具体实现现方法、具备基于具体需求设计实现数

241,2,3

8.4可视化据仓库的能力。

重点：数仓设计、具体实现。

难点：具体实现。

合计2012

2.实验部分

实验部分的教学内容、基本要求与学时分配见表3。

表3实验内容与学时

对应的课

实验项目实验内容和要求实验学时

程目标

实验内容：Hive的安装、部署；Hive

的基本操作；Hive运算符与函数的使

1.Hive的安装、部用：

61,2,3

署与使用

实验要求：在Hadoop平台安装、部署

Hive；能熟练进行Hive的基本操作;能

熟练掌握Hive运算符和函数的使用。

实验内容:Squup的配置与使用;Sqoop

数据迁移的实现；

使用要求:能使用Sqoop将MySQL的数

2.Sqoop数据迁移21,2,3

据迁移到Hive；能使用Sqoop将Hive

的数据迁移到MySQL：掌握HiveQL语句

的使用。

实验内容：项目需求分析；数据仓库分

层设计；

3.数据仓库综合应

41,2,3

用实验要求：了解项目概述，能描述项目

背景及需求；了解原始数据结构；能进

行数据仓库分层设计及开发；

合计12

五、教学方法及手段

本课程以课堂讲授为主，结合讨论、案例、视频资源、实验等教学手段完成课程教学任

务和相关能力的培养。在实验教学环节中，通过启发式教学、讨论式教学培养学生编写、调

试程序的基本能力和基本方法。培养学生自主学习能力、实际动手能力，激发学生的创新思

维。采用学习通、钉钉、QQ、微信等交流工具，加强和学生之间的交流和沟通。

六、课程资源库

I.推荐教材

（1）杨力.大数据Hive离线计算开发实战[M].北京:人民邮电出版社,2020.

（2）陈文伟.数据仓库与数据挖掘教程（第3版）[M].北京：清华大学出版社,2021.

（3）黑马程序员.Hive数据仓库应用[M].北京：清华大学出版社,2022.

2.参考书

（1）王剑辉等.Hive数据仓库[M].北京：电子工业出版社,2021.

（2）迟殿委.Hive入门与大数据分析实战[M].北京：清华大学出版社,2022.

（3）朱晓彦，方明清，李强等.Hive数据仓库技术与应用[M].北京：中国铁道出扳社,

2020.

3.期刊

（I）王霖等.智能化煤矿数据仓库建模方法[J].工矿自动化,2022,48（04）:5-13.

（2）亢华爱.基于Hive的离线数据处理方法[J].现弋商贸工业,2022,43（05）:185-186.

（3）陈新房，刘义卿.分布式系统数据仓库工具Hive的工作原理及应用[J].科学技术

创新，2021,（36）:104-107.

（4）任仲晟.基于数据仓库的数据挖掘技术[J].数字技术与应用,2021,39（09）:59-61.

（5）RazgallahAsma.KhouryRaphael,HalleSylvainetal.Asurveyofmalwaredetectionin

Androidapps[Jj.Recommendationsandperspectivesforfutureresearch,ComputerScience

Review,2021,39（11）:243-248.

4.网络资源

（1）王大宝的CD.数据挖掘（一）你真的了解什么是数据挖掘和数据本身吗？[R/OL].

CSDN文库.2（）17./sinat_22594309/article/dctails/74923643.

（2）shaoniine.大数据开发实战：数据仓库技术[R/OL].博客网.2022.

blogs.eom/shaosks/p/9436653.html.

（3）倪老师.数据库与数据仓库技术[EB/OL].信管网.2021.

itpm.eom/pni/l101l.html.

七、课程考核对课程目标的支撑

课程成绩由过程性考核成绩和期末考核成绩两部分构成，具体考核/评价细则及对课程

目标的支撑关系见表4。

表4课程考核对课程目标的支撑

考核课程目标

占比考核/评价细则

环节123

VV

课

（1）主要考核学生学习纪律和答疑情况。

堂10

（2）教师根据课堂整体表现情况评分。433

表

现

VV

（1）根据每个实验的实验操作完成情况和

过实验报告质量单独评分，满分100分；

程（2）每次实验单独评分，取各次实验成绩

实20

性C

的平均值作为此环节的最终成绩。680

考验

（3）以实验成绩乘以其在总评成绩中所占

核

的比例计入课程总评成绩。

（1）主要考核学生对各章节知识点的更习、

VV

理解和掌握程度，满分100分；

作

10（2）每次作业单独评分，取各次成绩的平

业

均值作为此环节的最终成绩。442

（3）以作业评价成绩乘以其在总评成绩中

所占的比例计入课程总评成绩。

（1）主要考核学生对各章节知识点的复习、VV

理解和掌握程度，满分100分；

测（2）每次测试单独评分，取各次成绩的平

10

试均值作为此环节的最终成绩。442

（3）以测试成绩乘以其在总评成绩中所占

的比例计入课程总评成绩。

VV

期末（1）采用原创作品大作业的方式。

50

考核（2）将大作业的成绩作为期末考核成绩。201515

合计：100分383428

八、考核与成绩评定

1.考核方式及成绩评定

考核方式：本课程主要以课堂表现、实验、作业、测试、期末考核等方式对学生进行考

核评价。考核基本要求：考核总成绩由期末大作业成绩和过程性考核成绩组成。其中：期末

大作业成绩为100分（权重50%）：课堂表现、实验、作业、测试等过程性考核成绩为100

分（权重50%）；过程性考核和期末考核分值分配应与教学大纲各章节的学时基本成比例。

2.过程性考核成绩的标准

过程性考核方式重点考核内容、评价标准、所占比重见表5。

表5过程性考核方式评价标准

考核方所占比

100>x^9090>x^8080>x^7070>x^60x<60

式重闾

学习认真、态学习认真、遵守纪律，

课堂表遵守纪律，学学习纪律较

20度端王，遵守态度端正，学习态度良

现习态度一般，差，表现较

纪律,表现优遵守纪律，好，表现中

表现一般差

秀表现良好等

实验预习认

实验前有预

真，能够熟实验前有预

习，能够掌

练掌握方法习，基本能实验前有预没有预习，

握方法与步

与步骤，实够掌握方法习，不能掌握不能完成实

骤，实验操

验操作过程与步骤，实方法与步骤，验；实验操

作过程正

熟练、规范，验操作过程实验操作过作步骤有

实验40确、规范，

遵规守纪、基本正确、程基本正确，误；实验结

遵规守纪、

团结协作，