（管理科学与工程专业论文）Elearning系统数据仓库模型的研究和应用.pdf

i摘摘 要要 随着全球金融危机的到来，企业培训费用开支必然得到缩减，因此e-learning培训模式成为企业一种经济高效的培训模式。如何基于e-learning系统平台，统计企业学员学习的相关数据并分析企业学员的学习特征，成为了企业培训管理者面临的问题。而有效的决策必须以全面、准确的信息和数据为基础，这就使得科学、有效、高质量的数据仓库设计和建立成为研究的热点。数据仓库的设计和建立没有固定的方式，存在着风险。如何保证数据仓库的质量成为了研究的难点。本文主要依据从概念模型到逻辑模型，再到物理模型的数据仓库设计思路对e-learning系统的数据仓库进行了设计和建立。本文的特色是在物理模型设计时，运用了反规范化的处理方法对数据仓库模型进行了优化。 针对数据仓库设计和建立时的问题，本文给出了四种有效的反规范化设计的方法：水平分割、垂直分割、对列进行非范式化和合并表。在提出方法的基础上，本文结合实践，基于某公司e-learning系统，运用powerdesigner软件进行了数据仓库设计和建立的实证研究，对反规范化方法进行了验证，证明了方法的经济有效性。另外，本文运用clementine软件对已建好的数据仓库中的数据进行了数据挖掘。本文设计和建立的e-learning系统数据仓库模型满足了企业培训管理者辅助决策的相关需求，达到了预期的研究目标，并提供了可供参考的理论依据和应用前景。 关键词: 关键词: 数据仓库设计 e-learning 系统 反规范化 数据挖掘 iiabstract with the advent of the global financial crisis, the expenses of corporate training must be reduced, so e-learning training mode for the enterprise is a cost-effective training mode. how to analyze the relevant data of students and the learning characteristics of students based on e-learning system platform has become a problem that corporate training managers should face. we all know that effective decision-making must be based on comprehensive and accurate information and data. so scientific, effective, high-quality data warehouse design and establishment become a research hotspot. data warehouse design and establishment is no fixed way. how can we ensure the quality of the data warehouse has become the study difficult. in this paper, the data warehouse design ideas is: the conceptual model become the logical model, and the the physical model. this feature of this paper is in the physical model design, the use of the denormalization design method to optimize data warehouse model. on issues of data warehouse design and establishment, this study presents four kinds of effective denormalization design method: horizontal partitioning, vertical partitioning, column denormalization ,and table collapsing. based on a companys e-learning system i designed and built data warehouse through the denormalization design method. this method has been proved to be effective. in this study, i used the clementine software to analysis data. the designed e-learning system data warehouse model is an economical and feasible model which can support the corporate training managers to make decisions. this the study reaches the desired research goals and has a good application prospects. key words: data warehouse design e-learning system denormalization data mining 独 创 性 声 明 独 创 性 声 明 本人郑重声明： 今所呈交的 e-learning 系统数据仓库模型的研究和应用论文是我个人在导师指导下进行的研究工作及取得的科研成果。尽我所知，文中除了特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写的内容及科研成果，也不包含为获得首都经济贸易大学或其它教育机构的学位或证书所使用过的材料。 作者签名 作者签名： 日期：日期： 年年 月月 日日 关于论文使用授权的说明 关于论文使用授权的说明 本人完全了解首都经济贸易大学有关保留、使用学位论文的有关规定，即：学校有权保留送交论文的复印件，允许论文被查阅、借阅或网络索引；学校可以公布论文的全部或部分内容，可以采取影印、缩印或其它复制手段保存论文。 （保密的论文在解密后应遵守此规定） 作者签名： 作者签名： 导师签名： 导师签名： 日期： 日期： 年 年 月 月 日 日 首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 1 页 共 62 页1 绪论 1.1 选题背景及问题提出 绪论 1.1 选题背景及问题提出 随着全球金融危机的到来， 企业从日常运营的各个方面进行开源节流成为当务之急，企业培训部门作为企业的边缘化部门，培训费用的开支必然得到缩减，因此如何让每一分钱实现最大的价值是摆在每一个人力资源管理者面前的难题，e-learning这种培训模式为“冬天”里的企业提供了一种经济高效的培训模式。 根据美国商务周刊 2008 年底的统计，全球范围内已有 88的大公司中运用了e-learning 培训系统。从对近年美国企业运用 e-learning 成效的调查结果来看：企业培训的总费用缩减了 70，差旅费用下降了 50，企业的生产率上升了 40，而参与培训的员工总数却增加了 25。据美国训练发展协会预测分析，截止 2012 年雇员人数超过 500 人的公司，90都将采用 e-learning 培训系统进行培训1。 中国大陆的 e-learning 市场自 2005 年开始也呈现显著增长的态势，市场规模自2005 年开始， 年平均增长率超过了 202。 根据 market avenue 市场研究机构的调查，正处于成长期的中国网络教育市场，在市场规模上也处于快速的增长阶段。预计到2011 年中国网络教育市场整体规模将达到上百亿元人民币3。 企业 e-learning 的产业价值链比较短，主要分为产品提供商、销售渠道与客户这三个环节。产品提供商中，包括技术供应商、内容供应商与服务供应商。其中，技术供应商包括学习系统的平台开发商与课件工具开发商及考试系统开发商， 国外有 sum total、saba、ibm、oracle，国内有傲姿时代、东软、汇思、中欧互联等。内容供应商的服务包括提供标准课件与课件订制，如 skillsoft，哈佛课程等4。 国内某保险公司引入e-learning之后， 引发了企业人力资源管理的两方面的需求：一方面，企业管理者希望不断丰富 e-learning 学习平台的课程内容，提升学员在人机交互环境下的学习动力，实现学习管理系统平台的高效运作。另一方面，企业管理者希望运用学习管理系统平台对学员的学习情况进行数据统计和实施在线跟踪， 并对学员学习效果进行评估、考核以及激励，进而根据学员的个性化需求进行课程购买和职业学习生涯规划。 专业的产品提供商满足了企业 e-learning 实施的第一类需求。但是，提供学员学习效果评估，学员学习情况在线跟踪以及根据这些跟踪数据进行知识发现的少之又少，仅有的数据跟踪与分析也停留在简单的数理统计上，因此第二类需求是企业实施e-learning 亟待满足的需求。 本文就是基于企业实施 e-learning 系统的第二类需求展开研究的。 首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 2 页 共 62 页1.2 国内外研究现状 1.2 国内外研究现状 1.2.1 e-learning 系统方面 1.2.1 e-learning 系统方面 1999年之后，国外的e-learning培训方式进入迅速发展时期，很多大型公司都开始引入e-learning系统对员工进行在线培训。e-learning进入美国企业和教育界已经如雨后春笋了。 mit麻省理工学院计划将全部的教材上网免费提供给民众通过e-learning学习所有的mit的课程5。柯达公司使用e-learning培训系统对员工进行培训，最多可达到150个国家的80000名员工同时听课。2001年，microsoft给全球约450家企业以e-learning的模式提供了形式多样的多媒体课程， 约250万名学员通过e-learning学习模式取得了各种microsoft认证6。 我国关于e-learning问题的研究还处于起步阶段，研究资料大多数是基于国外资料，本土化的研究还处于萌芽状态。原因有二：一是因为e-learning是新的培训模式，各种资源的发展都处在起步阶段。二是因为企业员工的e-learning培训情况和相关数据的资料很难获得，使研究一直受阻。 我国目前对于e-learning的研究主要有两个方向：一是在学术界，主要是在学校的课程管理上，很多学者在研究远程教育，主要是学生网络课堂的建设、各种多媒体课程的建设等。二是在企业培训，研究的焦点则是落在企业管理培训上。 1.2.2 数据仓库应用研究方面 1.2.2 数据仓库应用研究方面 全球经济危机的到来，使得企业降低成本、增加效益成为必经之路，如何通过企业现有的数据库中的数据帮助企业管理者进行正确及时的决策， 已经成为现代科学信息技术研究的重点。 无疑，数据仓库的出现，给企业带来更好的发展动力。数据仓库的出现，并不是要取代数据库。 目前， 大部分数据仓库还是用关系数据库管理系统来管理的。 可以说，数据库、数据仓库相辅相成、各有千秋。20世纪90年代初，“数据仓库”一词最早出现，发展到现在数据仓库技术已趋于成熟。数据仓库与internet一样，正在成为最快的it增长点，为企业带来利润的增长点。这些年来，数据仓库技术日益普及。联机分析处理（olap，on-line analysis processing）和数据挖掘技术（dm，data mining）的已经为数据仓库的应用找到了前景和突破口7。 1997年，互联网数据中心（idc，internet data center）对60多家应用数据仓库支持管理活动和相关决策的公司进行了业绩的调查分析，发现在近5年内这些公司应用数据仓库的投资回报率都超过了400%， 这是一个相当可观的数字8。 商业智能似乎在2009年特别青睐中国市场， 毕竟中国市场作为世界金融危机下为数不多未被沦陷的市场，吸引了世界各地企业的目光。netezza公司就是其中之一，作为第一个数据仓库首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 3 页 共 62 页设备商，netezza2009年宣布正式进入中国市场9。 1.3 研究目标和研究意义 1.3 研究目标和研究意义 本文以某保险公司e-learning系统为研究对象，研究如何建立数据仓库模型应用于企业e-learning系统管理和决策的实践中去。本文根据e-learning系统平台的统计数据，建立用于企业培训数据挖掘的数据仓库，并从不同角度分析企业的各种培训指标和构建培训数据仓库模型，满足决策的信息需求和实现通过技术辅助决策的功能。 通过建立好的数据仓库，企业高管人员可以方便地进行相关数据的查询。通过数据仓库的查询，可以满足企业培训人员的第一类需求，即查询单个学员的学习情况、查询某个部门的学习情况、查询某个职位的学员的学习情况等。通过对数据仓库的数据进行数据挖掘，可以发现一些隐藏的数据关联关系和聚类关系，从而辅助企业决策人员进行决策。通过数据仓库的应用，可以满足企业培训人员的第二类需求，即发现学员的学习特征、发现课程的分类和学员学习状况之间的关系、学员学习的课程和部门以及职位之间的关系等。 本文的研究是基于某保险公司e-learning系统项目实施过程中的面临的需求展开的，研究的目标是将某保险公司e-learning系统实施过程中积累的大量数据进行整合，设计并建立数据仓库，通过“数据信息知识利润”的路径发现大量数据背后隐藏的重要的数据规则和商业规则，为企业寻找潜在的“金矿”。因此通过为企业e-learning系统设计并建立数据仓库对我国企业的培训信息化水平的提高有着重要的现实意义。 1.4 研究内容和结构框架 1.4 研究内容和结构框架 本文全面介绍了e-learning系统、数据仓库和数据挖掘的相关概念，设计基于e-learning系统的数据仓库模型，并进行了立足于学员、课程关系管理方面的数据挖掘，借以对学员进行分类并发现其中的学员学习行为特征，进而指导企业决策。通过基于e-learning系统的数据仓库模型的设计和应用，提供一些有益的建议和理论支持。 具体来说本文的结构安排如下： 第一部分是绪论部分，主要论述e-learning系统的数据仓库模型设计和应用的研究背景，提出研究的问题，对国内外的研究现状做简要论述，并确定研究的意义和研究目标。 第二部分是关于e-learning系统的分析。主要介绍e-learning的相关概念，对e-learning的产业价值链进行分析，简要论述了e-learning的技术标准，并对e-learning系统投资效益进行了分析。 第三部分是对于e-learning系统的数据仓库模型设计的研究，是本文重要的理论支持部分。主要论述了e-learning系统的数据仓库模型设计的设计理念和架构，数据首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 4 页 共 62 页仓库设计的步骤，分别论述了概念模型、逻辑模型和物理模型设计的关键过程，重点论述了反规范设计的四种方法。 第四部分是e-learning系统的数据仓库模型的实证分析，根据某企业e-learning系统实施的现状和相关数据，设计并建立了e-learning系统的数据仓库模型，其中对物理模型进行了反规范化处理。对建立好的数据仓库进行了数据挖掘的应用分析，分别用关联规则和聚类算法对数据仓库中的部分数据进行了分析， 得出了一些有价值的结论。 第五部分是结论与展望部分，总结概述文章研究分析得出的结论，对e-learning系统的数据仓库模型设计和引用提供理论上的支撑和建议。 同时对于文章存在的不足和需要进一步通过研究加以完善的部分进行了展望，指出有待继续研究的方向。 首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 5 页 共 62 页2 e-learning 系统分析系统分析 2.1 e-learning 相关概念 2.1 e-learning 相关概念 1997年，美国人jay cross首次提出了e-learning的概念，他认为e-learning是使用it技术和网络，使学习自主权由企业转移到个人的活动10。美国培训与发展协会将e-learning界定为：运用电子数字技术来传递教学的内容，传递的方式包括互联网、企业内部网、卫星广播、交互式电视等11。cisco公司将e-learning定义为：利用互联网络促进的学习方式。当今普遍的观点是，e-learning即为电子化学习，是指在多媒体技术、计算机技术、人工智能、通讯技术、网络技术等多种技术支持的电子化环境中进行学习12。 e-learning是集图形、文本、视频和音频等多媒体元素为一体的学习模式，学员在在e-learning平台进行学习时可以通过看、听、做来学习，很多课程还加入了动手环节和课程讨论环节13。e-learning的多媒体特性能使学习过程变得更加有趣和有吸引力，学员更愿意通过这种寓教于乐的方式学习。e-learning有以下优点14： (1) 学员可以个性化学习 学员可以个性化学习，进行课程的自我定制和学习时间的自我安排，这样学员的学习就可以从被动学习向主动学习转变，从先前强迫式的“要我学习”变成了现在积极式的“我要学习”。e-learning为学员提供了多样化的课程，包括能力培训课程、公司认知课程等，学员可以通过网络平台选择适合自己且自己喜爱的课程，这样就可以实现学员课程的自我定制，实现个性化的学习。在e-learning学习平台上学习，没有统一的学习进度，没有统一的学习安排，学员可以随时随地查看自己的学习进度和考试进度，了解自己的学习效果。 (2) 随时随地的学习 计算机为e-learning学习提供了载体，学员甚至可以利用mp3、mp4等进行学习，这样就使得学习无处不在。学员可以在工作休息的空余时间进行学习，也可以在下班后进行学习，学员不必再为周末参加各种企业培训犯愁，学习成为了一种开放式的自我提高的途径。 学员通过随时随地的学习， 更能够抓住学习的重点， 提高学习的效率。 (3) 学习行为跟踪记录 e-learning不仅可以支持学员的各种学习行为，更能够记录整个学员的学习过程，包括学员的学习时间、学习频率、考试成绩等信息。这样，管理者通过对相关数据的分析，可以对学员的学习状况进行了解，掌握学员的学习特征，进而生成学习报表，还可以绘制学员的学习地图。 人力资源培训部的管理人员可以根据需要进行学员学习情况的跟踪检查，进行学习成果的评估，评估结果可以进行学员评优、部门学习情况评优等活动。 首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 6 页 共 62 页(4) 交互性强 在e-learning的学习环境下，学员可以和全国各地的学员进行交互式的学习。因为网络的存在使得人们的距离拉近，学习的距离也被拉近。学员通过跨国组成学习小组等形式进行交流和沟通，通过小组讨论提升自身的学习能力。这种方式最有利于学员进行语言的学习。 (5) 高效率和低成本 e-learning的初期投入成本较大，软件购买的费用、系统实施维护的费用、课程购买的费用都是一笔大的支出。但从长远来看，e-learning成本还是非常低的。因为，跟传统的培训方式相比，e-learning能够实现培训的自动化，节省企业在培训方面的人力、物力、财力的投入。 虽然e-learning培训模式的优势很多，但是e-learning培训模式也存在如下一些问题15： (1) e-learning在某种程度上依赖于网络及基础设施 e-learning，顾名思义为网络培训，这种培训模式必然依靠网络而存在，没有网络、没有计算机，一切都是无稽之谈。因此，企业的网络资源的情况对e-learning的培训开展限制很大。另外，e-learning系统的实施必然会面临一些风险，例如，网络发生故障的风险，服务器无法响应的风险，课程数据丢失的风险等。 (2) 推行困难 在企业中，员工已经习惯了面对面的培训方式，进行e-learning培训方式的推行必然会遇到一些阻碍。一是来自于学员学习偏好的阻碍，很多学员习惯了传统的培训方式，不愿意接收新鲜的事务，因为e-learning培训需要学习一些电脑的基本操作，这就对年龄偏大的员工提出了一些挑战。二是来自于传统培训资源的管理和掌控者，由于e-learning培训模式是一种经济高效的培训模式，传统的培训经费必然会缩减，这样就会触及一些员工的利益，引发矛盾。 (3) 缺乏直接的情感交流 在网络学习环境中由于师生时空分离而导致的情感交流缺失一直是困扰广大教育工作者的一个难题。学员与老师之间以及学员之间，缺少充分情感上的沟通，学习效果会受到一定的影响。一些技能的培训课程，显然不能仅仅听别人的讲解或者视频演示，更需要学员在现实环境进行亲自练习和操作，这就对e-learning提出了挑战。 2.2 e-learning 的产业价值链 2.2 e-learning 的产业价值链 企业e-learning的产业价值链比较短，主要分为产品提供商、销售渠道与客户这三个环节，如图2.1所示。 首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 7 页 共 62 页 图 2.1 e-learning 的产业价值链 由于e-learning项目的特殊性，它以企业自身的项目直销为主，代理及联合销售为辅。由于目前产业规模较小，更由于企业在实施e-learning过程中的专业性及个性化需求较强，所以几乎没有零售商参与其中。 产品提供商中，包括技术供应商、内容供应商与服务供应商。其中，技术供应商包括学习系统的平台开发商与课件工具开发商及考试系统开发商，国外如sum total、saba、ibm、oracle，国内有傲姿时代、东软、汇思、中欧互联等16。考试系统方面当属深圳市新风向科技有限公司。内容供应商的服务包括提供标准课件与课件订制，如skillsoft，哈佛课程，思创公司等17。服务提供商也包括两种，一种提供asp服务，另一种则提供学习系统的整体规划与实施咨询服务。目前在国内，大多数asp提供的是平台+课程的服务模式，如时代光华、众行、中国电信在线培训运营中心等；而专业的规划实施咨询机构，在国内更是发展缓慢，目前有思创与泰复网络等18。 企业e-learning的购买者与使用者大多分离。目前国内实施e-learning的企业，主要集中在电信、it公司、保险、银行及其他大型企业，也包括部分政府与教育培训机构。 2.3 e-learning 技术标准 2.3 e-learning 技术标准 相关的e-learning标准技术有很多，如aicc的agr规范、adl的scorm标准、ims全球学习联合公司提出的ieee 1484标准体系、iso-jtci/sc36的标准、学习技术系统规范等。 1993年，aicc美国航空工业计算机辅助训练委员会制定了计算机管理教学互操作指导规范，根据计算机管理教学互操作指导规范的要求，不同开发商可以共用局域t：技术供应商：技术供应商 （系统/课件开发工具） c：内容供应商：内容供应商 （标准课件/课件定制） s：服务商：服务商 （asp/实施咨询）渠渠 道道 （代理商/合作伙伴）政政 府府 学校等教育机构学校等教育机构企企 业业 个个 人人 用用 户户 首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 8 页 共 62 页网课件的相关数据。1998年，美国航空工业计算机辅助训练委员会又将此规范升级成为适用于基于网络教学的计算机管理教学互操作指导规范标准。 美国航空工业计算机辅助训练委员会到目前为止已经推出了一系列agr的技术规范，其主要内容包括：dos版数字音频指南、学生用户导航控制指南、web版cmi互操作指南、局网版cmi互操作指南、cbt教学平台指南19。 美国国防部adl组织最早提出了scorm 共享内容对象参考模型，scorm的核心概念是教材再用与共享。scorm采取xml作为定义数据及其意义的共同语言，通过scorm模型，数字内容教材的制作、内容开发的标准实现了统一，课程的质量得到了保证。scorm模型主要包括：基于xml的课程结构表示规范；课程内容元数据规范，关于如何为课程、内容及媒体素材建立元数据记录；与运行环境相关的规范，包括应用编程接口规范，内容到lms之间数据交换模型，以及内容分布规范20。 全球学习联合公司ims提出的学习技术系统规范，主要内容有：内容、元数据、提问与测试、跟踪记录、企业文档互换、电子商务。下图是学习系统架构图，通过下图，能够比较容易理解这些规范在信息化教学系统中的地位和作用。 图 2.2 基于 ims 的学习系统架构 国际电气和电子工程师协会成立了专门的学习技术标准委员会， 该委员会研究出一套ieee 1484标准体系，这套标准体系已经被国际上的相关厂商广泛采用，特别是其中的学习对象元数据标准，已经相当成熟。ieee 1484标准体系提出了学习技术系统的整体架构， 该架构可以作为信息化教学系统的抽象模型。 该模型由三类对象构成：评价存储器、过程、信息流21。 首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 9 页 共 62 页1999年，国际标准化组织成立了从事教育、学习、培训技术标准的征集、修改等工作的jtc1/sc36委员会。该委员会研究提出的标准需求包括：管理系统、词汇术语、协作学习、学习内容、系统构架22。 2.4 e-learning 系统投资效益分析 2.4 e-learning 系统投资效益分析 诺贝尔经济学奖得主索洛提出了“it生产率悖论”问题，指出it投入的实际效果和期望之间出现不一致的现象。索洛从经济学家的角度出发，更多的观察实际数据的表现，但it对企业的贡献很难量化，而且it的贡献并不是线性的，存在“延迟效应”。 e-learning系统的投入上也将面对同样的问题。针对这一问题，主要观点是e-learning的收益不能仅从显性角度看，更应该从企业其他业务的变化和长远的业务增长可能等隐性角度来看23。 从显性的角度看，e-learning系统的成功实施可以减少培训中产生的差旅费用、减少课堂面授的讲师费用、减少培训实施中的后勤支持费用、减少课程的教材费用、减少培训中的交往费用、减少培训离岗的机会成本。 从隐性角度看，e-learning系统的成功实施可以培训员工快速进入新角色带来的收益，快速复制技能，提升员工技能所带来的市场份额扩大的收益，加强及时培训，信息传递不失真所带来的效益； 通过远程学习和合作学习更好地发挥时间效率所带来的收益；大规模培训，提升员工、客户、供应商对产品、服务了解程度的收益。 单纯从这些角度来衡量，忽视了企业实施e-learning系统的初衷和愿景，投资收益的衡量应该与企业e-learning系统决策的期望结合起来。e-learning系统的决策可以从投入资金和投入时间两个角度细分，如图2.3所示。 图 2.3 投入资金和投入时间角度细分 观望型是投入资金少，但是短期内要产生效果，在e-learning系统平台上的投入属于短期行为，后续是否继续使用难以预料，希望先看效果。效果型为投入资金并不是关注的重点，而在于较短时间内产生符合期望的效果。等待为不急于大量的投入，首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 10 页 共 62 页在资金的投入上有长期的预算，但是数额不多，希望以低成本的方式，实现“温水煮青蛙”。战略型属于对于e-learning非常重视，对于平台上的投入不是一次性的，而是长期跟进，新的学习方式非常适合企业业务增长，或者学习革命非常有助于企业转型。面对不同的选择，企业需要依据实际情况制定e-learning系统的决策，确定目标，并明确预算和评估点。 首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 11 页 共 62 页3 e-learning 系统数据仓库模型设计系统数据仓库模型设计 数据仓库设计和建立的目的是商业智能分析和决策支持。 正如软件开发中的系统分析和系统设计在整个开发周期中占举足轻重的地位一样， 数据仓库的分析与设计在数据仓库建立时非常重要，它不仅可以保证日后管理者数据查询方便易行，而且可以保证数据挖掘工作顺利进行。 3.1 基本设计理念与架构 3.1 基本设计理念与架构 广义上的数据仓库包括两部分内容：一是设计和建立数据仓库，用于存储和查询数据仓库的数据；二是数据仓库应用部分，用于对数据仓库数据库进行数据挖掘。数据仓库开发过程包括三个阶段：规划分析阶段、设计实施阶段及使用维护阶段。规划分析阶段包括开发概念模型、开发逻辑模型、开发物理模型；设计实施阶段包括元数据设计、数据的转换和加载、数据仓库建立；维护使用阶段包括数据仓库应用、数据仓库维护和数据仓库评价。这三个阶段是一个循环往复，不断完善和提高的过程。如图3.1所示。 图 3.1 宏观上的数据仓库的开发阶段 微观上的数据仓库的设计实际上指的是设计和建立数据仓库， 也就是宏观上设计数据仓库的规划分析阶段。本文主要着重于设计和建立数据仓库，对数据仓库进行数据挖掘的应用只是为了使得数据仓库的开发更加完整，使得数据仓库有一个应用出口，同时也是为了验证数据仓库模型的正确性。 在数据仓库中，要完成数据建模任务通常要建立三种模型：概念模型、逻辑模型和物理模型。在数据仓库的三级数据模型中，概念模型表示现实世界的“业务信息”构成关系，通常用“实体-关系”图，也就是er图的方法来设计这一级的数据模型，可以利用viso和powerdesigner等软件绘制概念模型图。 在数据仓库设计中的逻辑模型开发概念模型 开发逻辑模型开发物理模型元数据设计 转换与加载数据仓库建立 数据仓库应用数据仓库维护 数据仓库评价 数据仓库开发过程数据仓库开发过程设计 实施阶段 规划分析阶段 使用维护阶段 首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 12 页 共 62 页采用表来存储结构，使用的是关系模型，以星型结构、雪花结构等方式构建模型。物理模型是这些表的物理存储结构的模型，在这里可以进行反规范化设计。图3.2表达了微观数据仓库设计中各种概念之间的关系。 数据仓库的设计和建立从抽象现实世界开始，设计概念模型，设计逻辑模型，设计物理模型，最后设计完成数据仓库。整个设计过程中要考虑到元数据的处理，并且考虑数据粒度和聚合度。 图 3.2 微观数据仓库设计中各种概念之间的关系 3.2 数据仓库设计的步骤 3.2 数据仓库设计的步骤 数据仓库的设计从现实世界到概念模型的设计，再到逻辑模型的设计，再到物理模型的设计，最后完成数据仓库的设计。这三级数据模型设计的每一个阶段都有相应的详细的设计步骤。 概念模型的设计是从客观世界到主观世界的过程， 包括需求分析、 业务数据理解、主题的分析等；逻辑模型设计是从主观世界到关系模型的过程，包括粒度设计、聚合度设计、维度表和事实表的设计等；物理模型的设计是从关系模型到数据存储模型的过程，包括确定数据存储结构、确定数据索引结构、进行反规范化设计等。这三个步骤如图3.3所示。 在数据仓库设计中，物理模型设计和概念模型设计非常重要。实际上，这两个模型设计完成之后，数据仓库也就意味着设计完成了。在这个过程中，概念模型的设计要从企业的业务数据出发，结合考虑企业行业标准、企业的发展战略和企业的核心业务等。物理模型的设计应考虑数据仓库项目实施的方法论、资源以及软硬件选型等。 现实世界 概念模型 逻辑模型 物理模型 数据仓库 数据粒度和聚集模型 元数据模型 首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 13 页 共 62 页 图 3.3 数据仓库设计的具体步骤 3.3 数据仓库概念模型的设计 3.3 数据仓库概念模型的设计 概念模型，是由it人员、企业管理者、相关领域专家对企业业务系统进行需求分析的基础上建立的模型，是对现实世界的抽象。 一个优秀的项目必定会兼顾业务需求和行业标准两个方面， 业务需求既包括用户提出的实际需求，也要客观分析它隐含的更深层次的需求，但是往往用户的需求是不明确的，需要加以提炼甚至在商务知识专家引导下加以升华，和用户一起进行需求分析工作。如果不能满足用户的需求，项目也就失去了原本的意义。 3.3.1 业务数据理解和需求分析 3.3.1 业务数据理解和需求分析 数据仓库的数据来源是业务数据库，it人员根据其基本系统架构来构建数据仓库。这个阶段的主要设计理念是“数据驱动+用户驱动”。数据驱动是指根据业务数据库中的系统架构和相关数据进行相关分析。 用户驱动顾名思义是指企业管理者的需求驱动，是指企业业务的相关性需求，it人员应根据企业的业务需求，从解决问题、满足用户需求的角度进行数据仓库的设计和建立24。 (1) 业务数据的理解 需求是数据仓库设计的源动力，方便决策者的使用是数据仓库设计和创建的目的。理解业务数据的开端是要理解公司的业务，熟悉企业e-learning系统的流程，深入分析企业e-learning系统数据库的架构。在企业e-learning系统中，学员、课程、部门、课程供货商等都是需要分析的角度。 概念模型设计 逻辑模型设计 物理模型设计 分析主题 业务数据理解和需求分析 事实量度确定 粒度层次分析 结构模式的确定 数据分割策略的确定 反规范化设计 数据存储结构的确定 数据索引结构的确定 主观世界关系模型关系模型存储模型客观世界主观世界首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 14 页 共 62 页在企业e-learning系统中，学员是核心，是学习的主体，学员通过企业e-learning系统学习平台现有的课程。 一个学员可以对应多门课程， 一个学员只能对应一个部门，也就是说学员与课程是一对多的关系，学员与部门是一对一的关系。企业e-learning系统的管理者需要知道学员的姓名、所属部门、职位、课程学习情况等信息。培训部门的经理不但需要知道学员的基本情况，而且希望得到关于学员学习特征等信息，根据这些信息可以针对性的对学员的学习状况进行分类， 从而提高企业培训的效率和效果。 在企业e-learning系统中，课程是载体，是学习的对象，学员通过企业e-learning系统学习平台现有的课程。一个学员可以对应多门课程，一个课程供应商可以对应多门课程，也就是说学员与课程、课程供应商与课程是一对多的关系。企业e-learning系统的管理者需要知道课程的名称、分类、供应商等信息。培训部门的经理不但需要知道课程的基本情况，而且希望得到关于课程受欢迎程度和课程供应商之间的关系、学员的属性和课程受欢迎程度等信息，根据这些信息可以对课程进行选择性的购买，还可以辅助决策和课程供应商的合作关系问题，为企业节省培训费用。 在企业e-learning系统中，课程供应商是课程来源。企业现在可以选择的课程供应商很多，企业也可以自行研制课程。课程供应商提供的课程一般都是标准化的、通用类课程，画面制作比较精细，课程内容设置比较丰富，对学员的吸引力比较高。企业自行研制的课程一般是根据企业自身的要求临时制作的， 课程内容集中在领导的讲话、公司文化的宣讲、公司战略的安排等，对学员的吸引力不高，但是强制力较高。 (2) 需求分析 在业务数据理解的基础上，已经明确了企业e-learning系统数据库到数据仓库的一些映射关系，接下来就应该做需求分析。需求分析主要是发现企业需要的或者可以构造的主题，为需求到数据仓库的映射打下基础。 分类是认识事物的好方法。要真正的认清楚客户的需求，根据一定的标准对用户的需求进行分类是必要的。实际上，对于一个企业e-learning系统而言，企业的不同部门、不同级别的管理者对它的需求都是不同的。设计企业的e-learning系统数据仓库是一个需要全面考虑的工程，但不同使用者对其需求是相当模糊的，对需求按照业务视角进行分类以后，可以对用户报表的需求、历史数据的留存、要包括的数据的属性和类别、数据获取的位置等都要明确。 在进行需求分析前，可以按照商务活动、当前信息源、涉及的主题范围、关键性指标和信息频率等五个方面进行需求提问： 商务活动。 企业的部门设置和组织架构怎样？企业目前的人员状况如何让？企业e-learning系统实施的目标是什么？企业的e-learning系统实施的现状如何？ 当前信息源。在现有的e-learning系统报表中，传递了哪些信息？这些信息和数首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 15 页 共 62 页据的详细程度如何？哪些信息可以或者有可能产生重要的主题领域的数据和信息？提供这些数据和信息的是计算机支持吗？这些数据的可靠性、质量、一致性和完整性如何？ 主题领域。 哪些维度或者领域的数据对于数据分析是有价值的？这些维度和领域有固有的层次关系吗？哪些维度或者领域没有在现有e-learning系统数据库中显示，但是对于管理者的决策分析有很大的帮助？ 关键性能指标。在e-learning系统中有哪些关键性能指标？这些关键性能指标是如何监控的？在关键性能指标监控的时候是否有不合理因素的存在？ 信息频率。 用户多长时间会对数据库进行一次全面的更新？用户对新数据的需求的及时性如何？ 在完成需求提问之后，应该对用户的需求进行深入的分析，并对分析的结果与用户进行反馈性质的交流。 最终确定抽象的词语可以表达的数据仓库设计所要求的指标和维度。 总之，通过对业务数据的理解和需求的分析，可以明确企业e-learning系统使用的数据的现状、用户如何使用这些数据以及这些数据可以用来做什么。 3.3.2 分析数据仓库的主题 3.3.2 分析数据仓库的主题 数据仓库的主题是将企业数据库系统中的数据进行综合分析， 从而得到的抽象概念，每一个抽象概念都应该对应一个宏观的分析领域。 大多数的企业e-learning系统数据都是多维的，所以采集和表示三维以上的数据必须用新的方法。运用信息包图的方法寻找数据仓库的主题，这是一种简单且高效的方法。 信息包图实际上是一种自上而下的数据建模方法， 这种方法从用户的角度出发，将用户的需求焦点集中在企业的某几个主题上，对这些主题进行相关分析，重点是分析每个主题涉及的相关多维数据属性25。信息包图方法具体操作步骤如下： (1) 运用自顶向下的方法对e-learning系统数据的多维性进行分析， 用信息打包图表示维度和类别之间的传递和映射关系，建立概念模型。 (2) 对企业e-learning系统大量的指标实体进行数据筛选， 取出可以利用的中心指标。其中被筛选出的中心指标也叫做关键性指标。 (3) 在信息打包图的基础上构造星型图，对其中的实体类别进行详细分析，在此基础上设计扩展到雪花图，建立相关逻辑模型。 (4) 在雪花图的基础上，根据所定义数据标准，通过对实体主键、数据容量和实体特征等进行定义，完成物理数据模型的设计。 首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 16 页 共 62 页3.4 数据仓库逻辑模型的设计 3.4 数据仓库逻辑模型的设计 对数据仓库逻辑模型的设计其实就是对事实表和维度表的设计。 事实表是数据仓库中最大的表，是模型的结构的核心，包含了基本的e-learning系统数据信息。维度表是主要代表维，一般情况就是数据仓库的主题信息。事实表的设计包括了粒度的设计和聚合度的设计、事实表的设计和维度表的设计等。 3.4.1 事实表和维度的设计 3.4.1 事实表和维度的设计 事实表就是要被分析的表。 一种多维的数据关系， 由一个事实表和一组维表组成。事实表的非主属性称为事实，都是汇总出来的数值型数据。维表大都是文字、时间等类型的数据26。事实表具有如下的特征： (1) 数据量大，属性值多。 (2) 维表中的关键字必然是事实表中的关键字。 (3) 事实表的字段数会随着度量维度的增加而增加。 从事实表的特征中，我们可以分析出：相对维表来说，事实表是“细长”的结构。 维是分析问题的角度，是一种高层次的类型划分。维度由主键和维属性构成，维属性是维表里的列，维度表除了代表维之外，还具有字段。在星形架构中，事实表包含了一些度量值、维表的外键和事实表的主键。 维度表可以看作是用户来分析数据的窗口， 维度表中包含事实数据表中事实记录的特性，有些特性提供描述性信息，有些特性指定如何汇总事实数据表数据，以便为分析者提供有用的信息，维度表包含帮助汇总数据的特性的层次结构。例如，包含产品信息的维度表通常包含将产品分为食品、饮料、非消费品等若干类的层次结构，这些产品中的每一类进一步多次细分，直到各产品达到最低级别。在维度表中，每个表都包含独立于其他维度表的事实特性，例如，客户维度表包含有关客户的数据。维度表中的列字段可以将信息分为不同层次的结构级。 (1) 维度的特性 维度表的关系存在包含键和属性的支持，但与事实表属性高度相关。对于常用的属性一般使用简单、易于使用的文字信息，不应有任何代码或缩写，不是空值。一般情况下， 不要使用业务数据库的键值， 通常应该使用的字段类型id类型或者16位格式作为全局唯一标识符。维度表包含至少一个决定因素，决策各个领域的因素，可以通过相关的主键的运用，与kpi的事实，以响应用户的查询表中的数据相结合。 (2) 维度的类型 维度主要有四种类型：信息维、结构维、分区维和分类维27。信息维包含需要计算的属性；结构维包含具有层次结构的属性；分区维用于信息的比较分类；分类维用于根据维的属性来分组。结构维表示在层次结构组成中的信息量度。信息维是计算首都经济贸易大学硕士学位论文 e-learning 系统数据仓库模型的研究和应用 第 17 页 共 62 页字段建立的。以同一结构生成两个或多个维时，要用到分区维。分类维是通过对一个维的属性值分组而创建的。 3.4.2 粒度、聚合和分割的设计 3.4.2 粒度、聚合和分割的设计 粒度是指数据仓库中数据单元的详细程度的级别。如图3.4所示，在数据仓库中的数据分为四个级别：早期细节级、当前细节级、轻度综合级和高度综合级28。从图中可以看出，数据仓库中存在着不同的综合级别，这就是“粒度”的直观表现。数据综合度越高，粒度就越大，级别也就越高；数据越详细，粒度就越小，级别就越低。从高度综合级到早前细节级，粒度越大，数据越详细。 图 3.4 数据仓库中数