高校招生决策支持系统的研究与实现

1、高校招生决策支持系统的研究与实现密级：分类号:？?编号：99 工学硕士学位论文高校教师高校招生决策支持系统的研究与实现硕士研究生：李旭亮指导教师张健沛教授学位级别：工学硕士学科、专业：计算机应用技术所在单位计算机科学与技术学院年月fi论文提交日期：年月日论文答辩日期：哈尔滨工程大学学位授予单位:哈尔滨工程大学硕士学位论文摘要随着高校招生规模的不断扩大,招生方式的多元化、口主化，招生数量正逐年増加，专业设置及生源素质都在发生变化。几乎每所高等院校都面临 着生源急剧膨胀而带来的资源相对紧缺问题；同时高校机构改革小将不同地 域的儿所学校及校内部门的合并,都给高校管理带來了前所未有的发展和挑 战。在这

2、样的形势下，高校如何以最小的代价获得最大的发展，则已成为一 个有待研究解决的新课题。木文以某高校的招生数据为例，以数据仓库技术为基础,利用联机分析处理和数据挖掘技术为数据分析手段，通过对高考历史数据的全面分析来构 建新型的招生决策支持系统，从而在为社会提供高效、准确的高考决策支持 方面做一些有意义的尝试和探索。高校招生决策支持系统在高校招生领域的应用，能从招生信息屮发现各种潜在的有价值的知识，从而为招生工作提供决策支持，以便高校在快速变 化的竞争小把握发展方向。关键词：数据仓库;数据挖掘;决策支持系统;高校招生哈尔滨程大学硕i 学 位论文，碣，9, ,;哈尔滨工程大学学位论文原创性声明本人郑重

3、声明:本论文的所有工作，是在导师的指导下，由作者木人独立完成的。有关观点、方法、数据和文献的引用 已在文中指出，并与参考文献相对应。除文中已注明引用的内 容外,本论文不包含任何其他个人或集体己经公开发表的作品 成果。对木文的研究做出重要贡献的个人和集体，均已在文中 以明确方式标明。本人完全意识到本声明的法律结果由本人承 担。作者签字:签互蟒/日期：夕8/年乡月阳日哈尔滨工程大学学位论文授权使用声明木人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期间论文工作的知识产权屈于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部

4、分或全部内容编入有关数据 库进行检索,可采用影卬、缩卬或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时木人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。涉密学位论文待解密后适用木声明。口本论文口在授予学位后即可口在授予学位个月后解密后由哈尔滨工程大学送交有关部门进行保存、汇编等。作者签字:套艘褒/导师签字徽口期:力8/年朔厂钢幽年之月口哈尔滨程大学硕十学位论文第章绪论课题背景及研究意义随着高校招生规模豹不断扩大,招生方式的多元化、宣主化，高校之阖 的竞争fi趋激烈。各高校都岀现了不同程度的教师紧缺现象:学科及专业结 构的矛盾益突岀，

5、有的学校不根据社会上的人才需求情况而盲目扩大招生， 从而导致大学生就业时结构性失业的发生。另外，高校在选拔人才时，往往 只有高考分数这一唯一尺度;考生填报志愿时,也无法了解各高校的综合实 力信患，都没有一个霹供辅助决策支持的手段，这也是一个突出的问题。以 上突岀问题直接影响了高校的办学水平和人才培养质量，给毕业生就业造成 了嚣大压力。因此如俺充分利用现有的招生信怠资源、如何以最小的代价获 得最大的发展，如何使高校在每年的招生宣传、招生计划投放、学院专业设 置、生源选择等方面做出止确的决策，则已成为高校有待研究的新课题【。 另一方面，人们利用信息技术生产和搜集数据的能力大幅度提高，数十 个甚至上

6、百个数据库应用系统被用于招生的各项业务，而且这一势头仍将持 续发展下去。招生部门拥有多年累积的数据量,大量的历史数据没有真正成 为资源被利用到招生决策和战略发展小，反而成为了包袱，甚至成为垃圾。 人稍止在面对“被数据淹没，饥饿于知识的挑战。因此,建立一个企业级的决策支持系统是十分必要的。要求这个决策支持系统各项功能除了应满足基常篙单豹查询、统计和维护，全局统筹规划管理高校齐种信息,协调齐部门正作顺利开展，述能够为高校决策者提供有关育形势的嶙时变化、发展趋势以及通过高科技手段來开发历史数据,提取隐 含在其小的事先未知的、潜在的、深层次、有价值的信息，以利于决策为实 现这一目的,笔者选择了技术和对

7、成熟的基于数据仓库和数据挖掘技术的决 策支持系统的解决方案。将科学化的决策方法运用到实际招生工作屮，根据高校可供教育资源，科学决策招生工作，椽建科学的招生培养体系。嵩校招生决策支持系统的建 立，能够促进数字化校园的建设,更好地为校长决策提供理论与技术支持， 以及科学选拔人才和参考咨询方匿都具有重大理论意义和实际意义。哈尔溟 工程大学硕士学能论文.与课题相关的国内外研究现状.决策支持系统决策支持系统是一种帮助小高层管理人员进行决策的计算机系统，这种系统综合运用了信息论、人工智能、信息经济学、管理科学、行为科学等学 科的理论、方法和技术。根据自c的实际情况实施不同的应用。我国决策支持系统的研究开始

8、于八十年代屮期，目前决策支持系统的理论顽究与实际应用主耍集中予四个领域:一是区域发展的战略决策闻题领 域；二是大型企业公司的管理决策问题领域:三是大型工程决策领域；四是医疗 行业特别是远程医疗。前三个领域有丰富的数据数值为基础，第霾领域的 决策支持系统研究立足于丰富而乂有稳定病症的医疗案例。应用最广泛的领域是区域发展规划。大连理工大学、山西省巍动化所和 国际应用系统分析研究所合作完成了“山酋省整体发展规划决策系统这一个大型的决策支持系统，在我国起步较早，影响较大。随后大连理工大学、 雷防科技大学等单使乂开发了多个区域发展规划的决策支持系统。天津大学 信息与控制研究所创办的决策与决策支持系统刊物

9、，对我国决策支持系 统的发展起到了很大静推动作用。我熬不少单位在智能决策支持系统的研制 中也取得了显著成绩，如以中国科学院计算技术研究所史忠植研究员为首的 课题组研制并完成的“智能决策系统开发平台就是一个典型代表。湖南大学曾进行过“移动通讯企业人力资源管理决策支持系统的研究。在教育领域，也有教育决策支持系统的研究开发。霸前所研究开发的教 育决策支持系统，基本上是以人才预测为着眼点，以规划宏观上的教育发展 为网的，是为国家或教育发展战略决策提供决策支持。上海财经人学在构建 该校的信怠化项口串，将高校决策支持系统也成为其建设内容么一,志容涉 及财务、人事、教学、科研、学生管理、资源管理等决策支持系

10、统。复旦大 学在其校园信息优项翟中也提到了决策支持系统的建设。但还没有院校直接针对自身招生信息基于数据仓库与挖掘技术进行招生 决策的应用研究。.数据仓库及在国外，数据仓瘁和数据挖掘技术已迅速发展起來，逐渐成为决策支持哈尔滨程大学硕士学位论文的新手段。目前，国外已经有好多现成的数据仓库产品，各大公司都相继推，的产品出自己的产品，诸如的，提供的/和/以及的交互式产品等,并且成功地运用于企业的管理与决策支持之中，焉口随着不断的使溺,隧趋完善淄。国内对数据仓库技术的研究还处于起步阶段，真止意义上的数据仓库应 用还不多。但是，随整经济的离速发展和入世带来的机遇和挑战，各企业也 纷纷开始构建自己的数据仓库

11、系统。例如，中国银行广州分行“八五期间 就开始建设数据仓库，该数据仓库包扌舌了从数据挖掘、数据处理到数据存储 的全过程,但数据量相对來说比较小。现在上海宝钢、深圳招商银行等各大 金业集团也纷纷在创建自c的数据仓库、开展数据分析工作,为提高客户服 务质量、增加财政收入、提高产品质量等方面发挥了切实有效的作用。 当前对的研究己经比较深入，从最初的基于关系数据库的 和基了多维数据库的己经发展到两者结合的，同时市场主出现了多种产品，比较有代表性的有公司的，公司的以及公司的等,这些产品致力于辅助决策支持或多维视图的查询和报告需求，备有特色, 性能也有了很大的提高。今后技术的发展趋势是与技术以及数 据挖掘

12、技术和结合,产生的新发展:与十数据挖掘。.数据挖掘数据挖掘阪,简称一词是在年月于美国底特律市在开的第十一界国际联合人工智能学术会议上止式形成的，常常与 触睑混用。从年开始,每年主办一次善际学才会议，将和方而的研究推向了高潮，从此，“数据挖掘”一词开始流行。在中文文献中，有时还被翻译为“数据采掘、“数据开采、“数据发掘等。还有很多和这一术语相近豹 术语,如数据库中知识发现，数据分析，知识抽取，模式分析，数据采集，商 业智能，数据融合，决策支持等嘲。哈尔滨下程大学硕士学能论文数据挖掘系统按其发展叮分为四代：第一代数据挖掘系统支持一个或少数儿个数据挖掘算法，这些算法设计 用来挖掘向量数据，该系统在挖

13、掘时，一般将耍挖掘的数据一次性调入内存, 系统的成功依赖于数据的质量。第二代数据挖掘系统支持数据库和数据仓库，具有良好的可扩展性。该 系统能够挖掘大型数据集、复杂数据集和高维数据。它通过支持数据挖掘模 式護和数据挖掘查询语言增加系统的灵活性。该系统提供了与数据库和数据仓库z间的有效接口。第三代数据挖掘系统能够挖掘/的分布式和高度异质的数据,并口能够有效地和操作型系统集成。该系统的关键技术之一是提供对建立在异质系统上的多个预言模型以及管理这些预言模型的元数据供第一级别的支持。第四代数据挖掘系统能够挖掘嵌入式系统、移动系统和普遍存在的计算设备产生的各种类型的数据。善前，移动计算越来越显得重要，将数

14、据挖掘和移动计算结合是当前的一个研究热点，它也是第四 代数据挖掘系统研究的重要课题之一。目前，第一代数据挖掘系统仍在发展 屮，第二代、第三代数据挖掘系统己经岀现，第四代还处于研究阶段。论文的内容与结构本论文在高校招生领域引入数据仓库技术、联机分析处理技术和数据挖 掘技术，通过对有关技术的研究，设计并实现了一个高校决策支持系统。本文的写作主要分为以下几个部分：第章绪论，介绍论文的背景及研究意义，以及与课题相关领域的国内外研究现状。第章简要介绍了决策支持系统的相关技术，分别是数据仓库、联机分析处理和数据挖掘技术，力招生决策支持系统的实现奠定了基础。第章系统的分析与设计。讨论高校招生决策支持系统的分

15、析、设计问题饕重论述了软件系统功能结构设计、数据仓库的构建、数据预处理问题。第章系统实现与应用。对系统主要功能模块进行了详细设计与应用。哈尔滨工程大学硕士学位论文第章和关技术理论决策支持系统概述.决策及决策支持系统的定义决策:从若干可能的方案小，按标准准则选择一个。而这种标准可以是,最优、满意,合理等等】。决策支持系统:是以管理科学、运筹学、控制论和行为科学为基础，以计算机技术、模拟技术和信患技术为手段，匿向半结构化的决策闻题，支 持决策活动的具有智能作用的人机系统。.决策的分类高层决策:是组织的高层管理人员所负责的战略性决策，是长期影响整个组织或组织中某个主要部分的决策。战略性决策影响组织的

16、目标和政策。 如确定组织的发展方向、口标和小、长期战略规划【钉。中层决策:是组织的中层篱理人员所负责翰战术性决策，是在未來一段 有限的时间内影响组织中某部分的做事的方式,通常在以前战略决策范围内 发生。基层决策:是由组织中较低层的经理或由作业人员做的操作型决策。所 涉及的任务，口标和资源是由先前的战略和战术决策限定的活动。.决策支持系统的功能能为决策者提供决策所需的数据、信息和背景资料,帮助骥确决策目标和进行问题的识别,建立或修改决策模型，提供各种备选方案，并对各 种方案进行评价和选优，通过人机对话进行分析、比较和判断，为正确决策 提供有益的帮助。决策支持系统划分为圈类：数据分析系统:其目的是

17、为非经理人员提供当前的或丿力史的数据文件分析资料。专用分析系统，与特定的作监或任务有关。一般分析系统，使用菜种专用程序分析语言让用户进行一般的数据分析。分析信息系统:其基的是利用一系列的面向决策的数据库综合数据痒哈尔滨 iv下程大学硕学位论文和一些小模型提供管理决策信息。这种系统的例子如常见的市场信息系统和 销售分析系统。统计模型系统:通常利用确定的关系和公式來计算遮一些特殊行为的结果。它的特点是能够提高管理人员的理解能力。这种系统通过对收入账单, 资金平衡表或其缝输患的结果进行译信,篱纯各种规划工作。描述模型系统:对非确定性活动进行描述、分析和评价。它包括了各种不属于统计定义的模拟模型。通掌

18、根据系统环境条件、潺动内容及相互关系 中的随机规律，推断出企业经营活动的结果，从而帮助决策者对不同方案进 行评价决策。这种系统的特点是通过置信度的测试提高决策者对未来外部环境与内部 条件的交互作用的理解。联机分析处理技术对数据的使用是非结构佬辫，它薛一次查询操作要涉及上吾张表的上千行数据，复杂的表连接会严重影响系统的性能，而且用户仅仅在分析的 时候才能查找有关数据,查找条件也是随机携，因此基于事务型数据痒的 的数据分析能力是很有限的。当今的数据处理大致可分成两大类:联机事务处理.、联机分析处理.露离，基于数据仓库的酶决策技术包括联机分析处理c麓数据挖掘触除烈,在环境小数据仓库直接为联机分析处理

19、和数据挖掘提供数据处理能力。.联机分析处理的定义联视分析处理是概念最早是由关系数据库z父于年提淑的，他同时提出了关于的条准则。是使分析人员、管理人员或执行人员能够多角度的对信息进行快速、一致、交互地存取，从焉获得能够深入了解数据的软件技术。的目标是满足决策支持或满足在多维环 境下的特定查询和报表需求，它的技术核心是“维这个概念。哈尔滨下程大学硕士学能论文“维是入们观察客观世界的角度，是一种高层次的类型划分。“维一般包含着层次关系，这种层次关系有时相当复杂。通过把一个实体的多项重要的属性定义为多个维，使用户能对不同维上的数据进行比较。因此也可以说是多维数据分析工具的集合。工具是针对特定阀题的联规

20、数据访闷与分析。它通过多维的方式对数据进行分析、查询和报表。例如，一个企业在考虑产品的销售情况时， 通常从时闻、地区和产最的不同是度來深入观察产品的销售情况。这里的时 间、地区和产品就是维。而这些维的不同组合和所考察的度量指标构成的多 维数组则是分析的基础，可形式化表示为维，维,?,维，度量指标，如地区、时间、产品、销售额。它满足从多种角度对数据进行快速、一致、交互地分析，克服传统交互能力并的弊病,使决策 者能够对数据进彳亍深入观察。服务器使用为用户预定义的多维数据视图对数据仓库的信息进行 统计分析处理，为具有唆确分析范围和分析要求的焉户提供高性能的决策支 持。将分析结果存储在信息库中，便于决

21、策者通过对比多种分析结果 做出更好的决策。此外,信息瘴中还存放决策准则、管理经验、常识。多维分析是指对以多维形式组织起来的数据采取切片、切块、钻取烈?和、旋转等各种分析动作，以求剖析数据，使用户能从多个角度、多侧面地观察数据库中的数据, 从而深入理解包含在数据屮的信息。 基本多维分析操作的基木多维分析操作有钻取和、切片、和切块以及旋转、等【】。钻取是改变维的层次，变换分析的粒度。它包括皇上钻取和向下钻取。是某一维上将低层次的细节数据概扌舌到高层次的汇兑数据,或者减少维数;而则相反,它从汇兑数据深入到细节数据进行观察，或者增加新维【o切片和切块是在一部分维上选定值后,关心度量数据在剩余维上的分布

22、。哈尔滨程大学硕士学位论文如果剩余维只有两个，则是切片;如果有三个，则是切块，】。旋转是变换维的方向，即在表格中重新安排维的放置例如行列互换。数据仓库技术来。数据仓库是一个支持管理决策的数据集合。数据是磁向主题的、集成的、 不易丢失的时间变量。数据仓库是所有操作环境和外部数据源的快照集合。 它并不需要非常精确，i大i为它必须在特定时间基础上从操作坏境中提取出数据仓库是近年來兴起的一种新的数据库应用。在各大数据库厂商纷纷 宣布产品支持数据仓库，并提汨一整套用以建立和使用数据仓库的产品，使 韭界掀起了数据库热潮。比如公司的数据仓库解决方案;公司的数据仓库解决方案;公司的交互式数据仓库解决方案等等。

23、这同时也引起了学术界的极大兴趣，国际上许多重要的学术会议，如超人型数据库阂际会议，数据工程国际会议及镀测等,都岀现了专门研究数据仓库糊隗舖，简记为、联机分析处理烈，简记为、数据挖掇，麓记为的论文。对我国许多企蛍而言,在建立或发展口己的信息系统时，常常困扰于这样的问题:为什么要建立数据仓库 数据仓库能否代替传统的数据瘴怎样建立数据仓库等等。篱要介绍一下 用到的数据仓库技术背景，结合高校招生决策支持系统设计实例，进一步阐 述数据仓库技术在现实中的重大意义。 数据仓库的定义翟前，数据仓库尚没有一个统一的定义，著名的数据仓库专家 在建立数据仓库一书中对数据仓库进行了如下的定义:数据仓库是面向主题的、集

24、成的、相对稳定性的、随时问不断变化不同时间的数据集合，用以支持经营管理小的决策制定过程。对于数据仓库的概念也可以从两个层次理解。首先，数据仓库用于支持 决策，面向分析型数据处理，它不同子企业现有的操作型数据库;其次，数 据仓库是对多个异构的数据源有效集成,集成后按照主题进行了重组，并包 含香丿力史数据，丽且存放在数据仓库中的数据一般不再修改。哈尔滨丁程大学硕十学位论文根据数据仓库概念的含义，数据仓库拥有以下四个特点：面向主题。操作型数据库的数据组织面向事务处理彳壬务,各业务系统之 闻备自分离，丽数据仓库小的数据是按照一定的主题域进行组织。集成的。面向事务处理的操作型数据库通常与某些特定的应用和

25、关，数 据瘴之间相互独立，并且往往是异构的。因此在数据进入数据仓库之前，必 须对原有分散数据库进行数据抽取和清理，对数据加工和集成，以保证数据 仓库内的信息是一致的全局信息，这是建立数据仓库的关键步骤，还要将原 始数据结构做一个从而向应用，向而向主题的转变。和对稳定的。操作型数据库中的数据通常实时更新。数据仓库的数据主 要是供企韭决策分析之用的历史数据，而不是口常事务处理产生的数据，所 涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情 况下将被长期保留，极少或根木不需修改;数据仓库是不同时闻的数据集合, 它要求数据仓库小的数据保存时限能满足进行决策分析的需要，而且数据仓 库中

26、的数据都要标明该数据的丿力史时期。反映历史变化。操作型数据库主要关心当前某一个时间段内的数据，而 数据仓库屮的数据通常包含历史信息，系统记录了企业从过去某一时点到躅前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。数据仓库不是静态的概念,只有把信息及时交给需要这 些信息的使用者，供他们做出改善其业务经营的决策,信息才能发挥作用， 信息才有意义。而把信息加以整理归纳和重组,并及时提供给相应的管理决 策人员，是数据仓库的根木任务。因此，从产业界的焦度看，数据仓库建设 是一个工程,是一个过程。oo数据仓库结构数据仓库系统结构整个数据仓库系统是一个包含四个层次的体系结

27、构,它主要包括数据源、 数据仓库、服务器及前端工具，如图所示。数据源:是数据仓库系统的基础，是整个系统的数据源泉。遴常包括企业内部信息和外部信息。内部信息包括存放于屮的各种业务处理数据和各类文档数据之中，外部信息包括市场信息帮竞争对手的信息等等。哈尔滨工程大学硕士学位论文娄询报表分析数据挖掘图。数据仓瘁体系结构圈数据的存储与管理:是整个数据仓库系统的核心。数据仓库的组织管理 方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技 术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集 成，并按照主题进行组

28、织。数据仓库按照数据的覆盖范围可以分为企业级数 据仓库和部门级数据仓库通常称为数据集市。服务器:对需要分析的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。前端工具:主要包括各种报表工具、查询工具、数据分柝工具、数据挖掘工具以及备种基于数据仓库或数据集市的应用开发工具。其屮数据分析工具主耍针对服务器，搬表工具、数据挖掘工具主要针对数据仓库。数据仓库小的数据组织一个典型的数据仓库的数据组织结构，如图，所示。图。数据仓库数据缰织结构图哈尔滨工程大学硕七学位论文数据仓库小的数据分为四个级别:早期细节级、当前细节级、轻度综合级、高度综含级。源数据经过综合后，首先进入当前

29、细节级,并根据具体需 要进行进一步的综合，从而进入轻度综合级乃至高度综合级,老化的数据将 进入早期细节级。由此可见,数据仓库屮存在着不同的综合级别，一般称之 力“粒度，粒度越大，表示缨节程度越低，综含程度越离阳。数据仓库小述有一种重要的数据?元数据。元数据是“关于数据的数据,如在传统数据库中的数据字典就是一种元数据。在数据 仓库坏境下,主要有两种元数据:第一种是为了从操作性坏境向数据仓库转化而建立的元数据，包含了所有源数据项名、属性及其在数据仓库屮的转化;第二种元数据在数据仓库小是用来和终端用户的多维商业模型期端工具z间建立的映射，此种元数据称z为元数据,常用來开发更先进的决策支持工具。粒度与

30、分割粒度是数据仓库的重要概念粒度可以分为两种形式，第一种粒度是对数 据仓库中的数据综合程度高低的一个度量，它既影响数据仓库中的数据量的 多少，也影瞬数据仓瘴所能回答询问的种类。在数据仓库屮，多维粒度是必 不可少的。于数据仓库的主耍作用是分析，因而绝大多数查询都基于 一定程度的综合数据z上的，只有极少数查询涉及到细节。所以应该将大粒 度数据存储于快速设备如磁盘上，小粒度数据存于低速设备如磁带上。分割是数据仓库中的另一个重要概念，它的露的同样在于提高效率。它是将数据分散到各自的物理单元屮去，以便能分别独立处理，数据分割后的 数据单元称为分片。有许多数据分割的标准可供参考:如日期、地域、业务 领域等

31、等，也可以是其组合。一般而言，分割标准总应包括日期项，它i分 口然而且分割均匀。数据仓库的数据组织形式简单堆积文件:它将每fi由数据库屮提取并加工的数据逐天积累并存储 超来。轮转综合文件:数据存储单位被分为日、周、月、年等几个级别。在一个星期的七天中，数据被逐一记录在每怒数据集中；然惹七天的数据被综合 哈尔滨工程大学硕士学位论文并记录在周数据集屮;接下去的一个星期，fi数据集被重新使用，以记录新 数据。同理,周数据集达到五个后，数据再一次被综合并记入月数据集，以 此类推。轮转综合结构十分篱捷,数据量较简单堆积结构大大减少。当然， 它是以损失数据细节为代价的,越久远的数据，细节损失越多。简化直接

32、文件:它类似予篱单堆积文俸，但它是闻隧一定时闻的数据库快照，比如每隔一星期或一个月作一次。连续文件:通过两个连续的简化直接文件，可以生成另一种连续文件，它是通过比较两个简单直接文件的不同而生成的。当然,连续文件同新的简 单一直接文件也可生成新的连续文件。对于各种文件结构的最终实现,在关系数据库小仍然要依靠“表”这种最基木的结构。数据仓库的数据遗加如何定期向数据仓库追加数据也是一个十分重要的技术。数据仓库的数 据是来自的数据库中，闯题是木文如何褥知究竟哪些数据是在上一次 追加过程z后新生成的。常用的技术和方法有：时标方法:如果数据含有时标,对新插入或更耨的数据记录，在记录中加更新时的时标，那么只

33、需根据时标判断即可。但并非所有的数据库中的数 据都含有时标。日志文件:最可取的技术大概是利用日志文件了，因为它是的固有机制，不会影响的性能。同时，它述具有文件的优越性质，提取数据只要局限叠志文件即可，不焉扫描整个数据库。当然,原來墨志文件 的格式是依据系统的要求而确定的，它包含的数据对于数据仓库而言可能煮许多兀余。比如，对一个记录的多次更新,醒志文件将全部变化过程都 记录下来；而对于数据仓库，只需要最终结果。但比较而言，日志文件仍然 是最可行的一种选择。 数据仓库的关键技术数据仓库都有哪些组成部分和关键技术呢与关系数据库不同,数据仓库并没有严格的数学理论基础，它更偏向于工程。由于数据仓库的这种

34、工程 性，因而在技术上可以根据它的工作过程分为：数据的抽取、存储和管理以 哈尔滨下程大学硕十学位论文及数据的表现三方面。数据的抽取数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环 境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的 数据存储介质屮导入到数据仓痒。数据抽取在技术上主要涉及互连、复制、 增量、转换、调度和监控等几个方面。数据仓库的数据并不耍求与联机事务 处理系统保持实时的闻步，因此数据抽取可皺定时进行，僵多个抽取操作执 行的时间、和互的顺序、成败对数据仓库中信息的有效性则至关重要。 在技本发展上，数据抽取所涉及的单个技术环节都已相对成熟，其中有 一些是

35、躲不歼编程的，但整休的集成度还很不够。目前由场上所提供的大多 是数据抽取工具。这些工具通过用户选定源数据和目标数据的对应关系，会 自动生成数据抽取的代码。因此,实际的数据仓库实施过程小往往不一定使 用抽取工具。整个抽取过程能甭因工具的使用而纳入有效的管理、调度和维 护则更为重要。从市场发展來看,敲数据抽取、异构互连产晶为主项的数据仓库厂商一般都很有可能被其它拥有数据库产品的公司吞并。在数据仓库的世界里，它们只能成为辅助的熊色。数据的存储和管理数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库的特性，同时也决定了其对外部数据表现形式。要 决定采用什么产品和技术來

36、建立数据仓痒核心，剜需要从数据仓库的技术特 点着手分析。数据仓库遇到的第一个问题是对大量数据的存储和管理。这里所涉及的数据量比传统事务处理人得多,冃随时间的推移而累积。从现有技术和产品 来看，只有关系数据库系统能够担当此任。关系数据库经过近年的发展， 在数据存储和管理方面已经非常成熟,非其它数据管理系统可比。目前不少 关系数据库系统已支持数据分割技术，能够将一个大的数据库表分散在多个 物理存储设备屮，进、步增强了系统管理大数据量的扩展能力。数据仓库的第二个难题是并行处理。在传统联机事务处理应用中，用户访闻系统的特点是短小而密集;对予一个多处理机系统来说，能够将用户的 哈尔滨下程大学硕士学位论文

37、请求进行均衡分担是关键，这便是并发操作。而在数据仓库系统中，用户访 问系统的特点是庞大而稀疏，每一个查询和统计都很复杂，但访问的频率并 不愚很高。此时系统需要有能力将所有的处理桃调动起来为这一个复杂的燕 询请求服务,将该请求并行处理。因此,并行处理技术在数据仓库小比以往 更加重要。第三个问题是针对决策支持查询的优化。这个问题主要针对关系数据库而言，因为其它数据管理环境连基本的通用查询能力都还不完善。在技术上, 针对决策支持的优化涉及数据库系统的索引机制、查询优化器、连接策略、 数据排序和采样等诸多部分。普通关系数据库采用树类的索引，对于性别、 年龄、地区等具有大量重复值的字段凡乎没有效果。而扩

38、充的关系数据库则 引入了位图索引的机制，以二进制位表示字段的状态,将查询过程变为筛选 过程，单个计算机的基木操作便可筛选多条记录。由了数据仓库中各数据表 的数据量往往极不均匀，普通查询优化器所得出得最佳查询路径可能不是最 优的。因此,面向决策支持的关系数据库在查询优化器上也作了改进，同时 根据索引的使用特性增加了多重索引扫描的能力【】。以关系数据库建立的数据仓库在应用时会遇到大量的表问连接操作，藤 连接操作对于关系数据库來说是一件耗时的操作。扩充的关系数据库中对连 接操作可以做预先的定义,本文称之为连接索引，使得数据库在执行查询时 可直接获取数据面不必实施具休的连接操作。数据仓库的查询常常只需

39、要数 据库中的部分记录。普通关系数据库没有提供这样的查询能力，只好将整个 表的记录进行撵序，从焉耗费了大量的时间。决策支持的关系数撬库在此徽 了改进，提供了这一功能。此外，数据仓库的查询并不需要像事务处理系统 那样精确，但在大容量数据坏境中需要有足够短的系统响应时闻。因此,一 些数据库系统增加了采样数据的查询能力，在精确度允许的范围内，大幅度 提高系统查询效率。总z,将普通关系数据库改造成适合担当数据仓库的服务器有许多工作 可以做，它已成为关系数据库技术的一个重要研究课题和发展方向。可见， 对于决策支持的扩充是传统关系数据库进入数据仓库市场的重要技术措施。关系数据库本身没有提供这种多维分析的查

40、询功能，而且在数据仓库发展的旱裳，人们发现采用关系数据库去实现这种多维查询模式非常低效，查 哈尔滨程大学硕上学位论文询处理的过程也难以自动化。为此,人们提出了多维数据库的概念。用。多维数据库是一种以多维数据存储形式来组织数据的数据管理系统，它 不是关系型数据库,在使用时需要将数据从关系数据库中转载到多维数据库 中方可访问。采用多维数据库实现的联机分析应用本文称之为。多 维数据库在针对小型的多维分析应用有较好的效果，但它缺少关系数据库所 拥有的并行处理及人规模数据管理扩展性，因此难以承担大型数据仓库应这样的状态一直到“星型模式在关系数据库设计中得到广泛的疲用才彻底 改变。在数据仓库的数据存储管理

41、领域，从当今的技术发展来看，面向决策支 持扩充的并行关系数据库将是数据仓库的核心。在市场上，数据库厂商将成 为数据仓库的小坚力量。 如何建立数据仓库数据仓库的实现主要以关系数据库技术为基础，因为关系数据库的数据存储和管理技术发展得较为成熟，其成本和复杂性较低，已开发成 功的人型事务数据库多为关系数据库，但关系数据库系统并不能满足数据仓 库的数据存储要求，需要透过使震一些技术，如动态分区、垃圈索弓、优化 查询等，使关系数据库管理系统在数据仓库应用环境中的性能得到大幅度的 提高【霹。数据仓库在构建之初应明确其主题。但是主题的确定必须建立在现有联 机事务处理系统基础上,否则按此主题设计的数据仓库存储

42、结构将 成为一个空壳，缺少可存储的数据。但一味注重数据信息，也将导致 迷失数据提取方向，偏离主题。需要在数据和主题之间找到一个“平 衡点”，根据主题的需耍完整地收集数据，这样构建的数据仓库才能满足决策 和分析的需要。根据决策主题设计数据仓库结构，一般采震星型模型帮雪花模型设计箕数据模型，在设计过程屮应保证数据仓库的规范化和体系内各元索的必要联系。主耍有以下个步骤：第步:定义该主题所需各数据源的详细情况，包括所在计算机平台、拥有者、数据结构、使用该数据源的处理过程、仓库更新计划等。哈尔滨工 程大学硕七学位论文第步:定义数据抽取原则，以便从每个数据源屮抽取所需数据;定义数据如何转换、装载到主题的哪

43、个数据农中。第步:将一个主题细化为多个业务主题，形成主题表，据此从数据仓库中选出多个数据了集，即数据集市珥。数据集市通常针对部门级的决策或某个特定韭务需求，它开发周期短,费用低，能在较短时闻内满足用户决策的需要。医此，在实际开发过程中，可以选择在残功建立足个数据集市后，霹构建数据仓库这种策略。这些数据定义直接输入系统小，作为元数据隗存储，供数据管理模块和分析使用。元数据存储在元数据库中，它不仅是数据仓库的文档资料，供管理、维护人员使用，而且亦可供用户查询,使之更好地了解数据仓库结构,提高霸c的使用水平。数据挖掘技术oo数据挖掘基木知识数据仓库的出现，为更深入对数据进行分析提供了条件,针对市场变

44、化 的加速，人们提岀了能进行实时分析和产生相应报表的在线分析工具 及数据挖掘技术，o 能允许用户以交互方式浏览数据仓库内容，并对其中数据进行切片切块等多 维分析，它能够匿答“在商店向男性和女性客户销售的产品数看备多少“在东北区过去的三个月中饮料产品总销售额是多少之类的数据聚集类 阎题。而数据挖掘善于透过分辑屈性闻的相关性来找出数据集的隐藏模式, 它能够回答诸如“男性客户更倾向于购买哪儿类产品眦佔计在后三个月中 该种饮品销售额是多少”这类对数撼阖关系深入分析的问题。数据挖掘,简称,简单地讲就是从人量数据中挖掘或抽取出知识，数据挖掘概念的定义描述有若干版本，以下给出一个被普遍采 用的定义描述：数据

45、挖掘，又称为数据库中知识发现,赫称如，它是一个从大量数据屮抽取挖掘盘未知的、有价值的模式或规律等知识的复朵过程。它有机的结合了来自多学科技术,其中包 括:数据库、数理统计、机器学习、高性能计算、模式识别、神经嬲络、数 哈尔滨程大学硕十学位论文据叮视化、信息检索、图像与信号处理、空间数据分析等，这里本文强调数据挖掘所处理的是大规模数据，且其挖掘算法应是高效的和可扩展的。通过数据挖掘，可从数据库小挖撼溅有意义的知识、规律,或更高层次的信息，并可以从多个角度对其进行浏览察看。所挖掘出的知识可以帮助进行决策支 持、'过程控制、信息管理、查询处理等等。因此数据挖撅被认为是数据库统最重要的前沿研究

46、领域z,也是信息处理领域中最富有前景的数据库应用领域之一。 数据挖掘的任务和功能剥用数据挖掘技术可以帮助获得决策渡需的多种知识。一般塊，数据挖掘任务可以分成描述和预测两种类型。描述型数据挖掘的任务是寻找数据集中数据的一般特性，并对数据中存在的规则进行描述，或者根据数据的和似性把数据分组。预测型数据挖掘的任务是在当前数据上进行推断和预测，并根据数据项的值来确定某种模式。数据挖掘的目标是从数据库中发现隐含的、有意义的知识。.自动预测趋势和行为数据挖掘口动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接数据本身得岀结论。一个典型的例子是市场预测闯题，数据挖掘使用过去有关诞

47、销的数据来寻找未来投资屮回报最大的 用户，其它可预测的问题包括预报破产以及认定对指定事件最可能做岀反应 的群体。.关联分析关联规则是发现交易数据库中不露顼之间的联系。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简 单关联、时序关联、因果关联。关联分析的墨的是找出数据库屮隐藏的关联 网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此 关联分析生成的规则带有可信度。.聚类分析是在事先不规定分组规聚类或哈尔滨程大学硕士学位论文则的情况下,将数据按照其自身特征划分成不同的群组。耍求是在不同群组 的数据z间要有明显差别，而每个群组内部的数据z间尽量相似。聚类增强 了人

48、们对客观现实的认识，是概念描述和偏并分析的先决条件。聚类技术主 要包括传统的模式识别方法和数学分类法。年代初，提出了概念 聚类技术，其要点是，在划分对象时不仅考虑对象之闻的距离，还要求划分 岀的类具有某种内涵描述，从而避免了传统技术的某些片面性。概念描述概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。 概念描述分为特征性描述和区别性描述，前者撼述某类对象的共同特征,藤 者描述不同类对象之间的区别。生成一个类的特征性描述只涉及该类对象屮 所有对象的共性。生成区别性描述的方法很多，如决策树方法、遗传算法等。 偏茅检测,数据库中的数据常有一些界常记录，从数据库中检测这些偏井很有意义。

49、 偏麓包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检测的基本方法是,寻找观测结果与参照值z闻有意义的差别。.数据挖掘流程在教育行业里，普通高校网上招生录取工作已经成为社会关注的热点。现以招生为例展示数据挖掘流程，如图所示。数据准备部分:首先明确醒标和需求，选择录取基木情况的备项指标为基础数据。内容涵盖招生年度构成、生源地区构成市、县、性别构成、院 校志愿构成、专业构成、考生类别构成、考生民族构成七大方面。数据预处 理阶段很可能耍执行多次，考察数据项是自动衍生还是手工录入，是否存在 缺失现彖，取值是否符合规定，是否合理，数值分布是

50、否可以解释,去除不 完整的、含噪芦的和不一致的数据等等。任务包括表、记录属性的选择以及 为了适合建模工具的要求对数据进行的转换和净化，并口没有任何规定的顺 序。哈尔滨工程大学硕士学健论文雕工作流程图数据挖掘部分:在建模阶段，可以选择和应用各种建模技术将其参数校正到优化值。对同一个数据挖掘问题类型有几种可用的技术,某些技术对数 据熬形式有具休靛要求。淮此，常常要退霾到数据准备阶段。缀多情形下， 原始的数据列和目标因素之间不易找到明显的相关性,需要增加一些衍生变 量，以辅助分析。例如，在第一产业总产值这个指标的基础上，增加第一产 业总产值比上年增长率,等等。模型训练的阶段将丿力史数据分为训练、验证

51、 两个部分，以便取得较好的预测效果，避免过拟合现象。这些操作，将便数据更加适合数据挖掘的建模工作。这个环节,就是狭义上的“数据挖掘''，实质上是挖掘建模的具体技术过程。根据数据性质及任务选合适的挖掘算法，逐步找到合适的建模技术，训练数据，最终找到规律和模 式。从数据分析的角度看，这个阶段已经建立了看上去是高质量的模型。但 在最终应用之前，要彻底地评价模型，慰新建模型再次考察其执行的步骤并 确信其止确地达到了创建目标。在模型检验屮，会使用历史数据屮部分已有 结果，以测试数据的形式与模型预测结果对比，客观地考察预测准确性。 哈尔滨下程大学硕i 学位论文在结果处理部分:创建完模型并不

52、是意味着项目结朿。这一阶段可以简 单到只生成一份报告，或复杂到实现一个可重复的数据挖掘过程。.数据挖掘实旋步骤总的来说，目前基木的数据挖掘步骤一般包括以下三个部分:数据的准备、模型的建立、模型的验证和评价。数据挖掘的步骤示意如图所示。以上是数据挖掘的基本流程。如圈所示这一过程叮能是要反复进行的。 在反复过程屮，不断的趋近事物的本质，不断的优化问题的解决方案。数据的准备数据的准备包括数据取样、数据特征探索、分析和预处理，同时要明确 阀题，选择适合的数据，必要时要进行调整数据取样要把好数据的质量关， 在任何时候不要忽视数据的质量。因为数据挖掘的的是要探索规律，如果 原始数据有误，则还谈什么从屮探索规律哈尔滨程大学硕十学位论文鲁宣宣.建立模型这一步是数据挖掘工作中的核心环节，它是一个反复的过程。需要仔细 考察不同的模型以判断哪个模型对研究的问题有用。一旦决定了挖掘类型后，就需要选择模型的类型。可能是决策树、神经 网络、其至是传统的数学统计。选择什么样的模型决定了你需