（计算机应用技术专业论文）基于oltp和olap的部队训练考核系统的研究与实现.pdf

南开大学1 1 1 1 1 11 11 11 1 11 1 1 1 1 1i iiy 1819 7 5 3硕士研究生毕业( 学位) 论文姓名：奎垫壬年级：20 0 2 级军事训练重要，选取两队训练考核o l t p ( o n _ l i n e t r a n s a c t i o n p r o c e s s i n g ) 系统；二是以o l t p 系统的日常积累信息为数据源，采用数据仓库和o l a p 技术，建立部队训练考核o l 蟑( o n系统。前者用于部_ l i n e a n a l y t i c a lp r o c e s s i n g )队日常军事训练考核，后者为部队军事训练辅助决策提供依据。本文的主要工作可以概括为以下几个方面：( 1 ) 以新的军事训练考核大纲为依据，建立了部队训练考核o l t p 系统。设计并实现了系统的通用信息框架，从而使该系统能够满足我军各大单位的考核要求。( 2 ) 解决了部队训练考核o l t p 系统中含格式试题的处理、试卷生成算法的设计、含格式试卷的网上分发及采用多线程技术进行系统优化等关键问题。( 3 ) 通过分析部队训练考核o l t p 系统的信息构成，提出了部队训练考核o l a p 系统的总体体系结构，包括总部数据仓库和旅团数据集市两大部分，并对该系统进行了方案设计和实现。( 4 ) 以实装操作考核成绩主题为例，给出了部队训练考核o l a p 系统中数据仓库模型的具体设计方法。实现了该主题的数据从部队训练考核o l t p 系统到总部数据仓库、从总部数据仓库到旅团数据集市的e t l ( e x t r a e t 、t r a n s f o r m 、l o a d ) 过程。运用m d x ( m u l t i d i m e n s i o n a le x p r e s s i o n s ) 、a d om d ( a c t i v e xd a t ao b j e c t sm u l t i d i m e n s i o n a l ) 、d s o ( d e c i s i o ns u p p o r to b j e c t s ) 等技术，实现了对总部数据仓库和旅团数据集市中实装操作考核成绩多维数据集的访问和展示。关键词：部队训练考核；0 l t p ；o l a p ；数据仓库；数据集市；多维数据集a c c u m u l a t e di n f o r m a t i o no ft h eo l t ps y s t e mw i t hd a t aw a r e h o u s ea n do l a pt e c h n o l o g i e s t h ef o r m e ri su s e df o rt h em i l i t a r y t r a i n i n ga n dt e s t i n g t h el a t t e rp r o v i d e sr e f e r e n c e sf o ra s s i s t a n td e c i s i o n - m a k i n go fm i l i t a r yt r a i n i n g t h em a i nw o r ka n dc a nb ec o n c l u d e di nf o l l o w i n ga s p e c t s ：( 1 ) t h em i l i t a r yt r a i n i n ga n dt e s t i n go l t ps y s t e mi se s t a b l i s h e db a s e do nt h en e wt r a i n m ga n dt e s t i n go u t l i n e t h eu n i v e r s a li n f o r m a t i o nf r a m ei sd e s i g n e d ，w h i c hc a na d a p tt ot h er e q u i r e m e n to ft h en a v y , t h ea i l f o r c 露a n dt h es e c o n da r t i l l e r y ( 2 ) s o m ek e yi s s u e so ft h eo l t ps y s t e ma r es o l v e ds u c ha st h ep r o c e s s i n go ft h et e s tq u e s t i o n sw i t hs p e c i a lf o r m a t , t h ed e s i g n i n go ft h ep a p e r s e x t r a c t i n ga l g o r i t h m , t h ed i s t r i b u t i n go fp a p e r sw i t hs p e c i a lf o r m a tt h r o u g hn e t w o r ka n dt h eo p t i m i z i n go fs y s t e mb yt h et e c h n o l o g yo fm u l t i t h r e a d i n g ( 3 ) b ya n a l y z i n gt h ei n f o r m a t i o ns t r u c t u r eo ft h eo l t ps y s t e m , t h ep a p e rd e s i g n st h et o t a ls t r u c t u r eo ft h em i l i t a r yt r a i n i n ga n dt e s t i n go l a ps y s t e m , w h i c hi n c l u d e st h eh e a d q u a r t e rd a t ew a r e h o u s ea n dt h eb r i g a d ed a t am a r t t h ep a p e ra l s os t u d i e sa n dr e a l i z e st h eo l a fs y s t e m ( 4 ) t h ep a p e rg i v e st h ed e s i g n i n gm e t h o do ft h ed a t aw a r e h o u s em o d u l eo ft h eo l a ps y s t e mb yi l l u s t r a t i n gt h et o p i co fp r a c t i c a lo p e r a t i o ns c o r e t h ee t lp r o g r e s s e so ft h et o p i c sd a t ef r o mt h eo l t ps y s t e mt ot h eh e a d q u a r t e rd a t ew a r e h o u s ea n df r o mt h eh e a d q u a r t e rd a t ew a r e h o u s et ot h eb r i g a d ed a t am a r ta r ei m p l e m e n t e d w i t ht h et e c h n o l o g yo fm d x ，a d om d ，d s oa n ds oo n ，t h ed a t ai nt i xt o p i c sm u l t i m e n s i o n a ld a t as e t so ft h eh e a d q u a r t e rd a t ew a r e h o u s ea n dt h eb r i g a d ed a t am a r ti sv i s i t e da n dd i s p l a y e d k e yw o r d s ：m i l i t a r y t r a i n i n ga n d t e s t i n g ：o l t p ；o l a p ；d a t aw a r e h o u s e ；d a t am a r t ：m u l t i m e n s i o n a ld a t as e t s12 4o l a p 技术概述72 4 1o l a p 的定义82 4 2o l a p 多维数据模型82 4 3 多维分析的基本操作92 4 4 多维数据结构的存储1 02 4 5o l a p 技术难点1 1第3 章部队训练考核o l t p 系统的设计实现1 23 1 部队训练考核o l t p 系统总体设计1 23 1 1 总体功能设计1 23 1 2 基于c s 和b s 相结合的模式1 33 1 3 系统硬件结构1 43 2 系统功能模块的设计1 53 2 1 系统维护1 53 2 2 试题管理1 63 2 3 试卷管理1 63 2 4 考核设置1 73 2 5 网上考核、练习模块1 73 2 6 网上阅卷1 83 2 7 成绩评定1 83 3 系统实现1 83 3 1 系统环境1 83 3 2 系统运行示例1 93 4 部队训练考核o l t p 系统关键问题的解决2 43 4 1 处理带格式试题2 43 4 2 设计试卷生成算法2 73 4 3 其余关键问题的解决3 1第4 章部队训练考核o l a p 系统的设计实现3 34 1 部队训练考核o l a p 系统总体设计3 34 1 1 系统设计思想3 31l33344567目录4 3 2 总部数据仓库的搭建3 94 3 3 旅团数据集市的实现4 04 3 4 分析多维数据集4 04 4 部队训练考核o l a p 系统的实现技术4 24 4 1 多维查询语句如x 4 34 4 2a d om d 组件编程4 34 4 3d s o 管理o l a p 对象4 44 4 4 父子维度实体的处理4 54 4 5o l a p 系统的数据集成4 64 4 6 前端数据展示4 7第5 章总结和展望4 9附录图表索引5 1参考文献5 3致谢5 52船弘弱盯耵骝鹃i；幻o l t p 技术已广泛应用于日常生活的方方面面，往往存在于事务处理环境中，比如银行管理系统、航空订票系统等大型的联机事务处理系统。尽管o l t p 技术已较为成熟并且应用广泛，但大型o l t p 系统的开发仍然是软件业的一个重要方面。针对某一特定领域，开发o l t p 系统是提高该领域事务管理效率的有效途径。部队训练考核o l t f 系统的开发，可以实现部队训练考核的智能化管理、考核结果的智能评定，从而缩短军事训练考核周期，提高训练考核效率n 2 1 。论文的主要工作分为两大部分：- 一部分是研制部队训练考核o l t f 系统；另一部分是研制部队训练考核o l a p 系统。研发部队训练考核0 l t p 系统的主要工作：( 1 ) 以新大纲为依据，建立了面向对象的开放、通用，可自主控制的军事训练考核平台，使军事训练考核与评定一体化、自动化。设计并实现了系统的通用信息框架。该框架可以适应部队考核中考核科目繁多、专业类别划分较细和各类部队考核科目及专业差别较大的特点。通过对系统的预设，可以使系统呈现多样化，从而满足我军各大单位的考核要求。( 2 ) 实现了方便、灵活、人性化的试题管理和试卷生成方式。通过采用o l e 技术不仅实现了对含格式试题的管理，而且使系统能够自动生成图文并茂的高质量试卷。除此以外，还实现了一张试卷包含多个科目、各种难度的试题，满足了多科目综合考核的需要。( 3 ) 设计并实现了试卷生成算法，并在该算法中运用了多线程技术，大大提高了试卷生成效率。实践证明，运用该算法生成的试卷在用于部队考核的过程中取得了满意的效果。( 4 ) 采用文件转存技术将含格式试卷从d o c 格式转存为b t m l 格式，然后上传至f t p 服务器，从而使含格式试卷的网上分发得以实现；运用多线程技术对系统进行优化，提高了系统的整体性能。12仓库和旅团例，给出了，提出了旅的实现了实仓库到旅团统原型。运据集的访问它的出现弥补了传统o l t p 系统联机分析处理这一功能缺陷。2 1 从0 l t p 到0 l a po l t p ( o n _ l i n et r a n s a c t i o np r o c e s s i n g ，联机事务处理) 是当今大型系统应用的主要模式，一般都和数据库系统协同完成任务。它们的目标是完全以计算机来取代许多当前原本应该人工来进行的作业，使得工商企业工作流程实现自动化口1 。o l t p 系统作为数据管理手段，主要用于事务处理，其以快速事务响应和频繁数据修改为特征。随着时间的推移，在这些系统中往往已经保存了大量的日常业务数据。o l a p 是针对特定问题的联机数据访问与分析技术，一次操作涉及多张关系表，上千行的记录。如果在o l t p 系统上实现o l a p 功能，则势必会造成o l t p 系统复杂的表连接与巨大的数据统计，会严重影响决策的响应速度。从数据组织方式上考虑，用o l t p 系统实现o l a p 功能也是难以接受的，毕竟经典的e r 模式过于复杂，难以导航h 1 。而且o l a p 系统中对数据的使用是非结构化的，查询条件动态、随机，数据吞吐量巨大。这些都不满足o l t p 系统的数据操作特征。因此，o l a p 系统必须通过特别的数据组织方式来提高自身性能隋1 。2 20 l t p 、数据仓库和0 l a p 的关系通过分析o l t p 系统和o l a f 系统的特点，我们可以得出：建立o l a p 系统的目标从本质上说是从o l t p 系统中筛选出某项决策所需的支持数据，通过分析处理这些数据得出进行决策所需的信息。因此o l a p 系统必须有两个基本的组成部分：一部分负责存储从o l t p 系统中抽取出的数据或聚合数据，该部分为数据仓库部分。一部分负责对该部分数据进行多维分析，该部分为数据的o l a p 操作部分。数据仓库的本质是一个数据库，包含那些通常表示某个组织机构业务历史3理数针图2 1o l a t 系统结构图需要特别指出的是，数据仓库和联机分析处理( 0l c 蟑) 这两个术语有时可互换使用。不管是o l a p 系统还是数据仓库系统，都是指某一领域内具有决策支持能力的智能系统阳1 ，两者是一致的。2 3 数据仓库基本理论2 3 1 数据仓库的概念及特点被称为“数据仓库之父”的w h i l l m o o 在 b u i l d i n gt h ed a t a w a r e h o u s e 一书中对数据仓库的定义是“数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用于支持管理人员的决策h h 。数据仓库的特点是通过分析和总结分析型数据的特点而得来的。可归纳为四个方面订1 ：( 1 ) 面向主题数据仓库的数据是面向主题的，与传统的数据库数据面向应用相对应。主题是一个抽象的概念，是组织信息的一种标准，是利用数据仓库中的数据进行决策分析的一个领域。( 2 ) 集成数据仓库中的数据是从分散的数据库数据中按照所需主题组织而来，但不能从原有数据库系统直接得到，必然要经过统一与综合，以消除数据的歧义性或者对数据进行聚合。( 3 ) 不可更新4o l t p 、数据仓库和o l a p 技术概述段相当长时间内的历史数据，主要供决策分析之用。o l t p 系库中，在没有超过数据仓库存储期限的情况下是不可更新的。针对应用来说，也就是说，数据仓库用户在进行分析处理时，时间的推移，数据仓库中失去使用价值数据必将被删除，而且仓库的高效性和决策的正确性。行组织的，并为分析的需要保存了许多综合数据。因分析要求层次的数据仓库能完成各种各样的分析任务。另外，随着数据仓库数据的不断载入，原来的数据仓库系统将越来越庞大，分析工作若完全基于单一层次的数据仓库，效率将十分低下。因此，建立数据仓库体系化环境随1 是十分必要的。数据仓库的体系化环境可以用图2 2 来示意。图2 2 说明了数据仓库本身可以具有层次性，而且不同的层次之间具有隶属关系。比如数据集市在中央数据仓库的统管之下，隶属于中央数据仓库。一数据库系统+ 一中央数据仓库 一数据集市一li图2 2 数据仓库体系化环境单纯的数据仓库并不能满足用户决策分析的需要，它必须存在于一个应用系统中，与其它工具相配合共同发挥作用悖1 。一种典型的数据仓库应用系统如图2 3 所示。它具有数据源、数据预处理、数据仓库、o l a p 服务、前端应用系统等五个组成部分。5第2 章o l t p 、数据仓库和o l a p 技术概述iiil一忙一、：佩：一- i刨iii 兀双琚i蕗線硛塥i 仑化刨、据l 国撼i 弋岁换载、l“”i据源k 一数据预处理-库o l a p 服务儿前靖应用系统3 数据仓库应用系统体系结构数据源：数据源层是整个数据仓库系统的数据来源，为决策支持系统提供原始数据。它可数据库系统中的数据、文件数据、外部数据等类型。数据预处理：包括数据抽取、数据净化、数据转换、数据装载等功能，实现数据从外部数集成到中央数据仓库和数据集市中。数据仓库：数据仓库包括元数据、中央数据仓库、数据集市三大部分。中央数据仓库和数市在元数据的统管之下，并且两者之间可以实现数据的双向流动。o l a p 服务：以中央数据仓库和数据集市中的数据为基础形成各自的数据立方体，以提供多析服务。前端应用系统：o l a p 分析模块可以以多维的方式查看中央数据仓库和数据集市中的数据体。数据挖掘模块可以发现历史数据的规律，为管理人员的决策提供支持。2 3 数据仓库中的数据组织简要介绍数据仓库中数据的组织形式n 。简单堆积文件：该种结构将操作环境中的数据以天为单位进行综合并追加到数据仓库中。它单个记录为基础进行数据聚合的一种方式。轮转综合文件：数据存储单位被分为日、周、月、年等几个级别。在一个星期的七天中，数逐一记录在每日数据集中：然后，七天的数据被综合并记录在周数据集中，日数据集清空；接的一个星期，日数据集被重新使用，以记录新数据。同理，周数据集达到五个后，数据再一综合并记入月数据集，周数据集被清空，以此类推。轮转综合结构十分简捷，数据量较简单结构大大减少。当然，它是以损失数据细节为代价的，越久远的数据，细节损失越多。简化直接文件：它类似于简单堆积文件，但它是间隔一定时间的数据库快照。在这种方6第2 章o l t p 、数据仓库和o l a p 技术概述式中，数据仅仅是从操作环境被拖到数据仓库环境中，并没有任何累积。而且，简单直接文件不是在每天的基础上组织的，而是以较长时间为间隔进行更新。( 4 ) 连续文件：若干直接文件可以通过对比生成连续文件。所谓连续文件是指以连续时间为单位进行信息记录。通过两个连续的简化直接文件，可以生成另一种连续文件，它是通过比较两个简单直接文件的不同而生成的。当然，连续文件同新的简化直接文件也可生成新的连续文件。在数据仓库中，数据组织方式的各种文件结构的最终实现，仍然要依靠“表”这种最基本的结构。2 3 4 数据仓库技术难点数据仓库的技术难点可概括为三点：数据抽取、数据存储和管理、数据展现。在数据仓库建设初期，数据抽取工作必不可少。数据抽取质量可直接关系到数据仓库的构建成败。数据仓库的数据源种类丰富，数据定义、格式、质量也千差万别。在数据集成过程中，经常会把表示方式不同而含义相同的数据当成不同的数据，或者是将噪声数据集成到数据仓库中。为了提高数据仓库的可靠性，必须在数据抽取的过程中将这些数据进行处理。歧义数据和噪声数据的处理是数据仓库技术的难点之一。数据仓库存储和管理的对象是海量数据，且随时间的推移而累积。如何采用有效的数据存储和管理方式来提高数据仓库的查询效率是数据仓库技术的又一个难点。在数据仓库系统中，用户访问系统的特点是庞大而稀疏，每一个查询和统计都很复杂且需要大量数据的集成，但访问的频率并不是很高。因此，在数据仓库存储和管理中采用合理的数据聚合策略和并行处理技术是解决该技术难点的有效途径。数据展现是数据仓库的外观表现。它主要集中在多维分析、数理统计和数据挖掘等方面。数据仓库的多维分析要依赖o l a p 技术来实现。有关o l a p 技术将在后续的章节中介绍。近年来，数据仓库的数据展现方式己由c s 方式扩展到b s 和c s 相结合的方式。数据统计技术和数据挖掘技术不是数据仓库的专用技术，是为加强数据仓库系统的决策支持能力而引入的，其多用在数据仓库的应用程序中。2 40 l a p 技术概述当今的数据处理大致可以分成两大类：联机事务处理o l t p ( o n _ l i n et r a n s a c t i o np r o c e s s i n g )和联机分析处理o l a p ( o n _ l i n ea n a l y t i c a lp r o c e s s i n g ) 。联机分析处理( o l 垤) 的概念最早是由关系数据库之父e e c o d d 于1 9 9 3 年提出的，他同时提出了关于o l a p 的1 2 条准则n 1 1 。o l a p 的提出引起了很大的反响，o i a p 作为一类产品同联机事务处理( o u 甲) 明显区分开来。o l t p 是传统的7j据仓库行人员维特性其核心2 4 2o l a p 多维数据模型多维数据是一种新型的数据组织方式，与传统数据库的数据组织方式相比，其更适用于海量数据的查询情况。多维数据模型的本质就是以多维方式来组织数据，以多维方式来存储数据，以多维方式来观察数据劓。本小节将介绍组成o l a p 多维数据模型的基本对象。( 1 ) 度量( m e a s u r e ) ：统计分析的对象，也称为事实( f j a d ) 。其是带有数量特性的对象，比如销售额、成绩等等。( 2 ) 维度( d i m e n s i o n ) ：组织、观察和衡量度量值的一个属性。如商品、商店、时间、店员等。( 3 ) 层次( h i e r a r c h y ) = 一种逻辑树结构。它这样组织维度的成员：每个成员都有一个父成员和零个或多个子成员。这就决定了维度本身是一个树状层次结构的数据集合。( 4 ) 级别( 1 e v e l ) ：维度层次结构中的成员集合，表征维度结构的属性。维度是衡量度量值的角度，维度本身具有树状层次结构，树中的每一个层次统属于一个级别。用维度来衡量度量值的实质是可以以维度树状结构中的某级别的某节点为入口条件来查看度量值。比如时间维度，年、季、月、日这一整体就是一种层次结构，而年、季、月、日分别代表该层次结构的一个级别。( 5 ) 成员( m e m b e r ) = 维度的层次结构中某一个级别的具体元素。成员名称可以是唯一的或非唯一的。但名称相同的成员要分属于不同的上级成员。例如，1 9 9 7 和1 9 9 8 分别表示时间维度中年级别的唯一成员，而一月表示月级别中的非唯一成员，因为如果时间维度包含不止一年的数据的话，则该维度中可以有不止一个一月。( 6 ) 立方体( c u b e ) ：数据的集合，这些数据组织并汇总到一个由多个维度和若干个度量值所定义的多维结构中。因此，立方体又称为多维数据集。8图2 4 多维数据集不例图2 4 说明了使用三个维度“时间”、“科目”、“单位”和一个度量值“平均成绩”的多维数据集。三个维度均按层次进行组织，每一个层次是一个级别，每一个级别都具有若干个成员。例如单位维度具有“旅”这一级别。这一级别具有“一旅”和“二旅”两个成员。时间维具有年、季度、月、日四个级别。我们可以在“时间”、“科目”、“单位”维度的不同层次上访问多维数据集的度量值“平均成绩”。立方体是维度集合和度量值集合的一种关联。立方体的维度成员之间的组合定义了多维数据集的空间坐标，度量是空间上的值。2 4 3 多维分析的基本操作多维分析是指对以多维形式组织起来的数据采取切片、切块、旋转、钻取等各种分析动作，以求剖析数据，使最终用户能从多个角度、多个侧面观察数据，从而深入地了解包含在数据中的信息、内涵。多维分析方式迎合了人的思维模式，因此减少了混淆并且降低了出现错误解释的可能性。多维分析的基本分析动作有n 町：( 1 ) 切片( s 1 o e )定义1 在多维数组的某一个维上选定一维成员的动作称为切片，即在多维数组( 维1 ，维2 ，维n ，变量) 中选一维，即维i ，并取其一维成员( 设为“维成员v i ”) ，所得的多维数组的子集( 维l ，维成员y i ，维n ，变量) 称为在维i 上的一个切片。9第2 章o l t f 、数据仓库和o l a f 技术概述按照定义1 的方法对多维数据集进行切片操作后所得结果的维数不一定是二维，其维数取决于原来多维数据集的维数。下面给出切片操作的另一种定义，该种定义下的切片操作所得结果是二维的，简单易懂。定义2 选定多维数组的一个二维子集的动作叫做切片，即选定多维数组( 维1 ，维2 ，维n ，变量) 中的2 个维，如维i 和维j ，在这两个维上取某一区间或任意维成员，而将其余的维都取定一个维成员，则得到的就是多维数组在维i 和维j 上的一个二维子集，称这个二维子集为多维数组在维i 和维j 上的一个切片，表示为：( 维i ，维j ，变量) 。( 2 ) 切块( d j c e )和切片对应，切块也有如下两个定义：定义1 在多维数组的某一维上选定某一区间的维成员的动作称为切块，即限制多维数组的某一维的取值区间。显然，当这一区间只取一个维成员时，即得到一个切片。定义2 选定多维数组的一个三维子集的动作称为切块。即选定多维数组( 维1 ，维2 ，维n ，变量) 中的三个维：维i ，维j 和维r ，在这三个维上取某一区间或任意的维成员，而将其余的维都取定一个维成员，则得到的就是多维数组在维i ，维j 和维r 上的一个三维子集，我们称这个三维子集为多维数组在维i ，维j 和维r 上的一个切块，表示为( 维i ，维j ，维r ，变量) 。从某一角度讲，切块可以看成是在切片的基础上，进一步确定各个维成员的区间得到的片段体，即由多个切片叠加起来。( 3 ) 旋转( r o t a t e )旋转即改变一个报告或页面中维的显示方向。旋转可能包含了交换行和列；或是把某一个行维移到列维中去，或是把页面显示中的一个维和页面外的维进行交换。( 4 ) 钻取( d r i li )钻取操作分为上钻( d 栅- u p ) 和下钻( d r i l l - d o w ) ，钻取的深度与维所划分的层次相对应。上钻操作通过一个维的概念分层向上攀升，在数据立方体上进行聚集，由小粒度级别向大粒度级别查看更综合的数据。下钻是上钻的逆操作，它由不太详细的数据到更详细的数据，下钻操作的深度由维的层次深度来决定。2 4 4 多维数据结构的存储多维数据集的存储方式有三种，分为是多维存储模式( m o l a p ) 、关系存储模式氓0 l 心) 和混合存储模式( h o l 心) n 耵。m o l a f 存储模式将多维数据的聚合和其源数据的复本以多维结构存储在分析服务器上。m o l a p 更加适合于频繁使用多维数据集中的数据以响应快速查询。由于m o l a p 存储模式需要1 0第2 章o l t p 、数据仓库和o l a p 技术概述存储源数据的复本，因此需要额外占用一些磁盘空间。r o l a p 存储模式将多维数据集的聚合存储在关系数据库的数据表中。与m o l a p 存储模式不同，r o l a p 不会存储源数据复本。当结果无法从聚合或客户端高速缓存中取得时，将访问事实数据表以回答查询。在r o l a p 存储模式下，查询响应一般比其它两种存储模式要慢。r o l a p通常用于不经常查询的大数据集，如年份较早的历史数据。由于r o l a p 存储模式不需要存储多维数据集的源数据复本，因此占用分析服务器上的磁盘空间比m o l a p 存储模式要少，但查询速度比m o l 廿模式要慢得多。h o l a p 存储模式结合了m o l a p 和r o l a p 二者的特性。同m o l a p 一样，h o l a p 将多维数据集的聚合按多维结构存储在分析服务器上。h o l a p 不会存储源数据复本。对于只访问包含于聚合中的汇总数据的查询，h o l a p 和m o l a p 特性相同。但对于访问源数据的查询，则必须从关系数据库中检索数据，因此查询速度不如源数据存储在m o l a p 结构中那样快速。一般情况下，h o l a p 存储模式适用于要求对基于大量源数据的汇总能够实现快速查询响应的多维数据集。多维数据集的存储模式显著影响对多维数据集的查询性能。具体选择何种存储模式来存储多维数据集，要根据查询速度要求、查询频度、存储空间大小等条件来确定。总之，m o l a p 适合于服务器存储空间较大，频繁使用多维数据集和对快速查询响应的需要：r o l a p 通常用于服务器存储空间较小，不经常查询的大数据集。如果磁盘存储空间的物理限制是- 个严重的问题，而对于源数据的查询性能要求不是很高的话，h o l a p 是一种比较理想的存储模式。2 4 50 l a p 技术难点0 l a p 首先应该具备对大规模数据仓库快速执行复杂检索的能力。在对数据仓库进行查询时，如果每次都临时对多维数据集( 立方体) 进行聚合势必会影响查询效率。但如果对数据仓库的聚合数据进行过多的保留，则会由海量数据派生出聚合海量数据，仍然提高不了查询效率。因此，o l a p技术的难点主要集中在立方体的预计算上。立方体的预计算是指先计算数据立方体的一部分，而不是在每次查询时都重新进行计算。对立方体进行预计算时应考虑三个因素：确定要进行预计算的方体子集；利用查询操作生成方体子集：在数据仓库中引入新数据后，如何有效的更新方体子集。h a r i n a r a y a n 对这项技术进行了深入的研究，并且提出了一个贪心选择算法n 副。还有许多学者在研究如何提高多维聚合的速度，主要有两大类技术：一是a g a r w a l 提出的对于s o r t - b a s e 分组和h a s h b a s e 分组算法的改进算法；另一个是由y z h a o 提出的基于多维数组的算法n 引。1 1第3 章部队洲练考核o l t p 系统的设计实现部队训练考核0 l t p 系统的设计实现作是部队日常工作的重中之重，实现军事训练考核的智能化管理是提高部队军事途径。军事训练科目十分繁杂，不同兵种间，同一兵种的不同专业间都存在很大立具有通用性的部队训练考核o l t p 系统符合部队军事训练工作的实际需要。3 1 部队训练考核0 l t p 系统总体设计3 1 1 总体功能设计设计部队训练考核o l t p 系统的目的是建立能够满足军事训练考核各方面要求的o l t p 环境。结合军事训练考核的实际需要，将整个系统分为总部和旅团两大级别。旅团级单位的军事训练考核在总部级单位的统管之下。总部级单位充当考官角色，完成考官端的功能；旅团级单位充当考生角色，完成考生端的功能。该系统的功能结构如图3 1 所示。考官端能够实现不同格式试题的多种维护方式、试卷随机生成、试卷网上发布、网上监考、网上阅卷、成绩查询等功能。考生端能够实现网上考核、网上练习、网上浏览考试成绩等功能。图3 1 系统功能结构图3 1 2 基于c s 和b s 相结合的模式从9 0 年代开始，客户机朋艮务器( c l i e n u s e r v e r ，以下简称为c s ) 结构逐渐代替了原来的主机，1 2第3 章部队训练考核o l l 甲系统的设计实现终端( h o s t t e r m i n a l ) 结构，极大地推动了l t 行业的发展。但随着i n t e r n e t 的不断普及和应用的迅速升级，浏览器朋艮务器( b r o w s e r s e r v e r ，以下简称b s ) 结构已经和c s 结构并驾齐驱成为两大流行的数据组织方式。两者各有优缺点，为取长补短部队训练考核o l t p 系统决定采用c 俗和b s相结合的模式。系统采用c s 结构的原因：( 1 ) 可以根据部队军事训练考核的实际需要，提供更加完备、优越的性能和更贴近实际需要、更人性化的操作方法。( 2 ) 对于系统框架信息管理和数据库维护等底层基础工作，采用c s 结构可以充分利用客户端开发工具强大的数据库引擎，提高系统开发效率。( 3 ) 能够较为方便的实现带格式试题的多种维护方式，比如单个试题处理、批量试题处理等。同时可以解决带格式试卷网上分发过程中稳定性较差的问题。( 4 ) 可以对考核过程中的网上考核情况、考生的操作情况进行实时监控。( 5 ) 采用c s 结构可以使系统具有较高的稳定性、可控性和安全性。可以有针对性地进行安全设计，在用户认证、控制访问权限等环节采取严格的技术措施。( 6 ) 可以弥补b s 方式数据安全性不够、操作控制能力差、异常处理能力弱、网络传输存在隐患、i i s 易受攻击等缺点。系统采用b s 结构的原因：( 1 ) 技术成熟，开发成本低。( 2 ) 在使用过程中，能够实现客户端零安装。( 3 ) 可选用现成的客户端浏览器，不需要额外开发客户端软件，所有的开发工作都集中在服务器端。( 4 ) 所有的源程序都运行在服务器端，维护相对简单。( 5 ) 浏览器普及率很高，可视性好，基本不需培训或只需很少培训就可操作，可以节省大量人力物力。在部队训练考核o l t p 系统中，考生端的所有功能模块都采用b s 方式。考官端的功能模块除了网上阅卷采用b s 模式外，其余均采用c s 模式。如图3 2 所示。1 3图3 2 b s 与c s 功能模块结构图3 1 3 系统硬件结构系统的硬件连接方式如图3 3 所示，共有四个组成部分，分别为数据服务器、w e b 服务器、考官端、考生端。数据服务器用于存储和管理部队训练考核o l t p 系统的数据库。w e b 服务器用于管理考核站点及带格式试卷f l p 上传站点。考官端主要用于考官对整个系统的维护。考生端主要用于考生参加网上考核和练习。b s 模式丽考官端：翼i图3 3 系统硬件结构1 4c s 模式端，曼一嬲一一峰一掣睡!iil坚一脚一可以使系统呈现多样化，从而适应不同用户的考核需要。用户需要预设的基本信息包括：试题类型、专业类别、人员类别、单位编制、单位级别、军衔级别、职务等级、成绩评定( 人员) 、等级评定( 人员) 、成绩评定( 单位) 、等级评定( 单位) 。对系统基本框架信息的管理采用动态树方式，包括一级树结构和二级树结构两种。所谓二级树型结构组织方式是指一级树型结构中的每一个结点的附加信息也采用树型结构组织方式。比如，等级评定( 人员) 树要依赖于人员类别树。( 2 ) 用户管理鉴于对数据的安全性考虑，该模块对使用该系统的人员及其权限进行严格的规定。将用户权限分为四级：a 系统管理权限：可以操作系统的每一个功能模块。b 试题管理权限：只能维护系统的试题库。c 考官权限：维护试卷库和网上分发试卷。d 人员管理：维护考生基本信息库。只有在考生信息库中有信息记录的考生才可以参加网上考核。( 3 ) 数据整理数据整理模块用于批量删除系统框架信息及试题库、试卷库、考生信息库、成绩信息库中的数据，以适应新的考核需要。( 4 ) 人员管理人员管理模块对参加考核的人员及其信息进行管理。只有在此模块中有信息记录的人员才可以参加网上考核。别、不同格式的考核试( 1 ) 试题编辑为用户提供单个纯文本试题和含格式试题的编辑区域。纯文本试题的编辑功能类似记事本，含格式试题的编辑功能类似w o r d 。( 2 ) 试题导入、导出为了充分利用原有的一些试题资源，特设计试题的导入、导出功能。可以将其它文本编辑器编辑好的题目和答案直接导入到题库，无须重新录入；还可以将题库中的试题导出，保存到磁盘上或直接打印。( 3 ) 试题录入该模块主要负责将用户编辑好或导入到编辑区的纯文本或含格式试题单个或批量导入到试题库中。( 4 ) 试题查询试题管理模块还提供了方便的试题查询功能。用户可以选择不同的查询条件，对不同专业、不同类型的试题进行浏览。在浏览的过程中还可随时修改、删除题目和答案。3 2 3 试卷管理将该模块设计成试卷生成和试卷维护两个模块。试卷生成主要负责从试题库中抽取试卷，重点是多科目试卷的生成。试卷维护主要负责对已生成的试卷进行管理。( 1 ) 试卷管理试题库内存储了大量不同难度、不同专业的试题。考官可以在确定试卷参数后抽取试卷。将模块设计成三种出卷方式。a 随机出卷系统根据考官确定的试卷参数随机从试题库内抽取试卷。b 手动出卷系统将试题库中满足出卷条件的试题全部呈现给出卷人，由出卷人从中选取所需试题。c 手动和随机相结合系统根据考官确定的试卷参数随机从试题库内抽取一张试卷，然后将该试卷呈现给用户。与此同时，将试题库中满足条件的试题也呈现给用户。当用户不满意已生成试卷中的某试题时，可以用试题库中满足条件的试题替换该试题，或直接从试卷中删除该试题。1 6第3 章部队训练考核o l t p 系统的设计实现( 2 ) 试卷维护试卷管理人员可以按专业浏览试卷库中的试卷，并可将试卷及答案导入到w o r d 文档，以供保存到磁盘或直接打印。如果对一套试卷中的某一道或者某些试题不满意，可以手动修改，也可以删除该试卷重新生成。试卷管理人员还可以设置试卷的状态。试卷的状态分为考核态和封闭态两种，只有处于考核状态的试卷才能用于网上考核，而处于封闭态的试卷则无法发布到网上。3 2 4 考核设置将该模块设计成三个功能项，分别为：网上发卷、网上监考、阅卷设置。主要完成实施网上考核的相关设置。( 1 ) 网上发卷由考官设置考生机的i p 地址搜索区间，并将处于考核状态的试卷发布到该地址段，然后建立试卷与考生端的对应关系，以实现同一考场内考核不同的试卷，防止作弊现象。考官可以在开考前进行试卷的网上分发工作，以保证试卷的保密性和考试的公正性。( 2 ) 网上监考网上监考模块可以帮助考官查看有哪些考生正在考试，哪些已经交卷，还有哪些尚未登录。考试进行到一定时间考官可以封闭考场，不允许迟到的考生再进行登录并考试。考试完毕后，考官可以清空考场以进行下一场考试的监考工作。( 3 ) 阅卷设置客观题由机器自动阅卷，主观题则可通过网络实现单人或多人远程阅卷。考官可以根据实际需要，设置相应的阅卷方式( 单人或多人) 、指定阅卷入、设置阅卷人口令等。还可以将具体题型的批阅任务分配到人，这样阅卷人只能批阅权限范围内的题型。3 2 5 网上考核、练习模块( 1 ) 网上考核考试时考生首先进行身份验证，确定合法后显示试卷内容，考生便可进行网上答题。在考生答题的过程中，系统可以定时自动保存考生的答卷，避免答卷数据丢失；定时提醒考生剩余的考试时间；考试结束时自动提交考卷，使考生无法继续答题。( 2 ) 网上练习该模块主要用于考生平时网上练习。考生自行选择题型、数量、难度，然后系统从题库中随机地取出符合要求的题目呈现给考生。考生解答完毕向系统提交答案后，系统能够自动批改客观题，并给出主观题的答案供考生参考。1 7第3 章部队训练考核o l t p 系统的设计实现3 2 6 网上阅卷该模块主要用于考核完毕后，考官网上评阅试卷。客观题由系统自动批阅，主观题则由单人或多人远程批阅。( 1 ) 阅卷流程各阅卷人通过用户名和口令调出自己应判的试卷内容，并且用口令来保证自己所评判的分数不被别人篡改。阅卷过程十分方便，系统自动批阅客观题并给出分数，同时，系统给出主观试题的参考答案，供阅卷人员参考。批阅的最终结果是阅卷人在批阅完毕提交时进行分数累加求和，所以如果判卷人故意或者无意的将考生的分数评定为最大值之外或者负数，或者由于疏忽漏判，或者忘记填写分数，势必要影响考生的总成绩。为了避免出现上述情况，系统给出了每道试题的分数档位，以0 分为最低档，以满分为最高档，相邻档位间相差0 5 分。批阅人不用自主填写分数，只需选择适当的分数档即可。这样就避免了空分数和非法分数的产生。( 2 ) 保证批阅公正性为保证阅卷的公正性，阅卷入对考生信息不可见。对于单人阅卷方式，批阅任务按照试卷纵向组合，即流水作业批阅每一份试卷；对于多人阅卷方式，批阅任务按照批阅人所分配的题型横向组合，流水作业批阅所分配的题型，即将各考生同一试卷的某题型放在一起进行批阅。这样既实现了判卷人与考生考卷的不透明，叉提高了批卷效率，也便于掌握批阅标准。( 3 ) 批阅结果不可抵赖在记录批阅结果的同时，将批阅人的身份一同进行记录。以防止批阅人抵赖批阅结果。3 2 7 成绩评定该模块负责根据新大纲规定的训练成绩评定标准和军事训练等级评定标准，对各类考核数据进行综合处理，自动给出单位、个人综合训练成绩和训练等级评定结果。成绩评定中所需的理论考核成绩由系统自动给出，实装操作考核成绩由用户手动录入。评定内容具体划分为四项，分别是个人成绩评定、个人等级评定、单位成绩评定、单位等级评定。除此以外，本模块还负责对各级各类成绩评定结果实施管理，进行训练成绩的存档、查询、汇总、分析及报表生成。3 3 系统实现3 3 1 系统环境( 1 ) 系统开发环境系统的数据库工具采用o r a c l e 8 0 5 。考官端的功能除网上阅卷外，其余均采用c + + b u i l d e r 6 0来实现。考生端的全部功能及考官端的网上阅卷功能均采用v i s u a ls t u d i o n e t 来实现。1 8器、考官机、考生机。硬件配置同数据库服务器。软件：配w i n 2 0 0 0s e r v e r w i nx p 操作系统。安装i n t e m e t 信息服务( i i s ) ，并在此基础上配置默认的肿站点及自定义w e b 站点。安装o r a c l e8 0 5 客户端。c 考官机硬件：p e n t i u mh i8 0 0 以上c p u ；1 2 8 m 以上内存；4 0 m 以上可用硬盘空间；软件：配w i n 2 0 0 0 腑铀x p 甩恤9 8 操作系统。安装o r a c l e8 0 5 数据库客户端及w o r dx p 。d 考生机一般机器，配w i n 9 删抽n 阶矾n 2 0 0 0 厂晰n x p 操作系统。要有浏览器。3 3 2 系统运行示例本节内容主要介绍部队训练考核o l t p 系统主要功能模块的实现，包括考官系统登录、通用信息框架预设、纯文本和含格式试题的批量导入、随机生成试卷、网上分发试卷、网上考核、网上批阅试卷、考核成绩综合评定等内容。( 1