部队干部队伍管理综述

1、摘要部队干部政策的制定依赖于对部队干部信息的全面分析，当前的分析模式难以适应新的需要，近年的整体解决方案数据仓库和OLAP引进部队干部队伍管理，本文基于数据仓库和OLAP技术，分析了干部队伍管理的多维模型。用实例展示了多维分析，阐述了部队干部队伍管理现状和应用新技术满足决策者的分析需求，使部队干部队伍管理借助智能化带来决策的科学化第一章前言1. 1 课题背景欧美等发达国家部队中的高学历占据了较大比重，硕士学位才能担任少校，面临严峻的军事竞争，我军也适时地提出了新型军事人才培养方案。干部是部队的顶梁柱，在信息技术时代大环境下，部队干部队伍管理也进入了新境地，但部队干部队伍学历层次偏低、素质低下，

2、难以适应新形势，其原因是干部队伍来源渠道多元，年龄跨度大，传统的管理方式已经难以把握干部队伍的情况，影响正确的决策，现有的干部队伍信息管理也有很多局限，信息零散，信息载体和格式不一致，需要人工完成信息收集，效率低下，容易出错。其次是信息繁杂，学历培训，职务等级，晋升日期等，要统计归类这些数据，寻找其中的规律，依赖人工完成的难度不可想象，另外，易受个人主观影响，缺少系统性，借助先进的科技工具势在必行，部队干部队伍管理可以从全面地从不同侧面不同角度和层次分析处理干部信息，摆脱信息孤岛现象，客观掌握队伍动态变化，了解人才现状，做出科学决策，为部队战斗力提供人才后盾。1.2 课题的国内外研究现状数据分

3、析技术有几个发展时期，20 世纪70 年代，为前关系式数据库，80年代，以网络为中心的后关系型数据库。1993年.F. Codd提出多维数据技术和OLAP，OLAP为企业解决了许多难题，给企业带来的良好效益，部队虽然配置了业务系统，但还是在较低层的应用，部队的多维分析应用落后，其原因是，干部队伍复杂，数据仓库和多维分析的建设非一日之功； 虽然理论上明确其重要但是具体到实际行为中，不懂得分析的技巧，决策者缺乏信息技术素质，掌握不了数据仓库和多维分析的功能，因此，部队干部队伍管理之应用多维分析技术是一场牵扯到多层面的革命，必将带动部队总体素质的提高。第二章数据仓库和OLAP技术概述2.1 数据仓库

4、概述2.1.1 从传统数据库到数据仓库随着经济发展，数据的爆炸式发展，用户己经不满足于仅仅信息系统去处理日常数据，而是需要能够从企业信息系统中获取更多样更深层的市场变化信息，帮助决策，有事务处理，处理请求要遍历大量数据，系统花销大。处理时间冗长。数据分散不整，要发挥决策力就要对大量数据人工集成，对历史数据驾驭力不够数据仓库与数据库的区别对比内容数据库数据仓库数据内容当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序、重复处理面向主题域、管理决策分析应用数据特性动态变化的、技字段更新静态、不能直接更新、只定时添加数据结构高度结构化、复杂、适合操作计算简单、适合分析使用频率高中到低数

5、据访问量每个记录只访问少量记录有的事务可能要访问大量记录对响应时间的要求以秒为单位计算以在七、分， 甚至小时为计量单位2. 1. 2 数据仓库概念和特征数据仓库没有严格的定义,其基本特征为：面向主题的抽象，内容实时更新，保存数据时间长，按照时间段综合归纳的信息。 1.数据仓库的体系结构其中，数据源是企业内部信息和外部信息。外部信息包括各类法律法规等，RDBMS 中的各种业务数据，OLAP 服务器多角度、多层次的分析。2.数据仓库中的数据组织(1) 数据仓库中的数据组织结构不同细节级的数据，转换功能的元数据、颗粒度、数据的分割。数据仓库中的数据组织形式：简单堆积文件、定期轮转综合文件、连续文件，

6、是简单文件的差异化描述，表是其基本结构。数据追加，及时捕捉数据变化。数据仓库的关键技术为数据的抽取、存储与管理以及数据的表现。2.2 OLAP技术研究概述2.2.1 0LAP的概念和特征OLAP20 世纪60 年代末， E.F.Codd用关系表的形式表示文件，提出OLAP:Online Analytical Processing本质是各个视角观察信息，对信息反应速度是<5 秒，多维化的逻辑分析和统计分析，共享信息2.2.2 0LAP 中的多维概念和多维分析 (1)维用维定义数据的观察角度。(2) 度量(3) 维的成员，就是维的一个取值。如果时间维分为年、月、日，某年某月某日就是时间维成员

7、。(4) 事实该事件可能选择的量度有干部数量、平均年龄等，度量的选择也需要按照问题的需要来选择。(5) 多维立方体(cube)维度成员关联组成了多维空间。0LAP 中的多维分析是对多维数据的切片、切块、钻取，实现观察数据的多维度和层次。OLAP的数据组织方式根据OLAP服务器端的数据组织方式，可以将OLAP分为以下几种结构.关系型、多维以及混合型。第三章军队基层干部管理数据仓库系统的需求分析3.1 军队基层干部队伍管理现状一系列干部工作政策的颁布，奠定了部队干部队伍管理制度基础。现代信息技术促进了部队信息化建设，使过去漫长的查询工作提高到了几分钟的效率。但是大量数据还是无法及时处理，真正的科学

8、化、决策化建设还有待改进。人力资源思想、考核选拔机制也传播到了部队领域，但部队对人才情况不摸底，不合理规划严重。规划的主要指标是管理学历、年龄、交叉任职、专业培训等，考评方法不健全，培训形式内容满足不了实际需要。技术的发展为数据仓库提供可信度。数据仓库的成功运作，因而部队干部队伍管理引进数据仓库、多维分析不须巨大投资，却可望获得较大的管理效果。3.2 军队基层干部管理多维分析需求需求分析直接影响到数据仓库建设的成败。从建立数据仓库的对象，方向性基础需求要明晰。1.决策类型.2.能引起决策者兴致的问题。3.哪些信息源能解决这些问题。本文用专家直观判定法确定问题边界:数据仓库设计的最初要解决上面基

9、础问题，再确定出一个大致系统边界，本文采取专家直观判定法来实现。先调查高层管理者和决策者。汇总结果 内容基层干部队伍总体年龄、籍贯、民族、健康、政治面貌等信息结构情况;基层干部队伍职务等级、军衔等级、学历、专业结构情况:营连主宫队伍年龄、学历、生长类别分布情况;营连主官职务等级、军衔等级、学历、专业结构情况:各职级、各专业、各生长类别干部队伍在各职务等级平均晋升的年限:各职级、各专业、各生长类别干部队伍考核情况:参加过中级培训、专业培训| 、学历升级等培训形式后的干部任职能力的对比配偶随军、工作与否对干部考核、晋升的影响;不同职级如团、营、连、排职干部中不同生长类别干部在岗位上的分布差异和晋升

10、、考核情况:在现有的奖惩内容中， 那类奖惩对干部的影响最大， 是提高了干部工作的责任心还是损伤了干部的积极性。专家对提供的初步调研的问题重要程度进行打分，也可根据自己的判断加入问题。在以单位决策者为主的基础上，吸纳了上级和本级干部业务人员、部队政工干部共同参与: 汇总后，单位以研讨会的形式召集利益相关方进行充分讨论， 平衡各种不同的观点，然后由决策者确定。 最终决定第4章 军队基层干部队伍管理系统多维模型设计4.1设计理念和基本分析4.1.1 设计理念历数据仓库的物质基础是历史数据，它的价值是需求。以数据本身的驱动设计理念和服务用户理念。本文结合了两者优点，在其间找个平衡点。4.1.2 系统结

11、构分析1. 系统结构选择:系统结构是建立和管理数据仓库的基地。本文采用三层设计结构，建立中心化的星型架构。2 多维分析系统设计流程:数据仓库的模型设计3个模型，概念模型、逻辑和物理。4.1.3确定主题确定主题需要十分熟悉业务，是抽象化描述部队干部队伍信息。干部业务主要有调配工作管理、任免、转业干部计划生育、干部政治面貌等干部业务系统数据库表如下数据表数据内容的理解自然信息表主要是对干部一些自认信息的描述单位表各单位的编制情况， 如有32 个连队单位， 共有32 各连长编制身体状况表包含身高、血型、既往病史、治疗时间、伤残等级等信息奖惩情况表列出了奖惩时间、奖惩单位、奖惩原因、奖惩类别、奖惩等级

12、等训练情况表列出了培训单位、培训起止时间、培训形式、培训专业、受训等级等战斗情况表列出了参战地点、参战起止时间、战斗名称、所在部队、参战类别、战斗名称等科技奖励表列出了获奖时间、项目名称、项目代号、奖励名称、获奖名次、证书号、获奖单位等.4.1.4数据仓库的设计目标数据仓库与数据库的设计目标不同，数据仓库与数据库的设计目标不同，它们有不同的报表处理方式，数据库业务系统提供的是办事层用的，如军官任免晋衔报告表等，数据仓库是是综合性及分析性信息的报告表如图4.1.4所示。*收集干部职务、学历、年龄等信息的变化，获取有关数据*将获取的干部数据按照OLTP 的需求合理的存放*根据数据库的特征，对数据进

13、行合理的存储优化事务处理性能*确保干部数据事务处理时的安全性*将信息分离，按照主题组织起来*确保干部业务，档案，电子表格都进入数据仓库的数据具有一致性*合理设计数据粒度，分区方式，保证数据仓库的运行效率*优化存储方式，提升对干部信息联机分析性能 数据库的设计目标 计目标4.1.5 数据仓库主题的确定基于干部业务系统的分析，定义了基本信息、考核、任免、培训等主题，4.2多维分析维度设计4.2.1 维度的选择采用数据总线矩阵来设计干部队伍管理数据仓库，干部队伍的主题对应矩阵的行，公共维度对应矩阵的列， 得出一个Value Chain，描述数据仓库的总体结构。表4.2.1干部队伍管理的主题矩阵分析主

14、题角度干部队伍信理任免管理考核管理培训管理单位时间年龄军龄学历性别健康入伍地籍贯民族婚姻休假住房情况海外关系家庭出身家庭住址联系方式随军情况政治面貌党团时间生长类别职务名称职务情况军衔班子主码类别详码类别交叉任职晋升考核随机考核定期考核日常量化管理奖惩情况参战情况参加非作战大活动民主测评实绩测评培训情况从上表的分析可知，干部“”的为特征量，是管理者注重的信息，是设计要关注体现的量。没有标识的“”的设计时不做考虑。4 .2. 2 维表、事实表的选择在不同角度的主题分析后，之后是要识别它们所包含的信息判断分辨出事实数据和维度数据，哪些是事实数据，哪些属于维度数据。如图4.4.2 分析要讲究效率，如

15、分析奖惩，先视之为属于维的属性，在属性下，有不同类型的奖惩，比较合理的是将之看作事实处理，而其他的处理办法，如规划为渐变维会出现重复冗余信息。 4.2.3维表层次及类的划分(1 )维表的层次。为快速查询，数据组织形式是概念分层，层次由维成员构成，维度包括层次关系，低层到高层可建立映射关系。维的层次可根据数据的详略做简繁处理，一般而言，繁复的层次，储存空间操作麻烦，效率低。本文尽量简化层次。主要设计如下表所示，设计了六层单位维表4.2.3 单位结构表层数单位一 师(旅)二 团团三 营.营.营四连.连连连连五排排排排排排排排排排六干部干部干部干部干部干部干部干部干部干部上表中，一列称为父键列，一列

16、称为成员键列，两个维度表列分别描述了维度成员中的父子关系，如王三单位2 连，其子为2排，这种沿袭关系一目了然，方便查询追溯。 表4.2.4 单位维单位维单位ID父单位ID单位名称单位级别其单位维中度量值的类型如表表4.2.5度量值类型单位IDChar父单位IDChar单位名称Char单位级别Char(2) 时间维时间维是数据仓库分析最基本的维度，干部队伍划分的管理时间维如下表4.2.6 ( 3) 维表的类。用集合论原理把全体维视为全集，将其划分为互不相交的子类，根据不同属性划分不同的子类，干部集合分别按照职称、学历、性别来分类，如表.8年龄按照年龄段划分，成绩按照成绩等级划分.

17、(4)层次和类的区别。层次有沿袭关系，高层次的维，子分支多，类是依据不同划分标准描述成员特征的。4.3 数据仓库逻辑模型设计逻辑模型设计指导着系统实施，是继确定主题后的设计环节，是对主题的结构更详细的描述。4.3.1 逻辑模型的选择当年主流的模型有雪花模型、星模型等，星模型是全部的x个多维表关联其事实表中的x个标识符，其外键是指针，不同的表中的对应值是其主键，通过比较维的层次、上钻和下钻来完成操作。雪花模型是一个维用多个表来表示，维表结构是二级的，增大了系统的负担，但更能体现对象的角度和深度更加方便数据操作。干部队伍管理数据仓库采用星模型，结构是一个或多个维表对应多个事实表。如" 生

18、长类别维度" 表，被多个事实表关联。4.3.2 确定数据仓库的粒度粒度设计是数据仓库设计中的关键，它左右着数据的量，数据存储设备的成本会因为数据增大而提高成本。按照“日”“月”统计的查询量有很大区别，按照每个字段8 个字节计算，每天检查1个干部5次， 1 个月的管理数据量为: 8*6*30*5=7200字节，汇总数据量为8*5=4 0字节。数据粒度的确定与所要回答的问题及它的的应用有关。如图4.4.9细节数据提供张某在09年8月1 日普升为上尉的信息代价: 细节数据应付综合问题要通过大量的计算查询大量数据查询到。综合数据提供年8月1 日晋升上尉的总数.代价:只许访问很少的数据，综合数

19、据便能提供综合问题答案，但没具体数据。 表 4.3.9 细节数据综合数据用途:细节数据提供张某在09年8月1 日普升为上尉的信息代价: 细节数据应付综合问题要通过大量的计算查询大量数据查询到。用途:综合数据提供年8月1 日晋升上尉的总数.代价:只许访问很少的数据，综合数据便能提供综合问题答案，但没具体数据。由以上可知，小粒度的设计，存储数据的空间因为所有细节都塞在事实表里，将会因此膨胀: 大粒度设计，以存储空间换取数据细节。数据仓库粒度与存储空间构成了冲突。设计部队干部队伍信息数据仓库时，要提前估计所要创建的表数、表中的大概数据行，和一年中可能产生的数据量。经计算，军队基层干部队伍信息数据仓库

20、一年的数据量大约80000 多行。按时间维分类历史干部数据，假设立体图对应的时间维层次为"日"，立方实例中的该数据将朝时间维中"年"聚集，如只保留" 年" 层次数据，立方体可减少到1/365 。4.3.3 数据的分割数据的分割就是将数据集合分配到相应的物理单元中，为了提高效率,把具有某种相关性的数据集,整理到一起, 相对独立处理数据.如分析某类学历的干部的数据,某类职称的干部的数据, 根据实际情况来制定数据分割的标准,可按照时间,空间,单位,类别来分割.数据在职务等级上的分割 数据的重构和重组数据分割更利于数据重构、重组、扫描, 提高

21、数据分析效率。4.3.4 度量值的选择为了便于决策,人们创建了数据仓库,根据使用需要来选择度量值, 将人员数量和平均年龄作为干部信息主题和培训管理主题的度量值,根据不同的需要合理的确定不同的度量值.表4.3.10 军队基层干部队伍信息维度表4 .3.5 逻辑模型的建立根据上述的主题及分析需求，该主题采取星型模型来设计，下面的主题模型图中只显示部分主题维度。左边栏目的时间、年龄、军龄. 为分析维度维表维表成员类型时间时间田，年，季，月，日年龄年龄IDNum年龄年龄IDNum班子成员班子成员IDChar团级班子成员， 旅级班子成员 ，非班子成员主码类别主码类别IDChar军事干部，政治干部， 后1

22、Ji干部， 装备干部，技术干部详码类别详码类别IDCharl 类主官， 2 类主官， 3 类主宫，机关明确，机关不明确，其他学历学历IDNum干部自然信息民族Char汉，少数民族性别Char男，女籍贯Char北京， 上海入伍地Char北京， 上海政治面貌Char党员， 团员， 群众婚姻Char己婚随军情况Char已随军随队，随军未随队，符合随军未随军， 不符合随军国防定向生， 直接接收地方大学生， 军校青年学员，战士学员生长类别生长类别IDChar国防定向生， 直接接收地方大学生， 军校青年学员，战士学员单位单位IDNum父单位IDChar单位名Char单位级别Char军， 师， 旅， 团，

23、营， 排单位分布Char排， 部队连， 部队营， 团、旅、师、军机关及直属单位职务职务IDNum职务名称Char排长， 副连长， 连长， 指导员，参谋 职务等级Char正排， 副连， 正连， 副营， 正营， 副团 职级时间Time年月日职务时间Time年月日4.4多维模型所支持的分析操作为了用户各个侧面和视角观察和了解数据，剖析数据包括切片、旋转等，在部队部队伍管理仓库中，从各个角度分析干部。(1) 1.切片(slice)切片就是沿着数据集的轴线操作，是为了从三维以上的高维度观察数据结构。如干部的多维结构包括时间、年龄，职务等级等，从职务等级的切片，可观察到干部数量在这个维度上的变化。如图切片

24、(2) 2.切块(dice)切块就是将数据集分离为小块，与切片不同的是，切块是操作，数据区间两个以上的维度，切片只是单一维度上的选取。3.钻取(dril)钻取即转换不同的维度层次，分为上下两个方向进行高低的维度层次的转换。从高低维度层次为下钻，低高维度层次为上钻。(4)旋转(pivot)旋转是转换维度的行列，把维度的行变为列，也可把列旋转变为行。 4.5 数据仓库物理模型设计将逻辑模型置于物理系统中就是数据仓库的物理模型。主要是具体化数据的存储结构、索引策略、存储优化分配等。要做到这一步，首先须熟悉数据库管理系统。(1)设计存储结构。按数据特性设计物理实现，对数据进行分类，存取频率高的设置在高

25、速存储设备上，本系统的数据仓库结合考量了多种因素，使用RAID。 (2)设计索引策略。现在，多以 B 树作为索引，该索引用一个树结构和指向唯一的行号的指针，在部队干部队伍数据仓库中，这种指向方式不适合，采用BitMap索引。（3)设计存储策略。在部队干部队伍管理系统中将生长类别、职务、等属性统一起来，将表及表间字段的映射，纳入数据集市中，在其他地方复用。第五章军队基层干部队伍管理多维分析系统的设计与实现5.1系统结构设计好的部队干部队伍管理系统必须功能完整，有一个科学的系统框架如图5.1 所示。 数据源 数据存储与管理 OLAP服务器 前端工具在微软SQL Server 2005数据库管理系统

26、上新加了Analysis services的数据挖掘的功能。集成了OLAP。5.2 数据的ETL操作5.2.1 ETL的概念及过程ETL 过程就是对不同定义和不同类型数据源进行抽取( Extraction ) 去掉差异，一致性处理，再进行转换， (Transforrn)、加工处理装载(Load)到数据模型中。下面是ETL部队干部队伍管理的主要步骤 (1 ) 部队干部队伍管理数据模型的确立。(2)检查、确认系统所需要的数据，如: 部队伍管理数据信息主题中，检查、确认详码类别。(3)源数据到目标数据关系。如数据源的自然信息表到数据仓库中的干部信息维表中的性别、政治面貌等字段的映射关系。(4) 选择

27、全面的数据抽取规则。(5) 进行数据转换和清洗。转换数据类型，如将部队干部队伍信息中" 自然信息表"的“0”“1”表示的"性别"属性值，转换为多维分析中的"男"和"女"是属性值。(6)经过处理后的数据，就可装载到目标表。第一次是装载全部的数据仓库。之后的装载是为了体现数据的变化。5.2.2 ETL工具选择和实现本文ETL工具选择SSIS即Microsoft SQL Server 2005 Integration Services， ETL的实现SSIS 用包和组件来管理处理数据，包创建后，用数据流完成提取源数据、转

28、换数据、定义数据目标的任务。如图所示的SSIS 包部署到SQLServer 上。再将SSIS 包导入SQLServer，数据源的数据属性要被SQL识别需要用DTS 来进行数据源中的数据属性的转变。5.2 联机分析工具的设计与实现5.2.1 联机分析工具的系统设计ADOMD象调用API访问数据仓库中的数据，以可视化的图表展现给用户，此功能有5个模块，后台服务器为如图(1) 多维数据集连接模块。这个模块是系统初始启动模块，也是链接SSAS和其他模块的枢纽，此设计采用向导模式，有自动添加连接参数功能，启发引导用户一步步完成连接操作进程。 ( 2) 数据导航模块。此模块为立方体导航和度量维度导航两部分

29、组合而成，立方体导航用下拉列表的方式呈现多维数据。以导航树的方式数据立方体中维度及度量。(3) 可视化分析展现模块。数据立方体的钻取切片等操作都用此模块实现。( 4) 生成报表模块。用户此模块可根据需要调整报表、增添其中的信息。5.2.2 主要技术实现本工具的系统实现采用VB.NET 编程语言， 后台服务器为Server 2005 Analysis Services，查询与访问以及元数据的操作用ADOMD.NET和AMO。(1 )连接数据仓库获取OLAP 服务器及其上的多维数据集，用.NET的反射组件来实现连接; 要完成连接OLAP ，还需设置ADOMD 对象属性如: 设置连接属性connec

30、tionString = "Data Source=" & Server.Text & "Provider = MSOLAP ;"/Server.Text 数据库名称。(2 ) 数据导航及可视化分析展现Dundas Chart for WinForm-OLAP Services控件有众多API 函数库，来完这一步，本系统使用了CubeSeector 、CubeDimensionBrowser ， Chart、Grid、AxisBuiJder 五个组件来实现立方体、维度导航、图形展示、透视表展示以及轴操作，绑定数据源用OlapManager ，同时绑定五个组件与OlapManager实现与数据立方体通信。此外， 在系统中通过设置OlapManager 的DataProvider 属性将其绑定到ADOMD 对象，即可实现数据导航及可视化展现。核心代码:Friend WithEvents Manager As Dundas.Olap.Manager.OJapManagerMe. CubeSelector.OlapManager = Me