（管理科学与工程专业论文）基于商务智能的高校学生经济状况分析系统研究.pdf

武汉壤工大学硕士学位论文 摘要 如何对经济状况不好的学生进行准确和客鼹垂勺认定和资助，一直是高校学 工部门的难点问题。传统的认定方式，主要是以学生本人申请为主，以周围同 学静评述和学校工作人员的考察为辕。这类认定方式参杂了较多的人为因素， 主观成分比较大，容易导致认定结果的不准确、不客观。如何建立一套客观、 准确的评价指标和评份方法，并充分利用现代的信息技术，建立起一套智能化 的信息系统，准确、客观、快捷地对在校经济状况不好的学生进行识别和管理， 成为一个崭新的课题。 商务智能楚一个快速发展的新领域，它融合数据仓瘁、联桃分析处瑗、数 据挖掘等技术、客户关系管理和w e b 展示技术等。商务髑能技术能充分利用组 织现有的数据，对缝织以及组织中个体的行为送行充分熙分拆、挖掘_ 饔鞭测， 为最终改善和提升组织的绩效提供决策支持。随着技术的发展，商务智能技术 逐渐她被广泛运用于政府、教弯、军队、医疗、公司、企业等各类组织。对于 己经建立了积累了大量消费数据的高校，我们可以充分利用商务智能的思想和 技术，构建一套现代的信息系统，对高校学生的经济状况进行分卡斥。 本文内容主要分成两大部分。一部分对高校学生经济状况分析做了详缁的 研究，建立了一套完整的评价体系和评价的数学模型。另一部分在建立的评价 体系的基础上提出了黎于商务餐能技术的学生经济状况分析系统，对该系统的 数据仓库部分进行建模，给出了最终的物理模型；对经济状况分析系统的目口端 分聿厅展瑗部分傲了详缯设计，绘逛了一个基于j 2 e e w e b 约前端分柝应用的系统 架构并对其中的基于w e b 的多维数据分析部分做了详细的设计。最终得到一个 设计良好，可期性高的系统原型。 关键词：学生经济状况分析，商务智能，数据仓库 武汉理工大学硕士学位论文 a b s t r a c t a st h es i z eo fu n i v e r s i t i e sa r ee x p a n d i n g ，t h en u m b e ro fp o o rs t u d e n ti s i n c r e a s i n g h o w t o f i g u r e o u tt h ep o o ra m o n ga l lt h es t u d e n t s o b j e c t i v e l y a n d a c c u r a t e l y i s a l w a y s ac h a l l e n g eo ft h es t u d e n tm a n a g e m e n t d e p a r t m e n t t h e t r a d i t i o n a lw a yo fe v a l u a t i o ni sb a s e do nt h es t u d e n td e c l a i m sh i m s e l f , a n du t i l i z et h e o t h e rs t u d e n t s a n dt e a c h e r s j u d g e m e n ta sa s s i s t a n t t h i sm e t h o do fe v a l u a t i o ni s d e p e n d e do nf a c t i t i o u sf a c t st 0 0m u c h ，s o t h i sr e s u l to ft h a tk i n do fe v a l u a t i o ni s s u b j e c t i v ea n di n a c c u r a t e h o wt o e s t a b l i s ha l lo b j e c t i v ea n da c c u r a t ee v a l u a t i n g s y s t e m ，u t i l i z i n g m o d e mi n f o r m a t i o n t e c h n o l o g y t oe s t a b l i s ha n i n t e l l i g e n t i n f o r m a t i o ns y s t e mi no r d e rt oa n a l y s es t u d e n t s se c o n o m ys t a t u so b j e c t i v e l ya n d a c c u r a t e l yi sb e c o m i n gaf l a s h i n gn e ws u b j e c t b u s i n e s si n t e l l i g e n c ei sab o o m i n gd o m a i n i ti n c l u d e sm a n yt e c h n o l o g i e s ， c o m p r i s i n gd a t aw a r e h o u s e ，d a t am i n i n g ，o n l i n ea n a l y s i sp r o c e s s ，c l i e n tr e l a t i o n s h i p m a n a g e m e n ta n dw e bt e c h n o l o g y b u s i n e s si n t e l l i g e n c ef o c u s e so nh o w t ou t i l i z et h e h i s t o r i c a ld a t ao fa no r g a n i z a t i o ni no r d e rt ou n d e r s t a n dt h eo r g a n i z a t i o n sa n di t s p e o p l e sb e h a v i o r , s ot h a tw ec a ni m p r o v et h ep e r f o r m a n c eo ft h eo r g a n i z a t i o na t l a s t a st h et i m e g o e sb y , b u s i n e s si n t e l l i g e n c e i su s e di n m a n yo r g a n i z a t i o n s ， i n c l u d i n gg o v e r n m e n t s ，e n t e r p r i s e s ，h o s p i t a l sa n ds oo n w ec a l lu t i l i z et h et h e o r i e s a n dt e c h n i q u e so fb u s i n e s si n t e l l i g e n c et oc o n s t r u c tai n f o r m a t i o ns y s t e m ，w i t hw h i c h w ec a na n a l y s es t u d e n t s se c o n o m ys t a t u s t h i sp a p e ri sd i v i d e di n t ot w op a r t s t h ef i r s tp a r tm a k e sap a r t i c u l a rr e s e a r c ho f t h et h ee c o n o m ys t a t u sa n a l y z i n ga n dc o n s t r u c t saw h o l ee v a l u a t ei n d e x e sa n d m a t h e m a t i c sm o d e l e s i nt h es e c o n dp a r t ，w e d e s i g nab u s i n e s s i n t e l l i g e n c e b a s e d e c o n o m ys t a t u sa n a l y z es y s t e ma n dm o d e lt h ed a t aw a r e h o u s ed e t a i l e d l y a l s ow e d e s i g nt h ep r e s e n t a t i o nl a y e ra n dg i v eaj 2 e e b a s e dw e ba p p l i c a t i o nm o d e la n d i m p l e m e n tt h em u t i d i m e n s i o na n a l y s ep a r t i nt h ee n d ，w eh a v eaw e l l d e s i g n e da n d u s a b l ei n f o r m a t i o ns y s t e m k e yw o r d s ：s t u d e n te c o n o m ys t a t u sa n a l y z es y s t e m t b u s i n e s si n t e l l i g e n c e td a t a w a r e h o u s e i i 独创性寒明 本人声明，所呈交的论文魑本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表绒撰写过的研究成果，也不包含为获褥武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：d 凇日期：立! z ：五星 关于论文使用授权的说明 本人完全了解武汉理工火学有关保霹、使用学位论文翡规定，即学校有权 保留、送交论文的复印件，允许论文被镬阅和借阅：学校可以公布论文的全部 或部分内容，可以采鬻彩印、缩印或萁饱复锈手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：剑陵铷蚍钓缒阳期：趔 武汉理工大学硕士学位论文 i 1 研究目的 第1 章绪论 伴随着高等教育体制改革的深入，我国逐渐实行了高等教育收费制度。自 从1 9 9 2 年开始实行高等教育收费制度以来，收费制度有效地解决了教育财政资 金短缺的问题，对扩大高等教育的规模起到了积极的作用。然而，另外一方面 也造成了大量低收入家庭的子女无力支付相对高昂的学费。根据教育部的统计， 截止到2 0 0 4 年底，全国普通高校在校生中，贫困家庭学生占2 0 ，即2 7 0 万人 左右；特困生占5 到1 0 ，人数在7 0 万到1 3 5 万之间。目前，高校贫困生问 题非常突出，如果不能及时得到有效解决，将严重影响社会的公平和教育机会 的公平，影响社会和高校的稳定。 国家高度重视高校中存在的贫困生问题，出台了许多政策。各高校也按照 国家出台的资助政策和措旌，建立了学校的资助办法。然而在实际的操作中， 出现了许多现实的问题。本文从对学生资助过程中的经济状况分析出发，一方 面，为如何评判学生的经济状况提出了自己的看法，另外一方面，采用基于商 务智能的数据分析方法，为利用现代的1 1 r 技术对学生的经济状况进行评判提出 了崭新的思路，具有一定的应用价值。 1 2 研究现状 资助的各个环节中，首要的任务是要能够对贫困的学生进行界定。在普遍 意义上，高校贫困生是指由于家庭经济困难，无力支付教育费用，或支付教育 费用很困难的学生”。这里的教育费用主要是指学杂费( 学费、住宿费、教材费 等) 、生活费( 伙食费、衣服更新费等) 。贫困生一般分为困难生和特困生。按 照教育部文件的解释，“支付教育费用很困难”的是一般困难生，而“无力支付 教育费用”的则是特困生。然而，这一概念属于定性描述，比较模糊，在实际 的界定工作中难以操作。为使资助工作更具有科学性、针对性、实效性，许多 高校在贫困生的遴选方式、评判方法与标准上已基本形成了一套自己的方法， 并依据它来确认贫困生。这些方式方法主要有： 武汉理工大学硕士学位论文 ( 1 ) 在贫困生的遴选方式上，大多数高校采用了学生申请、同学推荐和班 级院系审查相结合的办法。学生申请贫困生资助时，通常需要出具生源地所在 的民政部门、乡镇、街道办事处或父母所在单位出具的贫困证明或家庭经济调 查证明。而班级学院推荐则主要是由学校在调查摸底的基础上，由班、系、学 院的负责人的来进行层层推荐。 ( 2 ) 在贫困生评判方式上，主要是从经济方面进行考虑。在实际工作中， 大多数高校是依据以下几个因素来进行评判的。一是学生家庭年收入情况；二 是学生在校学习、生活月消费水平情况；三是学生交纳学费的能力；四是生源 地与学校所在地的最低生活保障线。通常情况下，学生家庭年收入情况是由学 生或学生家长在入学时自行填报；学生在校的消费水平情况则是在调查确定全 校学生平均消费水平的基础上，通过学生消费支出与平均水平的比较而得；学 生交纳学费由学校财务科进行记录：最低生活保障线则由国家来规定。目前大 多数高校采取的做法是将这几种因素结合在一起考虑，首先是对上述四方面因 素进行综合的、全面的调查摸底，然后，以学生每月学习、生活消费支出情况 为主，参考学生家庭人均收入、学生交纳学费的情况，根据本校学生平均消费 水平来确定学生的经济状况。 ( 3 ) 贫困生评判标准。从目前情况看，我国高校贫困生认定标准主要有以 下几方面：学生家庭年纯收入在居住所在地属最低水平，一般年人均在1 2 0 0 元以下。学生在校学习、生活月消费水平在学校所在地最低生活保障线以下， 一般人均在1 8 0 - 3 5 0 元之间。学生家庭生活状况在所在地最低生活保障线以 下，并不高于学校所在地最低生活保障线。特例情况。如单亲、父母双亡、 兄弟姐妹两个人以上同时上大学、学生家庭短期内突发变故、债台高筑、无力 上学等等。 上述分析可见，近几年来，我国高校通过不断的摸索与实践，对贫困生认 定已形成了一套较为完善的管理经验与办法。然而在实践中，贫困生的认定依 然存在以下一些问题： ( 1 ) 对贫困生的遴选不够客观。这主要表现在以下几个方面：学生主 要表现在：a 许多贫困学生的思想认识存在偏差，有的自卑心理比较严重”， 不愿意让人知道自己贫困的事实，导致没有得到应得的补助。b 大多数学生对 贫困生的推荐和监督的积极性不高，敷衍了事。c 一些学生缺乏诚信意识，提 供虚假的贫困证明，欺骗学校。高校。目前大多数高校的贫困生认定还是以 学生自述为主，兼以周围同学的评述为辅，这就导致信息收集不够全面。另一 武汉理工大学硕士学位论文 方面，少量的高校工作人员责任心不强，审批不规范，容易被一些人为的因素 所左右，也是导致遴选不够客观的重要原因。学生生源地政府或有关部门。 主要表现在：a 生源所在地的贫困标准与高校所在地的贫困标准不一致。b 学 生生源地的有关部门对于学生提出的贫困生申请往往不会去详细核实，导致许 多假证明泛滥。 ( 2 ) 在资助评定的各个环节缺乏现代的信息技术支持，基本上还是用传统 的手工填表审查，费时费力，效率低下。 ( 3 ) 传统的评定中没有注意到贫困生是一个动态的概念，不能够根据学生 的现状进行及时的跟踪调整。 ( 4 ) 在对学生进行资助以后，不能够对资助的效果进行评价。这表现在两 方面；第一、无法对资助的效果进行评判，有关部门得不到及时地反馈，就不 能使得有限的资助资金得到更合理的利用。第二、有的受助学生获得资助以后， 浪费与高消费现在比较严重，这种情况得不到有效制止，会对资助工作产生较 大的负面影响。 总的来说，由于各方面条件的制约，在目前绝大部分高校的贫困生评定中， 还是以主观定性为主，缺乏客观的、定量的贫困生认定办法。 1 3 本课题研究内容 目前，以校园一卡通为基础的高校数字化校园的建设方兴未艾。随着数字 化校园建设的推进，将建立起各种涉及到教学、管理、学习、科研、生活各方 面的应用子系统，例如注册系统、缴费系统、迎新系统、宿舍门禁、考勤签到、 控水控电管理、食堂收费、超市收费、校车收费、自助复印、图书管理、医疗 管理、上机管理、考试管理、体育馆管理等。而基于统一数据中心的各类应用 子系统产生的大量数据则为通过学生在校的活动定量的记录和分析学生的实绩 提供了数据基础。以武汉理工大学的食堂消费子系统为例，全校学生仅一个学 期的流水消费数据就达到2 0 0 0 万笔，数据量达到4 0 0 0m b 。长期积累下来的海 量数据，就为我们利用统计分析数据挖掘的方法来对学生的经济状况进行评价 提供了数据基础。结合恰当的数学模型，利用现代的统计分析和数据挖掘技术， 我们就能够通过分析各种应用系统提供的海量历史数据对学生的经济状况进行 分析。 武汉理工大学硕士学位论文 本文的主要工作： ( 1 ) 对学生经济状况分析系统的需求进行分析； ( 2 ) 对经济状况判定模型的研究。 ( 3 ) 构建基于商务智能思想和体系结构的经济状况分析系统的原型。 ( 4 ) 对系统的核心数据仓库进行建模。 ( 5 ) 结合j 2 e e 的w e b 技术，设计前端分析展现系统。 武汉理工大学硕士学位论文 第2 章商务智能技术及其内容 2 1 商业智能概述 商务智能( b u s m e 鼯h t e l l i g 髓豫b d 的概念最早是g a r t n e rg r o u p 的分析师 h o w a r dv r e s n e r 于1 9 9 6 年提出来的，他将商务智能定义为“以帮助企业决策为 目的，对数据进行收集、存储、分析、访问等处理的一大类技术及其应用”确 切地讲，商业智能并不是一项新技术，它是将数据仓库( d w ) 、联机分析处理 ( o l a f ) 、数据挖掘( d m ) 等技术与客户关系管理( c r m ) 结合起来应用于商 业活动的实际过程当中，实现技术服务于决策的目的。 随着数据仓库和数据挖掘技术等各种分析处理技术的发展，商务智能逐渐 成熟并且开始走向大规模的应用。但商务智能的应用并不局限于狭隘意义上的 企业，还包括了政府、教育、军队、医疗、公司、企业等各类组织。如何采用 信息技术手段，有效的利用这些有价值的历史数据以提高一个组织的决策水平， 改善组织的绩效，使得有限的资源能够得到合理的分配，成为学术界和产业界 研究的热点问题。 7 7 2 2 商务智能的技术架构 所谓技术结构( 黼i t c c t u i e ) 是指为一个系统或产品的整体设计提供主框 架规则和结构。而一个商业智能的体系结构是指通过识别和理解数据在系统中 的流动过程和数据在企业中的应用过程来提供商业智能系统应用的主框架。 根据b i l ln i n o n 的理论，一个商务智能系统就是一个企业的信息工厂“”，它 能够将正确的数据转换成有价值的信息，并将其应用于商业决策。这个过程包 括了数据抽取、存储、分析、挖掘和展现等主要环节。为了实现这一目标，必 须有现代的信息技术进行支撑，以一定的技术结构以保障其在应用方面的功能。 随着理解的不断深入，人们开始意识到，商业智能不能简单地理解成一套软件、 一个产品，它实质上是一种概念和在此概念下进行的重建企业数据流和信息流、 构造分析型处理环境的过程，同时也是多种现代化信息技术综合而成的一个解 决方案。m m 公司提出了一个著名的商业智能技术结构体系图，如图2 _ 1 所示： 武投避工大学硕士学位论文 鞠嘲酎譬暑强田吾 糊! 鹭霞竞丰e 壤 日目南h 舅袭o i j t p 日医招蝎 1f 滔晴甄舞 兀 聒啊i 接口畔啦订h = 服务蠢 羹 据 一 1 广 囊营 囊 娲u 籀仃仓庳h 萁雌 僻 刮生 ，l 市# 刊m 存r - f l l t - - _ w _ - - - - - - - 一 。 l - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 一 专 1 融麒l 。可摄帮攫融辨嘟攫威瓣 图2 1 商务智能技术体系结构图 瓣这个体系维搀豹各部分浚嘲翔下： ( 1 ) 可操作髂数据和外部数据。在商业智能系统串，数据可以分为随郝的 和外部的数据。内部数据可以各种应用系统中获得，例如c r m 、e r p 和交易系 统，外郝的数据源可以是i n t e r n e t ，各类第三方提供的数据，甚至是一个机构和 组织发_ 蠢在瓣终上戆w e bs e r v i e s 。 ( 2 ) 数据仓库建模和构造工舆。这一部分包括两方面，一是对数据仓库进 行逻辑和物理上的建模，这意味麓不仅仅要对数据仓库的数据组织进行逻辑结 秘熬设诗，还要按照驻务矮户最黢理解懿方式缀缓窝提供缤惑。二是姨定义戆 数据源巾捕获数据，进行加工和转换，然后装入数据仓库中。 ( 3 ) 数据存储和管理。数据仓库是整个商业智能系统的核心。般是采 用数据仓库数掇集市特定主题的方式来进行信息存储。数据仓艨集成 了金鼗掰有的售惠，掰有静数蠢都是获间一戆数疆仓库孛褥捌；数蠢集帘主要 是面向部门，存储絮个部门的信息；特定主题的信息存储则是根据用户和实际 的需求裁剪后得到的信息。在经过e t l 处理后，数据全部装载到数据仓艨，然 武汉理工大学硕士学位论文 后按部门把相关数据载入数据集市中，再根据用户的要解决的特定问题将相关 数据抽取出来形成面向主题的数据。 ( 4 ) 访问工具包括数据仓库系统提供的a p i 和中间件服务器，使得客户 工具能够访问数据库系统和文件系统中的数据。 ( 5 ) 决策支持工具。包括各种统计分析、数据挖掘、o l a p3 2 具以及报表 工具等，分析的结果可以通过恰当的方式展现，有些甚至支持基于w e b 的展现 方式。 ( 6 ) 商业智能应用。针对不同行业和应用领域的商业智能软件包。 ( 7 ) 元数据管理。用来管理与整个商业智能系统有关的元数据，包括商业 元数据和技术元数据。 ( 8 ) 管理。包括了商业智能系统管理的各方面，例如安全性和身份验证、 备份与恢复、性能的监控调整等。 2 3 商业智能关键技术 2 3 1 数据存储 ( 1 ) 数据仓库 数据仓库技术的出现是计算机和数据应用发展到一定阶段的必然产物。随 着企业计算机应用的不断深入，企业内部已经积累了大量的生产业务数据，企 业内各级人员都希望能够快速，交互并方便有效的从无章的数据中获取有意义 的信息。数据仓库建立的目的是为了建立一种体系化的数据存储环境，将决策 分析所需要的大量数据从传统的操作环境中分离出来。 数据仓库的概念最早由w i l l i a mh i l l m o n 在2 0 世纪年代中期提出。他对 数据仓库的定义为：数据仓库是在企业管理和决策中面向主题的、集成的、与 时间相关的、不可修改的数据集合“”。 这个定义同时描述了数据仓库的四大特征：面向主题组织数据；存储的是 集成后的数据；数据随时间变化，反映企业业务进展；数据的相对稳定。 面向主题 传统的数据库是面向应用的，它的数据是为了处理具体应用而组织在一起。 主题是在较高层次上将企业信息系统中的数据综合、归类后进行分析利用的抽 象。面向主题的数据组织方式，就是在较高层次上对分析对象数据的一个完整、 武汉瑷工大学硕士学位论文 统一和一致的描述，它能完整及统一地刻画各个分析对象所设计的有关众妲的 各瑷数据，戳爱数箨之蠢豹联系。磊圭题懿糖象是按照分橱鹃要求来确定豹。 目前，数据仓库的实现主要逐是基于关系数据库。每个生题由一组关系表 或逻辑视图实现。从本质上讲，这些表和视图的内容与原来备个应用数据源中 夔数撂跫一嚣戆一羧戆，餐是秀了方矮支持分辑数据整理，数摆在进入数据仓 库之前必需经过加黑和集成，将原始数据结构实现从面向成用到面向主题的转 变。 集成的数攒 数攥仓库孛熬数据是集成静。数据仓津孛躺数据主要翔予分析决策，要对 细节数据进行归纳、楚理和综合。数据仓库中的数据来来自多个不同的威用系 统，但并不是对这然数据的简单汇总，我们不仅仅要统一备类不同来源的数据 静矛溪，爨絮霹名舅义、舅名弱义、萃位不统一等，还要将这些数据统一裂数 据仓瘁的数据模式上来，还要监视数据源的数据变化。在数据仓库的各项技术 中，数据集成是非常关键而且复杂的。 数据随时闼琴叛交化 数据仓库中的数据是具有时阀特性的。数据仓库中匏数据隧着对闻躺变亿 定期更新，以适应趋势分析的要求，当数据超过数据仓库的存储期限，成者对 分析无用时，它们将被从数据仓艨中删除或是转移到平面文体中。 数据耀对稳霆 数据相对稳定怒针对应用而裔，即数据保存到数据仓库中后，最终用户只 能够通过分析工具进行查询，而不能修改。但是不可更新怒针对源数据库内的 具体事务楚理过毽露言黪，这势零意噱羞数鬃仓痒孛懿数攥缝对不雯掰，逶豢 在一定的时间间隔以后，当前的数据需要按一定的方法转换成历史数据。年代 久远且畿询效率低的数据需要从数据仓库中脱离转移到平筒文件或是廉价的慢 速设器中( 如磁带或卷光盘) ，有臻辩分析处理不荐有用的数攒将会被直接删除。 嚣魏，数据仓痒中豹数据在一定辩闯蓠隔内是稳定静。 在备种不同的的商业智能技术架构中，数据仓库是核心。目前已经肖很多 商品化的数据仓库软件，比如o r a c l e 公司、s a g 公司、s y b a s e 公司和微软公司 等帮攘滋了自己熬数攒仓库鼹决方寨。 一个完整的数据仓库应用应该包含数据源、数据预处爨、数据存储、统计 分析和挖掘工具以及可视化展现等方面，如图2 - 2 所示： 武汉理工大学硕士学位论文 ) 垦 数据源数据预处理数据仓库数据分折 图2 - 2 数据仓库应用的结构 旦 吟灭 h 蠢诲人受 e o 广 l 入 r 入分析人员 。叫 唏天 莰薰人摄 数据展现 ( 2 ) 数据集市 数据集市可以定义为来自完整的数据仓库的、在逻辑上相关的数据的子集1 。 商业智能环境中的大部分分析活动均在数据集市中进行。数据集市的概念与完 善的视图存储公司使用的所有数据的数据仓库相对应，它存储在比较小的数据 库中并且面向特定的用途或数据主题。数据仓库的工作是存储大量的数据，很 少考虑或者是不考虑客户怎么样察看数据，而数据集市的主要考虑恰恰相反， 它聚焦于客户的易使用性、敏感数据的分离、报告速度和数据的总体展现。由 于完善的数据仓库很难实施，因此很多公司最先使用数据集市，然后过些时候 再将这些数据集市合并到数据仓库中 数据集市可以包含运营数据、总结数据、维数据或元数据。通常，使用维 数据模型来构建数据集市。它主要面向部门级业务，并且只是面向某个特定的 主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈，并作为对数据仓 库应用的补充。 数据集市可以分为两种类型：独立型数据集市和从属型数据集市。独立型 数据集市直接从操作型环境获取数据，从属型数据集市从企业级数据仓库获取 数据。数据仓库规模大、周期长，一些规模比较小的企业用户难以承担。因此， 作为快速解决企业当前存在的实际问题的一种有效方法，独立型数据集市成为 一种既成事实。独立型数据集市是为满足特定用户( 一般是部门级别的) 的需 求而建立的一种分析型环境，它能够快速地解决某些具体的问题，而且投资规 模也比数据仓库小很多。 武汉理工大学硕士学位论文 独立型数据集市的存在会给人造成一种错觉，似乎可以先独立地构建数据 集市，当数据集市达到一定的规模再直接转换为数据仓库。有些销售人员会推 销这种观点，其实质却常常是因为建立企业级数据仓库的销售周期太长以至于 不好操作。 多个独立的数据集市的累积，是不能形成一个企业级的数据仓库的，这是 由数据仓库和数据集市本身的特点决定的数据集市为各个部门或工作组所 用，各个集市之间存在不一致性是难免的。因为脱离数据仓库的缘故，当多个 独立型数据集市增长到一定规模之后，由于没有统一的数据仓库协调，企业只 会又增加一些信息孤岛，仍然不能以整个企业的视图分析数据。借用i n m o n 的 比喻：我们不可能将大海里的小鱼堆在一起就构成一头大鲸鱼，这也说明了数 据仓库和数据集市有本质的不同。 如果企业最终想建设一个全企业统一的数据仓库，想要以整个企业的视图 分析数据，独立型数据集市恐怕不是合适的选择；也就是说“先独立地构建数 据集市，当数据集市达到一定的规模再直接转换为数据仓库”是不合适的。从 长远的角度看，从属型数据集市在体系结构上比独立型数据集市更稳定，可以 说是数据集市未来建设的主要方向。 ( 3 ) 元数据 元数据是关于数据的数据，是指有关某一物体的特征的抽象层面的信息， 这些特征包括物体的名称、位置，对企业的认知的重要性、质量或价值以及其 他物体之间的关系。 在商业智能应用系统中，元数据的概念非常重要，它的使用贯穿商业智能 应用中的各个环节。例如不论在在e t l 过程中还是在统计分析挖掘过程中，用 户不仅需要在成百上千个数据元素中进行选择，还需要很好地理解这些数据元 素以回答所提出的商业问题。元数据将通过提供数据定义、转换逻辑、有效值 列表、业务逻辑等来支持这一信息需求。 将其按用途的不同分为两类，技术元数据和商业元数据。技术元数据是数 据仓库的设计和管理人员用于开发和日常管理数据仓库是用的数据。包括：数 据源信息；数据转换的描述；数据仓库内对象和数据结构的定义；数据清理和 数据更新时用的规则；源数据到目的数据的映射；用户访问权限，数据备份历 史记录，数据导入历史记录，信息发布历史记录等。商业元数据从商业业务的 角度描述了数据仓库中的数据。包括：业务主题的描述，包含的数据、查询、 报表。 武汉理工大学硕士学位论文 目前，有两个机构推出了元数据的交换标准，一个是微软公司的o i m - o l 】e n i n f o r m a t i o nm o d e l ( 开放信息模型) ，另一个是m e t ad a t ac o a l i t i o n 的m d i s m e t a i n t e r c h a n g es t a n d a r d ( 元数据交换标准) 2 3 2 数据转换 在商业智能应用系统中，数据转换主要是指e t l 过程e t l ( e x t r a c t - t r a n s f o r m l o a d ) 即数据抽取、转换、装载的过程。数据抽取是指通过 接口提取源数据，例如o d b c 、专用数据库接口和平面文件提取器，并参照元 数据来决定数据的提取及其提取方式，数据转换是指开发者将提取的数据，按 照业务需要转换为目标数据结构，并实现汇总，数据装载是指经转换和汇总的 数据到目标数据仓库中，可实现s o l 或批量加载。e t l 是商业智能应用系统中 非常关键的一步，它能够按照统一的规则集成并提高数据的价值，是负责完成 数据从数据源向目标数据仓库转化的过程，是实旖数据仓库的重要步骤。e t l 规则设计和实施则是工作量最大的，约占整个项目的6 0 踟。 目前市场上主流的e l lt 具可以分为两大类：一类是专业e t l 厂商的产品， 这类产品一般都具备较完善的体系结构和久经考验的产品，产品的功能之复杂 和详尽，往往能令初次接触的人膛目，但其高昂的价格也会使一般用户望而却 步丽日b u s i n e s s o b j e c t s 公司的b u s i n e s s o b j e c t sd a t ai n t e g r a t o r ，s a s 的e n t e r p r i s e e t l s e r v e r 和a s o e n t i a ls o f t w a r e 的d a t a s t a g e 等；另一类是整体数据仓库方案供 应商，他们在提供数据仓库存储、设计、展现工具的同时也提供相应的e t l 工 具，这类产品一般对自己厂商的相关产品有很好的支持并能发挥出其最大效率， 但结构相对封闭，对其他厂商产品的支持也很有限，m m 、o r a c l e 和m i c r o s o f t 都有此类产品。 当然如果在e t l 过程并不复杂的情况下，手动编写e t le 具也是一个不错 的选择。近年来由于j a v a 的流行和开源运动的兴起，j a v a 领域出现了很多开源 的e t l 项目，如k e t t l e 和o c t o p u s 项目等。对于不太复杂的e t l 过程，相信结 合这些开源项目的手工编码会是一个不错的选择。 2 3 3 数据分析 在建立了数据仓库并通过合适的e t lt 具方法将数据导入以后，我们便可 以对数据进行分析和挖掘。建设商业智能应用系统的目的是为决策人员的决策 武汉理工大学硕士学位论文 支持提供帮助。应用系统中的工具以分析为主，但是仍然包括查询工具。用户 从数据仓库采掘信息时可能有不同的方式，目前有三种基于数据仓库的分析方 法：o l a p 分析方法、数据挖掘的方法和o l a m 分析方法。 ( 1 ) o l a p o l a p ( o n - l i n ea n a l y s i sp r o c e s s ) 分析方法是一种验证型的分析工具。使用 验证型工具进行分析时，用户首先提供自己的假设，然后利用各种工具通过反 复的、递归的检索查询以验证或否定自己的假设。验证型工具一般是多维分析 工具。维是分析的角度。多维工具通过对信息进行多种可能角度的快速、一致 的存取，从而使企业的决策人员能够对数据进行深入的分析和观察。 o l a p 是一个多用户的三层客户，服务器( c s ) 结构，这种结构中复杂的应 用逻辑不是分布在网络上众多的p c 机上，而是集中存放在o l a p 服务器上， 由服务器提供高效的数据存取，安排后台处理和报表的预处理。此结构由数据 源( 数据仓库或者应用系统中的数据源) 、o l a p 服务器及o l a p 客户机( 及 客户端应用软件) 构成。一般来说，o l a p 分成r o l a p ，m o l a p 和h o l a p 三类不同的组织形式，r o l a p 中基本数据和聚合数据均存放在r d b m s 中； m o l a p 中基本数据和聚合数据均存放于多维数据库( m d d ) 中；而h o l a p 中基本数据存放于r d b m s 中，聚合数据存放于多维数据库中。 ( 2 ) 数据挖掘 数据挖掘属于发掘型工具。发掘型工具的应用主要负责从大量数据中发现 数据模式，预测趋势和行为。数据挖掘是一种从大型数据库中提取隐藏的预测 信息的技术。与验证型工具不同，数据挖掘是一种预测和展望的工具，它能够 发掘数据间潜在的模式，发现经营中可能忽略的问题，为企业作出预测性的决 策。数据挖掘涉及的学科领域和方法很多，有多种分类法。根据开采任务分， 可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、 依赖关系或依赖模型发现、异常和趋势发现等等；根据开采对象分，有关系数 据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据 库、异质数据库以及环球网w e b ：根据开采方法分，可粗分为：机器学习方法、 统计方法、神经网络方法和数据库方法。机器学习中，细分为：归纳学习方法( 决 策树、规则归纳等) 、基于范例学习、遗传算法等。统计方法中，可细分为：回归 分析( 多元回归、自回归等) 、判别分析( 贝叶斯判别、费歇尔判别、非参数判 别等) 、聚类分析( 系统聚类、动态聚类等) 、探索性分析( 主元分析法、相关 分析法) 等。神经网络方法中，可细分为：前向神经网络( b p 算法等) 、自组织 武汉理工大学硕士学位论文 神经网络( 自组织特征映射、竞争学习) 等。数据库方法主要是多维数据分析 或o i , a p 方法，另外还有面向属性的归纳方法。目前数据挖掘的常用的分析方 法：关联分析法，序列模式分析、分类分析、聚类分析等。 2 3 4 数据展现 由于商业智能应用系统最终的目的是为了为用户的决策提供信息，因此如 何对分析挖掘出的数据进行展现是一个十分重要的环节。一般来说，数据展现 主要是通过表格、报表以及图形完成的。在这方面，各大商业智能解决方案提 供商均推出各自的展现方案，这些展现技术多数是通过特定的客户客户端实现 的，随着w e b 技术的发展，基于w e b 的展现技术也更广泛的应用于各种商业智 能解决方案中。 武汉理工大学硕士学位论文 第3 章经济状况分析指标体系设计及模型研究 3 1 经济状况分析概述 学生经济状况分析系统中的经济状况分析部分是基于现代评价系统的的一 种实现。现代评价系统是当今蓬勃兴起的一种评价模式，它与以定性分析或半 定量分析为主的传统评价模式不同，它有如下要求： ( 1 ) 评价的指标体系必须全面规范。这要求在对学生经济状况分析系统的 指标体系构建上，必须遵循一定的原则，按照现实情况进行构建。 ( 2 ) 要能够对定性指标定量化，使指标体系能够转化为可计算的，能用计 算机软件予以实现。 ( 3 ) 评价方法应当科学。可以预见，学生经济状况分析系统的指标体系是 一个多指标体系，不可能直接比较其优劣，因此必须借助科学的评价方法，将 多指标体系转换成单指标系统，再进行对比。 对于一个评价系统来说，在开始构建指标体系以及评价方法之前，先要确 定评价主体、评价客体、评价环境、评价方法以及评价目标“”，他们具体关系如 图3 1 所示。 评价烹体 上土 i 评价方法i - - - - i 指标体系及徽据l 上土 评价客体 上多 评价缘鬃 图3 - 1 评价体系结构 ，il11，-ti，-illi!i| 一 评价环境 一 武汉理工大学硕士学位论文 在学生经济状况分析系统中，这些因素划分如下： ( 1 ) 评价主体。评价主体指参与评价的人的群体。在学生经济状况分析系 统中，评价主体包括院、学工部的学生工作人员和学生经济状况分析系统的分 析人员。 ( 2 ) 评价客体。评价客体是指评价的直接对象。在学生经济状况分析系统 中，直接评价客体是指在校学生但是，对于在校学生来说，家庭的经济状况 将直接决定其本人经济状况，因此，学生所在家庭的经济状况也应当作为一个 重要的参考。 ( 3 ) 评价环境。评价环境是一个系统的外部环境。在学生经济状况分析系 统中，我们把评价环境分成两类，一类是狭义上的评价环境，即单指学生在校 的经济活动，另一类是指广义上的评价环境，既包括学生在校的经济活动情况， 也包括学生所在家庭在社会上的经济情况以及其他一些因素( 如获得的社会上 的资助等) 。在两种不同的评价环境中，将会得到不同的评价指标体系及结果。 对不同的评价环境的选择，应当由评价主体自行根据现实情况进行决定。 ( 4 ) 评价方法在根据不同的评价环境得到的不同的指标体系中，根据已 有的不同数据，利用分析统计和数据挖掘的方法进行分析。 ( 5 ) 评价结果。评价结果应该既能够实现学生经济状况与国家最低保障线 之间的纵向对比，也能够实现学生和学生之间的横向对比。 3 2 指标体系设计 3 2 1 指标体系设计的总原则 ( 1 ) 科学性原则。科学性是指标的代表性及其体系的完整性，要求指标不 重复、不遗漏，指标之间要相互具有独立性，不同的指标反映不同的侧面和不 同的内容特征，并能基本反映高校在学生经济状况认定这一方面的主要特点。 ( 2 ) 可对比性原则。指标体系应当具有普遍的适用性，能对不同年级、不 同专业、不同性别的学生经济情况进行综合测定，以便于通过年级之间、性别 之间、系科与专业之间的指标比较，充分体现认定的总体标准。因此，必须要 考虑指标之间的可比性与通用性，尽量排除那些没有可比的特殊因素，力求反 映共性的问题。 ( 3 ) 可行性原则。学生经济状况认定指标体系的建立，既要从理论上注意 武汉理工大学硕士学位论文 它的完整性与科学性，又要注意到它在现实中的可行性与适用性。即指标的数 据资料应便于查找或通过简单的数据整理即可获得。 ( 4 ) 动态完善原则。学生经济状况认定指标体系是一项长期的不断完善的 动态任务。从时间上说，考核评价的时间越长，趋势性的规律就越明显。如果 仅关注某一定点或某一短时间内的认定结果，可能会出现偶然因素的影响，而 使结果出现偏差。因此，要坚持动态完善的原则，逐年修定指标，以更准确地 反映出高校学生经济状况认定的总体水平。 ( 5 ) 定性与定量相结合的原则。对定性的指标在明确其含义的基础上，要 按照某种标准对其进行量化，使其不仅能恰当地反映指标的性质，而且能够进 行精确的比较，并最终能够根据统计分析的方法得出综合的评价。对难以定量 化的定性指标，可以考虑对其进行删减，以避免影响最终结果的客观性。 3 2 2 指标体系的构建思路 指标体系对于评价系统至关重要，对于相同的评价主体和评价客体，在不 同的评价环境下，可以得到不同的指标体系。 高校学生经济状况认定指标体系构建的目的就是为了分析学生在校的经济 状况。为了分析学生的经济状况，我们将评价环境分为两种，一种是将学生在 校的状况、学生家庭及其所在地的经济与社会状况纳入其中，制定相应的定性 与定量指标，合理地认定学生及其所在地的经济状况与贫困程度，以便于通过 横向和纵向的评价与比较，确定该生是否属于贫困生的认定范围；另一种是仅 仅通过学生的在校经济状况进行判断，将学生家庭的经济状况及其他不容易量 化和准确得到的社会情况忽略不计。这样我们可以得到两套指标体系，即全面 经济状况判定指标体系和基于消费的经济状况判定指标体系。 两个指标体系各有优缺点。理论上，全面经济状况判定指标体系更为详细， 判断结果更为准确，然而指标体系中的许多数据难于采集，采集到了以后也难 以判断真伪，这就给评判结果的准确性带来质疑。基于消费的经济状况判定指 标体系的范围较窄，它仅仅通过在校生的消费状况对在校生的经济情况进行判 断，尽管评价指标不够全面，但是对于已经实现消费电子化的大部分高校来说， 这部分数据是准确而丰富的。 总体而言，从不同侧面反映学生、学生家庭及其所在地的经济与社会情况 的指标众多，若将这些指标都纳入高校学生经济状况认定指标体系中，会由于指 武汉理工大学硕士学位论文 标间内涵的交叉，使指标的计算或测定具有不可操作性。所以，构建高校学生经 济状况认定指标体系的总体思路是选择一些比较重要的、具有代表性同时又能量 化的指标，这样，。既达到对学生经济状况认定的目的，又能大大