（计算机应用技术专业论文）基于olap及数据仓库技术的财务分析系统.pdf

基于o l a p 及数据仓库技术的财务分析系统 摘要 o l a p ( 联机分析处理) 与数据仓库技术的一个重要目标就是通过对企业数据的处理 与分析提供更快、更好、更高效的支持能力，从而使企业能够获得更大的竞争优势。与 此同时，在财务电算化日臻完善的今天，企业财务工作越来越趋于向财务分析与财务管 理职能的转变，在此过程中，企业原有的单纯面向财务核算的信息系统已经不能适应新 的需求，如何在核算数据的基础上实现辅助企业管理、辅助决策支持功能，已经成为企 业管理者所关注的目标。文章中，作者开发了一个面向企业的财务分析系统，并在其中 应用了0 l a p 和数据仓库技术以有效地解决企业财务分析工作所面临的问题。 本文试图将o l a p 及数据仓库技术应用于企业财务分析系统的设计与开发，从面向 k p i ( 关键业绩指标) 的指标分析和面向数据集合的数据集分析两个方面着手，在语义定 义、数据处理和数据表现三个层次上对企业数据进行有效的处理和分析。在语义定义层 完成企业数据结构的搭建和语义建模工作；在数据处理层通过一系列的e t l ( 析取、转 换、加载) 操作，实现了对企业财务数据及相关业务数据的有效整合，并且最终形成便 于分析的多维数据体系；进而在数据表现层实现了对目标数据的切片、旋转、钻取等多 种手段的分析操作，以满足企业财务分析、财务管理以及决策支持工作的需要。 文章中，作者从系统的需求分析、财务模型设计、数据模型设计以及功能模块设计 等等几个方面，阐述了一个财务分析系统的开发与实施过程，就财务分析领域中o l a p 及数据仓库技术的应用主题做了一定程度的研究和实践。 关键词：联机分析处理数据仓库多维分析析取转换加载 基于o l a p 及数据仓库技术的财务分析系统 a b s t r a c t t h e2 0 a lo fo l a p ( o n - l i n ea n a l y t i c a lp r o c e s s ) a n dd a t aw a r e h o u s i n gi st oe n a b l e e n t e r p r i s e s t o g a i nc o m p e t i t i v ea d v a n t a g e sb yp r o v i d i n gf a s t a n db e t t e r s u p p o r to fd a t a a n a l y s e so nd a t as t o r e di nc o r p o r a t ed a t a b a s e s a tt h es a m et i m e ，a c c o r d i n gt om o r ea n dm o r e p e r f e c tt ot h ee l e c t r o n i cf i n a n c i a la c c o u n t t h ec o r ef u n c t i o no f 也ef m a n c i a lw o r k i st u r n i n gt o f i n a n c i a l a n a l y s i s a n df i n a n c i a l m a n a g e m e n t i nt h i sp r o c e s s i n g t h eo r i g i n a l o r i e n t e d a c c o u n t i n gf i n a n c i a ls o f t w a r ec a r l ts u i tt ot h en e we n t e r p r i s er e q u i r e m e n t s oi ti sb e c o m i n g t h ee n t e r p r i s em a n a g e r sf o c l l st oh o wt o i m p l e m e n te f f e c t i v em a n a g e m e n ta n dd e c i s i o n s u p p o r tb a s eo nt h ea c c o u n t i n gd a t a i nt h i sp a p e r , t h ea u t h o rd e v e l o p saf i n a n c i a la n a l y t i c a l s y s t e m f o r e n t e r p r i s e i nt h i ss y s t e mh ea p p l i e so l a p a n dd a t a w a r e h o u s i n gt e c h n o l o g y i nt h i sa r t i c l e ，t h ea u t h o ra t t e m p t st oa p p l yt h eo l a pa n dd a t aw a r e h o u s et e c h n o l o g yt o t h ed e s i g n i n ga n dd e v e l o p i n go ft h ef i n a n c i a la n a l y s i ss y s t e mf o re n t e r p r i s e h ei m p l e m e n t s t h es y s t e mi nt w ow a y ：o r i e n t e dk p i ( k e yp e r f o i t n a n c ei n d e x ) a n do r i e n t e dd a t as e t h e i m p l e m e n t st h es y s t e mi nt h r e el a y e r s ：f i r s t , i nt h es e m a n t i cd e f t n i t i o nl a y e r , i te s t a b l i s h e st h e d a t as t r u c t u r ec o n s t r u c ta n ds e m a n t i c m o d e l ；s e c o n d ，i nt h ed a t ap r o c e s s i n gl a y e r , i ti n t e g r a t e s t h ef i n a n c i a id a t aa n dt h eo t h e rb u s i n e s sd a t ai n t ot h ec o a v e n i o n c ea n n l y s i sf o r i l la c c o r d i n gt o e t l ( e x t r a c tt r a n s f o r ml o a d i n g ) a c t i o n ；f i n a l l y , i n t h ep r e s e n t a t i o nl a y e ri ti m p l e m e n t s s l i c e ， r o t a t i o na n dd r i l l d o w n u p a c t i o n s oi tm e e t st h er e q u i r e m e n to ff i n a n c i a l a n a l y s i s a n d f i n a n c i a lm a n a g e m e n tf o re n t e r p r i s e i nt h i sa r t i c l e ，t h ea u t h o re x p l a i n st h ew h o l ep r o c e s sd e v e l o p i n ga n di m p l e m e n t i n ga f i n a n c i a la n a l y t j c a ts y s t e ma b o u t r e q u i r e m e n ta n a l y s i s ，f i n a n c i a lm o d e ld e s i g n , f u n c t i o nm o d e l d e s i g na n d s oo n h ef i n i s h e sal o to fr e s e a r c ha n d p r a c t i c eo n t h et o p i ch o wt oa p p l yo l a p a n dd a t aw a r e h o u s et e c h n o l o g yi n t of i n a n c i a la n a l y s i sf o re n t e r p r i s e k e y w o r d s ：o l a p d a t a - w a r e h o u s ee x t r a c tt r a n s f o r ml o a d 基于o l a p 及数据仓库技术的财务分析系统 0 前言 加入w t o 标志着我国的经济发展进入了一个新的历史时期，经济自由化、贸易全 球化成了这个时代的最强音。企业有了更大的市场和发展空间，但同时也将面临更加激 烈的竞争与挑战。随着企业自动化程度的提高，越来越多的手工工作方式转而由计算机 来替代，从而极大地提高了企业运转的效率，降低了运行成本，增强了企业的核心竞争 能力。尤其是在计算机应用程度较高的财务核算领域，越来越多的企业实现了财务的电 算化改造进程，使财务人员得以从机械的对证、帐、表的核算操作中解放出来，从而可 以更多地关注于财务的管理工作。于是，如何有效地利用已有系统所产生的财务核算结 果，来分析企业运营的情况，总结企业运行中的内在规律，并指导企业采取适当的策略 以应对瞬息万变的市场竞争环境，从而把企业引向有利于其发展的坦途便成为企业领导 及财务工作人员的首要任务。 中国石油东北销售公司便面临如上所述的境况，它是中国石油天然气股份有限公司 炼油与销售分公司的一家下属单位，主要担负着东北地区成品油销售与调运的任务。其 本部及下属分公司统一使用“中油财务管理信息系统”来进行财务核算工作，当面i 临到 财务管理职能时，现有的财务系统在如下几方面表现出不足： 1 帐务数据不集中，无法深入执行面向全局的财务分析功能。在原财务核算体 系下，本部和其下属各分公司的财务帐套各自独立，异地分布， 2 报表数据过于粗略，信息量不足以满足财务分析的需求； 3 财务数据口径过于单一，对销售业务数据的兼容能力不足。原系统是单纯的 财务核算系统，其工作的重心是对财务业务中凭证、总帐、报表的计算和处 理，无法与流通类企业所关心的销售流向、运输方式等业务数据相挂接，制 约了关联分析的实施； 4 财务分析的灵活性要求非常高，分析的目标随市场环境而变，要求系统对需 求的变化具有良好的适应能力； 5 原系统是典型的面向事务处理的系统，不具备联机分析功能。 基于如上所述的情况，公司决策层决定启动开发“石油销售企业进、销、存管理信 息系统”( 简称企业管理信息系统e i s ) 来完成财务及销售业务数据的整合，从而形成一 个统一的企业数据信息体系，以迎接w t o 的挑战。该“石油销售企业进、销、存管理 信息系统”主要构成如下： 基于o l a p 及数据仓库技术的财务分析系统 图0 - 1 财务分析系统在企业管理信息系统的位置 f i g u r e 0 - 1p o s i t i o no f f i n a n d a l a n a l y t i c a ls y s t e m i ne i s 其中，上图中所示的“财务分析系统”( f i n a n c i a la n a l y t i c a ls y s t e m ) 便是本文所要 介绍的目标，也即下文中出现的“本系统”字样的缺省所指。作为上述企业管理信息系 统的部分，财务分析系统是其中的最下游数据处理模块，它从系统的其它模块接受数 据并进行加工和再处理，进而用于分析工作。 近年来，数据仓库技术蓬勃发展，作为其数据表现的最有利技术在线分析处理 ( o l a p ：o n - l i n e a n a l y t i c a lp r o c e s s ) 技术也日益成熟，并在许多领域获得成功的应用。 本财务分析系统便着眼于应用o l a p 及数据仓库技术来解决企业财务分析问题。 基于o l a p 及数据仓库技术的财务分析系统 10 l a p 与数据仓库的概念 1 1o l a p 随着人类文明向信息时代的迈进，形形色色的数据化信息开始爆炸性地充斥于我们 的生存空间，深入到每一个角落。把握住信息就等于把握住了机遇，各个企业无不在寻 求各种方法、采取各种措旌以期在竞争中获得立足之地。然而，如何能迅速准确地获得 多方位的有价值的信息常常困扰者决策管理者们。 在线分析处理技术( o n l i n ea n a l y t i c a lp r o c e s s i n g ，o l a p ) 是信息技术领域近年来悄然 兴起的一种决策支持手段。如何使隐藏在这些纷繁复杂的数据后面的信息具体化、可视 化，是所有决策支持系统诞生的源动力和追逐的目标。在众多的决策支持技术中，o l a p 技术以其直观的数据操作、灵活的分析功能、可视化的结果表达等特点，在数据仓库技 术的支持下得以脱颍而出。它将企业从前台业务管理( o l t p ) 转向后台的决策分析，为企 业各层次的管理人员提供了多角度的便捷的探察企业数据的手段。 联机分析处翌( o l a p ) 的概念最早是由关系数据库之父e f , c o d d 于1 9 9 3 年提出的。 当时，c o d d 认为联机事务处t - 里- ( o l t p ) 已不能满足终端用户对数据库查询分析的需 要，s q l 对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要 对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需 求。因此c o d d 提出了多维数据库和多维分析的概念，即o l a p 。 1 1 1o l a p 的概念 根据o l a p 产品的实际应用情况和用户对o l a p 产品的需求，人们提出了一种对 o l a p 更简单明确的定义，即共享多维信息的快速分析。 1 快速性 用户对o l a p 的快速反应能力有很高的要求。系统应能在5 秒内对用户的大部 分分析要求做出反应。如果终端用户在3 0 秒内没有得到系统响应就会变得不 耐烦，因而可能失去分析主线索，影响分析质量。对于大量的数据分析要达到这 个速度并不容，因此就更需要一些技术上的支持，如专门的数据存储格式、大量 的事先运算、特别的硬件设计等。 2 可分析性 o l a p 系统应能处理与应用有关的任何逻辑分析和统计分析。尽管系统需要事 先编程，但并不意味着系统已定义好了所有的应用。用户无需编程就可以定义 基于o l a p 及数据仓库技术的财务分析系统 新的专门计算，将其作为分析的一部分，并以用户理想的方式给出报告。用户可 以在o l a p 平台上进行数据分析，也可以连接到其他外部分析工具上，如时间序 列分析工具、成本分配工具、意外报警、数据开采等。 3 多维性 多维性是o l a p 的关键属性。系统必须提供对数据分析的多维视图和分析，包括 对层次维和多重层次维的完全支持。事实上，多维分析是分析企业数据最有效的 方法，是o l a p 的灵魂。 4 信息性 不论数据量有多大，也不管数据存储在何处，o l a p 系统应能及时获得信息，并且 管理大容量信息。这里有许多因素需要考虑，如数据的可复制性、可利用的磁盘 空间、o l a p 产品的性能及与数据仓库的结合度等。 1 1 2 o l a p 的多维数据概念 多维结构是决策支持的支柱，也是o l a p 的核心。o l a p 展现在用户面前的是一幅幅 多维视图。 1 维 假定某某是个百货零售商，有一些因素会影响他的销售业务，如商品、时间、商 店或流通渠道，更具体一点，如品牌、月份、地区等。对某一给定的商品，也许他 想知道该商品在哪个商店和哪段时间的销售情况。对某一商店，也许他想知道 哪个商品在哪段时间的销售情况。在某一时间，也许他想知道哪个商店哪种产 品的销售情况。因此，他需要决策支持来帮助制定销售政策。 这里，商店、时间和产品都是维。各个商店的集合是一维，时间的集合是一维，商 品的集合是一维。维就是相同类数据的集合，也可以理解为变量。而每个商店、 每段时间、每种商品都是某一维的一个成员。每个销售事实由一个特定的商 店、特定的时间和特定的商品组成。 维有自己固有的属性，如层次结构( 对数据进行聚合分析时要用到) 、排序( 定义变 量时要用到) 、计算逻辑( 是基于矩阵的算法，可有效地指定规则) 。这些属性对进 行决策支持是非常有用的。 2 多维性 人们很容易理解一个二维表f 如通常的电子表格) ，对于三维立方体同样也容易理 解。 基于o l a p 及数据仓库技术的财务分析系统 o l a p 通常将三维立方体的数据进行切片，显示三维的某一平面。如一个立方体 有时间维、商品维、收入维，其图形很容易在屏幕上显示出来并进行切片。但 是要加一维( 如加入商店维) ，则图形很难想象，也不容易在屏幕上画出来。要突 破三维的障碍，就必须理解逻辑维和物理维的差异。o l a p 的多维分析视图就 是冲破了物理的三维概念，采用了旋转、嵌套、切片、钻取和高维可视化技术， 在屏幕上展示多维视图的结构，使用户直观地理解、分析数据，进行决策支持。 1 1 3 o l a p 的多维数据结构 数据在多维空间中的分布总是稀疏的、不均匀的。在事件发生的位置，数据聚合在一 起，其密度很大。因此，o l a p 系统的开发者要设法解决多维数据空间的数据稀疏和数据聚 合问题。事实上，有许多方法可以构造多维数据。 1 超立方结构 超立方结构( h y p e r c u b e ) 指用三维或更多的维数来描述一个对象，每个维彼此垂 直。数据的测量值发生在维的交叉点上，数据空间的各个部分都有相同的维属 性。 这种结构可应用在多维数据库和面向关系数据库的o l a p 系统中，其主要特点 是简化终端用户的操作。 超立方结构有一种变形，即收缩超立方结构。这种结构的数据密度更大，数据的 维数更少，并可加入额外的分析维。 2 多立方结构 在多立方结构( m u l t i c u b e ) 中，将大的数据结构分成多个多维结构。这些多维结构 是大数据维数的子集，面向某一特定应用对维进行分割，即将超立方结构变为子 立方结构。它具有很强的灵活性，提高了数据( 特别是稀疏数据) 的分析效率。 一般来说，多立方结构灵活性较大，但超立方结构更易于理解。终端用户更容易 接近超立方结构，它可以提供高水平的报告和多维视图。但具有多维分析经验的 m i s 专家更喜欢多立方结构，因为它具有良好的视图翻转性和灵活性。多立方 结构是存储稀疏矩阵的一个更有效方法，并能减少计算量。因此，复杂的系统及 预先建立的通用应用倾向于使用多立方结构，以使数据结构能更好地得到调整， 满足常用的应用需求。 许多产品结合了上述两种结构，它们的数据物理结构是多立方结构，但却利用超 立方结构来进行计算，结合了超立方结构的简化性和多立方结构的旋转存储特 性。 基于o l a p 及数据仓库技术的财务分析系统 3活动数据的存储 用户对某个应用所提取的数据称为活动数据，它的存储有以下三种形式： 1 ) 关系数据库 如果数据来源于关系数据库，则活动数据被存储在关系数据库中。在大部 分情况下，数据以星型结构或雪花结构进行存储。 2 ) 多维数据库 在这种情况下，活动数据被存储在服务器上的多维数据库中，包括来自关 系数据库和终端用户的数据。通常，数据库存储在硬盘上，但为了获得更高 的性能，某些产品允许多维数据结构存储在r a m 上。有些数据被提前计 算，计算结果以数组形式进行存储。 3 1 基于客户的文件 在这种情况下，可以提取相对少的数据放在客户机的文件上。这些数据可预 先建立，如w e b 文件。与服务器上的多维数据库一样，活动数据可放在磁盘 或r a mf - 。 这三种存储形式有不同的性能，其中关系数据库的处理速度大大低于其他两种。 4 o l a p 数据的处理方式 o l a p 有三种数据处理方法。事实上，多维数据计算不需要在数据存储位置上进 行。 1 ) 关系数据库 即使活动的o l a p 数据存储在关系数据库中，采用在关系数据库上完成复 杂的多维计算也不是较好的选择。因为s q l 的单语句并不具备完成多维计 算的能力，要获得哪怕是最普通的多维计算功能也需要多重s q l 。在许多 情况下，一些o l a p 工具用s q l 做一些计算然后将计算结果作为多维引 擎输入。多维引擎在客户机或中层服务器上做大部分的计算工作，这样就 可以利用r a m 来存储数据，提高响应速度。 2 1 多维服务引擎 大部分o l a p 应用在多维服务引擎上完成多维计算，并且具有良好的性能。 因为这种方式可以同时优化引擎和数据库，而服务器上充分的内存为有效 地计算大量数组提供了保证。 3 ) 客户机 在客户机上进行计算，要求用户具备性能良好的p c 机，以此完成部分或大部 分的多维计算。对于1 3 益增多的瘦型客户机，o l a p 产品将把基于客户机的 处理移到新的w e b 应用服务器上。 基于o l a p 及数据仓库技术的财务分析系统 1 1 4 多维数据库 多维数据库( m u l t i d i m e s i o n a ld a t a b a s e , m d d ) 司 简单地理解为：将数据存放在一个 n 维数组中，而不是像关系数据库那样以记录的形式存放。因此它存在大量稀疏矩阵，人 们可以通过多维视图来观察数据。多维数据库增加了一个时间维，与关系数据库相比，它 的优势在于可以提高数据处理速度，加快反应时间，提高查询效率。 目前有两种m d d 的o l a p 产品：基于多维数据库的m o l a p 和基于关系数据库的 r o l a p 。ro l a p 建立了种新的体系，即星型结构。 m d d 并没有公认的多维模型，也没有像关系模型那样标准地取得数据的方法( 如 s q l 、a p i 等) 。基于m d d 的o l a p 产品，依据决策支持的内容使用范围也有很大的不 同。 在低端用户使用基于单用户或小型l a n 的工具来观察多维数据。这些工具的功能 性和实用性可能相当不错，但由于受到规模的限制，它们不具备o l a p 的所有特性。这些 工具使用超立方结构，将模型限制在n 维形态。当模型足够大且稀疏数据没有控制好时， 这种模型将会不堪一击。这些工具使用数据库的大小是以m b 来计量的，而不是以g b 计量的，因此只能进行只读操作，且具备有限的复杂计算。 在高端，o l a p 工具用4 g l 提供了完善的开发环境、统计分析、时间序列分析、财政 报告、用户接口、多层体系结构、图表等许多其他功能。尽管不同的o l a p 工具都使用 了它们自己的多维数据库，但它们在不同程度上也利用了关系数据库作为存储媒体。因 为关系数据库和o l a p 工具同时在高端服务器上处理，所以速度和效率仍然很快。 纯多维数据库引擎也被开发出来。尽管这些工具缺乏4 g l 及充分的开发环境，但却 有比高端m d d 工具所使用的数据库更为复杂的数据库。这些工具也具有统计分析、财 务分析和时间序列分析等功能，并有自己的a p i ，允许其对前端的开发环境开放。 m d d 能提供优良的查询性能。存储在m d d 中的信息比在关系数据库中的信息具有 更详细的索引，可以常驻在内存中。m d d 的信息是以数组形式存放的，所以它可以在不影 响索引的情况下更新数据。因此m d d 非常适合于读写应用。 1 ，1 5o a l p 的多维数据分析 1 切片和切块 在多维数据结构中，按二维进行切片，按三维进行切块，可得到所需要的数据。 如在”城市、产品、时间”三维立方体中进行切块和切片，可得到各城市、各 产品的销售情况 基于o l a p 及数据仓库技术的财务分析系统 2 钻取 钻取包含向下钻取和向上钻取操作，钻取的深度与维所划分的层次相对应。 3 旋转 通过旋转可以得到不同视角的数据。 1 2 数据仓库 1 2 1 数据仓库概念 数据仓库概念始于本世纪8 0 年代中期，首次出现是在号称“数据仓库之父”w i l l i a m h i n m o n 的建立数据仓库一书中。随着人们对大型数据系统研究、管理、维护等方 面的深刻识认和不断完善，在总结、丰富、集中多行企业信息的经验之后，为数据仓库 给出了更为精确的定义，即“数据仓库是在企业管理和决策中面向主题的、集成的、与 时间相关的、不可修改的数据集合”。 数据仓库并没有严格的数学理论基础，也没有成熟的基本模式，且更偏向于工程， 具有强烈的工程性。因此，在技术上人们习惯于从工作过程等方面来分析，并按其关键 技术部份分为数据的抽取、存储与管理以及数据的表现等三个基本方面。 1 数据的抽取：数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的 数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱 机的数据存储介质中导入到数据仓库。数据抽取在技术上主要涉及互连、复制、 增量、转换、调度和监控等方面。数据仓库中的数据并不要求与联机事务处理 系统保持实时同步，因此数据抽取可以定时进行，但多个抽取操作执行的时间、 相互的顺序、成败对数据仓库中信息的有效性则至关重要。 2 存储和管理：数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理 方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要 决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特 点着手分析。 3 数据的表现：数据表现实际上相当于数据仓库的门面，其性能主要集中在多维 分析、数理统计和数据挖掘方面。而多维分析又是数据仓库的重要表现形式， 近几年来由于互联网的发展，使得多维分析领域的工具和产品更加注重提供基 于w e b 前端联机分析界面，而不仅仅是在网上发布数据。 基于o l a p 及数据仓库技术的财务分析系统 1 2 2 从数据库到数据仓库 市场需求是技术发展的源动力。在数据库应用的早期，计算机系统所处理的是从无 到有的问题，是传统手工业务自动化的问题。例如银行的储蓄系统、电信的计费系统， 它们都属于典型的联机事务处理系统。在当时，一个企业可以简单地通过拥有联机事务 处理的计算机系统而获得强大的市场竞争力。记得在8 0 年代末，北京工商银行率先推出 了全市个人储蓄通存通兑业务，广大市民便将先前就近存于不同银行的存款一并取出而 存入了工商银行。这便是通过联机事务处理系统而获得市场优势的案例。其次，当时单 位容量的联机存储介质比现在昂贵得多，相对于市场竞争的压力，将大量的历史业务数 据长时间联机保存去用于分析显然是过于奢侈了。因此，联机事务处理系统只涉及当前 数据，系统积累下的历史业务数据往往被转储到脱机的环境中。此外，在计算机系统应 用的早期，还没有积累大量的历史数据可供统计与分析。从而，联机事务处理成为整个 8 0 年代直到9 0 年代初数据库应用的主流。 然而，应用在不断地进步，当联机事务处理系统应用到定阶段的时候，企业家们 便发现单靠拥有联机事务处理系统已经不足以获得市场竞争的优势；他们需要对其自身 业务的运作以及整个市场相关行业的态势进行分析，从而做出有利的决策。同样就拿北 京各银行的储蓄业务来说，如今各家都拥有了联网的储蓄系统，再要获得市场竞争的优 势，就需要在决策上下功夫，例如在业务密集地区增设自助网点、推出有针对性( 如：某 类职业圈、某年龄段) 的储蓄服务计划。这些决策需要对大量的业务数据包括历史业务数 据进行分析才能得到，而这种基于业务数据的决策分析，我们把它称之为联机分析处理。 如果说传统联机事务处理强调的是更新数据库向数据库中添加信息，那么联机分析 处理就是要从数据库中获取信息、利用信息。因此，著名的数据仓库专家r a l p hk i m b a l l 写道：“我们花了2 0 多年的时间将数据放入数据库，如今是该将它们拿出来的时候了。” 事实上，将大量的业务数据应用于分析和统计原本是一个非常简单和自然的想法。 但在实际的操作中，人们却发现要获得有用的信息并非想象的那么容易：第一，所有联 机事务处理强调的是数据更新处理性能和系统的可靠性，并不关心数据查询的方便与快 捷；联机分析和事务处理对系统的要求不同，同一个数据库在理论上难以做到两全；第 二，业务数据往往被存放于分散的异构环境中，不易统一查询访问，而且还有大量的历 史数据处于脱机状态，形同虚设；第三，业务数据的模式是针对事务处理系统而设计的， 数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和统计。于是，有 人感叹：2 0 年前查询不到数据是因为数据太少了，而今天查询不到数据是因为数据太多 了。针对这一问题，人们专门为业务的统计分析建立一个数据中心，它的数据可以从联 机的事务处理系统、异构的外部数据源、脱机的历史业务数据中得到；它是一个联机的 系统，专门为分析统计和决策支持应用服务，通过它可满足决策支持和联机分析应用所 要求的一切。这个数据中心就叫做数据仓库。如果需要给数据仓库个定义的话，那么 可以把它看作个作为决策支持系统和联机分析应用数据源的结构化数据环境。数据仓 基于o l a p 及数据仓库技术的财务分析系统 库所要研究和解决的问题就是从数据库中获取信息。 那么数据仓库与数据库( 主要指关系数据库) 又是什么关系呢? 回想当初，人们固守 封闭式系统是出于对事务处理的偏爱，人们选择关系数据库是为了方便地获得信息。我 们只要翻开c j d a t e 博士的经典之作 a ni n t r o d u c t i o nt od a t a b a s es y s t e m s ) ) 便会发现： 今天数据仓库所要提供的正是当年关系数据库要所倡导的。然而，“成也萧何，败也萧何”， 由于关系数据库系统在联机事务处理应用中获得的巨大成功，使得人们己不知不觉将它 划归为事务处理的范畴；过多地关注于事务处理能力的提高，使得关系数据库在面对联 机分析应用时又显得“老革命遇到新问题”今天的数据仓库对关系数据库的联机分 析能力提出了更高的要求，采用普通关系型数据库作为数据仓库在功能和性能上都是不 够的，它们必须有专门的改进。因此，数据仓库与数据库的区别不仅仅是应用的方法和 目的上的，同时也涉及产品和配置。 以辩证的眼光来看，数据仓库的兴起实际上是数据管理的一种回归，是螺旋式的上 升。今天的数据库就好比当年的层次数据库和网型数据库，它们面向事务处理；今天的 数据仓库就好比是当年的关系数据库，它针对联机分析。所不同的是，今天的数据仓库 不必再为联机事务处理的特性而奔忙，由于技术的专业化，它可更专心于联机分析领域 的发展和探索。 从厂商的角度看，经过长期发展，联机事务处理系统的市场至9 0 年代中期出现饱和 迹象，其增长速度明显减慢。这导致各大数据库厂商的传统业务增长面临严峻挑战，寻 求新的业务增长点成为他们的当务之急。数据仓库的兴起无疑为数据库产品创造了巨大 的市场，它成为2 0 世纪末到2 l 世纪初数据库市场的一个新的增长点。因此，数据仓库 这个词儿打一开始便伴随着轰轰烈烈的市场炒作。对于广大用户来说，只有从自身应用 需求出发，破除技术和概念的神秘性，奉行“拿来主义”，避虚就实，密切关注技术发展 的方向，方可获得满意的产品、解决方案和经济效益。 总之，数据仓库并非是一个仅仅存储数据的简单信息库，因为这实际上与传统数据 库没有两样。数据仓库实际上是一个“以大型数据管理信息系统为基础的、附加在这个 数据库系统之上的、存储了从企业所有业务数据库中获取的综合数据的、并能利用这些 综合数据为用户提供经过处理后的有用信息的应用系统”。如果说传统数据库系统的重点 与要求是快速、准确、安全、可靠地将数据存进数据库中的话，那么数据仓库的重点与 要求就是能够准确、安全、可靠地从数据库中取出数据，经过加工转换成有规律信息之 后，再供管理人员进行分析使用。 基于o l a f 及数据仓库技术的财务分析系统 2 系统概述 财务分析工作作为管理会计领域的项重要工作内容，主要隶属于管理会计范畴， 与财务会计耜比，它更强调分析对象熙综台性、分析方法的灵活性以及表现方式的多样 性。 2 1 与本财务分析软件相关的几个主要问题 1 财务模型的重要性； 2 与现有财务核算系统的紧密集成能力； 3 对财务范畴外的其它业务数据的兼牧并蓄能力； 4 数据处理方式、方法的可定制： 5 分析结果的可再用性： 2 2 本系统功能定位 本财务分析系统的最根本目标是为管理者制定管理决策提供数据支持。这种服务是 通过为管理者提供有效的数据分析表的手段来实现的，于是本软件的工作基础就是前文 提到的财务核算及销售业务数据。把财务核算系统产生的财务及销售业务相关数据按照 管理的需求组织成财务分析表格，这便是本财务分析系统的一项重要工作内容。 2 3 本系统的设计思想 鉴于如上所述的情况，系统的设计及开发有必要借鉴当代计算机科技发展的最新成 果，以最大限度地保证系统设计的合理性及实施过程的可行性： 1 应用联机分析处理技术( o l a p ) ，为系统的数据处理思想找到科学依据 2 借鉴数据仓库的数据管理思想，实现对系统数据的有效存储和管理 3 运用软件体系结构的设计理念，保证系统基础架构的科学性与合理性 4 发挥软件设计模式的优点，应用于系统实现，提高系统的运行效率 设计模式是对特定问题经过无数次经验总结后提出的能够解决它的优雅的方案。设 计模式并且能够指导、简化你设计，最终将会导出一个优秀的解决方案。 基于o l a p 及数据仓库技术的财务分析系统 2 4 系统开发环境及运行环境 2 4 1 开发环境 p o w e r b u il d e r 65 数据库前端开发工具 s y b a s es o ls e r v e r1 1 数据库； 2 4 2 运行环境 应用程序：m i c r o s o f tw i n d o w s9 5 9 8 2 0 0 0 m e 及兼容操作系统； 数据库：s y b a s es q ls e r v e r1 1 或s y b a s es q la n y w h e r e5 5 及兼容数据库 基于o l a p 及数据仓库技术的财务分析系统 3 需求分析 为了使系统能够有效地满足用户的要求，我们对用户的当时工作状况及对目标系统 的需求做了细致的调研工作。 3 1 原财务分析工作状况 当时，中国石油东北销售分公司财务分析工作主要以来自各下属单位的财务报表及 由此而形成汇总报表数据为主体，并结合对电子表格为载体的其它销售业务数据，开成 分析工作的目标数据集合，其工作流程如下所示： 图1 - 1 原手工方式下的财务分析流程 f i g u r e1 - lt h e o r i g i n a l f l o w d i a g r a m o f f i n a n c i a l a n a l y s i s 这种用手工方式进行的经济活动分析工作不可避免的存在数据量大、计算繁琐、时 效性差等弱点，经常是由于时间和工作量的关系而不能作进一步的细化分析工作。故此 迫切需要一种更科学的方法来及时、准确、有效的完成中国石油东北销售分公司的经济 活动分析工作。 由于计算机有计算速度快，按程序执行等特点，可将分析过程编制到计算机中摸拟 人工的分析过程，日常工作中只要提供分析所需的原始数据，计算机就能迅速、准确的 基于0 l a p 及数据仓库技术的财务分析系统 得出分析结果，并可以使用图、表等多种方式展示出来，因此，利用计算机的这些特点 结合本公司的实际分析过程编制分析系统，可以有效的避免手工分析的诸多弱点，以达 到科学性、高效性、准确性的目的，更圆满的完成分析过程。 3 2 系统的目标 针对上述情形，目标系统决定在如下几方面协助用户实现有效的财务分析工作： 1 在纵向上，整合各级别单位的财务数据成为统一体，现时实现数据在物理存储 及逻辑结构上的集中，为进一步的处理及分析工作奠定前提基础； 2 在横向上，集成财务系统及进销存系统等多方面业务数据，形成横跨多个部门、 面向企业全局的广泛权威的分析基础： 3 根据用户实际设计科学合理的财务分析模型，使财务分析工作按最优化的流程 来开展； 3 。3 用户需求的特点 本节旨在分析用户需求的特点，总结归纳出系统的工作要点，以便在后序的工作中 能够有的放矢地开展工作。 3 3 1 财务工作的特点 企业中的财务工作是为企业运行服务的，由此决定了其具有显著的特征，对这些特 征的深入研究对系统的设计与实现都是有意义的，也是完全必要的。通过对用户需求的 深入了解，可将其概括如下： 1 证帐表是财务核算的中心内容，也是其最主要的工作成果。凭证作为财务数据 的最重要的数据入口，以原始单据的方式为财务系统提供数据；总帐及明细帐 以月为单位记载财务科目的借、贷、余信息；报表对表格形成归纳并概括出企 业月度、季度、半年或年度财务状况； 2 时间上的规律性。以月为单位进行财务处理是财务部门工作的特点，各单位每 月末进行结帐，对本月财务帐做封存处理，并为下月财务核算工作做准备：各 4 基于o l a p 及数据仓库技术的财务分析系统 下属单位每月末向总部上报其当月财务报表：月度工作循环成为财务工作的最 明显的节奏体现； 3 3 2 分析工作的需求特点 与一般的面向事务的企业信息系统( o l t p ) 明显不同，本系统所面向的分析工作需 求具有以下专业化特征： 1 人机交互的操作方式。要求由用户来驱动分析的进程，以生成一系统分析表格 和图形。用户在其分析报表里可以根据其自身的需求来确定所需信息的范围、 特性，然后由系统去实施并返回结果； 2 快速反应需求。用户需要分析大量的数据，从而做出业务决策。但是，用户往 往只有有限的时间来完成这些分析工作并做出决策，以应付快速变化的市场条 件。 3 复杂的分析。财务及业务分析包括寻找相当复杂问题的答案，经常要求对数据 进行反复分析。一般情况下，用户涉及的问题都是在多种条件上，具有复杂子 问题的综合性的问题。 4 动态的业务环境。用户需要通过不断变化的途径对信息进行访问，以期快速地 解决待定的业务问题。当业务环境发生变化时，用户需要在复杂多变的方式下 对数据进行访问和分析。这经常包括贯穿不同主题领域和业务指标的能力。 3 4 财务分析的工作内容 经过深入的调研和分析，了解到中油销售东北公司财务分析工作内容有如下两方面 内容： 3 4 1 关键业绩指标( k p i ) 分析 主要体现在对影响企业运营的若干个业绩指标进行定期的计算、考核，以监控企业 运行状态，洞察企业运转规律，把握企业发展方向。这种指标具有目标数据明确，计算 方法经典，分析需求保持常年稳定的特点： 基于o l a f 及数据仓库技术的财务分析系统 1 在指标分析的过程中，分析数据来源涉及到本部及下属各单位上报的各种财务 报表，可能是某一个单位，几个单位，板块，国内、国外贸易； 2 主要的分析过程是以帐务数据、损益表、资产负债表为主线对进行追踪分析。 3 ，其它特征： 1 ) 观注要点：主要关心成品油调动及销售中涉及的费用、成本、毛利等指标 2 ) 相关系统：c n p c f m i s 、远程报帐子系统； 3 ) 主要指标：投资资本回报率、利润总额、吨油现金营销成本、吨油毛利、 吨油利润、吨油商流费用； 4 ) 对比值：本年实际数据、本年预算数据、上年同期数据； 5 ) 数据类别：数据、金额； 4 主要分析内容及要求涉及： 1 ) 销售收入情况：销售量分析、销售毛利分析、销售价格分析； 主要数据来源：损益表、主营业务费用明细表、管理费用和财务费用表、 主营业务利润明细表及各报表底稿。 a ) 销售量分析：采用对比分析法分析销售量完成情况，将本年销售量与 去年同期对比，分析增减变动原因，与本年预算对比分析完成情况。 采用钻取分析法按各流向、日期、品种将分析结果细化到各分公司： 采用结构分析法分析销售量的组成结构及各部分所占比重： b ) 销售毛利分析：采用对比分析法将东北销售公司和公司本部、所属分 公司等单位本期毛利情况与这些单位去年同期数相比较，计算出毛利 收入的增减变动情况。按流向、日期、品种对比分析毛利情况； c ) 销售价格走势：采用对比和趋势分析法将东北销售公司和所属分公司 等单位不同成品油的价格变动趋势。按品种和流向分析成品油价格随 时间的变动情况，并预测价格的走势。 2 ) 费用情况：营业费用分析、管理费用分析、财务费用分析； a ) 营业费用：采用对比分析方法分析上年与本年同期业务费用按流向变 动情况；采用结构分析的方法分析各项费用按流向所占比例，同时还 应分析出各主营品种所占费用的比例情况； b ) 管理费用：采用对比分析方法分析集团公司及下属单位上年同期管理 费用与本年同期管理费用的变动情况；采用结构分析的方法分析各项 费用所占比例，同时还应分析出管理费用在各单位的比例分布情况； c ) 财务费用：采用对比分析方法分析集团公司及下属单位本期财务费用 与上年同期财务费用的变动情况； 基于o l a f 及数据仓库技术的财务分析系统 3 ) 财务资产情况：资产结构分析、负债结构分析、所有者权益分析、资金情 况分析； 曲资产结构分析：通过使用对比分析和结构分析的方法，计算出流动资 产占总资产的百分比：货币资金占流动资产的百分比：应收帐款占流 动资产的百分比；其他应收款占流动资产的百分比从而得出分析结论； b ) 负债结构分析：通过使用对比分析和结构分析的方法，对比期初数和 计算流动负债占负债总额的百分比；流动负债占负债总额的百分比； 长期负债占负债总额的百分比；期未资产负债率，得出分析结论； c ) 所有者权益情况：通过与年初数对比分析得出分析结论； d ) 资金情况：通过与年初数对比分析得出分析结论。分析货币资金、存 货、应收应付款的变动情况； 4 ) 利润情况：依据上年同期及本年前期经营情况，采用对比方法进行分析。 按流向分析销售量、