（管理科学与工程专业论文）财务报表数据多维分析系统的研究.pdf

摘要 财务报表数据多维分析系统采用大连经济技术开发区三年间各行业所有 企业财务报告中的事务级数据为研究对象，通过编制程序对这些财务历史数据 进行集成、转换、清理和抽取，将其按照财务主题重新组织成面向分析评价的 数据仓库，然后在o l a p 服务器中构建基于数据仓库的多维数据模型，并结合财 务分析方法中的比率综合评价法，应用切片、切块、钻取等多维分析方法，最 后实现了从不同角度、不同侧面对该地区企业的经营和财务状况进行分析与评 价，以达到为支持政府部f - j 伟t j 定地区经济决策提供有用信息的目的。同时，对 将数据仓库及联机分析处理技术应用于政府决策支持这一新的应用领域做出了 有益的尝试。 数据仓库和联机分析处理是最近十年发展起来的新的决策支持研究方 向。通过创建这个财务报表数据多维分析系统，从数据仓库及联机分析处理技 术的概念的分析和探讨、数据仓库和联机分析处理技术发展历程的研究、数据 仓库的设计和创建( 其中包括需求分析，概念、逻辑、物理模型设计等) 、联 机分析处理基于数据仓库之上的多维分析的设计和应用几个方面，对数据仓库 及联机分析处理技术进行了较为全面的研究与应用。 关键词： 数据仓库：数据集市；联机分析处理；决策支持系统 财务报表；财务分析 a b s 仃a c t d a t ai na l le n t e r p r i s ef i n a n c i a ls t a t e m e n t so ft h r e ey e a r so f c e r t a i nd i s t r i c ti st r e a t e da sr e s e a r c ho b j e c tt ot h em u l t i - d i m e n s i o n a l a n a l y s i ss y s t e ma b o u tf i n a n c i a ls t a t e m e n t s ，a n di so r g a n i z e dt od a t a w a r e h o u s ef a c i n gt of i n a n c i a ls u b j e c tb yp r o g r a m i n gt oe x t r a c t 、 t r a n s f o r ma n dl o a d t h e nt h e ya r ec o n s t i t u t e dt ot h em u l t i - d i m e n s i o n a l d a t am o d e lb a s e do nd a t aw a r e h o u s ei no l a ps e r v e r f i n a l l yt h es y s t e m r e a l i z e sa n a l y s i sa n de v a l u a t i o no nt h em a n a g e m e n ta n dt h ef i n a n c i a l a f f a i r sc o n d i t i o na 1 1e n t e r p r i s e so ft h i sd i s t r i c tf r o md i f f e r e n t a n g l e s a n ds i d e s ，b yu s i n gm u l t i - d i m e n s i o n a la n a l y s i sa n df i n a n c i a l a n a l y s i s m e t h o d t oa p p l yt h ed a t aw a r e h o u s e t e c h n o l o g yi nt h eg o v e r n m e n t d e p a r t m e n tm a k i n gd e c i s i o n ，t h ep r o f i t a b l et r i a li sd o n ei nt h i sn e w a p p l i c a t i o nd o m a i n + d wa n do l a p t e c h n o l o g ya r et h en e wd i r e c t i o no ft h es u p p o r td e c i s i o n r e s e a r c hc u r r e n tt e n y e a r s c o m p a r a t i v e l ya c r o s s t h e b o a r dr e s e a r c ha n d a p p l yt h ed wa n do l a pt e c h n o l o g yf r o ms e v e r a la s p e c t ss u c ha sd i s c u s s i n 膏 t h ec o n c e p to ft h ed wa n d o l a p ，r e s e a r c h i n gt h e yd e v e l o p m e n te x p e r i e n c e ， d e s i g na n dc o n s t r u c t i n go fd wa n dm u l t i d i m e n s i o n a la n a l y s i s a p p l i c a t i o n ， b yc o n s t r u c t i n gam u l t i d i m e n s i o n a la n a l y s i ss y s t e ma b o u tf i n a n c i a l s t a t e m e n t sd a t a k e yw o r d ：d a t aw a r e h o u s e ( d 忉 s t a t e m e n t s ：fin a n c ：d a t am a r t ：o l a p ：d s s ：f i n a n c i a a la n a j y s is 财务j 挺褒数据多维分析系统的研究 1 引言 1 1 问题的提出 财务报表数据多维分析系统是以大连经济技术开发区各个行业的数千家企 业自1 9 9 8 2 0 0 0 年的年终财务报告为研究对象的，采用何种技术，利用何种 方法，能够对这些财务历史数据进行有效的分析亵剥忍，以达到对地区企业的 总体的经营业绩和财务状况进行分析、评价，为政府部门制定经济决策提供有 用信息，是系统所要解决的主要问题。 企业的财务报表是由资产负债表、利润表、现金流量表及会计报袁附注等 组成，它全面、系统、综合地反映了企业的财务状况、经营成果和现金流量情 况，是经营者和外部人员了解企业经营状况的可靠的信息资料。财务数据并不 只对企业经营者有用，与企业利益相关者，小到股民，大到行业主管政府、财 政税务机关、银行信贷部门等都会对企业的财务数据表示关注，或收集、或使 用、或分析、或监控。目前，如何通过科学、有效的财务分析手段，掌握企业 的经营和管理现状，发现企业经营管理中存在的问题，预测企业未来的发展前 景，已受到了社会各界的普遍关注。 目前，企业上报到政府的财务报表大多是e x c e l 电子表格的形式，e x c e l 作为目前通用的一个财务工作平台，只是对企业短期内的各种财务操作( 包括 统计、分析、制表等) 十分有效。但是如果将e x c e l 报表作为一种分析手段， 不仅财务人员需要制作大量种类繁多格式复杂的报表。而且分析者需要的数据 分散于各个报表之中，并没有被系统而合理的组织起来，使得分析者使用起来 很不方便。而目前市面上比较成熟的财务分析软件也都是针对单个企业而设计， 所能提供的也仅仅是企业运作当前状态的财务信息和浅层次会计指标，缺乏针 对历史数据的决策分析功能，因此从各方面考虑都不适用于多个企业多个行业 的针对地区经济发展趋势分析。考虑到数据仓库和联机分析处理技术所特有的 针对大量数据、从多维角度分析的特点，系统采尾数据仓痒及联杌分析处理技 术作为开发手段，这也是对将数据仓库及联机分析处理技术应用于政府决策的 一次有益的尝试。 财务报褒数据多维分析系统的研究 数据仓库和联机分析处理技术是在市场竞争日趋激烈，企业更加强调决策 的及时性和准确性这一背景下产生的。在过去的二十年中，大量的企业利用关 系型数据库来存储和管理业务数据，并建立相应的应用系统来支持日常业务运 作。这种应用以支持业务处理为主要目的，被称为联机事务处理( o l t p ，o n l i n e t r a n s a c t i o np r o c e s s i n g ) 应用，o l t p 存储操作性数据或者叫做业务数据。多 年实践证明，在事务性环境中直接构造分析型应用是一种失败的尝试，因此要 提高分析和决策的效率和有效性，必须把分析型数据提取出来，按分析决策主 体重鬏组织，建立一个综合，便于分析的处理环境。丽数据仓库技术以关系数 据库为基础，辅以联机分析处理和数据挖掘技术，提供了最佳的信息利用的解 决方案。 数据仓库是为管理者决策分析服务的，它其实也是一个数据库，包含那些 通常表示某个组织机构业务历史的数据。遇过分析这些历史数据，可以支持对 分散的组织单元进行从策硌计划到性能评估的多级业务决策。对数据仓库中的 数据进行组织是为了支持分析，而不象在联机事务处理系统( o l t p ) 中那样是 为处理实时事务。而联机分析处理( o l a p ，o n l i n ea n a l y t i c a lp r o c e s s i n g ) 正 是使客户端应用程序实现对这些经过组织的历史数据进行高效率访问的一种技 术，它能使数据仓库能够快速响应重复而复杂的分析查询，联机分析处理的主 要特性就是其多维性，所谓多维性就是决策者可以跌多个角度对所感兴趣的事 务进行查询分析。 综上所述，利用数据仓库和联机分析处理技术对财务报表数据进行多维分析 不仅可必将分析数据统一管理起来，而且可以利用o l a p 的多维分析模式，将数 据依据不同维群集起来，以便可以从多角度、多侧面观察和分析数据。因此是一 种极住豹解决方案。 1 2 国内外同类研究发展现状 1 2 ，l 财务信息化的发展现状 i 了技术为财务信息亿提供了强大的技术，财务软件经过l o 多年的发展， 从单项处理向会计电算化，从会计电算化向管理型财务软件，从管理型财务软 件向财务、进销存业务一体化集中管理软件发展的过程中，i t 技术的飞速发展 财务报褒数据多维分析系统的研究 起到了强大的推进作用，财务软件技术平台也从d o s 到w i n d o w s 再到w e b b a s e 技术架构从f s 到c s 再到b s 发展，财务软件从桌面应用走向网络应用a 早期的财务管理软件，其功能主要体现在会计核算方面，也就是人们常说 的会计电算化，它为规范企业会计核算行为、建立健全财务制度、提高会计工 作效率及会计数据质量发挥了重要作用。到1 9 9 5 年以后，企业开始推动我国财 务软件从“核算型”向“管理型”的发展，其原因是我国财务软件的功能在当 时主要是以事后核算为主，管理功能不强，与国际同类软件相比还存在很大差 距。而随着市场经济的发展，大批企事业单位被推向市场，逐渐成为独立的法 人实体，需要在预测的基础上自主进行生产经营决策。同时，为了保证决策目 标的实现，财务管理不仅要总结过去的财务状况，还要能起到为经营管理提供 决策依据的作用。这样，原有体制下以事后核算为主的财务管理软件已不能满 足要求，需要开发集预测、控制和核算分析功能于一身的“管理型”财务软件。 但是目前为止，我国财务软件向“管理型功能”过渡效果并不理想，原因 是财务软件缺少分析和决策的技术支持。财务系统所能提供的，仅仅是企业运 作当前状态的财务信息和浅层次会计指标。而决策者往往需要了解过去的情况， 以及对若干财务状况的现状分析，才能发现有助于决策的趋势和模式。由于财 务软件仅作为o l t p ( 联机事务处理) 性质的系统，缺少对企业财务运行的历史的、 多视角的分析，定制的报表也难以及时反馈出企业针对性目标的报告。此外， 财务系统中在事务处理完成以后存留的大量数据，除了备查以外就没有更多的 利用，甚至成为负担。因而，和其它o l t p 类型软件一样，企业对财务系统的巨 大投入，仅仅获得部分回报，系统更大的潜能并没有发挥出来。财务系统积累 的数据犹如一座未开发的金矿，但财务软件本身缺乏发掘的手段。 在财务软件包中加入数据仓库、联机分析处理和数据挖掘等“商业智能” 技术，发掘现存数据的深层次的关系，用于改进事务处理的高层次决策，这是 上个世纪最后几年国外重要企业管理软件发展的趋势之一。这样，它可以为财 务管理中提供包括财务收益率、现金流量、资产管理等业务的综合分析。多维 视图图表、分析报告、建立“w h a t i f i ，分析及模拟最佳和最差案例情景等。企 业由于将业务智能系统和财务系统之间的循环闭合起来，可起到优化对财务系 统投资的作用，使财务系统由一个巨大数据黑箱变为多个视角均透明的“多维 水晶球”，企业的数据也因此变为可以利用的决策信息。而随着我国加入w t o 财务报褒数据多维分析系统的研究 和市场经济的不断深化，对财务数据进行分析利用，将会计信息与企业的经营 管理活动有机联系起来，及时了解和掌握企业经营与财务状况及变化趋势，有 效进行企业经营业务的控制和评价，已成为当前企业重视的热点问题，因此尽 快实现财务软件的“财务分析+ 决策支持”功能、将商业智能技术加入到财务软 件中，提高其决策功能应该是其现在发展的方向。 1 2 2 数据仓库与联机分析处理技术概述 数据仓库、联机分析处理和数据挖掘是最近十年发展起来的新的决策支持研 究方向，这是三种相互独立又相互关联的信息处理技术，这三种技术是新一代决 策支持系统( d s s ) 的基础。目前开发的综合d s s 是以数据仓库( d a t a w a r e h o u s e ) 技术为基础，以联机分析处理( o l a p ) 和数据采掘( d a t am i n i n g ) 工具为手段 进行实施的一整套解决方案。 目前，数据仓库广泛被接受的概念是被尊为数据仓库之父的w h i n m o n 在 1 9 9 1 年所提出的：“数据仓库是一个面向主题的、集成的、时变的、非易失的 数据集合，支持管理部门的决策过程”“1 。这个简短而又全面的定义指出了数 据仓库的主要特征。 面向主题的( s u b j e c t o r i e n t e d ) ： 数据仓库围绕一些主题，如顾客、供 应商、产品和销售组织。数据仓库关注决策者的数据建模与分析，而不是 集中于组织机构的日常操作和事务处理。 集成的( i n t e g r a t e d ) ： 通常，构造数据仓库是将多个异种数据源，如关 系数据库、一般文件和联机事务处理记录，集成在一起。使用数据清理和 数据集成技术，确保命名约定、编码结构、属性度量等一致性。 时变的( t i m e v a r i a n t ) ： 数据存储从历史的角度提供信息。数据仓库中 的关键结构，隐式或显式地包含时间元素。 非易失的( n o n v o l a t i l e ) ： 数据仓库总是物理地分离存放数据；这些数据 源于操作环境下的应用数据。通常，它只需要两种数据访问：数据的初始化 装入和数据访问。 数据仓库是一个过程，具体地说数据仓库不是一种现成的软件或硬件产品， 而应该称之为一种解决方案，这种解决方案通常被称之为数据仓库系统，它是一 个决策支持系统。随着数据仓库理论的发展，数据仓库系统已逐步成为新型的决 策管理信息系统的解决方案。数据仓库系统可以理解为广义上的数据仓库，与之 财务报褒数据多维分析系统的研究 相对应的另一个概念是狭义的数据仓库，它是指一个装载大量历史性数据，与组 织机构的操作数据库分别维护的数据库，区分这两个概念对于数据仓库的理解是 十分重要的。 通过分析大量参考文献，可以从三个方面来理解和划分数据仓库： 1 、从结构上化分，它本身包括三部分内容： 数据层。实现对企业操作数据的抽取、转换、清洗和汇总，形成信息数据， 并存储在企业级的中心信息数据库中。 应用层。通过联机分析处理，数据挖掘等应用，实现对信息数据的分析。 表现层。通过前台分析工具，将查询报表、统计分析、多维联机分析和数 据发掘的结论展现在用户面前。 2 、从技术的角度来分类，有以下是几种有代表性的数据仓库： 运作型数据存储( o d s ，o p e r a t i o n a ld a t as t o r e ) ： 包含数据仓库和运 作系统两种特性的混合数据仓库系统： 数据集市：面向部门工作组的特定应用、可快速实现的小规模数据仓库； 探索型数据仓库( e x p l o r a t i o nw a r e h o u s e ) ：在这种数据仓库中，使用 者( e x p l o r e r ) 可以针对海量数据的细节进行复杂的查询； 数据挖掘数据仓库( d a t am i n i n gw a r e h o u s e ) ：在这种数据仓库之中， 数据挖掘者可以验证自己的假定、判断和猜测； 3 、从应用角度出发，数据仓库应用集中在如下三个领域： c r m 、e r p 和电子商务，构成了b i ( b u s i n e s si n t e l l i g e n c e ) 这一新兴领 域。 图1 | 1b i 系统的结构和系统中各部分之间的关系 f j g 1 1 t h ec o n s t r u c t o f b ls y s t e ma n d t h er e l a t i o n s h i pb e t w e e np a r t s o f b l 财务报褒数据多维分析系统的研究 从图1 1 中可以看出，数据仓库是b i 的基础，联系分析处理和数据挖掘是 数据仓库上的两种不同目的的数据增值操作。从实现的角度讲，b i 是指企业的 决策人员以企业中的数据仓库为基础，经由o l a p 工具、数据挖掘工具、加上决 策规划人员的专业知识，从数据中获得有用的信息，帮助企业获取利润。从应 用的角度看，b i 帮助用户对商业数据进行o l a p 和数据挖掘，例如预测发展趋 势、辅助决策、对客户进行分类、挖掘潜在客户等等。从数据的角度看，b i 使 得很多事务性的数据经过抽取、转换之后存入数据仓库，在经过聚集、切片或 者聚类、分类等操作之后形成有用的信息、规则，来帮助企业的决策者进行正 确的决策。 数据仓库是决策分析的基础，它为决策分析提供了分析型的数据，而联机分 析处理( o l a p ) 正是使用多维数据集提供对数据仓库数据进行快速访问，使客 户端应用程序实现对这些数据进行高效率访问的一种技术。o l a p 建立在多维视 图的基础上，为数据仓库数据提供了一种多维表现方式，能够帮助决策者进行及 时有效分析、判断和预测，获取更多效益，并且满足d s s 从多种角度对数据进行 快速、一致、交互地分析，克服传统d s s 交互能力差的弊病，使决策者能够对数 据进行深入观察。o l a f 服务器使用为用户预定义的多维数据视图对数据仓库的 信息进行统计分析处理，为具有明确分析范围和分析要求的用户提供高性能的决 策支持。 目前公认的一种对o l a p 更简单明确的定义，即共享多维信息的快速分析 ( f a s ta n a l y s i so fs h a r e dm u l t i d i m e n s i o n a li n f o r m a t i o n ，f a s m i ) 2 j 。 ( 1 ) 快速性：这意味着系统响应用户的时间要快速，系统应能在5 秒内对 用户的大部分分析要求做出反应。对于大量的数据分析要达到这个速度并不容 易，因此更需要一些技术上的支持，如专门的数据存储格式、特别的硬件设计等。 ( 2 ) 可分析性：这意味着系统应能处理与应用与用户和应用程序有关的任 何商业逻辑分析和统计分析，并且对最终用户来说还要足够简单。 ( 3 ) 共享性：这意味着系统要符合数据保密的安全需求。即使是多个用户 同时使用，也能根据用户所属的安全级别，让他们只能看到他们应该看到的信息。 ( 4 ) 多维性：多维性是o l a p 的关键属性。系统必须提供对数据分析的多维 视图和分析，包括对层次维和多重层次维的完全支持。多维分析是o l a p 的灵魂。 财务报褒数据多维分析系统的研究 ( 5 ) 信息性：不论数据量有多大，也不管数据存储在何处，o l a p 系统应能 及时获得信息，并且管理大容量信息。 1 2 3 数据仓库与联机分析处理技术的发展历程 1 9 9 1 年，w h i n m o n 发表了b u i l d i n gt h ed a t aw a r eh o u s e 一文，正式提 出了数据仓库概念及相关内容。两年后，在数据仓库理论技术的基础上，关系 数据库之父，i b m 公司的e f c o d d 发表了p r o v i d i n go l a p1 ou s e ra n a l y s i s 文，提出o l a p 技术，并给出了关于o l a p 产品的十二条评价准则，这些准则 是我们开发o l a p 产品应遵循的基本原则，得到人们的广泛认可。从此以后， 出现了以数据仓库和o l a p 技术为基础的决策支持系统的研究和开发热潮。 虽然i n m o n 提出的数据仓库概念被公认为是最权威的数据仓库概念，但其 实关于数据仓库最早可以追溯到2 0 世纪7 0 年代末m i t 的一项研究，第次， m i t 的研究员将业务系统和分析系统分开，并采用单独的数据存储和完全不同 的设计准则。但是，先于当时的信息处理和数据存储能力有限，该研究只是确 立了一个论点：这两种信息处理的方式差别如此之大，以至于它们只能采用完 全不同的架构和设计方法。到8 0 年代后期，当时技术最先进的d e c 公司已经开 始采用分布式网络架构来支持其业务应用，并且从公司各部门抽调不同人员组 建了新的小组，研究新的分析系统架构，该小组结合l i l t 的研究结论，建立了 t a 2 ( t e c h n i c a la r c h i t e c t u r e2 ) 规范，第一次将交互界面作为单独的组件提 出来。 同时，在1 9 8 8 年1 9 9 1 年，一些前沿的公司已经开始建立数据仓库。在9 0 年代初甥，数据仓库的基本原理、框架结构，以及分析系统的主要原则都已经 确定，主要的技术，包括关系型数据存取、网络、c s 架构和图形化界面均已 具备。1 9 9 1 年，w h i n m o n 出版了有关数据仓库的第一本书，这本书不仅仅 说明为什么要建数据仓库、数据仓库能给你带来什么，更重要的是，这本书第 一次提供了如何建设数据仓库的指导性意见，定义了数据仓库非常具体的原则， 这些原则到现在仍然是指导数据仓库建设的最基本原则，虽然中间的一些原则 引发争论，并导致些分歧和数据仓库变体的产生。但是，w h i n m o n 凭借这 本书奠定了其在数据仓库建设的位置，被称之为“数据仓库之父”。 财务报褒数据多维分析系统的研究 但是，数据仓库发展过程是十分曲折的，出现过一些分歧。第一次明显的 分歧是数据集市概念的产生。企业级数据仓库搜集了关于主题的所有信息，跨 越整个组织，它提供全企业范围内的数据集成，通常来自一个或多个操作系统， 或外部信息提供者，并且是跨功能的。通常，它包含详细数据和汇总数据，其 大小有数千兆字节，倒数百千兆字节或更多，因此它的设计和实施十分困难， 可能需要多年的设计和建造。这些使得最早建立数据仓库的公司遭到大面积的 失败，因此数据仓库的建设者和分析师开始考虑只建设企业级数据仓库的一部 分，然后再逐步添加，但是这有背于建立数据仓库最初的原则：各个实施部分 的数据抽取、清洗、转换和加载是互相独立的，这导致了数据的混乱与不一致 性。而且部分实施的项目也有很多失败，除了常见的业务需求定义不清、项目 执行不力之外，很重要的原因是因为其数据模型设计。 这时，r a l p hk i m b a l l 出现了，他的第一本书劢e d a t aw a r e h o u s ef o o t k f t 掀起了数据集市的狂潮，这本书提供了如何为分析进行数据模型优化详细指导 意见，从d i m e n s i o n a lm o d e li n g 大行其道，也为传统的关系型数据模型和多维 o l a p 之间建立了很好的桥梁。从此，数据集市在很多地方冒了出来，并获得很 大成功，而企业级数据仓库已逐渐被人所淡忘。 在初期，数据集市的快速实施和较高的成功率让数据集市占了上风，但是 很快便陷入了某种困境：企业中存在6 - 7 个不同的数据集市，分别有不同的e t l ， 相互之间的数据也不完全一致。同时，各个项目实施中也任意侵犯了开始定下 的准则：把数据集市当成众多o l t p 系统之后的有一个系统，而不是一个基础性 的集成性的东西。当然，这导致了一些新的应用的出现，例如o d s ( o p e r a t i o n a l d a t as t o r e ) ，它是介于业务系统和d w 之间更偏向业务系统的。但是人们对d a t a w a r e h o u s e 、d a t am a r t 、o d s 的概念非常的模糊，经常混为一谈。有人把o l a p 和数据仓库混为一谈，也有人说只要o d s 和d a t am a r t ，不需要d a t aw a r e h o u s e ， 也有人说，我d a t am a r t 建多了，自然就有d a t aw a r e h o u s e 了。但是i n m o n 一 直很旗帜鲜明：“你可以打到几万吨的小鱼小虾，但是这些小鱼小虾加起来不是 大鲸鱼”。 经过多翻争吵，证明o n e s i z e - f i t s - a l l 是不可能的，需要不同的b i 架构 来满足不同的业务需求。也推出了新的b i 架构c i f ( c o r p o r a t i o ni n f o r m a t i o n f a c t o r y ) ，把k i m b a l l 的数据集市也包容进来了。c i f 的核心思想是把整个架 财务报褒数据多维分析系统的研究 构分成不同的层次以满足不同的需求，把d w 、d m 、o d s 进行详细的描述。现在 c i f 已经成为建设数据仓库的框架指南。 其历史发展过程来看，对于数据仓库的未来，有这样几个发展趋势是比较 明显的： 1 、从战略决策到战术决策的发展：这对d w 的实时性和可获得性 ( a v m l a b i l i t y ) 有更高的要求。 2 、需求更加多样化，要求有不同的架构和应用层次以适应不同的需求。 3 、数据量膨胀，对数据建模、数据组织和层次划分提出更高的要求。 开始数据仓库是定位在面向高层管理者、进行战略决策支持，而随着应用 的发展，要求中层管理者甚至底层的一线操作者也能分享它的功能。例如，客 服人员在接听客户电话的同时能查看到该客户的完整历史信息、该客户的偏好 信息、根据其客户情况目前能提供的促销信息等等。即运营系统与决策支持系 统将不再是完全隔离的两个系统，而是要求二者之间能相互共享有用的信息。 战术决策支持系统与传统的数据仓库相比有更高的要求更快的响应速度、 更频繁的数据更新、更高的数据精度、更强的数据可获得性。因此与传统的数 据仓库有不同的系统架构和设计方法。还没有比较权威的方法得到大家的普遍 认可，目前有两种方法相互争论。 1 、操作数据系统+ 数据仓库( o d s + d w ) o d s 是为了弥补业务系统和数据仓库之间的差距而提出的，解决的是这种 问题：“对一个特定的业务流程来说，怎样才能提供最新的、跨功能部门之间的 信息”，例如对客户服务人员，需要销售、库存、市场和研发等各部门的最新数 据，而这些数据原来是分散在不同部门的不同应用系统的。如果通过数据仓库 来实现数据集成，则实时性难以保证，或者建设成本很高。 利用o d s + d w 实现战术决策支持有其非常直观的优势：利用o d s 实现实时 或者准实时的数据抽取，而且o d s 的数据量不大，可以比较高效地进行数据的 修改和更新，并且可以提高查询的效率。而利用数据仓库的海量历史数据存储 实现部分战术决策的数据支持，并能实现战略决策支持。 但是，这种也有很明细的劣势：由于o d s 和d w 的结构和模型是不同的，这 财务报褒数据多维分析系统的研究 需要进行不同的系统和数据模型设计，也需要不同的系统维护过程，相应增加 系统的拥有成本。 2 、实时数据仓库( r t d w ，r e a l t i m ed w ) 另外一种战术决策支持系统称之为r t d w ( 实时数据仓库) 。实时数据仓库 的结构分为实时和静态两个分区。它的优点在于将连续采集的实时数据装入到 实时分区的同时将一致的快照在设定的时间间隔里装入到静态分区。实时分区 里可以进行增量聚合，而静态分区实际上就是一个传统的数据仓库，它通过持 续的增量加入变化数据来从细节级上维护历史数据的一致性。 在具体的应用中，过去的这十几年，欧美发达国家以数据仓库和联机分析 处理技术的应用已经首先在金融、保险、证券、电信等传统数据密集型行业取 得成功。近年来，随着因特网和电予商务的发展，各大数据仓库产品供应商纷 纷把注意力投向电子商务领域，并且通过数据仓库技术来构造商业智能( b i ) 平台。数据仓库技术在政府税收部门的应用带来的效益也非常可观，例如，澳 大利亚政府税务部门将数据仓库技术用于支持税收业务，系统经过3 年的运行， 投入回报率达到l ：1 5 。最近几年国内的一些大型企业也相继实施了数据仓库 计划，涌现出一些成功的数据仓库应用范例，现在，国内数据仓库及联机分析 处理技术前景广阔充满生机，国内很多行业金融，电信，证券，医疗等都相继 进行了数据仓库建设，一些科研院校对于数据仓库人才的培养也逐步重视。 结合理论与应用来看，数据仓库及联机分析处理技术未来的发展必将是如 火如荼的，将会有越来越多的企业利用其及其相关技术提高自己的效益，实现 利润的最大化。 1 ，3 本文的研究思路 通过分析、设计、创建个财务报表数据多维分析系统，对数据仓库以及联 机分析处理技术进行了粗浅的研究和实践。 系统是以大连经济技术开发区各个行业的数千家企业自1 9 9 8 2 0 0 0 年的 年终财务报告为基础，依据大量的历史性数据，采用数据仓库和联机分析处理技 术，实现了对大连经济技术开发区近几年来企业的总体的经营业绩和财务状况的 财务报褒数据多维分析系统的研究 分析、评价，为政府决策提供有用信息。笔者在此实例基础上，对数据仓库和多 维分析技术进行了实践，研究和探索。 本文分为四个章节： 第一章，引言。提出问题，描述了为什么要用数据仓库和联机分析处理技 术来解决大量财务报表分析的问题，提出了其必要性和可能性。概述了财务信 息化的发展过程及现状，指出实现财务软件的“管理+ 决策”功能、将商业智能 技术加入到财务软件中，提高其决策功能是财务软件现在发展的方向。总结了 数据仓库和联机分析处理技术的概念，及从结构角度、技术角度和应用角度三 方面划分数据仓库系统，指出数据仓库、联机分析处理和数据挖掘是新一代决 策支持研究的核心技术。讨论并分析了数据仓库及联机分析处理技术的发展历 程，描述了数据仓库发展过程中出现的各种分歧并由此引出数据集市的概念， 并展望了数据仓库技术未来发展的方向。 第二章，进行财务报表数据多维分析系统的数据集市的设计和创建。首先 分析并提出了本实例的系统结构及创建和实施所采用的工具，然后进行数据集 市设计。首先是基本的需求分析，采用财务分析方法确定了系统实现的决策类 型，然后分概念模型设计、逻辑模型设计、物理模型设计三步对数据集市进行 设计，这其中完成了数据集市的主题、数据模式、维表、存储结构等一系列设 计，最后是数据集市的生成，采用编程手段。 第三章是联机分析处理在建立好的财务报表数据集市之上的应用，联机分 析处理技术采用多维数据结构，可以实现对数据集市中的数据进行快速高效查 询分析。首先是对o l a p 的多维数据结构进行设计，包括维度和多维数据集的设 计，然后创建维度和多维数据集，系统采用a n a l y s i ss e r v i c e 做维多维分析服 务器，最后实现了可以从不同角度、不同侧面对开发区近三年企业的总体经营 发展状况进行分析评价。 第四章对全文做了总结，并对数据仓库技术未来的应用做了展望，然后指 出其中仍需解决的问题。 财务报褒数据多维分析系统的研究 2 财务报表数据仓库设计和创建 作为一个数据仓库系统，财务报表多维分析系统的设计与传统的管理信息 系统的设计有很大的不同。在其设计指导思想中，数据仓库的概念定义要始终 贯穿其中，数据仓库概念所规定的那些数据仓库所具有的特性正是对数据仓库 设计结果进行检验的重要依据。其中面向主题的，指的是它将依据定的主题， 比如经销商、产品、定单等；完整的，指的是要求对各个系统数据表示进行转 换，在数据仓库中必须统编码；非易失的，指的是系统用户只读数据，不得 修改数据；集成的，指的是数据仓库完整地记录了各个历史时期的数据，而o l t p 系统不会保留全部的历史记录。落实到具体的设计步骤中，要包括数据仓库系 统总体框架的设计，实现结构的确定，系统主题的确定，数据仓库的逻辑和物 理设计，源数据的获取、清洗、整理及装载设计，数据表达及访问设计，不问 断的维护方案的设计等多步。本章将具体的分步骤阐述怎样对财务报表数据仓 库进行设计和创建。 2 ，1财务报表数据仓库实现结构分析 构建一个财务报表数据多维分析系统第二步就是财务报表数据仓库的设计， 在进行数据仓库设计之前，首先要对数据仓库的实现结构进行分析和确定，财务 报表数据仓库的实现结构包括一个数据缓冲区( 也叫做分段存储区) 和一个数据 集市。要说明采用这样的实现结构的原因，就必须先了解一下如何从数据结构的 技术角度划分数据仓库。 i n m o n 虽然提出了数据仓库的概念，但在数据仓库的发展过程中，由于实际 应用过程中产生的一系列问题，诸如实施效果、时间、投入等一系列因素，产生 了一些数据仓库的变体，其中包括数据集市。而事实证明，不同的业务要求会产 生不同的系统结构，它们之间不是互相孤立、互相排斥的，而是互为包括、相互 渗透的。从技术实现的角度来说，一般的数据仓库从数据结构上划分应当包含以 t - - 个部分，如图所示，具体的数据仓库实施也可以根据其实际情况的不同只包 括其中的一两个部分。 财务报褒数据多维分析系统的研究 图2 , 2 数据仓库数据模型的功能划分 f i g 2 2 t h ef u n c t i o n a lp a r t i t i o no f t h ed a t am o d e lo f d a t a - w a r e h o u s e 1 、分段存储区 由于数据仓库中的数据结构和组织方式具有很大差异、所有原始业 务系统的数据必须经过严格抽取、映射和转换，数据整合过程十分复杂， 通常会耗费比较长的处理时间。因此如果从业务系统直接抽取数据到数 据仓库，必定会占用太多业务系统的资源和时间，未避免影响业务系统 的运行，引入了分段存储区的概念。 分段存储区是为了保证数据移动的顺利进行而开设的阶段性数据 存储空间，它是作为业务系统原始数据进入数据仓库前的缓存区而提出 来的。需要进入数据仓库的各个业务系统的数据首先直接快速传输到分 段存储区，再从分段存储区经过清洗、转换、映射等复杂的数据移动处 理转移到目标数据仓库中，强调的是快速性，而尽量减小对业务系统造 成鹤压力。 2 、中央数据仓库 中央数据仓库存储所有最详细的业务数据。中央数据仓库直接来源 于对分段存储区数据的清洗和加工，属于未经汇总的数据，但数据的组 织方式可能已经完全不同于原始的业务系统。根据业务需求不同，中央 数据仓库的组织形式以第三范式模型为主，在有的系统中也可能采用星 型或雪花型。 由于中央数据仓库的数据模型反映了整个企业的业务运行规律，在 财务报褒数据多维分析系统的研究 这里进行不规范处理容易影响整个系统，其产生的数据冗余将使整个系 统的数据量迅速增加，从而不利于今后的扩展。因此，对于中央数据仓 库，考虑到系统的可扩展能力、投资成本和易于管理等多种因素，最好 采用第三范式。而当系统性能下降而需要进行不规范处理时，比较好的 办法是选择问题较集中的部门数据集市实施星型模式。这样既能有效地 改善系统性能，又不至于影响整个系统。在国外一些成功的大型企业级 数据仓库案例中，基本上都是采用这种方法。 3 、数据集市 数据集市通常用于为单位的职能部门提供信息，典型示例是销售部 门、库存和发货部门、财务部门、高级管理部门等的数据集市。数据集 市还可用于将数据仓库数据分段以反映按地理划分的业务，其中的每个 地区都是相对自治的。包括在数据集市中的数据也是汇总的。通常，实 现数据集市的周期一般是数以周计，而不是数以月计或数以年计。 根据业务需求将数据仓库分类成几个不同的数据集市，每个数据集 市针对特定的用户，面向不同的主题，完成不同的分析和查询需求，就 好像是数据仓库的一个子集，数据集市可以在一定程度上缓解访问数据 仓库的瓶颈，提高访问数据仓库的性能。数据集市中的数据通常由基础 数据仓库的详细数据聚合而来，用户可以根据各自不同的聚合要求构造 轻度聚合、中度聚合合高度聚合三种不同的聚合层次层次。数据集市的 组织形式以星型模式为主。 因此通过以上划分分析可以看出根据业务需要的不同，在实际设计和实施数 据仓库过程中，应根据具体情况来确定数据仓库的实现结构，根据数据仓库设计 的内容和范围的不同，所选择的实现方法可以不同。 在一般的企业级数据仓库应用中会包含多个不同主题，例如销售、财务、薪 酬等，因此财务部门或销售部门可以各自根据自己部门的需要从中央数据库中选 取数据创建郝门数据集市服务于本部门，这既可以提高中央数据仓库的性能又为 部门提供方便。而考虑考虑财务报表数据多维分析系统的具体特点： 并非面向企业级应用 涉及到的数据只是财务数据 数据量也相对较少 财务报褒数据多维分析系统的研究 主题单一，仅涉及财务主题 因此系统并不需要建立一个中央数据仓库，采用个分段存储区和一个面向 财务主题的小规模数据集市的实现方式。 2 ，2 系统总体框架结构设计 财务报表数据多维分析系统是以现有的若干企业财务报告中的事物级数据 为基础的，这些财务报表数据分行业按不同年份以e x c e l 电子表格的形式存在， 不同行业的e x c e l 财务报表表格具有不同的格式，并且财务数据格式存在不致 性，若将其直接导入到数据仓库中，将会导致数据仓库中数据不规范、不稳定等 一系列问题。因此，在将源数据加载到数据仓库之前，应先将其导入到操作性数 据库当中作为数据缓冲区( 也叫分段存储区) ，在其中进行数据的清洗及整理。 之后，操作型数据库中存储的财务数据应该以统一定义的格式经数据装载和整理 程序重新按主题组织成面向分析评价的数据仓库，然后o l a p 服务器利用这些经 过组织的分析型数据构建面向分析的多维数据模型，采用多维分析工具，使用多 维分析方法，最后从不同角度，不同侧面对该地区企业的经营和财务状况进行分 析和评价。 刁： 经过以上分析设计出财务报表数据多维分析系统总体框架结构结构如下图所 昏昏昏国 图2 ，1 多维分析系统总体框架结构 f i g 2 i t h et o t a lf r a m eo f t h em u l t i - d i m e n s i o n a la n a l y s i ss y s t e m 其中： 原始数据存储：e x c e l 电子表格。e x c e l 电子表格里直接存储企业上报的 原始财务报告数据。 财务报褒数据多维分析系统的研究 分段存储区：采用m i c r o s o f ta c c e s s 。a c c e s s 桌面数据库小巧且应用简 单，根据本实例数据量相对较少的特点选择其作为导出的原始数据存储介 质。 数据仓库数据集市服务器：采用m ic r o s o f ts q ls e r v e r2 0 0 0 。 o l a p 服务器：采用m i c r o s o f ts o ls e r v e r2 0 0 0 多维分析组件a n a l y s i s s e r v jc e 。 系统采用m i c r o s o f ts q ls e r v e r2 0 0 0 作为数据仓库开发工具。它提供了 一种集成化的数据仓库解决方案，其中包括许多支持数据库应用程序的工具， 这些工具中有些工具在数据仓库中使用得较频繁，而有些则是专用于解决数据 仓库的特殊要求。m i c r o s o f ts q ls e r v e r2 0 0 0 不仅包括灵活的关系数据库、 高效的并行查询处理器和一系列数据加载、转换工具，还包括多维分析服务器 a n a l y s i ss e r v i c e s 。 在财务报表数据仓库系统应用程序中需要将许多来自e x c e l 电子表哥的源 数据转换为聚合在一起的、一致的数据集，即源数据的清洗、转换、加载及整 理工作，这些数据集经过了适当配置可用于数据仓库操作。s q ls e r v e r2 0 0 0 为 这类任务提供了一个强大的工具，数据转换服务( d t s ，d a t at r a n s f o r m a t i o n s e r v i c e ) 。d t s 可以访问来自各种不同源的数据，并使用内置的自定义转换规 范转换这些数据。 a n a l y s i ss e r v i c e s 是用于联机分析处理( o l a p ) 和数据挖掘的中层服务 器。a n a l y s i ss e r v i c e s 系统包括一个服务器，可以构造用于分析的数据多维 数据集，同时还提供对多维数据集信息的快速客户端访问。a n a l y s i ss e r v i c e s 能够将财务报表数据仓库中的数据组织成包含预先计算聚合数据的多维数据 集，以便为复杂的分析查询提供快速解答。 2 3