（计算机应用技术专业论文）联机分析挖掘（olam）在政府统计工作中的应用研究.pdf

硕士学位论文联机分析挖掘o l a m 在政府统计工作中的应用研究 摘要 统计部门的职责包括建设统计综合数据库 据资源进行采集、汇总，并做分析研究。然而 传统的统计手段已显陈旧。 以便对统计数据进行集中存储和管理，对数 随着政府统计工作的信息化进程逐步加快， 统计数据库具有多维的数据结构特征，符合联机分析处理( o l a p ) 技术的内在要求。 通过对联机分析技术构建的多维数据集进行挖掘处理，可以帮助统计工作者发现更多统计信 息当中潜在的有价值的信息。因此，将联机分析技术和数据挖掘技术结合起来共同应用于经 济社会统计事务之中成为本文要探索的一条新路。 本文深入研究了联机分析挖掘( o l a m ) 技术和方法在政府统计工作中的应用。围绕一 套面向统计的o i , a m 实现框架，研究并建立便于进行各种分析的多维数据模型。对于基层 统计数据采用一种基于o l a p 原理的通用聚合算法完成汇总操作，获得各种包含统计分组 和统计计量指标的多维数据集，该聚合算法不依赖任何数据库本身提供的a p ，完全实现了 跨数据库平台，能够适应各种数据库系统环境。同时，由于统计数据具有典型的时序性特征， 本文又针对生成帕多维数据集进行时间序列的趋势分析，相似性挖掘以及关联规则挖掘。 论文将上述研究成果成功地应用到一套面向区县级统计局的统计信息管理应用系统中， 该系统目前已在上海市闵行区统计局使用，并取得了阶段性的成果。该统计信息管理应用系 统加强了对现有统计数据资源的整合，避免了各基层统计部门所掌握的丰富统计数据的浪 费。作为一套灵活、规范和通用的统计数据管理平台，该系统为统计业务人员提供了友好的 人机交互接口和丰富的可视化分析挖掘界面，较好的满足统计业务的需求，大大提高了统计 工作的效率，为政府经济工作中制定方针政策提供了有力的依据。 关键词： 经济社会统计，联机分析挖掘，多维数据建模，聚合算法，时间序列分析 硕士学位论文联机分析挖掘o l a m 在政府统计工作中的应用研究 a b s t r a c 丫 f 6 cd u t yt os t a t i s t i c sd e p a r t m e n t si n c l u d e sb u i l d i n gs t a t i s t i c a ld a t a b a s ef o rs t o r i n ga n d m a n a g i n gt h es t a t i s t i c a ld a t ac e n t r a l l y , c o l l e c t i n g ，g a t h e r i n ga n da n a l y z i n gd a t ae t c h o w e v e r , t h e r a p i dd e v e l o p m e n to ft h ei n , u r i n a t i o np r o g r e s si ns t a t i s t i c a lw o r kh a sm a d et h et r a d i t i o n a l s t a t i s t i c a lt o o l so b s o l e t e t h ec h a r a c t e ro fs t a t i s t i c a ld a t a b a s e u s ta c c o r d sw i t ht h ei n t e m a ld e m a n do f0 l a p ( o n l i n e a n a l y t i c a lp r o c e s s i n 曲，b e c a u s eo fi t sm u l t i d i m e n s i o n a ld a t as t r u c t u r e i tc a np r o v i d es t a t i s t i c i a n s w i t l lv a l u a b l ci n f o r m a t i o nf r o ms t a t i s t i c a ld a t a ) b ym i n i n gt h em u l t i d i m e n s i o n a ld a t as e t sp r o d u c e d b yo n l i n ea n a l y t i c a lt e c h n o l o g y t h e r e f o r e ，t h i st h e s i sw i l ls h o wan e ww a yo fc o m b i n i n g 0 l a pw i t hd a t am i n i n ga p p l i e dt ot 1 1 es e e i o - e c o n o m i cs t a t i s t i e a lw 0 r k 日l ea p p l i c a t i o no fo n - l i n ea n a l y t i c a lm i n i n gi ng o v e r n m e n ts t a t i s t i ch a sb e e ns t u d i e dd e e p i n 也i st h e s i s a c c o r d i n gt oaf r a m e w o r ko f0 i a n ir e a l i z a t i o nt o w a r d ss t a t i s t i c s ，m u l t i d i m e n s i n n a l d a t am o d e i sf o rv a r i o u sa n a l y s e sa r er e s e a r c h e da n de s t a b l i s h e d t h eb a s i cs t a t i s t i c a ld a t ah a v e b e e ng a t h e r e db ys o m eg e n e r a la g g r e g a t i o na l g o r i t h m sb a s e do no l a p s om u l t i d i m e n s i o n a ld a t a s e t sh a v eb e e no b t a i n e d ，i n c l u d i n gt h es t a t i s t i c a lg r o u p i n ga n ds t a t i s t i c a lm e a s u r e m e n t i na d d i t i o n ， t h e a g g r e g a t i o na l g o r i t h m sd o n td e p e n do ns p e c i a la p ip r o v i d e db ya n yr d b m s s ot h e a l g o r i t h m sc a l la c h i e v ec r o s s - p l a t f e r i l lo fd a t a b a s ee n v i r o n m e n ta n da d a p tt ov a r i o u sd a t a b a s e s y s t e m s m e a n w h i l e ，d u et ot h et y p i c a lt i m es e r i e sn a t u r eo ft h es t a t i s t i c a ld a t a t h et r e n d s 。 c o m p a r a b i l i t yr u l ea n da s s o c i a t i o nm l ea b o u tt i m es e r i e sw i t h i nt h ep r o d u c e dm u l t i d i m e n s i o n a l d a t as e t sw i l lb em i n e di nt h et h e s i s f i n a l l y , i t i si n t r o d u c e dh o wt h er e s e a r c hh a sb e e na p p l i e ds u c c e s s f u l l yt oas t a t i s t i c a l i n f o r m a t i o nm a n a g e m e n ta n da p p l i c a t i o ns y s t e mt h a ti ss p e c i a l l yo r i e n t e dt h ea r e aa n dc o u n t y s t a t i s t i c sd e p a r t m e n t s a tt h ep r e s e n tt i m e ，t h es y s t e mh a ss e r v e dm i n h a n ga r e as t a t i s t i c sb u r e a ui n s h a n g h a ia n dt h ep h a s i cp r o d u c t i o nh a sb e e ng a i n e d n ei n t e g r a t i o no fs t a t i s t i c a ld a t ar e s o u r c e h a sb e e nm a d eb yt h es t a t i s t i c a li n f o r m a t i o nm a n a g e m e n ts y s t e m ，a v o i d i n gt h ew a s t eo fa b u n d a n t s t 撕s t i c a ld a t a a saf l e x i b l e rs t a n d a r da n dg e n e r a ls t a t i s t i c a l d a t am a n a g e m e n tp l a t f o r m ，i t p r o v i d e s 趣e n d l yi n t e r a c t i v ei n t e r f a c e sa n dr i c hd a t am i n i n gr e p r e s e n t a t i o nf o rm es t a t i s t i c i a n s t h i ss y s t e mm e e t st h ed e m a n d s9 ft h es t a t i s t i c a lw o r k , a n di m p r o v e s , t h ee f f i c i e n c yo fs t a t i s t i c a l w o r k s ot h ep o l i c yo ft h eg o v e m m e n te c o n o m yc a l lb es h a p e d = k e y w o r d ： s o c i o - e c o n o m i cs t a t i s t i c s ，0 n - l i n ea n a l y t i c a l m i n i n g , m u l t i d i m e n s i o n a ld a t am o d e l i n g , a g g r e g a t i o n a l g o r i t h m ，t i m e s e r i e s a n a l y s i s u 硕士学位论文。 联机分析挖掘o l a m 在政府统计工作中的应用研究 1 1 论文的选题背景 第一章绪论 以往的基于数理统计方法的应用大多都是通过专用程序来实现的，我们知道，大多数 的统计分析技术是基于严格的数学理论和高超的应用技巧的，这使得一般的用户很难从容地 掌握它。数据挖掘技术是数理统计分析应用的延伸和发展，假如人们利用数据库的方式从被 动地查询变成了主动发现知识的话，那么概率论和数理统计可以为我们从数据归纳知识这样 的数据挖掘技术提供理论基础【1j 。 目前国内各基层和中层的统计部门面临一个相同的问题：在信息化技术的推动下，如 何将传统的统计方法与计算机技术相结合，在一个集成的应用环境中高效快捷的完成统计工 作，同时对已有的数据进行更深入地分析并做出推断和决策。依靠过去人工的经验预测方法 已经不能满足实际工作的要求，政府工作中对统计部门的数据分析和推断的要求却在不断加 强，新的理论和方法以及相应的实现技术成为迫切的需要。 国家在编制国民经济计划、进行企业管理以及从事科学研究的时候，都离不开利用某些 数字资料。比如研究对外贸易的情况时，需要知道全国进出口贸易总额，主要的商品进出口 数量等。统计资料就是通过数字反映一定空间、时间条件下，客观现象的具体数量特征的。 这些资料通过基层逐级的向上汇总，其间就是一个搜集和整理的过程，基层数据的准确性和 有效性直接影响到最终国家统计数据的可信性。政府部门还要根据这些资料做出必要的统计 推断，也就是更为复杂的统计分析。 通过深入调查研究，目前上海市区级政府统计部门的统计工作者对于统计信息管理系统 普遍存在以下的要求： 1 ) 灵活的自定义查询方式。 2 ) 数据多级汇总，允许指标派生。 3 ) 允许使用人员从时间、空间和各种分类的角度查看各种粒度的汇总数据。 4 ) 等距和不等距的数据抽样，抽样间距可以指定。 5 ) 发现统计数据间的关联关系，比如近年来房地产投资受哪些经济指标影响，并对其 变化趋势做出初步的预测。 显然，如果说前几条是查询、汇总级别的，那么最后一条就是分析、挖掘级别的。这些 要求都具有很强的实践背景，是根据多年统计工作的经验得出的，实际上也是目前各地基层 和中层政府统计部门借助计算机亟待解决的问题。应对这样的需求，传统的o l t p ( 联机事 务处理) 技术已不能满足，因为它无法高效地实现利用多维等高级数据模型进行数据的聚合， 并且缺乏较强的分析和预测功能，面对具有多维数据特征的统计数据库更是如此。因此，带 有挖掘功能的联机分析技术o l a m ( 联机分析挖掘) ，成为我们关注的焦点。 1 9 9 7 年j i a w e ih a r t ( 韩家伟) 教授提出了o l a m 的概念，他把o l a m 定义为o l a p m i n i n g ，指将o l a p 和数据挖掘技术结合起来，在多维数据模型数据立方体的基础上 对外提供数据分析和知识发现应用。这实际上是在o l a p 系统的基础上对数据分析算法进 行扩充，把数据挖掘算法引入多维数据模型的数据环境中来 2 1 1 3 1 。 1 2 国内外应用状况 硕士学位论文联机分析挖掘o l a m 在政府统计工作中的应用研究 o l a m 的理论在国外已经日趋成熟，韩教授和他的学生进一步研究了联机分析挖掘对 数据立方体的操作，将数据挖掘功能与o l a p 的钻取结合，使得数据挖掘可以在数据立方 体这样的多维和多层次的抽象空间中进行，利于灵活地挖掘知识【1 。此外，他们还深入研究 了从海量数据库中挖掘多层关联规则的方法口】。其他学者又将模糊集理论与联机分析挖掘技 术相结合，针对包含非确定的或非精确数据的多维数据库采用模糊决策树的方法进行处理和 挖掘，提高了发现的知识的易懂性。 韩教授及其合作伙伴将o l a m 的理论和技术付诸于实际，开发了o l a m 实用工具 d b m i n e r 口】【8 l 。在国际数据挖掘产品领域中，d b m i n e r 起步较早，产品也较为成熟，目前应 用该产品的厂商包括m i c r o s o f t h p ，i b m ，b o e i n g 等国外知名大公司，已取得了较好的应 用成效。 d b m i n e r 整体架构由三个模块组成：图形用户界面、d b m i n e r 引擎和通信模块。图形 用户界面主要完成与用户的交互；d b m i n e r 引擎是该系统的核心，所有知识发现的处理均 由该模块完成：通信模块主要完成d b m i n e r 与数据库服务器之间的数据传输。d b m i n e r 使 用d m q l ( d a t am i n i n gq u e r yl a n g u a g e ) 描述k d d 的任务，利用a o i ( a t t r i b u t e o r i e n t e d i n d u c t i o n ) 的方法进行知识的获取。以下( 图1 - 1 ) 就是d b m i n e r 的系统结构图。 ，“。，、 l ! 堕! ! 竺兰整! 塑! ! d b m i n e re n g i n e 图1 - 1d b m i n e r 系统框图 d b m i n e r 系统包括三个工具包：d b m i g e ra = 【2 0 0 2 、d b m i n e r d x 2 0 0 2 、d b m i n e r s x 2 0 0 2 。 其中d b m i n e r a x 2 0 0 2 软件包用于关联规则挖掘，它从大量数据中挖掘出有价值的能够描述 数据项之间相互联系的知识，其主要应用领域是挖掘客户的消费倾向和消费规律。d b m i n e r d x 2 0 0 2 软件包用于挖掘关系数据库和多维数据库中数据的显著变化，其主要应用领域是挖 掘企业利润或某些重要数据指标随其它指标变化的规律。d b m i n e rs x 2 0 0 2 则是一个用于对 时序数据和序列数据进行挖掘的工具包，它主要用于挖掘企业经营数据的趋势特征。 d b m i n e r 的特色在于： 通过o d b c 连接多种数据源( o r a c l e 、s y b a s e 、s o ls e r v e r 、x b a s e 、t e x t 等) ，把 数据仓库、多维数据库和数据挖掘技术集成在一个紧凑的系统中。 数据挖掘的功能非常完整，实现了切片( d i c i n g ) ，切块( s l i c i n g ) ，旋转( p i v o t i n g ) 和下钻( d r i l l i n gd o w n ) 以及高效的数据挖掘语言。 提供了直观的图形用户界面，可视化的数据浏览工具及联机分析处理( o 乙心) 和 联机分析挖掘( o l a m ) 能力。 处理千兆级的大型数据库。 尽管o i a m 的理论和d b m i n e r 这套工具已经较为成熟了，但是国外针对o l a m 应用 2 器 硕士学位论文联机分析挖掘o l a m 在政府统计工作中的应用研究 于统计工作的相关报道非常少，即使o l a m 的创始人韩教授本人也未详细谈及o l a m 在统 计工作中的实际应用。另外，d b m i n e r 是面向商业用户，而不是面向政府统计业务的系统， 因此将其应用到政府统计工作中无法充分发挥它的优势。 此外，现在能够提供方便多维分析支持的多维统计数据库以加拿大统计局的 c a n s i m i i n 最为典型，该数据库采用多立方体数据结构，整个数据库中最基本的一个维是 具体的调查表，将各表连接成一体，形成雪花结构。然而，如何对其进行数据挖掘及相关分 析，以及是否采用o l a m 技术还无法得到详细官方资料的进一步介绍。 目前，国内对联机分析挖掘的研究还处于起步阶段，o l a m 的概念已经被广大的数据 仓库和数据挖掘研究工作者接受。一些学者提出了一种基于数据立方体的联机分析挖掘模型 1 1 0 l ，该模型依赖数据仓库和其他各种类型文件生成的工作仓库系统，综合了联机分析处理 多维分析的在线性、灵活性和数据挖掘处理的智能化特点，提高了传统模型的灵活性和智能 化程度。还有一些学者设计并实现了一种联机分析挖掘应用模型【“j ，该模型建立了一种b s 架构的双服务器数据仓库，将数据挖掘与o l a p 思想相结合，提供多维度事务内、事务间 关联规则的挖掘，并在此基础上提出了传统o l a p 系统到o l a m 系统平滑过渡的解决方案。 此外，还有一些针对基于o l a m 的可视化数据挖掘系统原形的研究等1 1 2 】 1 3 】【“】。这些研究都 是对有关o l a m 实现模型的探索，还没有得到更加深入和广泛的应用，相应的实用工具很 少。 国内政府统计部门结合计算机技术进行统计处理过程中大多仅局限于采用o l a p 的思 想和方法，比如天津市统计局就采用n c r 的t e r a d a t a 建成了企业微观数据仓库和人口信息 数据仓库系统【l ”，并利用b r i oe n t e r p r i s e 商业智能工具实现网上随机查询、网上多维分析、 网上数据钻取、网上旋转透视等功能。但是建设专门的数据仓库需要充分的数据、较长的周 期，投入较大且带有风险，因此各区县级的统计部门现在不可能采用这种方式。 虽然一些高级统计部门已经开始关注数据挖掘技术，但通常是采用专门的工具进行数据 分析和挖掘，这些工具包括国外厂商推出的s a s 、s p s s 、o r a c l e 的相应组件o d m 以及国 内公司自主研发的马克威统计分析系统。上海市统计局使用马克威分析系统1 1 6 1 已近两年， 其应用领域主要包括国民经济统计、综合统计、社会统计分析、企业调查等，该系统是集统 计分析、，数据挖掘和可视化展示为一体的大型软件系统。 。 然而通过调查我们发现，目前政府统计部门尤其是中层或基层部门并未普遍购买这些比 较成熟的商业统计分析以及数据挖掘软件，充分利用这些软件产品的就更少。这说明对广大 基层统计部门而言，数据挖掘的相关技术实际上还没有完全被认知和采纳，相应对o l a m 的研究和应用更是风毛麟角。究其原因主要在于以下几点： 这些软件都是独立的商业软件，无法与统计局内部的统计系统进行紧密集成，无法 在一个平台上完成从数据管理到数据分析等全部所需的操作。 其中许多功能在中层和基层部门中根本用不到，花钱买来的软件得不到充分的利 用，造成资源的浪费。 最重要的是，这些软件的采购费用、培训费用和服务费用是各地区县级统计单位难 以承受的。 因此将o l a m 这样的数据挖掘方式与当前国内的政府统计业务相结合，并开发出统计 业务中真正需要而且紧密集成、功能实用、价格便宜的信息管理和应用系统是一项战略意义 深远的课题。 1 3 本文研究的目的与基本构想 本论文的意义在于将联机分析挖掘的思想和技术综合应用于政府统计工作中，利用已有 3 硕士学位论文 联机分析挖掘o l a m 在政骑统计工作中的应用研究 钓o l a m 理论私文中提出的戗造性方法解决关系国计民生的塞际问题，并在此背景下进一 步深入研究o l a m 在统计领域的应用前景。与普通联机分析挖掘技术的研究和应用不同的 是，本文提出的o l a m 实现模型和方法紧密联系统计工作的特点，这本身就是一种创新。 考虑到统计业务最根本的工作就是要构建统计数据库，对统计数据库中各种指标进行统 一管理、维护、查询、汇总和分析。因此在统计工作中，借助面向统计的联机分析挖掘处理 机制实现传统o l a p 的数据聚合功能并获取各种粒度级别上的汇总数据，然后充分利用该 机制中包括发现各种关联规则在内的分析预测的能力对汇总产生的多维数据集进行挖掘，发 现各种模式和规则。事实上，这也正是统计部门的职责所在。 通常意义上的联机分析挖掘理论体系其实由联机分析处理( o l a p ) 和数据挖掘两部分 组成，相互联系比较松散。而在本文中所论述的面向统计应用的联机分析挖掘则更加趋近于 一个整体，使得从数据聚合到数据分析、挖掘等一系列处理过程包含在一个完整的体系结构 中。 我们将上述的思想和方法成功地应用到一套面向基层统计部门的统计信息管理应用系 统中，该系统已在上海市闵行区统计局投入使用，能够满足统计工作的实际需求，并通过了 上海市统计局有关专家的鉴定。 结合统计部门的具体业务需求，本论文将着重在以下几个方面对联机分析挖掘的应用展 开研究。 一 1 ) 根据统计业务的实际需要，创造性地提出一种联机分析挖掘技术在统计信息管理应 用系统中的完整实现架构，该架构确保将统计数据的管理，多维数据模型的建立， 统计数据汇总和统计分析及挖掘等功能集成在统一的环境中。 2 ) 针对统计数据的多维特征，对统计数据库进行多维建模，保证统计指标及相应体系 能够方便进行数据聚合操作及分析挖掘操作。 3 ) 设计一套通用的聚合算法对统计数据库中的基层数据进行聚合以获得各种粒度的汇 总级数据，并构建多维数据集支持上卷、下钻、切片、切块等数据立方体操作。这 样就保证了联机分析挖掘技术能够突破各种现有o l a p 系统互不兼容的局限，灵 活地处理各种统计数据。 4 ) 由于统计数据还具有很强的时序性，我们将主要关注于对时间序列的分析c r i m e s e r i e sa n a l y s i s ) 和挖掘，且被分析和挖掘的数据来源于聚合操作生成的多维数据集。 5 ) 封用数据挖掘的理论和方法发现时序数据间潜在的关联规则，这里我们初步采用 a p r i o r i 这一成熟的关联规则算法。由于统计业务的特殊性，这部分工作的重点在 于对挖掘数据的选取以及挖掘结果的解释。 由于大多数的挖掘算法针对特定的环境，我们并没有提供所有的数据挖掘功能，目前初 步实现的功能恰恰针对区县级统计局的迫切需求，更加实用和完善的挖掘方法就在今后不断 补充进来。 1 4 论文结构组织 本文将理论研究和实际应用有机并且紧密地结合在一起，以统计业务的需求作为线索， 先概述了经济社会统计学中的统计方法以及o l a p 与数据挖掘的有关理论，探索相互之间 内在的相似点。然后，围绕我们自己的研究工作具体说明o l a m 技术在统计信息管理应用 系统中实现的框架与核心功能。应用这种理论和方法的前提是要构造合适的多维数据结构， 在此基础上才能够采用o l a p 的数据聚合功能实现统计数据汇总，并对聚合结果进行相应 的数据挖掘分析。 本论文共分为七章，各章节的具体内容如下： 4 硕士学位论文 联机分析挖掘o l a m 在政府统计工作中的应用研究 第一章绪论。，介绍了政府统计工作的任务，引出o l a m 的定义并概述了o i - & m 的理 论在国内外最近的研究动态，进而说明本论文的主要研究工作。 第二章经济社会统计与联机分析挖掘。本章首先从统计学专业的角度扼要的介绍了统 计业务中的背景知识，着重分析了经济社会统计中统计指标、统计分组和统计划分的概念。 接下来，我们又介绍了o l a p 的基本定义、实现的原理等，其中许多概念都与统计分组的 内容有所联系。然后又扼要的介绍了数据挖掘的相关理论，采用的各种分析和挖掘方法等。 进而说明o l a p 与数据挖掘技术相结合的产物联机分析挖掘能够较好的满足经济社会 统计工作要求。 第三章联机分析挖掘在统计应用中的实现框架。本章简要的描述了论文中提及的统计 信息管理应用系统的实施背景，业务需求包括数据构成，数据处理等，旨在表明正是由于实 际统计业务中数据和功锥的特点才决定了采用o l a m 的思想和方法进行处理比较合适。接 下来，我们具体说明联机分析挖掘技术在统计应用中的实现框架和有关特征。 第四章统计应用中的多维数据建模。本章引入统计数据库这重要概念，分析其多维 特征以及构建过程，进一步着重描述了实际统计信息管理应用系统后台统计数据库的组织和 存储方式。正是因为采用了多维的数据建模方式，保证了在其基础上可以顺利地进行o l a m 的相关操作。 第五章统计应用中数据聚合功能的算法实现。本章详细的阐释了我们借鉴联机分析处 理机制设计和开发的一套通用聚合算法，该算法能够实现各种粒度级别数据汇总的计算过 程，并且能够不依赖于任何数据库平台。最后，列举了一些典型的汇总执行案例进一步分析 该通用数据聚合算法的优点和缺点。 第六章统计应用当中数据挖掘技术的实现。本章着重描述了统计系统中对时间序列进 行的趋势分析，相似性分析等时序挖掘的基本原理和初步实现过程；进而又尝试对时间序列 构建一组探测性的事务数据集，在此基础上应用a p r i o r i 算法进行关联规则的挖掘。挖掘过 程中还采用图形化方式直观的展现处理结果，大大提高了用户与系统之间的交互能力。 第七章总结与展望。本章对全文的工作进行了总结，说明本论文的贡献和创新点，以 及今后的改进工作和未来的研究方向。 图1 _ 2 就展示了整篇论文的组织思想。( 注：因涉及数据的特殊性，一本论文中以下所有 使用的统计数据都是模拟数据，不对这类数据的真实性负责。) ( 总结与裳盛) 第七章 彳 厂，、 u 、 厂、 厂 、 、 l 计墩蔺中鹪实现据i 琊兰荤 第翻章 i 掘技术鲍实瑗赦据一j 幂穴革 堞 厂、 彳f c _ 卜，簿诗应用中的多ij 维数据建楱 i i l 蹩麟聚户 簿联虮分桥挖掘i 第= 章 、l ， 图i - 2 论文的内容与结构图 5 硕士学位论文联机分析挖掘o l a m 在政府统计工作中的应用研究 第二章经济社会统计与联机分析挖掘 由于本论文的研究面向的是统计领域，因此必须首先明确统计学的基本概念和使用的相 关方法，然后再介绍o l a p 与数据挖掘的理论和技术，进而分析统计工作中对联机分析挖 掘的内在要求。 2 1 经济社会统计的基本概念 2 1 1 经济社会统计学 统计理论( 或统计学) 即系统研究如何搜集、整理、分析统计数据的理论和方法。统计 理论一方面是统计实践活动的理论概括和总结，另一方面统计理论又是在其理论和实践同时 发展的过程中，吸取其他学科的研究方法不断创新而形成的系统理论。统计理论不但是指导 统计活动如何搜集、整理统计数据的原理、原则和方法，而且更重要的是指导人们如何运用 统计方法分析统计数据内在的统计规律性的科学方法。正因为如此，统计学也被称为“数据 的科学” 1 7 1 。 事实上，统计学本身针对不同的研究对象有着不同的分类，包括统计物理学，生物统计 学，经济统计学，社会统计学等。统计局的统计工作主要针对的是经济社会统计，因此下面 重点说明经济社会统计学的有关概念。 经济社会统计是研究社会现象数据的收集、整理和分析的一门方法论学科1 【1 8 】【”l 。 也正因为如此，通过对收集来的社会现象数据的分析，可以帮助我们更加深入的发现各 种社会现象间的关联关系和发展变化趋势。 2 1 2 统计指标的定义与特点 ， 统计指标是说明总体数量特征的。关于统计指标的概念，有两种不同的理解和使用方 法。 。 一 第一，在统计理论设计上所使用的“统计指标”的涵义，是指反映总体现象数据特征 的概念。例如：工业增加值、商品销售额、职工总人数等等。按这种理解，统计指标包括三 个构成要素，即：指标名称、计量单位和计算方法。 第二，在统计实际工作中经常使用的统计指标的涵义，是指反映总体现象数量特征的 概念和具体数值。如：2 0 0 3 年我国国民生产总值为1 1 7 2 5 1 9 亿元，就是统计指标。按这种 理解，统计指标除包括上述三个要素外，还包括时间限制、空间限制和指标数值。 由于我们开发的统计信息管理应用系统是针对实际统计工作的，因此本论文以下的部 分一律按第二种解释定义统计指标。 统计指标有以下的特点： 1 ) 数量性 统计指标描述的是可以度量的客观现象的量，都是用数值表现的，不存在不能用数值表 现的统计指标。 1 还有一种提法叫做社会经济统计本文中认为两者是一致的，因此以下的部分统一采用。经济社会统计” 这一术语 6 硕士学位论文鞋机分析挖掘o l a m 在政府统计工作中的应用研究 2 ) 综合性 统计指标说明的对象是总体而不是个体，它是许多个体现象的数量综合的结果。一个人 的工资不叫统计指标。反映研究对象中所有人的工资总额和平均工资才叫统计指标。 3 ) 具体性 统计指标并非抽象的概念和数值，它具有客观的经济社会内容，是一定的具体经济社会 现象的量的反映。 2 1 3 统计指标体系 1 ) 统计指标体系的概念 若干个相互有联系的统计指标所组成的整体叫统计指标体系。经济社会现象本身的联系 是多种多样的，所以，统计指标之间的联系也是多种多样的。例如，一个工业企业是人力、 物资、资金、生产、供应和销售等相互联系的整体。用一系列统计指标来反映和研究工业企 业的全面情况，这就组成了工业企业统计指标体系。又如，商品的销售额等于商品价格与销 售量的乘积，粮食总产量等丁= 亩产量与播种面积的乘积等等，也叫做统计指标体系。 统计指标体系比统计指标更为重要。这是因为任何经济社会总体都是一个相互联系的有 机整体。这种经济社会现象的相互联系是产生统计指标体系的客观基础，同时也提出了使用 统计指标的要求。单个统计指标仅能反映经济社会总体及其运动的一个侧面，要想全面地反 映和研究经济社会总体的情况，就只有使用相互联系的各种统计指标所组成的指标体系，才 能避免片面性，使我们获得全面的情况。 2 ) 统计指标体系的种类 统计指标体系可以分为两大类，即基本统计指标体系和专题统计指标体系。 反映国民经济社会发展及其各个组成部分的基本情况的指标体系叫基本统计指标体系。 它通常分为三层：最高层、中间层和基层。最高层是反映整个国民经济和社会发展的统计指 标体系，如：经济统计指标体系、社会统计指标体系、科技统计指标体系等。中间层是指各 地区和各部门的统计指标体系，如工业统计指标体系、地区综合评价指标体系等，它是最高 层统计指标体系的纵向和横向的分支。基层统计指标体系是指各种企业和事业单位的统计指 标体系，它是整个统计工作的基础。 为研究某一经济问题或社会问题而专门制定的具有针对性的指标体系，叫专题统计指标 体系。如经济效益指标体系、能源问题研究的指标体系等。 2 1 4 统计数据整理的定义与步骤 统计数据整理也称为统计整理。统计整理是根据统计研究的目的，将统计调查所得的数 据进行科学的加工，使之系统化、条理化，并成为能反映总体数量特征的综合资料的工作过 程。 统计调查所得到的反映总体单位特征的数据资料是分散的、零碎的。根据这样的资料， 人们难以从总体上分析和认识社会经济现象的数量表现。只有根据统计研究的目的，运用科 学的统计整理方法，对数据进行加工整理，才能发现经济社会现象数据资料的规律性。 此外，对某些已经加工的综合资料，往往由于在分组方法、总体范围或者指标含义、口 径、计算方法等方面的改变，而无法满足统计分析的要求，也必须对其再次进行整理。 统计整理的步骤如下； 1 ) 设计和编制统计数据资料的整理方案。统计整理方案主要是明确各种统计分组和各 项汇总的统计指标。 7 硕士学位论文联机分析挖掘o l a m 在政府统计工作中莳应用研究 2 ) 对搜集到的原始资料进行审核。在进行汇总之前，要审核统计调查数据是否准确、 完整，以便发现问题，及时纠正，以确保资料准确无误。 3 ) 根据研究目的的要求和统计分析的需要，对原始资料进行分组。 4 ) 进行汇总计算，编制次数分布表。 5 ) 编制统计表。 6 ) 进行统计数据资料的汇编，系统地积累历史统计数据。 2 1 5 统计分组的概念和方法 统计分组是根据经济社会现象的内在特点和统计研究的目的，将总体中所有总体单位按 一定的标志划分为性质不同的若干个组成部分的一种统计方法。 构成统计总体的各个总体单位，一方面在某一指标或某些标志上具有彼此相同的性质， 这是构成同质总体的基础；另一方面又在其它一些标志的具体表现上具有差异性，差异较小 的单位归为一组，差异较大的单位尽量分开。这是进行统计分组的客观依据。统计分组的基 本要求是：使各组内部保持同质性、各组之间呈现出质的差异性。因此，统计分组的实质是 在现象总体内进行一种分类。统计分组的作用表现在以下几个方面： ( 一) 划分经济社会现象的类型 将经济社会现象总体按照一定的分组标志区分为性质不同的组成部分，是统计分组的根 本作用。从一定意义上说，一个统计总体之所以能区别于其它统计总体，是因为有着可以确 定该总体性质和范围的标准和界限。即总体之间的区别，是一种定性分类。因此，将同质总 体划分成性质不同的各个组成部分，也是一种统计的定性分类。 例如表2 1 所示： 表2 - i2 0 0 3 年全国国有及规模以上非国有工业企业单位数及工业增加值 按注册登记类型分企业单位数工业增加值 绝对额( 个)比重( )绝对额( 亿元) 比重( ) 全国总计 1 9 6 2 2 2 1 0 0 0 04 1 9 9 0 2 31 0 0 0 0 国有及国有控股企业3 4 2 8 0 1 7 4 71 8 8 3 7 6 0 4 4 8 6 集体企业 一 2 2 4 7 81 1 4 62 5 5 1 6 7 6 0 8 股份有限公司 6 3 1 33 2 26 2 0 3 6 6 1 4 7 7 外商投资企业 1 7 4 2 98 8 86 9 1 9 1 51 6 4 8 港澳台商投则企业2 1 1 5 21 0 7 84 6 8 0 4 91 1 1 5 此表中就是按注册登记类型把我国工业企业划分为五个组，这样有助于认识我国不同经 济类型的工业企业之间的经济关系。 ( 二) 反映社会经济现象总体的内部结构 通过统计分组，能够观察总体中所有总体单位在各组的分布状态和分布特征，分析总体 的内部结构。表2 - 1 所示的比重就反映我国国有及规模以上非国有工业企业单位数、增加值 及其构成。 ( 三) 研究现象之间在数量上的依存关系 通过分组，可以观察不同总体之间在数量上的相互依存关系。从表2 - 2 可以看出，商品 流通费用率与商品销售额之间的依存关系是，商品流通费用率随着商品销售额的增加而降 低。 硕士学位论文 联机分析挖掘o l a m 在政府统计工作中的应用研究 表2 22 0 0 4 年某市百货商店流通费用率 问j 占授间晶销售张分组( 力兀)商店数商品流通费用率( ) 5 0 以下 3 1 1 2 5 0 1 0 021 0 4 1 0 0 1 5 049 5 1 5 0 2 0 077 7 2 0 0 3 0 0 8 6 4 3 0 0 4 0 065 9 4 0 0 5 0 0 35 2 5 0 0 以上 25 0 在该统计信息管理应用系统中，为了获得各种分组情况下的汇总统计数据，专门为各 分组统计指标项建立物理数据库表以存储其分组信息。这些表在应用系统中称为“分组目 录”，且根据分组指标数据项类型的不同，划分为“字符型结构分组”如表2 - 1 中登记注册 类型，和“数值型区间分组”如表2 2 中商品销售额的各取值范围。 统计分组的关键在于正确选择分组标志和划分各组界限。分组标志是将统计总体划分 为若干个性质不同的组成部分的标准或依据。在选择分组标志时要解决好以下两个方面问 题：首先，选择什么标志进行分组，其实质是要决定从什么方面对现象总体进行统计研究： 其次，选择多少个标志进行分组，这一问题不仅决定着分组的形式，还决定着我们对社会经 济现象总体认识的广度和深度。 ( 一) 分组标志的选择 选择分组标志必须遵循以下原则： 1 ) 根据统计研究目的选择分组标志 对于同一研究对象来说，由于统计研究目的不同，需要采用的分组标志也就不同。例如， 在工业生产统计中，当研究目的是为了分析不同规模的企业生产情况时，应当选择产品数量 或生产能力作为分组标志，将企业总体划分成太、中、小三组；。当研究目的在于确定工业内 部比例及平衡关系时，就应该按部门类别作为分组标志。 2 ) 选择能反映现象本质特征的主要标志 所谓主要标志就是能反映现象本质特征的标志。例如，研究职工生活水平情况时，有工 资水平，家庭成员平均收入等好几个标志。按职工家庭成员平均收入分组就能反映职工实际 生活水平，所以家庭成员平均收入就是主要标志。 3 ) 结合具体社会历史条件和经济条件选择分组标志 在研究目的相同的情况下，由于研究对象所处的具体社会历史条件和客观经济条件不 同，需要采用的分组标志也会有所不同。例如，反映工业企业生产规模的标志很多，如产品 生产能力、职工人数、固定资产价值、增加值等。在科学技术不发达的条件下，把职工人数 作为划分企业规模的标志是比较恰当的；而在科学技术发达、技术装备比较先进的条件下， 继续按职工人数划分企业规模的大小，就无法比较准确地反映作为第一生产力的科学技术在 生产中的重要作用。因而采用产品生产能力或固定资产价值作为分组标志更切合实际些。 ( 二) 分组的形式 分组的形式有简单分组和平行分组体系，复合分组和复合分组体系。 1 ) 简单分组与平行分组体系 对总体只按一个标志进行分组，叫简单分组。选择两个或两个以上的标志分别进行简单 9 硕士学位论文 联机分析挖掘o l a m 在政府统计工作中的应用研究 分组，就形成了平行分组体系。例如，对工业企业可以分别按经济类型和规模两个标志进行 简单分组，得到如下平行分组体系： 按经济类型分组按规模分组 国有及国有控股企业大型企业 集体企业 中型企业 其他类型企业 小型企业 平行分组体系的特点是：每种分组只能固定一个因素对差异的影响，同时又掩盖了其 他因素对差异的影响。例如在按规模分组中，企业规模大小的差异被规定了，而其他差异依 然存在，但却被掩盖了。在平行分组体系中，所采用分组标志的多少，决定了人们对经济社 会现象总体认识的广度。 2 ) 复合分组与复合分组体系 对同一个总体选择两个或两个以上的标志层叠分组，叫复合分组，所分各组是在分组标 志的基础上层叠排列的，从而形成复合分组体系。例如，按学科和性别两个标志对高等院校 本科在校学生进行复合分组，得到如下复合分组体系。 建立复合分组体系时，就根据统计分析的要求，在选择分组标志的同时，确定它们的主次顺 序。 复合分组体系的特点是：第一层次分组只固定一个主要因素对差异的影响，第二层次分 组则同时固定两个因素对差异的影响，当进入最后一个层次分组时，则所有被选择标志对差 异的影响就全部被固定。盔复合分组体系中，分组层次的多少，决定于所选分组标志的多少， 从而决定了人们对经济社会现象认识的深度。 分组标志确定后，正确地确定分组组数和划定各组界限，就涉及到分组的具体方法。 根