电信企业数据仓库建设分析

邮电规划2003年第5期 数据库 电信企业数据仓库建设贵州省移动通信公司 苟茹辛411 电信企业信息化现状从上世纪八十年代开始，我国电信企业开始进行大规模的信息化建设，在近二十年的时间中，电信企业已全面实现了生产及服务过程信息化。随着业务不断趋于多样化，各电信企业都针对不同业务建立了多个生产管理系统，如中国电信建设的生产系统就包括了进行业务受理、配线配号、工单管理的“97”系统；进行计费、帐务及欠费处理的计费系统；114、112、180、189等专业系统；201、IC等卡类管理系统；基于互联网信息管理的数据业务管理系统以及交换、传输、网管系统等。中国移动也建设了综合业务支撑（BOSS）系统；用于梦网短信接入的短信网关、彩信网关、GPRS网关等各专业管理系统。目前，电信企业建设的项目仍然以生产支撑系统为主。通过这些支撑系统的建设，规范了电信企业内部管理流程，大大提高了电信企业的工作效率，增强了业务水平，提高了企业的竞争力。随着市场竞争的不断加剧，对客户资源的争夺也进入了白热化的阶段，如何发展新用户，扩大自己的用户群；如何设计出更适合用户需要的业务，将用户绑定在自己的网络上；如何合理地设定资费在用户可以接受的水平；一个个问题摆在了电信运营商的面前。在激烈的市场竞争面前，要想科学的决策，离不开数据的支持。电信运营商们在建立各项系统的过程中，也积累了大量的资料数据，如用户的通话记录，短信发送记录，用户上网记录，用户资料变更记录，用户投诉记录，网络运行记录等。通过对这些数据进行分析，可以掌握企业的运营状况，为企业科学、准确的决策提供依据。但在使用这些数据的过程中，也存在以下几个问题： 数据量大、数据来源广,以用户数近300万的某电信运营商为例，每天产生的仅通话话单数就达数千万条；这还不包括其它生产环节如客服、网管等所产生的运营数据；而经营管理所牵涉的数据除此以外还包括了内部管理的人力、财务、以及与企业相关的外部环境数据。 各业务部门对数据的理解存在偏差，定义不统一，导致数据可信度无法保证。对单个业务部门来说可能是合法的数据，但由于缺乏信息的集成和整合，导致整个企业对数据的含义、数值及使用方式产生歧义。 每个系统都有独立的报表系统，随着需求的变化和统计项目的变化，使得报表的修改相对比较困难；尤其目前很多在用系统的报表都固化在程序中，给今后的修改带来诸多不便。 对于一些需要跨平台才能进行的分析，由于平台不一致，应用系统之间数据定义也不一致，又没有实现数据共享，很难进行关联分析；并且，一个企业内部，不同系统平台之间的数据存在较大的冗余，增加了维护工作量，并可能造成系统资源的浪费。 在生产系统上进行统计分析会影响到正常生产系统运转。由于生产系统的时效性要求较高，需要大量的系统资源进行保障，为确保生产系统安全稳定运行，有必要将统计、分析等对时效性要求相对较低的决策支持系统从生产系统分离。有鉴于此，建立数据仓库管理系统已经成为企业提高管理水平的当务之急。2 数据仓库简介数据仓库概念是由号称“数据仓库之父”William H.Inmon在上世纪80年代中期撰写的建立数据仓库一书中首次提出，“数据仓库是一个面向主题的、集成的、非易失性的，随时间变化的用来支持管理人员决策的数据集合”。面向主题就是指在数据仓库中，数据按照不同的主题进行组织，每一个主题中的数据都是从各操作数据库中抽取出来汇集而成，这些与该主题相关的所有历史数据就形成了相应的主题域。数据仓库的第二个显著特点是集成。数据来源于不同的数据源，通过相应的规则进行一致性转换，最终集成为一体。数据仓库的第三个特点是非易失性。一旦数据被加载到数据仓库中，数据的值不会再发生变化，尽管运行系统中对数据进行增、删、改等操作，但对这些数据的操作将会作为新的快照记录到数据仓库中，从而不会影响到已经进入到数据仓库的数据。数据仓库最后一个特点是它随时间变化。数据仓库中每一个数据都是在特定时间的记录，每个记录都有着相应的时间戳。3 如何规划和建立数据仓库环境3.1 体系结构图1是数据仓库体系结构示意图。数据仓库对外部数据源和操作型数据源的元数据，按照数据仓库模式设计要求进行归类，并建成元数据库，相对应的数据经过ETL后加载到数据仓库中；当信息客户需要查询数据时先通过信息展现系统了解元数据或者直接浏览元数据库，再发起数据查询请求得到所需数据。图1 数据仓库体系结构图2是一个典型的企业数据仓库系统，通常包含数据源、数据存储与管理、数据的访问三个部分。图2 企业数据仓库系统数据源：是指企业操作型数据库中的各种生产运营数据、办公管理数据等内部数据和一些调查数据、市场信息等来自外环境的数据总称。这些数据是构建数据仓库系统的基础是整个系统的数据源泉。数据的存储与管理：数据仓库的存储主要由元数据的存储及数据的存储两部分组成。元数据是关于数据的数据，其内容主要包括数据仓库的数据字典、数据的定义、数据的抽取规则、数据的转换规则、数据加载频率等信息。各操作数据库中的数据按照元数据库中定义的规则，经过抽取、清理、转换、集成，按照主题重新组织，依照相应的存储结构进行存储。也可以面向应用建立一些数据集市，数据集市可以看作是数据仓库的一个子集，它含有较少的主题域且历史时间更短数据量更少，一般只能为某个局部范围内的管理人员服务，因此也称之为部门级数据仓库。数据的访问：由OLAP(联机分析处理)、数据挖掘、统计报表、即席查询等几部分组成。例如OLAP：针对特定的分析主题，设计多种可能的观察形式，设计相应的分析主题结构（即进行事实表和维表的设计），使管理决策人员在多维数据模型的基础上进行快速、稳定和交互性的访问，并进行各种复杂的分析和预测工作。按照存储方式来分，OLAP可以分成MOLAP以及ROLAP等方式,MOLAP (Multi-Dimension OLAP)将OLAP分析所需的数据存放在多维数据库中。分析主题的数据可以形成一个或多个多维立方体。ROLAP (Relational OLAP)将OLAP分析所需的数据存放在关系型数据库中。分析主题的数据以“事实表-维表”的星型模式组织。3.2 数据仓库环境建立的过程数据仓库的开发生命周期不同于操作型数据库系统的开发生命周期，传统的系统开发生命周期（SDLC）是由需求驱动的，首先必须理解需求，在进行设计和开发；而数据仓库的开发遵循CLDS,也就是“螺旋式”开发方法，即由数据开始，获取数据后，将数据进行集成并检查数据的准确性，针对数据进行编程，但得到最后结果后，系统的需求才得到理解。因此数据仓库环境是按照反复开发方式建立起来，即首先建立系统的一小部分，然后再建一部分，一直按相同的路径反复进行开发，以“总体规划、分步实施、步步见效”为原则。一般来说，建立数据仓库遵循以下四个步骤：(1) 充分了解企业决策层的需求；明确企业关心的主题域，并按照优先级进行划分；(2) 按数据仓库方法设计数据仓库结构；(3) 实现业务操作系统及外部数据源的数据向数据仓库的迁移（ETL）；(4) 面向应用建立数据集市，满足企业决策需求；(5) 通过信息展现工具以可视化手段提供给企业内各级信息客户使用。数据仓库的开发是一个高风险的项目，在建设过程中，可考虑以数据仓库示范项目的形式展开，通过面向一两个关键业务的开发，以保证建设的重点突出和范围适中以及成功率。一旦成功地建设了示范项目，将增加技术人员和业务人员的信心，为业务问题和技术问题之间达到平衡摸索一套经验，这样有助于整个项目在一个可控制的状态下实施。同时示范项目也是数据仓库进一步开发的组成部分，通过类似于示范项目的循环的开发，有助于增加功能，减小风险。3.3 数据仓库环境建设的几个注意事项 主题的确定：由于逻辑数据模型的主要功能是按照不同的主题汇聚，也就是说将描述某一业务项目的所有数据都汇集到该业务项目中，因此，对主题的确定是十分重要的。划分主题的根据主要来源于以下几个方面: 对企业运营报表的分析、对企业业务流程的分析、对企业发展战略的了解、以企业以往历史数据的分析。 确定数据仓库的分区：分区设计合理可以使数据仓库能够灵活的访问数据。分区的设计应该可以在小的离散的单元中进行管理，应当有利于数据的转载，并且使数据仓库的索引容易建立。 数据粒度设计：非常低的粒度会导致大量的数据，增加系统资源开销及负荷。非常高的粒度则导致不能对许多细节数据进行分析。因此，在设计数据仓库时对各种分区的数据以什么尺度作为最细粒度，将决定存储的数据能否满足信息析的功能需求，而粒度的层次划分以及聚合表中粒度的选择，将直接影响查询的响应时间。 元数据库的建立：可以考虑在建立数据仓库之前，先建立一个用于描述数据的、用于应用集成的元数据库，做好数据仓库实施的准备工作，通过元数据管理工具,业务人员能够更好的了解和使用数据，也有利于后续开发和维护。4 结束语数据仓库的建设是一个长期的过程。数据仓库并不是一个独立存在的系统，它的数据来源于企业中现有的业务系统及外部数据源，如果业务系统升级或改造，或者企业因为发展的需要进行了新的业务系统建设，以及一些外部数据来源发生变化，都会需要数据仓库作出相应的调整，以保证数据的标准和一致性。建设数据仓库的根据目的是为企业的发展提供决策支持，随着时间的推移，越来越多的数据充实到数据仓库中，使得数据仓库的蕴藏的信息越来越大，可分析的项目越来越多，分析的手段也越来越多。企业的日益增多的信息数据无疑是一个巨大的聚宝盆，通过对数据的不断分析研究，挖掘出更深层次的内容找出更多有价值的规律，数据挖掘工作永无止境。需要企业各层面的人员共同协作，长期参与。&（上接第37页）漫游信