电信经营分析系统设计.doc

电信经营分析计算机系统 1 电信经营分析系统设计电信经营分析系统设计 数据仓库应用设计数据仓库应用设计 作者：何光洋作者：何光洋 第一章第一章 引引 言言 3 第二章第二章 需求分析需求分析5 2.1决策层需求分析.5 2.2经营层需求分析.5 2.3其他部门需求分析.6 2.4建设本系统可以达到下列应用目标.6 第三章第三章 系系统总统总体体设计设计7 3.1系统设计原则.7 3.2物理拓朴结构.8 网络中互联的部分系统介绍.9 3.3系统体系结构.10 3.3.1 Browser/Server系统的三层体系结构.11 电信经营分析计算机系统 2 3.3.2 两种体系结构的对比.12 3.4系统逻辑拓朴结构.13 3.5系统复杂度的计算.13 3.6系统功能结构.15 第四章第四章 相关技相关技术说术说明明 ASP16 4.1数据仓库技术.16 4.1.1.生成数据集合16 4.1.2. 数据存储管理17 4.1.3. 支持管理决策17 4.2数据仓库的设计.19 4.3数据仓库模型设计需要注意的问题.19 4.4常见的数据仓库产品及COGNOS数据仓库简介 .20 第五章第五章 系系统统的的实现实现20 5.1确定数据仓库使用的元数据（数据获取层）.20 5.1.1计费系统提供的数据源.21 5.1.2智能网系统提供的数据源.21 5.1.3网管系统提供的数据源.22 5.2数据获取过程.22 5.3数据集市的设计(数据存储层) 22 5.3.1数据库信息模型.22 5.3.2业务发展数据集市建立.23 5.3.3计费收入数据集市建立.24 5.3.4ARPU数据集市建立27 5.3.5长话指标统计数据集市建立.28 5.3.6财务收入数据集市建立.30 5.3.7营业收入数据集市建立.30 5.3.8其它数据集市建立.30 5.4数据展现层.31 5.4.1即席查询.31 5.4.2综合查询报表.31 5.4.3统计报表.31 5.4.4预定义报表.31 5.4.5业务管理报表.31 5.4.6业务生产报表.32 第六章第六章 系系统统管理管理32 电信经营分析计算机系统 3 6.1系统安全管理.32 6.1.1使用用户管理.32 6.2权限管理.33 6.3系统备份.33 6.4维护说明.34 第七章第七章 系系统测试统测试及成效及成效34 7.1系统测试.34 7.2系统的经济效益和社会效益.36 结束语37 第一章 引 言 近年来，国家对电信行业的改革不断深入，电信市场的竞争日趋激烈，过 去一家电信企业垄断全国市场的格局已经变成几家电信企业共同主导全国市场 的格局。随着竞争的不断加剧，各电信运营商都意识到，在竞争激烈的市场环 境中，以过去那种凭经验、想象和简单的理论分析来做市场营销，存在比较大 的盲目性，客户是企业生存和发展的根基，如何通过技术手段，充分利用现有 的业务支撑系统中所蕴含的大量宝贵的用户信息进行用户市场的细分，针对不 同的目标客户市场采取不同的营销政策，从而达到保有客户、吸引客户和充分 发掘客户的盈收潜力成为企业提高核心竞争力的关键 。 日前，山西移动将引入全球领先的NCRTeradata企业级数据仓库技术，建设 以数据仓库为基础的经营分析系统，提高企业决策质量，制订高效的营销策略， 全面提高竞争力。据了解，山西移动的经营分析系统将集中公司所有的业务数 据，实现在线互联分析。该系统在Teradata数据仓库基础上，开发相应的应用系 统，包括客户分析、收入分析、营销管理分析以及市场竞争分析等。中国联通 电信经营分析计算机系统 4 公司在这方面也进行了有意义的探索，有些分公司开发了基于数据仓库的“汇总 统计分析系统”。从总体上来看，无论是中国移动的“经营分析系统”，还是中国 联通的“汇总统计分析系统”，都还处于一种准备阶段，对于整个系统的定位、 建设方式、建设规模和步骤、系统建成后如何维护和使用等问题还没有定论。 而且，从这些在建的系统来看，除了以上问题之外，大概还有需求不明确、现 有系统支持不够、系统接口不明确、系统发展思路不清晰等问题，规模都比较 小、实现的功能也很有限，应该算是一种试用阶段的产品。 中国电信公司作为全国较大的通信运营商之一，目前尚未开展出一套统一 的、完善、系统、适用的经营分析系统。近年来，各地电信分公司在开发基于 数据仓库的经营分析系统这方面也正进行着积极的尝试，以为有效应对市场竞 争提供有力的武器。2003年，三明电信分公司成功地开发出了一套基于数据仓 库的，主要依托现有本地计费帐务系统、97系统、OA、网管等系统提供的各种 数据，实现对客户、竞争对手、资费策略、竞争策略、业务替代等进行多层次、 多角度、多种方式的挖掘和统计分析，揭示客户、业务、消费等的内在规律和 发展趋势，并通过一定的报表生成和展现方式实现对渠道建设、营销管理、经 营决策的电信经营分析系统。 本文的主旨就是针对三明电信分公司经营分析系统的开发过程、开发工具， 系统的结构、设计思路、实现方式以及系统所能达到的目标等方面进行阐述。 电信经营分析计算机系统 5 第二章 需求分析 2.1决策层需求分析 决策层主要从宏观上把握收入的变化，市场变化，业务发展情况 其关注的主要有以下几个方面： 业务收入变化，按月、按旬 业务量的变化 实时产品的每日收入和话务量的变化 业务发展情况，新增用户数，拆机数等按日按旬按季度统计 财务收支情况 各种资源利用情况，如网络、设备、固资使用情况 2.2经营层需求分析 经营层主要包括以下几个部门：市场部，集团客户部，商业客户部，公众 客户部等部门其需求主要有以下几个方面： 全面、深化、细化市场分析： 根据不同用户人群按大客户、机关客户、商业客户、公众客户分群 分类分析； 根据业务种类按长话、市话、PHS、数据业务、公话业务、新业务 等大类归类分析，再细化分析（比如长话可分为直拨、IP、卡类-长途直 拨/长途IP-长途（或IP）直拨省内、国内、国际-具体的 17900、17901、17908、17909IP长途） ； 根据不同的业务区域：工业区、校园区、居民区、办公区、闹市区、 旅游区、偏远地区、城市主干道区域、公园区、休闲娱乐区等细化分析这 些区域的用户群特点，以及使用通信业务的习惯和方式等； 根据业务方向分析：比如福州拨打厦门、泉州、宁德等长途方向； 我省拨打广东、河南、四川等国内方向；我省拨打香港、台湾、新加坡、 美国等国际方向； 通过财务、帐务报表，对各专业、各用户种类的收入贡献水平、业务量、 利润率的分析，以找到最佳的业务搭配方案、业务侧重点，以及经营工 作存在的问题和原因，找准促进市场经营的切入点。 从利润水平、网络规划、财务分配、市场份额、对原有业务影响等方面 进行企业市场行为的效果评估与影响力度的分析。 电信经营分析计算机系统 6 市场经营工作模式、经营理念、营销组织、营销方案的对比研究，以及 参考各类资料、经验，整理出最理想的经营方面的建议。 2.3其他部门需求分析 综合办公室：综合办公室：需要提供各类市场经营信息，特别是有关市场变化的信息； 财务部门：财务部门：需要提供ARPU值、分月份、季度等的财务报表； 建设部门：建设部门：需要提供基于业务需求的具体建设规划，以供利润水平分析； 网管部门：网管部门：需要提供每周各类业务的话务趋势、具体业务的市场占有率、 运行质量的分析数据；必要时可以直接在网管台帐系统上收集数据； 2.4建设本系统可以达到下列应用目标 根据现有系统内的各类数据，建立计费经营分析模型，为将来决策分析打 下基础。形成基本主题分析。 在专业网及OA内作分析。主要通过包括地域、客户细分、客户属性、业务 特性、时间、渠道、竞争对手等分析纬度，对业务量、消费量、数量等指 标分析，为市场、财务等相关部门及领导提供分析平台。 对分析形成的固定结果，按照指定的格式输出，如报表、WEB、电子文件 （excel、txt、dbf等） 在OA及专业网内，展示各类结果（包括需要的报表） 。 提供一定的营销结果评估手段。 电信经营分析计算机系统 7 第三章 系统总体设计 3.1系统设计原则 电信计费经营分析软件在技术实现上涉及到多种系统平台与工具的集成。 因此，在系统的技术实现上应充分考虑多种技术和平台的无缝集成。因此，系 统建设必须遵循以下要求： 1、开放性：开放性： 为保证系统的开放性，系统构建中要使用世界主流的硬件平台（主机、网 络设备等）和软件平台，基于业界开放式标准，支持系统建设中涉及的各种网 络协议、硬件接口、数据接口等，为未来的系统扩展奠定基础。 同时，为了保证数据库的开放性，在数据模型建立时，数据存储中应充分 考虑对未来业务发展的最大支持，使相关系统能够顺利地使用系统的数据库数 据。 2、灵活性与可扩展性：灵活性与可扩展性： 在建设中使用了能够支撑灵活、扩展的软硬件平台（如：主机设备的集群， 存储区域网络SAN） ，能够根据应用需求，方便扩展设备容量和提升设备性能； 同时具备支持多种组件模块、多种物理接口的能力；而且具备技术升级、设备 更新的灵活性。 电信计费经营分析数据库数据存储模型的设计采用面向企业整体信息的主 题域方式，保证信息的完整性和信息主题的稳定性。将来新业务数据和分析需 求出现，新（业务）数据的加入可以按照域归属的方式进行增加，在无主题域 可依的情况下，采用建立新域的方式进行数据扩展。分析模型可以通过数据集 市对主题域进行多次重构，系统能保证重构后的分析模型符合数据要求，这样 也保证了对未来相关系统的数据支撑。 3、安全可靠性：安全可靠性： 分析系统的结果和分析过程需要各类人员参与，才能得到，因此要求使用 方便的操作界面和安全可靠的权限管理。 电信计费经营分析软件使用集中的管理模块和集中的数据处理，有利于对 系统的整体管理和控制。例如：使用统一元数据管理整个系统的全过程，使用 统一的进程调度中心控制系统的各个阶段（数据获取、数据存储、数据访问等） 。 按照中国电信业务指标要求（如：业务基本信息完整备等） ，结合具体的数 据情况，充分考虑建设维护成本，提供系统备份、数据恢复的策略和措施。提 供统一监控系统，对主机、网络、数据库、各准备进程等进行监控和预警。使 电信经营分析计算机系统 8 用访问验证、权限分级管理、数据发布管理，防火墙，有效的IP地址分段，安 全监控等技术手段，保证系统的网络安全和数据安全。 4、实用性：实用性： 结合不同部门、不同的业务需求，合理的构建模型以及合理地组织数据， 保证了查询效率与响应时间。 对现有业务运营系统影响小，是系统的设计基本要求，采取恰当的数据抽 取策略和控制机制（晚间自动抽取控制）来达到这一目标。在存储上要能体现。 系统对大多数使用人员提供通过浏览器访问方式，并且提供多种图表展现 方式（如：柱状图、饼图、多维透视表等） ，只要会使用浏览器，就会使用本系 统。通过门户与OA融合，向个性化的方向发展。 5、独立性：独立性： 经营分析系统在形成分析挖掘模型过程中，在提取数据阶段需要消耗一些 系统主机数据库资源，为了保证分析挖掘能正常进行，必须按照数据集市和数 据仓库的设计原则，在最终分析数据存储上与生产系统有较大的差异性，最终 分析数据存储与现有的生产数据存储分离，在使用过程中基本不影响生产系统， 以避免了消耗系统主机资源。在系统投产后，市场分析人员必然会频繁使用本 系统，在对大数据量分析挖掘过程中，对机器内存要求和数据库要求都较高， 因此要求分析和生产系统存相对定独立性，这也是分析挖掘系统的通常要求和 建设要求原则。 3.2物理拓朴结构 互连互通 结算系统 接口系统（防火墙） 网管系统数据 数据主机服务器 传输数据 到接口 本地网 计费系统 智能网数据 九七系统 OLAP应用服 务器OLAP 财务专网（报表） 系统数据处理系统数据处理 部部分分 系统前端应用系统前端应用 部部分分 OA web展现九七网 电信经营分析计算机系统 9 增加一台微机服务器作为计费经营分析服务器，并配置一定存储空间。提 供在WINDOW2000操作系统下，以WEB方式操作和在条件允许范围内与现有的 OA网相连，让需要使用的人员方便使用。 网络中互联的部分系统介绍 A、网管系统、网管系统 现代电信网运行的支撑系统之一。为保持电信网正常运行和服务，对它进 行有效地管理所建立的软、硬件系统和组织体系的总称。 电信网管主要包括网路管理系统、维护监控系统等。电信管理网的主要功 能是：根据各局间的业务流向、流量统计数据有效地组织网路流量分配；根据 网路状态，经过分析判断进行调度电路、组织迂回和流量控制等，以避免网路 过负荷和阻塞扩散；在出现故障时根据告警信号和异常数据采取封闭、启动、 倒换和更换故障部件等，尽可能使通信及相关设备恢复和保持良好运行状态。 随着网路不断地扩大和设备更新，维护管理的软硬件系统将进一步加强、完善 和集中，从而使维护管理更加机动、灵活、适时、有效。 B、智能网系统、智能网系统 由程控交换机节点、7号信令网及业务控制计算机构成的电话网。智能网是 在现有电话网的基础上发展而来的，是指带有智能的电话网或综合业务数字网。 它的网络智能配置于分布在全网中的若干个业务控制点中的计算机上，而由软 件实现网络智能的控制，以提供更为灵活的智能控制功能。智能网在增加新业 务时不用改造端局和交换机，而由电信公司人员甚至用户自己修改软件就能达 到随时提供新业务的目的。 C、本地网计费帐务系统、本地网计费帐务系统 本地电信业务计费帐务系统是根据中国邮电电信总局1996年6月下发的本 地电信业务计费帐务系统分析与设计中确定的新模型而开发研制的应用软件， 是支撑电信企业运行的重要技术手段，是面向用户服务的综合性关键支撑系统 之一。计费帐务系统基本满足了当前和今后一段时期电信企业本地计费帐务处 理的业务需求，它与“九七”营业系统等业务支撑系统相配合，向电信用户提 供“全程、全网”的及时、准确、统一的服务，对于提高服务质量和管理效率， 保证企业的经营效益，增强市场竞争力发挥重要作用。 本地电信业务计费帐务系统功能模型由数据采集、计费处理、帐务管理(销 帐处理)、欠费管理、资料管理、统计查询、审核校验、系统管理八大部分组成。 系统数据收集部分系统数据收集部分 电信经营分析计算机系统 10 D、 “九七九七”系统系统 “九七”系统是电话业务计算机综合管理系统的代称，是电信服务网计算 机应用系统基础之一，其目的是实现“以市话业务流程规范为依据，以营业受 理为龙头，以定单管理为核心，以机线资源管理为基础，以计算机网络平台为 支撑，达到数据共享、准确，服务优质、规范，管理动态、闭环的目标” ，以三 明电信市公司为网络中心，以县(市)及下属营业分支机构为网点的电话业务计 算机综合管理网络服务系统。其中营业、号线、定单、机线和综合查询五个子 系统因为其内在的紧密联系而被看作一个整体，称为基本系统。 1、营业受理子系统：负责受理客户业务申请，申请费用的计算和收取，接 受客户的查询，与客户进行联系，对受理过程进行管理。 2、号线子系统：为需要号线资源的客户申请配线配号，对号线资源的使用 进行管理，提供对号线资源的查询。 3、定单管理子系统：对客户申请从受理开始到业务处理竣工的状态和业务 队伍进行处理，负责派发工单，竣工处理。 4、机线资源管理子系统：维护管理机线资源的基础资料，包括对可用资源、 规划资源、在建资源、废弃资源的管理，提供对机线资源资料的查询统计。 5、综合查询子系统：对业务处理、客户信息、号线资源及其状态的综合管 理、统计和分析，提供面向内部生产、管理和面向客户的相关信息查询。 E、办公网、办公网OA系统系统 办公决策综合管理OA系统是基于计算机主页(Web)的以INTRANET形式构 成的现代企业办公管理系统。采用WINDOWS NT 4.0组网。Web服务器为 Microsoft的IIS SERVER4.0，数据库采用ORACLE 7.3。含有完整的公司员工信 息，公司员工通过办公网处理事务，实现无纸办公。本系统的优点在于操作简 便、用户利用本系统进行日常办公不受地域限制，另一个显著的优点在于用户 访问本系统只需通用的INTERNET 浏览器，无需特定的客户端软件，维护时， 只需维护服务器端即可，而且支持远程维护。 3.3系统体系结构 三明电信经营分析系统是以Browser/Server构建系统并实现对数据其它子系 统访问的，为什么选用以Web形式，即B/S（Browser/Server）的形式进行体系 统构建，而不采用Client/Server方式构建呢？首先让我们对C/S与B/S作个比较和 说明。 电信经营分析计算机系统 11 3.3.1 Browser/Server系统的三层体系结构 随着Internet越来越广泛的应用，原来基于局域网的企业网开始采用Internet 技术来构筑和改建自己的企业网，即Intranet。于是一种新兴的体系结构 Browser/Server应运而生，并获得飞速发展，成为众多厂家争相采用的新型体系 结构。本质上Browser/Server也是一种Client/Server结构，它是一种由传统的二层 Client/Server结构发展而来的三层Client/Server结构在Web上应用的特例。 在Browser/Server的系统中，用户可以通过浏览器向分布在网络上的许多服 务器发出请求。Browser/Server结构极大地简化了客户机的工作，客户机上只需 安装、配置少量的客户端软件即可， 服务器将担负更多的工作，对数据库的访 问和应用程序的执行将在服务器上完成。 在Browser/Server三层体系结构下，表示层(Presentatioon)、功能层(Business Logic)、数据层(Data Service)被割成三个相对独立的单元： 第一层 表示层：Web浏览器 在表示层中包含系统的显示逻辑，位于客户端。它的任务是由Web浏览器 向网络上的某一Web服务器提出服务请求，Web服务器对用户身份进行验证后 用HTTP协议把所需的主页传送给客户端，客户机接受传来的主页文件，并把它 显示在Web浏览器上。 第二层 功能层：具有应用程序扩展功能的Web服务器 在功能层中包含系统的事务处理逻辑，位于Web服务器端。它的任务是接 受用户的请求，首先需要执行相应的扩展应用程序与数据库进行连接，通过 SQL等方式向数据库服务器提出数据处理申请，而后等数据库服务器将数据处 理的结果提交给Web服务器，再由Web服务器传送回客户端。 第三层 数据层：数据库服务器 在数据层中包含系统的数据处理逻辑，位于数据库服务器端。它的任务是 接受Web服务器对数据库操纵的请求，实现对数据库查询、修改、更新等功能， 把运行结果提交给Web服务器。 仔细分析不难看出，三层的Browser/Server体系结构是把二层Client/Server结 构的事务处理逻辑模块从客户机的任务中分离出来，由单独组成的一层来负担 其任务，这样客户机的压力大大减轻了，把负荷均衡地分配给了Web服务器， 于是由原来的两层的Client/server结构转变成三层的Browser/Server结构。 这种结构不仅把客户机从沉重的负担和不断对其提高的性能的要求中解放 出来，也把技术维护人员从繁重的维护升级工作中解脱出来。由于客户机把事 务处理逻辑部分分给了功能服务器，使客户机一下子“苗条”了许多，不再负 责处理复杂计算和数据访问等关键事务，只负责显示部分，所以维护人员不再 电信经营分析计算机系统 12 为程序的维护工作奔波于每个客户机之间，而把主要精力放在功能服务器上程 序的更新工作。这种三层结构层与层之间相互独立，任何一层的改变不影响其 它层的功能。它从根本上改变了传统的二层Client/Server体系结构的缺陷，它是 应用系统体系结构中一次深刻的变革。 3.3.2 两种体系结构的对比 Browser/Server体系结构与Client/Server体系结构相比不仅具有Client/Server 体系结构的全部优点，而且又有Clinet/Server体系结构所不具备的独特优势： 开放的标准开放的标准 Client/Server所采用的标准只要在内部统一就可，它的应用往 往是专用的。Browser/Server所采用的标准都是开放的、非专用的，是经过标准 化组织所确定的而非单一厂商所制定，保证了其应用的通用性和跨平台性。 较低的开发和维护成本较低的开发和维护成本 Client/Server的应用必须开发出专用的客户端软件， 无论是安装、配置还是升级都需要在所有的客户机上实施，极大地浪费了人力 和物力。Browser/Server的应用只需在客户端装有通用的浏览器即可，维护和升 级工作都在服务器端进行，不需对客户端进行任何改变，故而大大降低了开发 和维护的成本。 使用简单，界面友好使用简单，界面友好 Client/Server用户的界面是由客户端软件所决定的， 其使用的方法和界面各不相同，每推广一个Client/Server系统都要求用户从头学 起，难以使用。Browser/Server用户的界面都统一在浏览器上，浏览器易于使用、 界面友好，不须再学习使用其它的软件，一劳永逸的解决了用户的使用问题。 客户端消肿客户端消肿 Client/Server的客户端具有显示与处理数据的功能，对客户端 的要求很高，是一个“胖”客户机。Browser/Server的客户端不再负责数据库的 存取和复杂数据计算的等任务，只需要其进行显示，充分发挥了服务器的强大 作用，这样就大大的降低了对客户端的要求，客户端变得非常“瘦” 。 系统灵活 Client/Server系统的三部分模块中有一部分需改变就要关联到其 它模块的变动，使系统极难升级。Browser/Server系统的三部分模块各自相对独 立，其中一部分模块改变时其它模块不受影响，系统改进变得非常容易，且可 以用不同厂家的产品来组成性能更佳的系统。 保障系统的安全性保障系统的安全性 在Client/Server系统中由于客户机直接与数据库服务器 进行连接，用户可以很轻易的改变服务器上的数据，无法保证系统的安全性。 Browser/Server系统在客户机与数据库服务器之间增加了一层Web服务器，使两 者不再直接相连，客户机无法直接对数据库操纵，有效地防止用户的非法入侵。 三层的Browser/Server体系结构具有许多传统Client/Server体系结构不具备的 优点，而且又紧密的结合了Internet/Intranet技术，是技术发展的大势所趋，它把 电信经营分析计算机系统 13 应用系统带入了一个崭新的发展时代。 所以综合以上种种因素，我们最终选择了以Web(Browser/Server体系结构)的 形式，构建了我们的这套系统。 3.4系统逻辑拓朴结构 业务系统 数据收集数据收集层层 数据存数据存储层储层 数据展示数据展示层层 电信经营分析软件从本地计费帐务系统和其它计算机系统抽取相关业务数 据，加载到报表系统数据库中，形成基础的分析数据。然后根据业务及管理等 实际需要在数据库上建立适合各种应用的数据集市。系统数据库、数据集市中 蕴含的信息可以通过报表工具、即席查询等形式向报表系统使用人员展现。系 统体系结构分为三层，即数据获取层、数据存储层和数据展现层。 3.5系统复杂度的计算 对于本系统来说，其主机设备分为三种： 第一种数据库服务器，用于需要统计报表的数据的存储、管理等。 第二种报表生成服务器，用于对数据库服务器中的数据根据统计报表的要 求不同进行查询、排序、统计等。 第三种WEB服务器，主要用于生成报表的展现。 在本期建设中，数据库服务器、报表生成服务器和WEB服务器采用PC SERVER，可以共用一台，后期可以根据需要进行扩展，将三个服务器分别安 装在三台PC SERVER上。 电信经营分析系统的存储容量计算如下：电信经营分析系统的存储容量计算如下： 1、存储要求、存储要求 报表查询 OLAP分析 灵活报表、灵活报表、 即席查询即席查询 其他应用 程序 系统管理、开发层系统管理、开发层 数据存储 数据准备 应用服务 电信经营分析计算机系统 14 项目 每万用户字 节数月数 明细帐数据20,000,000 24 综合帐单数据20,000,000 24 销帐数据61,100,000 3 统计数据10,000,000 24 欠费数据2,000,000 24 呆帐数据200,000 24 坏帐数据100,000 24 资料管理40,000,000 1 用户资料管理50,000,000 24 数据表空间合计 203,400,000 总计（有效数据容量） 203,400,000 索引表空间的应用冗 余20% 块冗余20% 临时表空间（G）5.00 回滚表空间（G）5.00 自由空间10% 总计空间(数据表空间合计*(1+索引表空间冗余)*(1+块冗余)+ 临时表空间+回滚表空间)*(1+自由空间) 2、业务需求、业务需求 名称用户数(万户)其中小灵通用户数(万户) 电信业务59.94409.3799 存储容量总值350GB 我们对设备配置建议如下，用户数的计算是按照当前的用户总量来计 算，需要考虑用户的增长量： 用途用途服务器服务器 型号型号 CPU 个数个数 内存需内存需 求求 （GB） 存储容量存储容量 （GB） 其它主要配置其它主要配置 （单机）（单机） 电信经营分析计算机系统 15 数据库服务器 报表生成服务器 WEB服务器 PC服 务器 22350双百兆网卡； Win2000操作 系统； 3.6系统功能结构 电信经营分析系统功能组成如下图所示。 系统功 能 数据 获取 报表 功能 数据分析系统管 理 信息展 示 信息发 布 信息订 阅 安全管 理 告警管 理 权限管 理 客户发展 情况 收益情况 业务情况 大客户与商业客户 营销/渠道 新业务 预定义 报表 即席查 询 抽 取 转 换 加 载 审 核 电信经营分析计算机系统 16 第四章 相关技术说明 ASP 本次系统开发主要使用Cognos系列数据仓库工具。下面简要介绍数据仓库 技术及Cognos系列数据仓库工具 4.1数据仓库技术 “数据仓库是面向主题的、集成化的、稳定的、随时间变化的数据集合， 用以支持管理决策的过程。 ”这是数据仓库之父Bill Inmon对数据仓库的定义。可 以看出，数据仓库是用来支持管理决策过程的数据集合，因此数据仓库技术也 可以分为三个环节：生成数据集合、数据存储管理和支持管理决策。 4.1.1.生成数据集合 所谓生成数据集合，就是从运营商的业务系统中把各种数据提取出来存放 到专门用来支持分析的数据库中。 生成数据集合的关键操作是ETL（Extraction抽取、Transition转换、Load加 载） 。ETL过程也是数据仓库建设中的一个重要的组成部分之一。从源数据到数 据仓库和从数据仓库到数据集市都采用ETL过程。ETL过程需要一个集中、高 效的数据引擎进行数据处理，必须能够方便地集成通用数据库系统、主机系统、 ERP系统和Web上的各种数据源，完成向数据仓库的快速加载。 数据抽取在项目实施过程和维护过程中占有很大的工作量，也是充分体现 整个方案智能性的重要方面，针对三明电信的具体情况，可以采用基于数据库 复制、文件传输（ FTP，通过专用的数据库工具进行加载）和直接数据库加载 等不同方案，以向用户提供可行的、高效的数据库传输和加载方案。 数据转换是指对从业务系统中抽取的源数据根据数据仓库系统模型的要求， 进行数据的转换、清洗、拆分、汇总等处理，保证数据按要求装入数据仓库。 数据加载主要解决的矛盾来自以下两个方面，数据的加载速度和如何保证 数据完整性和一致性。 主要加载技术： 使用数据仓库引擎厂商提供的数据加载工具进行数据加载； 通过数据仓库引擎厂商提供的API编程进行数据加载。 具体选择什么技术，必须根据实际的系统及数据量情况进行权衡。数据加 载策略主要包括两方面的内容：加载周期及数据追加策略。加载周期是指多长 时间从业务系统中抽取并向数据仓库中加载一次数据。数据追加策略是指数据 电信经营分析计算机系统 17 每次是如何向数据仓库系统中追加的。 4.1.2. 数据存储管理 数据仓库规模一般都很大，从建立之初就要保证它的可管理性，一个企业 可能建立几个数据仓库或数据集市，但他们可共用一个源数据库对其进行管理。 首先从源数据库查询所需源数据，然后进行数据仓库更新作业，更新结束后， 将更新情况记录于源数据库中。当数据源的运行环境、结构及目标数据的维护 计划发生变化时，需要修改源数据。源数据是数据仓库的重要组成部分，源数 据的质量决定整个数据仓库的质量。 数据仓库的实现主要以关系数据库（RDB）技术为基础，因为关系数据库 的数据存储和管理技术发展得较为成熟，其成本和复杂性较低，已开发成功的 大型事务数据库多为关系数据库，但关系数据库系统并不能满足数据仓库的数 据存储要求，需要通过使用一些技术，如动态分区、位图索引、优化查询等， 使关系数据库管理系统在数据仓库应用环境中的性能得到大幅度的提高。 4.1.3. 支持管理决策 支持管理决策就是要把企业的数据转换成信息展现出来，供企业的不同部 门或不同层次的决策人员使用。数据展现是整个方案中人机交互的接口，可以 通过邮件、专用客户端、企业门户进行访问，采用多种的分析手段和多种表现 形式，通过灵活的开放式接口，使用户在需求和特定业务上作出选择。 数据的分析和展现具有优良的开放性和可扩展性。数据可输出为HTML等 多种类型的文件，也可为脱机的、移动的独立用户建立分析数据子集。OLAP数 据可在LAN、WAN、Intranet上为各类用户所访问。 数据的分析和展现包括以下几方面的重要内容：统计报表、多维分析、数 据挖掘。 a. 统计报表统计报表 统计报表有两种：预定义报表和即席查询，其中预定义报表提供开发这种 预定义报表的企业级报表生成工具，提供给用户诸如ARPU、MOU值等的报表 生成工具，定期的向相关部门的人员提供对应的定制报表；即席查询是用户根 据实时性的需求应用展现工具设计展现数据信息。 b. 多维分析多维分析 多维分析指充分利用联机分析处理（OLAP）的相关技术，针对特定的分析 主题，设计多种可能的观察形式，设计相应的分析主题结构，使管理决策人员 在此多维数据库的基础上进行快速、稳定和交互性的访问，并进行各种复杂的 电信经营分析计算机系统 18 分析和预测工作。 联机分析处理主要通过多维的方式对数据进行分析、查询和报表。它不同 于传统的联机事物处理（OLTP）应用。OLTP应用主要是用来完成用户的事务 处理，如民航订票系统、银行储蓄系统等，通常要进行大量的更新操作，同时 对响应时间要求比较高。而OLAP应用主要是对用户当前及历史数据进行分析， 辅助领导决策。其典型的应用有对银行信用卡风险的分析与预测、公司市场营 销策略的制定等，主要是进行大量的查询操作，对时间的要求不太严格。目前 常见的OLAP主要有基于多维数据库的MOLAP及基于关系数据库的ROLAP。在 数据仓库应用中，OLAP应用一般是数据仓库应用的前端工具，同时OLAP工具 还可以与数据挖掘工具、统计分析工具配合使用，增强决策分析功能。 c. 数据挖掘数据挖掘 数据挖掘是从海量数据中提取隐含在其中的有用信息和知识的过程。它可 以帮助企业对数据进行微观、中观乃至宏观的统计、分析、综合和推理，从而 利用已有数据预测未来，帮助企业赢得竞争优势。例如，利用数据挖掘可以对 企业的海量数据进行客户分析，包括客户类型、各类客户的需求倾向、贷款偿 还预测和客户信用政策分析、客户流失分析等；进行市场研究，包括商品市场 占有率预测、市场拓展计划仿真；进行经营策略研究，包括经营成本与收入分 析、风险控制、欺诈行为甄别等。实现数据挖掘的四个关键：首先，要踏踏实 实做好基础数据库的建设。一个企业实现数据挖掘的前提和基础是拥有大量、 真实的数据积累。没有数据积累，数据挖掘将无用武之地。一般用于挖掘的数 据有两种来源：数据仓库或数据库。目前，基于数据仓库的数据挖掘逐渐被人 们所推崇，它有三点显著优势：一，数据挖掘必须要对数据进行抽取、清洗、 转换和装载，这个过程很耗时。如果基于数据仓库，数据仓库已经做好以上工 作，就能避免挖掘时每次对数据进行抽取、清洗等。二，数据仓库的数据是按 主题组织的，这为数据挖掘选择合适的数据源提供了方便。三，数据库不能存 放历史数据，因此直接在数据库中挖掘，许多知识无法挖掘出来，如预测型应 用；相反，数据仓库却能。其次，企业要有比较明确的挖掘目标。盲目的数据 挖掘是很难成功的。再次，数据挖掘必须由来自不同领域的人员共同参与，包 括行业专家、数据管理员、数据分析人员、业务分析人员、数据挖掘专家等。 大家需要通力合作，寻找一套适合自己企业的开发方法，并逐步建立起挖掘的 模型库。最后，构建数据挖掘系统，不仅需要很高的资金投入，而且挖掘结果 是供决策层决策使用的，因此必须得到最高决策管理层的支持、认可和参与。 数据挖掘作为一种边缘性学科，尤其在数据挖掘实际应用中，数据挖掘和统计 学间存在一定的交叉性。 和业务支撑系统不同，数据仓库相关系统需要应用人员具备包括综合电信 电信经营分析计算机系统 19 业务、市场营销及一些统计数学方面的专业知识，然而，目前各电信运营企业 在这些方面的人才储备非常欠缺。另外，应用数据仓库相关系统为企业提供决 策支持就必然与企业现有的决策流程存在不一致的地方，需要在实际应用过程 中作出某种程度的调整。基于以上两个方面的原因，电信运营企业建设数据仓 库系统应当分阶段进行：（1）首先建立基于主体业务的以统计报表和多维分析 为主要应用的试用系统，在系统应用比较成熟的时候选定一两个主题进行数据 挖掘应用的探索；（2）系统成熟应用一段时间后（建议至少半年以上） ，开始 建设基于多种业务的以多维分析和数据挖掘为主体应用的系统。 4.2数据仓库的设计 定义仓库的体系结构，做容量规划，选择存储服务器、数据库、OLAP 服务器以及其他工具； 集成服务器、存储、客户端工具； 设计仓库的模式和视图； 定义物理的数据仓库结构，确定数据的存放、分区以及访问的方法； 使用数据网关、ODBC驱动程序或者其他封装器连接数据源； 设计并实现数据抽取、清洗、转换、装载和刷新的脚本程序； 将数据库的模式、视图定义、脚本以及其他元数据装入仓库； 设计并实现终端用户的应用程序； 将数据仓库和基于它的应用投入使用。 4.3数据仓库模型设计需要注意的问题 数据仓库的模型设计（包括逻辑模型设计和物理模型设计）是系统的基础 和成败的关键，在实际操作中应对下列问题引起注意： 主题的确定：主题是一个逻辑概念，它应该能够完整、统一地描述出分析 对象所涉及的各项数据以及相互联系。划分主题的根据主要来源于两方面: 对 原有固定报表的分析和对业务人员的访谈。原有固定报表能较好地反映出以往 工作对数据分析的需求，而且其数据含义和格式相对成熟、稳定，在模型设计 中需要大量借鉴。 分析内容的细化：主题的划分实际上是与分析内容的范围直接相关的，一 旦主题划分清楚了，下一步就是细化分析的具体内容以及根据分析内容的性质 确定它在数据仓库中的位置。通常，维元素对应的是分析角度，而度量对应的 是分析所关心的具体指标。一个指标究竟是维元素、度量还是维属性，取决于 其具体的业务需求，但从实际操作中可以总结出这样的概念性经验: 作为维元 电信经营分析计算机系统 20 素或维属性的通常是离散型的数据，只允许有限的取值；作为度量的是连续型 数据，取值无限。 粒度的设计：数据仓库模型中所存储的数据的粒度，将对信息系统产生多 方面影响。事实表中以各种维度的什么层次作为最细粒度，将决定存储的数据 能否满足信息分析的功能需求，而粒度的层次划分以及聚合表中粒度的选择， 将直接影响查询的响应时间。 4.4常见的数据仓库产品及Cognos数据仓库简介 目前市场上主要的几个数据仓库产品厂商： Oracle、Microsoft、Cognos、Business Objects、IBM、Sybase、Informix、NCR、SAS、CA。 Cognos产品特点： 1990年Cognos Powerplay出现，是第一个基于windows 的OLAP工具。Cognos, 是全球商务智能(BI) 的供应商，其提供的软件为企业的 所有级别用户做出有效决策，从而帮助公司提高商业绩效。它使用语义层技术 Catalog来表示数据库中的多维数据，具有较好的查询和报表功能。支持多种平 台（Windows平台及Unix平台） ，支持Internet/Intranet，可以通过WWW进行查 询、报表和分析决策。 Cognos主要工具： Cognos Impromptu 用于创建全客户报表，可以便捷的 从多个数据源创建包含表、交叉表和统计图的报表；Impromptu Web Report 用 于发布web上的全客户报表；使用Cognos Query进行查询分析；PowerPlay 用于 展示分析数据，并提供图形化的分析工具。 总的来说，Cognos系统的优点是功能强、性能高、特长突出，最突出的优 点是强大的web展现功能。缺点是Cognos 只通过代理在中国销售, 没有清晰的 中国市场的长期承诺，技术支持较薄弱。由于cognos强大的功能，维护方便， 学习简单，因此，本系统中选择了cognos技术。 第五章 系统的实现 5.1确定数据仓库使用的元数据（数据获取层） 在总体设计中已经提到，系统的数据源主要有计费系统，97系统，网管系 统，AO系统，智能业务平台。这些系统目前在三明电信已由一个DCN网连接， 因此，物理上无需再做专门的连接，但必需建立逻辑链路。 电信经营分析计算机系统 21 由于，各个系统使用的数据库均为Oracle数据库，因此，只需在数据库服务 器上建立其它各系统的DB_link。 5.1.1计费系统提供的数据源 直接从本地计费帐务系统提取。 序号项目细项目 1.长途通话话单 2.智能网话单 3.本地网通话话单（区间、区内） 4. 清单（数据源） 网间通话话单 5.客户细分（大客户、商业客户、公众客 户、流动客户） 6.营销渠道（大客户、社区、农村通包、 10000） 7. 用户档案 用户属性（按照产品、优惠、合同号等） 8.电话业务（直拨、IP、智能网、卡类） 9.基础数据业务（DDN，分组、互联网、 ATM、ADSL、LAN等） 10.增值业务（互联星空、短信、声讯、卡、 预付费管理等） 11. 业务 结算、摊分 12.下帐帐目 13.销帐帐目 14.销帐流水 15.缴费流水 16. 帐务 欠费帐目 17.呆帐帐目 18. 呆坏帐 坏帐帐目 19.配置数据各类配置表，如帐目类别、缴费方式等。 5.1.2智能网系统提供的数据源 从本地智能网系统提取。 电信经营分析计算机系统 22 序号项目细项目 20.IP卡类（17909，17901，17908） 21.预付费卡等（20189，2018） 22.跨地市智能业务20130，互连星空等 23. 业务 结算、摊分 24.下帐帐目 25.销帐帐目 26. 帐务 销帐流水 27.配置数据各类配置表，如帐目类别、缴费方式等。 5.1.3网管系统提供的数据源 直接从本地计费帐务系统提取。 序号项目细项目 28.长途通话话单 29.智能网话单 30. 话单 本地网通话话单（区间、区内） 31.配置数据各类配置表，如帐目类别、缴费方式 等。 5.2数据获取过程 数据抽取、转换和加载，是报表系统数据库应用过程中，进行数据由数据 源系统向报表系统数据库加载的主要方法，整个数据处理过程实现如下： 各 业 务 系 统 源数据 存放区 数据检 查、数据 抽取、预 处理 数据准备区数据集市 数据转换、加载数据转换、 加载 报表 系统数据 库 电信经营分析计算机系统 23 5.3数据集市的设计(数据存储层) 5.3.1数据库信息模型 报表系统数据库信息主题，包括客户、帐务、服务、结算、服务使用、营 销等几个部分。 1.客户主题客户主题包含了与客户相关的基本信息，如客户的自然属性（姓名、年龄、 职业等） 、客户的分类信息（现有客户、潜在客户、大客户等） 、客户的重 要属性信息（信用度、忠诚度、消费层次等） 。 2.帐务主题帐务主题中包含了与客户相关的费用信息，如明细账单、综合帐单、帐本、 帐户、付费记录、销帐流水等信息。 3.服务主题服务主题中包含了套餐、资费与优惠规则等信息。 4.营销主题营销主题中包含了销售机会、营销渠道、促销活动等相关信息。 5.服务使用主题服务使用主题中描述客户购买和使用中国电信服务产品的信息，主要包含 了用户、服务使用记录、清单等。 6.结算主题结算主题中包含了结算清单、结算明细账单、合作服务方等信息。 5.3.2业务发展数据集市建立 实现目标实现目标 了解不同业务类别（产品类别）的客户构成、增减情况与发展趋势。 业务功能业务功能 分别从时间、地域、年龄组、客户性别、消费层次、客户类型、客户职业、 产品、业务种类在指定对比时间上的增量进行多维分析、比较分析、排名分析、 意外分析、趋势分析。 对业务量中的关键指标（如某一时间的业务量、某一地域的MOU、某客户 群的业务量等） ，可设定预警条件（涨跌告警、特定值告警等） ，从而实现对关 键指标的动态监测。当出现告警后，可引导客户（这里指报表系统的使用客户） 进行原因和影响分析，查找指标出现异常的原因。 实例表 serv 度量值： count(*) as page 电信经营分析计算机系统 24 纬度表 建立日期：