中国电信集团公司CTG-MBOSS总体规范

EDA-ODS：总体规范 版本 1.0 中国电信集团公司 2007 年 7 月 CTG-MBOSS 规范 版权所有，注意保密 i E-O：总体规范 目 录 1 文档说明 . 1 1.1 编制说明 . 1 1.2 适用范围 . 2 1.3 起草单位 . 2 1.4 解释权 . 2 1.5 版权 . 2 2 系统综述 . 3 2.1 驱动力 . 3 2.1.1 业务发展的需要 . 3 2.1.2 数据共享的需要 . 4 2.1.3 数据质量提升的需要 . 5 2.2 系统定位 . 6 2.3 业务目标 . 7 2.3.1 统一准实时数据共享 . 8 2.3.2 生产经营数据质量检查 . 8 2.3.3 统一客户视图的提供及展示 . 8 2.3.4 生产经营报表统一的提供和展示 . 9 2.3.5 关键生产经营绩效指标与经营风险的监控 . 9 2.3.6 生产经营过程所需跨系统数据的批量计算 . 9 2.4 系统目标 . 10 2.4.1 数据整合 . 10 2.4.2 数据共享 . 10 2.4.3 数据应用 . 11 2.4.4 数据质量管控 . 12 CTG-MBOSS 规范 版权所有，注意保密 ii E-O：总体规范 3 系统架构 . 13 3.1 数据架构 . 13 3.1.1 接口数据层 . 13 3.1.2 整合数据层 . 14 3.1.3 汇总数据层 . 14 3.1.4 数据共享层 . 14 3.1.5 元数据层 . 15 3.2 功能架构 . 15 3.3 技术架构 . 17 4 系统边界 . 18 4.1 ODS与生产系统 . 18 4.1.1 ODS 和生产系统对比分析 . 18 4.1.2 ODS 系统和生产系统功能边界划分 . 20 4.2 ODS与 EDW . 22 4.2.1 ODS 和 EDW 对比分析 . 22 4.2.2 ODS 系统和 EDW 区别与功能边界划分 . 24 4.2.3 ODS 与 EDW 在企业数据架构下有效协作 . 27 5 系统演进 . 28 5.1 系统演进总体论述 . 28 5.2 系统演进阶段 . 29 5.2.1 数据整合阶段 . 29 5.2.2 应用开发阶段 . 32 5.2.3 完善提升阶段 . 38 6 附录 . 40 6.1 主要编制人员 . 40 6.2 术语解释 . 41 CTG-MBOSS 规范 版权所有，注意保密 iii E-O：总体规范 6.3 ODS业务应用 . 41 6.3.1 业务应用蓝图 . 42 6.3.2 售前环节 . 42 6.3.3 售中环节 . 46 6.3.4 售后环节 . 52 6.3.5 其他综合应用 . 57 6.4 系统实施演进表 . 68 CTG-MBOSS 规范 版权所有，注意保密 1 E-O：总体规范 1 文档说明 1.1 编制说明 中国电信集团明确提出了客户品牌统领市场经营工作的要求，在市场经营的各项具体工作中细化和逐步落实客户化经营思路，适应以“产品”为中心向以“客户”为中心的转变，要求在市场经营的各项具体工作中细化和逐步落实客户化经营思路。市场的转型 对于IT 系统固化以客户为中心的市场计划、营销策划、销售、服务、统计分析等工作提出了更高的要求，需要相关流程的变更和优化，需要建立和应用 360 度客户统一视图信息，在各环节中应用客户统一视图信息，同时实现信息在各渠道和前后端的进一步共享。在客户化流程的设计中我们发现客户服务和营销过程越来越依赖于频繁地查询集成的客户信息，这些都需要跨系统运营数据的支撑；同时，由于各系统数据标准不一致，存在同样信息在不同系统中取值不同的现象，带来了信息的不一致，无法取得一致的统计分析数据，不利于企业的精确化管理，给业务发展带来一定 影响。 中国电信 ITSP1.0 和 CTG-MBOSS 规范中提出的 ODS（运营数据仓储）对于解决以上问题是及时和有效的。 ODS 是中国电信 IT 架构中的重要组成部分，在 ITSP1.0 和 CTG-MBOSS中已经明确了其在企业信息化系统中的定位：即数据整合（承载客户统一视图）、数据共享、跨系统数据应用和数据质量检查。随着 CRM、计费、服务开通、资源等核心 IT 系统建设的逐步开展，尤其是 CRM、计费省集中系统的逐步到位以及客户品牌统领市场经营工作对 IT 固化生产流程的迫切要求，使得 ODS 成为承载企业数据模型及数据标准，并据此整合各系统数据以实现企业跨系统数据共享，提供跨系统数据应用，提升数据质量的最好承载平台。 因此，作为对中国电信 CTG-MBOSS 系列规范的必要补充，统一各省和系统集成商的认识， 解决 以上 问题， 我们 制定了中国电信运营数据仓储（简称 ODS）相关规范，主要包含 CTG-MBOSS EDA-ODS：总体规范 V1.0（以下简称 ODS 总体规范）和 CTG-MBOSS EDA-ODS：技术规范 V1.0（以下简称 ODS 技术规范） 。 CTG-MBOSS 规范 版权所有，注意保密 2 E-O：总体规范 ODS 总体 规范 主要 介绍了 ODS 系统建设驱动力 、业务 目标 、系统目标、 系统 架构、 系统边界 及系统 演进等方面的内容，明确指出了中国电信 ODS 系统的定位、功能及与其它周边系统的边界划分原则。 ODS 总体规范从定位和系统边界上指导各省 ODS 的建设。 ODS 技术 规范主要介绍了 ODS 系统技术架构、功能框架、系统总体及各功能域各自的技术特点和技术要求以及 ODS 系统实施与系统部署等方面的内容。 ODS 技术规范从技术和实施角度指导各省 ODS 的建设。 与此规范配套下发的还有中国电信 EDM 模型 3.0，其中 BSS 部分设计了细化到具有物理模型特征的逻辑模型，此部分作为 ODS 规范的重要组成部分，直接作为 ODS 整合层数据模型的实施要 求。 1.2 适用范围 本规范适用的范围为 中国电信集团公司 。 1.3 起草单位 本规范起草单位为中国电信集团公司。（参加 ODS 总体规范 编写的人员名单见附录一。） 1.4 解释权 本规范的解释权属于中国电信集团公司。 1.5 版权 本规范的版权属于中国电信集团公司。 CTG-MBOSS 规范 版权所有，注意保密 3 E-O：总体规范 2 系统综述 2.1 驱动力 客户品牌统领的市场经营工作带来了市场经营工作的巨大转型，对信息化也提出了很高的转型要求， IT 系统需要围绕市场转型，实现从单一产品为中心向客户为中心的支撑能力的提升。客户品牌统领的市场经营工作对统一的客户信息视图提出了更高的要求，要求企业的销售品策划、销售过 程、服务过程，以及后续的统计、分析、考核等均以客户为中心开展，这就要求在新老系统并存支撑市场经营工作快速转型的过程中，有一个跨系统的数据共享平台，支撑售前、售中、售后不同环节的跨系统数据应用需求。同时，精确管理也迫切要求实现统一的运营数据标准，提高数据共享的效率和准确率，提升数据质量；另外，通过数据的整合与信息的有效共享，也将推动企业业务流程逐步优化。 在 ITSP 的指导下，各省 MBOSS 系统按照“松耦合、模块化、可配置”的基本架构原则进行实施，以灵活快速支撑不断变化的市场需求。“松耦合”专业化的架构设计原则 要求建设 MSS、 BSS、 OSS、 EDA 四大系统域以及各子系统，多个系统间数据的共享及跨系统数据的应用支撑就成为 IT 本身面临和需要解决的重要问题，需要在 IT 架构中明确采用跨系统的数据共享平台予以解决，依据 ITSP 规划及 CTG-MBOSS 规范指导，企业运营数据仓储（ ODS）便是这样一个跨系统的数据共享平台。 具体讲， ODS 的建设驱动力主要是解决业务发展的需要、 IT 系统间数据共享的需要及企业数据质量提升的需要等三个方面要求，具体如下所述： 2.1.1 业务发展的需要 1. 客户品牌经营的需要 1）客户品牌经营需要 IT 系统能 够向营销、销售、服务人员提供 360 度的统一数据视图数据，如客户数据，产品数据，但是这些核心数据目前分布在多个 IT 系统中， EDW 系统虽然整合了部分数据，但是其整合频率较低，不能够满足数据实时 /准实时性数据提供的要求； CTG-MBOSS 规范 版权所有，注意保密 4 E-O：总体规范 2） 客户品牌经营 要求针对客户进行完整的的评价， 如客户积分、信用度计算等 ，并将结果应用到客户营销、销售和服务工作中，但是目前客户数据分散在的多个 IT 系统中，难以对于客户进行完整的评价。 2. 精确管理的需要 1）精确管理需要对市场计划、营销活动与销售、服务等售前、售中、售后关键环节（如订单、工单 、故障单等）的执行情况进行统计与监控，及时反应企业的生产经营效率； 2）精确管理要求 IT 系统能够迅速的反映各部门、各团队或各渠道关于用户发展数、业务量、收入等关键绩效指标，通过 KPI 和实际完成状况的关联，完成对各部门、团队或渠道的 KPI 指标进行统计、监控，其结果也能反馈给管理部门以便迅速地做下一步决策； 3）精确管理要求实现 统一企业 经 营报表的数据源， 形成统一的指标体系，并通过统一的企业数据应用门户，实现企业经 营报表 的统一提供和展示，实现“ 商务领航 ” 等客户品牌统计指标体系， 实现客户、产品 、量收等多维度的报表需求，解决 CRM、计费等生产系统分别按照本系统的自有数据向外提供 经 营报表， 数据标准不统一 造成 同一统计指标的差异性等问题。 要解决以上业务发展问题，都需要时效性较高的跨系统数据支撑，现存的任何一个单独 IT 系统都无法有效支撑以上业务发展的需要，因此，迫切需要建设一个准实时地整合跨系统数据的 IT 系统，而企业运营数据仓储（ ODS）便是有效支撑以上业务发展需求的一个很好的承载平台。 2.1.2 数据共享的需要 1. 快速支撑跨系统应用的需要 越来越多的跨系统应用需要同时来自多个生产系统的数据进行支撑。将各生产系统数据准实时整合到统一的数据共享平台上，有利于提高数据共享能力，实现跨系统应用的快速支撑。同时，基于准实时数据共享平台实现一些基于企业运营数据的统计、监控及计算 CTG-MBOSS 规范 版权所有，注意保密 5 E-O：总体规范 类的应用，同时可减轻生产系统的压力，使生产系统专注于生产运营，提高专业化运作效率，降低企业运营成本。 2. 促进企业数据模型（ EDM）落地 企业数据模型描述了中国电信在业务运营和管理中所涉及的核心业务概念和关系，作为企业的数据标准指导各个应用系统的数据模型统一设计，从根本上保证系统之间数据理解的一致性。由于很多系统建设早于企业数据模型的发布，很多系统在实施中以 功能建设为主，对数据模型的设计不够重视，造成各系统间概念不统一、数据模型不一致，数据共享困难，数据转换存在信息丢失。因此，建设基于企业数据模型的数据共享平台，形成中国电信企业层面的统一信息视图，并在整合各生产系统数据过程中，发现生产系统数据模型与企业数据模型的差异，能够促进各系统的数据模型逐渐统一到企业数据模型。 3. 形成企业标准数据，解决多系统间网状数据接口的需要 目前，同一数据分散在多个不同的生产系统（如 CRM、计费、渠道、 10000 号等）中，数据通过系统之间的网状接口进行共享，由于不同的数据提供系统存在不 同的数据接口标准，这种方式增加了接口的复杂性，增加了生产系统的接口负担并造成了升级困难。因此建立企业数据共享平台，明确数据的唯一来源，形成企业的标准数据，保证数据的完整性、准确性和一致性，一方面通过 ODS 为各系统提供集中一致的数据共享服务，另一方面能降低系统间网状接口的复杂性，减少单一系统的升级改造对周边系统的影响，降低生产系统的生产压力。 2.1.3 数据质量提升的需要 伴随着各生产系统的建设和改造，由于种种历史原因，存在生产系统之间数据不一致，数据质量差等问题。为了解决以上的数据质量问题，通过建立企业数据共享平台， 在收敛全企业生产系统运营数据的过程中，采用数据检查稽核手段及完善的数据管控流程，能够发现源生产系统的数据质量问题，以促进各生产系统数据质量的持续提升。 CTG-MBOSS 规范 版权所有，注意保密 6 E-O：总体规范 2.2 系统定位 为解决业务发展中的存在的问题，需要建设一个 跨系统的数据共享平台以支撑售前、售中、售后不同环节的业务流程对跨系统数据应用需求。 ODS 便是这样一个跨系统运营数据的共享平台，承接操作环境和分析环境。 早在中国电信的 ITSP 规划及 CTG-MBOSS 规划中已经明确了建设 ODS（运营数据仓储），使之成为企业级跨系统共享数据平台的必要性，为 ODS 给出了明确的定位 。 根据 ITSP 规划，中国电信的企业信息化体系由管理支撑系统（ MSS）、业务支撑系统（ BSS）和运营支撑系统（ OSS）组成，统称为 CTG-MBOSS。 CTG-MBOSS 的基础架构包括企业应用整合平台（ EAI）、企业数据架构 (数据模型、运营数据仓储 ODS、数据仓库 )、数据中心、 DCN 网络等。如下图所示： 资源资源M S SM S S配置配置计费计费客户客户服务服务C D R / I PC D R / I P资产资产运营数据仓储应用整合平台工作流引擎工作流引擎 E A I数据模型数据模型业务流程模型业务流程模型管理数据统计资源资源M S SM S S配置配置计费计费客户客户服务服务C D R / I PC D R / I P资产资产数据仓库企业信息门户B S SO S S客户关系管理CRM数据采集I P / C D R计费帐务计费综合结算结算欺诈管理欺诈信用管理信用服务开通开通资源管理资源施工调度施工服务管理服务 配置网络综合管理财务系统财务人力资源人力资源工程管理工程 统计 门户M S S国际电路国际电路管理基础架构服务产品目录目录运营数据仓储运营数据仓储 数据仓库数据仓库图 2-1 ODS 在 ITSP 中的定位 企业数据架构建立在统一的数据模型基础上，由应用系统自有数据库、运营数据仓储(ODS)、数据仓库 (DW)三个层面组成。其 中 ODS 存储按主题分类的面向运营的准实时数据，提供统一的企业数据视图；应用系统自有数据库存储该应用系统内部实时交易数据；DW 存储面向经营决策分析的历史数据。 CTG-MBOSS 规范 版权所有，注意保密 7 E-O：总体规范 在中国电信 CTG-MBOSS 规范中， 运营数据仓储 (ODS)是企业数据架构的一个组成， ODS 在 CTG-MBOSS 企业数据架构的位置如图所示： 图 2-2 ODS 在 CTG-MBOSS 中的定位 运营数据仓储 (ODS)处于操作环境和分析环境之间。 ODS 对应用系统产生的数据进行清洗、过滤和整合，是提供给企业数 据仓库高质量数据的重要来源之一，同时为各个应用系统提供近实时的运营报表等跨系统共享数据服务。在企业运营层，对于需要同时利用跨系统的操作型数据和相关分析结果数据的协作型应用需求， ODS 也起到关键支撑作用。 遵照 ITSP 和 CTG-MBOSS 对于 ODS 的定位，结合企业目前的业务发展需要、数据共享需要及数据质量提升需要，提出 ODS 系统的目标如下： 2.3 业务目标 ODS 作为一个独立的系统，是企业数据架构的重要组成部分。 ODS 完成 跨系统 数据整合后，可 实现以下的业务 支撑 目标 ： CTG-MBOSS 规范 版权所有，注意保密 8 E-O：总体规范 2.3.1 统一准实时数据共享 ODS 为企业各生产系统提供统 一共享数据接口，减少系统间相互接口的重复性，降低接口的复杂程度，提高系统间接口效率与质量，同时为跨系统数据应用提供数据支撑。ODS 作为中国电信 企业运营数据共享平台 ，不仅仅是中国电信各业务部门和企业管理层获取统计数据的唯一来源，同时也是国家公安与安全机构、金融机构等外部机构获取中国电信运营数据的来源。 2.3.2 生产经营数据质量检查 生产经营的数据质量不高对 企业收益、客户服务和日常业务流程 都会带来很大影响。ODS 作为收纳企业运营数据的仓储中心，是提升生产运营数据质量的很好承载平台。 ODS系统对抽取到的各生产系统的数据进 行属性合法性检查、数据表关联性检查、数据比对稽核等以发现数据质量问题，提交给源生产系统做数据的修正后再提交给 ODS 系统，形成这样一个数据质量管理的闭环流程，提升生产经营数据质量。另外 ODS 通过向其它应用提供经过数据质量提升、标准化后的数据，可促进企业标准化数据的应用。 2.3.3 统一客户视图的提供及展示 中国电信 通过 前台营业厅、网上 客服中心 、 10000 号等多种渠道 向 客户提供销售服务， 基于 ODS 实现统一 客户 视图信息的共享，在各个接触点上提供及展现统一 的客户 视图信息，支撑营销、销售、服务等多个层面快速准确地获取 客户、产品 等 信息， 能 提升客户感知。 ODS 能够支持营销人员 获得 营销活动所需的市场 统计 数据和目标客户数据，以便进行精确化营销； 能够支撑 销售人员 通过统 一客户视图信息及其 统计 数据的即席查询，以发现客户需求，增加销售机会； 能够支撑 服务人员 通过 跨系统数据的支撑， 了解客户全方位的信息， 以进行客户分等级服务等工作。 CTG-MBOSS 规范 版权所有，注意保密 9 E-O：总体规范 2.3.4 生产经营报表统一的提供和展示 目前， CRM、计费等生产系统分别按照本系统的自有数据向外提供 经 营报表，不同部门对数据的时间和业务概念理解不一致，造成不同系统的报表有差异，同时手工进行报表拼凑也会造成差异 。 于是 ， 产生了不同部 门有差异不同组织层级有差异 的报表 ，而且大量需求不固定的 对外报表提供对生产系统性能影响很大，不利于生产系统核心事务处理的稳定运行。因此 ， 通过 ODS 统一企业 经 营报表的数据源， 形成统一的指标体系，并通过统一的企业数据应用门户，实现企业经 营报表 的统一提供和展示， 以支撑客户品牌统领的市场经营工作 和精确化管理 需要。 2.3.5 关键生产经营绩效指标与经营风险的监控 全过程的营销支撑需要对市场计划、营销活动、销售活动等各项工作进行事前预测和事中监控， ODS 能够基于从各生产系统搜集到市场营销与销售的相关信息，对市场营销与销售业绩完成情 况进行统计，并通过客户发展、业务量、收入等关键绩效指标和实际完成状况的关联，完成对各部门、团队或渠道的关键生产经营绩效指标的监控与考核。通过客户发展、业务量、收入等指标与过网数据、竞争数据的关联，能够进行风险的预警和监控。 2.3.6 生产经营过程所需跨系统数据的批量计算 为了支撑客户品牌经营工作的开展，实现基于客户品牌维度的相关量收指标统计，需要实现“商务领航”和“我的 e 家”等客户品牌的标注；为了更好地提升客户管理能力，需要建立客户积分、信用度等客户评价体系；为了加强代理商的管理，发展优质客户，需要复杂、完善的渠道佣 金计算支持。随着以“产品”为中心向以“客户”为中心的转型，越来越多经营过程中所需的基于跨系统大量细节数据的批量计算功能都需要 ODS 提供。 CTG-MBOSS 规范 版权所有，注意保密 10 E-O：总体规范 除以上几大类的业务目标外， ODS 上还可根据业务发展需要不断扩展其上可支撑的业务功能，可扩展业务功能范围的总体原则需遵循本规范 2.4 节明确的 ODS 系统目标及第5 章“系统边界”中制定的边界划分原则。 2.4 系统目标 ODS 作为 企业运营数据共享平台 ，收敛企业各业务系统中的运营数据，按照企业数据模型进行数据整合，提供运营数据共享，支撑跨系统数据的应用，提升数据质量。 2.4.1 数据整合 ODS 在对企业运营数据的整合过程中能够实现以下三个统一： 1. 统一数据模型 由 ODS 承载企业数据模型（ EDM），促进企业各系统数据逻辑模型的统一。在 MBOSS体系内新建或改造的系统，其数据模型应向 ODS 所承载的企业数据模型靠拢。数据模型是各系统及应用间交互的基础，通过数据模型的统一，减少系统及应用间复杂的转换，提高系统、应用、接口的效率。 2. 统一数据标准 ODS 中建立标准的数据编码目录，源系统数据依据标准的数据编码目录，经过整合后进入 ODS 中存储，实现企业数据的标准化与统一存储。 3. 统一数据视图 基于 ODS 所存储的数据 ，支撑实现统一数据视图，使企业在客户、产品、资源等视角获取到的信息是一致的，提升客户、企业内部的管理人员与分析人员对系统的感知。 2.4.2 数据共享 ODS 将各生产系统的数据整合后，在系统上基于整合好的数据提供查询、报表、计算等应用外， ODS 还将系统内整合好的数据以数据共享的形式提供给其它系统。 ODS 主要提供两种数据共享方式，一种是准实时批量数据提供；另一种是实时查询服务。准实时批量数据提供即 ODS 系统将获取到的生产系统的数据以准实时提供给其它需要 CTG-MBOSS 规范 版权所有，注意保密 11 E-O：总体规范 此数据且对数据实时性要求相对不高的生产系统，以减少生产系统间的网状接 口，例如ODS 可向号码百事通提供来自 CRM 系统的用户号码信息等；同时 ODS 还可将整合好的跨系统数据以准实时批量数据提供方式提供给外系统，以配合外系统支撑部分客户销售服务流程等。实时查询服务即 ODS 系统通过实时查询服务方式将 ODS 系统内整合好的跨系统数据向外系统提供，以配合外系统支撑客户统一视图查询、清单查询、帐单查询等功能。 同时，对于生产系统间不带有业务逻辑交互的实时数据共享（如 CRM 向 ISMP 平台提供用户状态变更数据），随着 ODS 的演进过程及 ODS 共享数据的实时性的提高，只要 ODS提供共享数据的实时性能 够满足外系统对数据实时性的要求，则外系统原来从数据的产生系统获取共享数据的方式需要改为从 ODS 获取需要的共享数据，以减少系统间网状接口，降低耦合程度，极大减少单一系统升级对其他系统的影响。 2.4.3 数据应用 ODS 整合和承载了企业细粒度运营数据，可以开发出很多应用。本着数据与应用相对分离的基本思想， ODS 的数据应用需要与 ODS 的数据承载松耦合设计。数据应用可以由ODS 系统基于整合好的数据直接提供，也可以由 EDA 架构下的其他应用功能提供（在这个场景下 ODS 提供只数据）。 ODS 可以直接或者与 EDA 架构下其他应用功能协 作提供以下功能： 1. 查询 ODS 提供查询条件不固定的按需查询功能。用户可以根据关心的维度查询 ODS 中整合好的 360 度业务全貌数据，例如，为渠道经理提供完整 客户视图 信息的查询，为营业员、10000 号客服人员、客户提供完整客户视图查询、帐单 查询 等。 2. 固定报表 固定报表是维度和指标固定的统计结果的展示，在 ODS 系统中对于实时性要求高的报表采用即时生成的模式，而对于实时性要求不高的报表，基于性能影响和资源开销两方面的考虑，应采用后台通过作业的方式提前自动生成，在需要时可以立即展现结果。报表展 CTG-MBOSS 规范 版权所有，注意保密 12 E-O：总体规范 现应支持多种图表方式，如 饼图、柱图、线图等；支持报表数据导出为其他文件类型，如EXCEL、 CSV、 XML、 PDF、 WEB 存档文件等；支持报表精确打印控制。 ODS 中可实现的固定报表有 客户品牌统计 报表、 企业数据 应用 门户 部分报表等。 3. 动态报表 基于 ODS 整合好的数据，可以利用报表工具按使用者关心的维度和指标对数据进行主题性的统计，动态报表中维度和指标不固定，可在数据模型支持的范围内变换。在 ODS 上可实现以下的动态报表：用户发展数、使用量、业务收入、欠费、竞争统计；市场计划统计与监督；商机的统计和监控； KPI 考核与监控等。 4. 计算 ODS 系 统承担需批量计算的属性数据的计算功能， ODS 系统支持配置业务规则，并基于整合好的数据按照设定好的业务规则进行属性数据计算，计算结果不在 ODS 系统中直接更新，而是由 ODS 返回到该属性数据的属主生产系统，由属主生产系统完成该属性数据的更新后再通过数据抽取、加载过程进入 ODS 之后更新。可在 ODS 上实现的批量属性数据的计算包括：客户 品牌标签 的标识、 客户积分计算 、 客户信用度计算 等。 2.4.4 数据质量管控 ODS 在数据收敛的过程中，能完成以下数据质量管控工作： 1） 数据质量校验 根据规则对 ODS 所存储的数据进行一致性、完整性、 正确性的校验，形成数据校 验结果并交付源系统进行修正。 2） 数据质量管控 通过建立企业数据的质量标准、数据管控的组织、数据管控的流程，对数据质量进行统一管控，达到数据质量逐步完善。 CTG-MBOSS 规范 版权所有，注意保密 13 E-O：总体规范 3 系统架构 3.1 数据架构 ODS 数据层次架构分为接口数据层，整合数据层、汇总数据层、数据共享层、元数据层，如下图所示： 图 3-1 ODS 系统数据架构 对于各数据层次的解释详见以下描述。 3.1.1 接口数据层 接口数据层存储的是由 ODS 从源系统采集的数据，其主要特点如下： CTG-MBOSS 规范 版权所有，注意保密 14 E-O：总体规范 1. 接口数据层存储 ODS 采集的外围接口数据，如 CRM、计费、 OSS 等系统需采集到ODS 的数据。 2. 接口数据层的数据模型与外围系统保持一致。 3. 接口数据层的数据与外系统保持实时 /准实时同步，对于有实时要求的数据域，应尽可能提高数据的实时性。 3.1.2 整合数据层 整合数据层存储是经过数据清洗、转换、整合后的运营数据，是 ODS 的核心数据层，其主要特点如下： 1. 整合数据层是 ODS 存储数据的核心层。 2. 整合数据层中的数据原则上是统一编码格式的数据，可作为企业数据标准指导外围系统逐步统一数据格式。 3. 存储数据模型遵循集团 EDM 模型，按数据主题域体系组织，落实具有物理特征的EDM 逻辑模型。 3.1.3 汇总数据层 汇总数据层存储根据主题维度形成的企业统计、汇总数据，其主要特点如下： 1. 根据主题报表加工需要，形成汇总数据。 2. 按主题存储汇总数据，通过日期、地区、产品规格、销售品规格、渠道类型、处理类型等维度对运营数据进行计算后形成汇总数据存储。 3. 可基于原有汇总数据基础上，根据需要继续汇总，形成多级汇总数据。 3.1.4 数据共享层 数据共享层是基于 ODS 中收敛整合好的数据，对外提供数据共享，数据共享层原则上不提供数据的存储，其主要特点如下： 1. 数据共享层统一对外系统提供共享数据。 CTG-MBOSS 规范 版权所有，注意保密 15 E-O：总体规范 2. 对各系统共享的信息尽可能从整合数据层映射、共用。 另外， 对于市话祥单类数据，其特点是数据量巨大，并且此类数据进入 ODS 并不需要复杂的转换与整合，而只是简单的复制到 ODS 中；因此如果已有相应系统提供市话祥单数据查询支撑，从节约企业成本、减少数据冗余的角度，该类型数据暂时不采集到 ODS 系统中，而是直接将其在源系统的存储数据作为 ODS 的共享层数据来源之一，逻辑上纳入 ODS系统。 对于用户量不大的省份可由 ODS 直接存储并提供清单数据。 3.1.5 元数据层 元数据（ Metadata）是关于数据的数据，是对数据的含义、功能、来源等进行描述，内容包括在 ODS 系统建设过程中所产生的有关数据 源定义，目标定义，转换规则等相关的关键数据。元数据可以帮助 ODS 管理员和 ODS 的使用人员方便地找到他们所关心的数据。 3.2 功能架构 遵循 CTG-MBOSS 功能层次的划分标准，将 ODS 系统功能划分为五大功能域：数据整合域、数据共享域、数据应用域、数据质量管理域、公共管理域，如图 3-2 所示： CTG-MBOSS 规范 版权所有，注意保密 16 E-O：总体规范 图 3-2 ODS 系统功能架构 数据整合域是 ODS 系统的关键部分， ODS 整合域 通过多种 方式准实时或实时地 从源系统 抽取并 整合数据 ，抽取数据首先到达 ODS 的接口数据层进行预处理、转换等工作进入整合数据层，形成 ODS 的核心数据 ，基于整合层的数据进行汇总、计算等工作后形成汇总层数据。 数据质量管理域的功能是为了解决目前普遍的数据质量顽疾，通过建立数据质量管理组织机构，制定质量管理规范，确定相应的工作流程方法，并在系统中实现质量检查、修正、考核功能，形成数据质量修正闭环的机制，确保数据质量问题由发散状态转为收敛状态，并随着时间的积累逐步逼近真实状态。 利用整合及汇总后的数据， ODS 系统自身可直接提供查询、固定报表、动态报表及计算等应用。 实现客户统一视图信息的查询、营销活动的统计与监控、业务量收的统计、KPI 指标监控与考核及客户评价 批量计算等功能。 CTG-MBOSS 规范 版权所有，注意保密 17 E-O：总体规范 数据共享域的功能是基于 ODS 整合后的跨系统数据所形成的统一数据视图，通过集中的数据 /服务提供功能，为其他生产系统提供非自有数据的共享，优化目前各业务应用系统间网状的数据流转方式，简化数据共享逻辑，降低数据不一致的风险。数据共享域的功能包括共享数据服务、共享配置管理和共享权限控制。 3.3 技术架构 ODS 系统总体技术架构如图 3-3 所示： 图 3-3 ODS 系统技术架构 ODS 从周边的各生产系统包括 CRM、计费、网上客服中心、 10000 号等系统通过 ETL或 EAI 等技术将源数据抽取加载到系统中， 通过对源数据的清洗、转换在 ODS 中形成遵循 CTG-MBOSS 规范 版权所有，注意保密 18 E-O：总体规范 企业数据模型的统一基础数据，根据应用需要， ODS 通过数据处理组件形成各类汇总数据。基于系统中整合与汇总好的数据， ODS 系统上以 B/S 架构直接部署查询、报表等数据应用， ODS 系统还可通过数据服务组件以文件、数据视图、数据服务等形式向外围的生产系统提供共享数据，与生产系统配合完成跨域应用支撑。 4 系统边界 本章主要对 ODS 与各生产系统以及 EDW 之间的边界进行说明。 4.1 ODS 与 生产系统 4.1.1 ODS 和生产系统对比分析 ODS 与生产系统具有以下的共同之处： 1 ODS 与生产系统这两个独立 系统均包含当前的细粒度运营数据，其中 ODS 的整合层的数据模型及各生产系统的数据均以关系型数据模型存储； 2 ODS 与生产系统的使用者主要是一线的生产和管理人员； 3 ODS 和生产系统都是数据质量管理闭环流程中的一个环节。 在以上 ODS 与生产系统的共同处基础上， ODS 与生产系统又具有以下显著的区别：细粒度运营数据由生产系统产生，但 ODS 系统本身并不产生运营数据， ODS 中的运营数据是从不同的生产系统加载进入的；在数据质量管理闭环流程中， ODS 负责发现数据质量问题而生产系统负责解决数据质量问题； ODS 给其它系统提供准实时 （包括接近于实时）的数据共享服务而生产系统可给其它系统提供实时的数据共享服务；两个系统在查询、报表和计算的应用功能方面也具有的不同边界划分。 ODS 与生产系统区别的详细对比分析如下表所示 : 分类 ODS 系统 生产系统 数据创建 ODS 不产生、不修改源数据，可以帮助生产系统计算某些源数据，计算后的源数据不直接在 ODS 中更新，而是生产系统创建数据，为 ODS 提供数据。 CTG-MBOSS 规范 版权所有，注意保密 19 E-O：总体规范 返回给生产系统，由生产系统更新后， ODS 再通过数据抽取、加载过程完成本系统内数据更新。 数据质量 ODS 提供提升数据质量管理手段和技术手段，发 现数据质量问题。 生产系统对本系统的问题数据进行修正和完善，解决数据质量问题。 数据模型 ODS 承载企业级数据模型。 生产系统承载本系统数据域的企业级数据模型，生产系统逻辑模型和 ODS 逻辑模型一致，但生产系统物理模型和 ODS物理模型允许有差异。 数据共享 ODS 采集整合各源生产系统数据， ODS中数据实时性较源生产系统有一定延迟，因此 ODS 向数据实时性要求相对较低的系统或某些系统功能提供跨系统数据的共享服务。 随着 ODS 演进、 ODS 数据获取频度的提高， ODS 可提供数据的实时性不断提高，则 ODS 可为更多接 近实时共享要求的外系统提供数据共享服务。 生产系统间带有业务逻辑交互的数据共享由生产系统间完成； 生产系统间不带有业务逻辑交互的实时数据共享由生产系统间完成。 系统功能 查询： ODS 提供基于跨系统数据的查询应用； 报表类： 基于跨系统数据的固定或动态报表由ODS 提供； 查询： 对于生产系统未提供的跨系统数据准实时查询应用，生产系统可通过与 ODS 界面集成方式提供该应用； 对于生产系统已提供的跨 系统数据准实时查询应用，生产系统有的数据由本系统提供，其他数据通过 ODS 提供； CTG-MBOSS 规范 版权所有，注意保密 20 E-O：总体规范 基于单系统数据的、实时性要求不高的固定或动态报表由 ODS 提供。 计算： 批量数据的计算在 ODS 上完成。 生产系统需要查询跨系统数据且实时性要求高，由生产系统之间通过界面集成或者实时服务调用方式实现。 报表： 基于单系统数据的、实时性要求高的固定或动态报表由生产系统自身提供。 计算： 事件驱动的数据计算在生产系统上完成。 4.1.2 ODS 系统和生产系统功能边界划分 ODS 完成跨系统数据的整合，为生产系统提供准实时数据共享服务、为生产系统提供属性数据的批量计算、跨系统共享数据的提供、承担部分报表的功能。因此， ODS 的建设对现有生产系统的功 能改造及新建的生产系统都会带来影响，具体说明如下： 查询 对于生产系统未提供的准实时跨系统数据查询应用，生产系统可通过与ODS 界面集成方式提供该应用； 对于生产系统已提供的跨系统数据准实时查询应用，生产系统有的数据由本系统提供，其他系统数据由 ODS 提供； 生产系统需要查询跨系统数据且实时性要求高（ ODS 中的数据还无法满足这种实时要求），由生产系统之间通过界面集成或者实时服务调用方式实现； CTG-MBOSS 规范 版权所有，注意保密 21 E-O：总体规范 报表 基于单生产系统数据的实时性要求比较高的生产经营报表在各生产系统实现，其他生产经营报表提供在 ODS 系统实现。 计算 原则上批量的计算在 ODS 系统完成，事件驱动的计算在生产系统上完成。 对于生产系统没有提供的基于跨系统或单系统数据的属性数据的批量计算，由 ODS 系统负责计算生成，之后同步计算结果到生产系统； 对于生产系统已经提供的基于跨系统或单系统数据的属性数据的批量计算，在现有生产系统升级或者该功能需要改造时不再承担此功能，而由ODS 系统负责计算生成，之后同步计算结果到生产系统； 模型 ODS 承载企业级数据模型，生产系统升级和改造时，生产系统模型升级以ODS 承载的企业级数据模型为依据； 生产系统承载本系统数据域的企业级数 据模型，生产系统逻辑模型和 ODS逻辑模型一致，生产系统和 ODS 物理模型允许有差异。 共享 生产系统之间准实时共享数据的接口，改由通过 ODS 获取其他系统数据；生产系统之间的已有具有业务逻辑的实时数据共享接口，保留原有实现方式； 对 MSS 系统需要获取 BSS 和 OSS 数据的情况，如果数据在 ODS 数据范围内，则从 ODS 上获取数据。 注：对于生产系统间不带有业务逻辑交互的实时数据共享（如 CRM 向 ISMP 平 CTG-MBOSS 规范 版权所有，注意保密 22 E-O：总体规范 台提供用户状态变更数据），随着 ODS 的演进过程及 ODS 共享数据的实时性的提高，只要 ODS 提供共享数据