数据集市建设、数据质量及数据管理方法

1、集市建设及数据管理方法 (初稿)目录数据集市市数据集市市数据集市市：数据仓库库的子集集经过ETL流程的一一定粒度度汇总数数据面向部门门级业务务针对特定定主题的的数据集集星型模式式(不遵循3NF结构)缓解仓库库访问瓶瓶颈实现方式式：独立型(RalphKimball)仓库是集集市的联联合数据来源源于业务务系统首先满足足数据展展示的需需求必需统一一的数据据仓库建建设思想想协调从属型(BillInmon)集市是仓仓库的子子集数据来源源于仓库库提供更强强的数据据一致性性和灵活活性长期规划划实现目的的合并不同同系统数数据源非实时更更新数据据的访问问信息发布布面向特特定用户户群体合理的查查询响应应时间快速一

2、致致的视图图访问独立型从属型实现步骤骤：定义商业业目标理解数据据源确定汇总总粒度定义数据据模型实现原则则：统一构建建总体指导导稳定性可适应性性可扩展性性数据分层层架构针对性营营销数据据集市基于EDW/ODS，通过对对EDW/ODS中的数据据进行一一定粒度度的汇总总，满足足针对性性营销IT支撑需求求的数据据集合包括营销销分析数数据和营营销事务务数据营销分析析数据数据挖掘掘宽表自助取数数汇总表表外部数据据宽表数据挖掘掘宽表旨在为数数据挖掘掘模型的的建立和和分析提提供基础础支撑，并为之之提供有有效的数数据集合合，提升升系统效效率。包含客户户属性类类数据、客户拥拥有类数数据、客客户行为为类数据据、客户

3、户价值类类数据和和客户交交互类数数据。自助取数数汇总表表自助取数数汇总表表主要包包含按照照客户、用户等等维度进进行数据据的初级级汇总和和整合，实现自自助取数数系统对对客户、产品等等相关信信息数据据提取外部数据据宽表(外部调研研数据)在成功获获取了外外部数据据后，可可构建合合适的数数据集市市，纳入入系统的的外部数数据可包包括：竞竞争对手手信息、客户偏偏好信息息、客户户满意度度信息等等外部数据据涵盖的的范围非非常广泛泛，将所所有的外外部数据据都加载载到针对对性营销销的数据据集市中中存在较较大难度度。营销事务务数据营销事务务数据用用以支撑撑营销活活动的制制定与开开展套餐资料料库营销资料料库营销资源源

4、库套餐资料料库套餐资料料库存储储已有的的套餐资资料，为为套餐梳梳理和套套餐方案案设计环环节提供供数据支支撑。套餐的结结构包括括基本套套餐和可可选套餐餐两部分分。基本本套餐是是套餐的的主体部部分，它它包含了了套餐的的核心产产品及主主要优惠惠规则，可以独独立存在在；可选选套餐是是由客户户自行选选择的叠叠加套餐餐，一般般不单独独提供，需以购购买基本本套餐为为前提。营销资料料库营销资料料库包含含了整个个营销活活动的策策划、分分析、评评估环节节所涉及及到的除除了套餐餐以外的的内容：市场调研研所需的的问卷题题库营销脚本本宣传方案案促销方案案营销活动动案例营销资源源库营销资源源库包含含了电信信公司所所拥有的

5、的渠道、销售品品、外呼呼中心等等资源的的，供营营销策划划人员在在策划时时可以查查询当前前营销活活动可以以利用的的营销资资源；用用于对营营销活动动所需资资源的可可利用性性进行检检查人力资源源财务预算算广告资源源渠道资源源合作伙伴伴促销品资资源（包包括赠送送品、搭搭售品等等）其他支撑撑系统功功能（如如计费系系统）目录数据集市市数据管理理数据整合合数据质量量元数据管管理数据整合合整合准备备：源/目标模型型数据预处处理整合过程程：数据抽取取数据转换换数据加载载整合规则则：数据编码码统一保证数据据质量支持异常常控制流程可维维护异常处理理流程管理理输出：规则分析析包括：候候选数据据源确定定、源与与目标的的

6、映射关关系、估估计行数数等执行分析析包括：执执行时间间、执行行方式、执行顺顺序、执执行频度度等异常报告告包括：异异常位置置、异常常原因、处理方方式等版本控制制数据整合合总体流流程总体处理理流程目录数据集市市数据管理理数据整合合数据质量量元数据管管理数据质量量解决方方法信息问题题域技术问题题域流程问题题域管理问题题域数据质量量管理流流程数据质量量评估分分析问题解决决和验证证数据质量量问题分分析源系统数数据人员员ODS系统维护护人员数据质量量管理人人员数据质量量检查人人员数据质量量检查问题汇总总数据质量量稽核分析问题题问题展现现ETL处理过程数据质量量问题发发现问题工单单生成派单单派单判断源系统问

7、题工单单ODS系统问题工单单工单处理理问题解决N数据质量量分析评估估问题验证证数据质量量考核源系统评估报告告ODS系统评估报告告数据质量量检查稽核核数据质量量评估监控控管理功能能源系统1源系统2ETL/EAI企业数据据平台数据质量量任务派派发数据质量量角色管管理数据质量量组织管管理数据质量量工单管管理数据质量量权限管管理数据属性性关系检检查数据属性性检查数据表关关系检查查数据对比比稽核异常处理理数据对比比展现数据质量量分析数据质量量评估数据质量量告警数据质量量异常跟跟踪数据质量量修正跟跟踪数据质量量监控数据质量量管理平平台数据质量量基础管理理规则配置置数据处理理情况考考核算法配置置统一指标标定

8、义流程配置置异常流程程跟踪接口定义义数据质量量管理总总体流程程总体处理理流程：目录数据集市市数据管理理数据整合合数据质量量元数据管管理元数据管管理元数据定定义元数据最最本质，最抽象象的定义义为:dataaboutdata (关于数据据的数据据)在数据仓仓库领域域中，元元数据被被定义为为：描述述数据及及其环境境的数据据元数据存存储技术元数数据：为为企业技技术用户户和IT人员提供供支持的的元数据据业务元数数据：为为企业业业务用户户提供支支持的元元数据元数据管管理元数据管管理技术术公共仓库库元模型型CWMCWM公共仓库库元模型型（CommonWarehouse Metamodel）是OMG国际标准准

9、化组织织提出的的，主要要目的是是在异构构环境下下，使不不同数据据仓库工工具、平平台和元元数据知知识库进进行元数数据交换换。元数据管管理支持五类类系统管管理功能能描述哪些些数据在在数据仓仓库中;定义要进进入数据据仓库中中的数据据和从数数据仓库库中产生生的数据据;记录根据据业务事事件发生生而随之之进行的的数据抽抽取工作作时间安安排;记录并检检测系统统数据一一致性的的要求和和执行情情况;衡量数据据质量。数据仓库库元数据据管理数据仓库库涉及的的元数据据管理包包括：数据源元元数据ETL规则元数数据数据仓库库元数据据报表元数数据接口文件件格式元元数据商业元数数据其他元数数据各类元数数据管理理办法：数据源元

10、元数据数据源元元数据主主要是数数据库模模型设计计文档、为综合合统计分分析平台台提供数数据的各各种业务务系统的的数据字字典及数数据接口口文件等等。数据源元元数据的的管理：由相关关人员对对各类文文档进行行统一版版本的管管理。各类元数数据管理理办法：ETL规则元数数据ETL规则元数数据中涉涉及到数数据源元元数据、目标系系统元数数据、ETL流程、源源与目标标的映射射关系等等元数据据信息。数据源元元数据包包括业务务系统元元数据和和数据仓仓库元数数据等；目标系系统元数数据可能能是数据据仓库元元数据、数据集集市元数数据等。ETL规则元数数据的管管理：由由数据库库开发人人员根据据各个模模块的ETL过程以及及过

11、程运运行的顺顺序，形形成相关关元数据据管理文文档进行行统一管管理。各类元数数据管理理办法：数据仓库库元数据据数据仓库库采用RDBMS进行数据据的存储储和管理理，设计计模式遵遵循数据据仓库的的设计准准则，实实现主题题、维、度量等等多维概概念模型型，这些些元素在在RDBMS中物理上上是具体体的数据据表，这这些表与与具体多多维模型型的映射射关系需需要通过过元数据据进行描描述和定定义。数据仓库库元数据据的管理理：制定定数据仓仓库模型型设计文文档记录录事实表表、维度度、属性性、层次次等信息息，物理理表与多多维模型型的映射射关系等等信息，对文文档进行行统一版版本的管管理。各类元数数据管理理办法：报表元数数

12、据包括对报报表和报报表中具具体指标标（度量量）的描描述信息息等报表元数数据的管管理：对对数据集集上可以以计算的的度量进进行相关关元数据据的管理理，包括括详细设设计文档档中对各各个表中中度量的的定义、描述等等；对所所有表和和度量之之间的关关系进行行严格的的文档记记录，包包括度量量的计算算、度量量之间的的相互依依赖关系系、以及及历史信信息进行行元数据据管理各类元数数据管理理办法：接口文件件格式元元数据接口数据据文件格格式，包包括接口口数据文文件的命命名、传传输周期期、格式式等说明明信息。接口文件件格式元元数据：与ETL规则元数数据进行行统一管管理。各类元数数据管理理办法：商业元数数据系统中对对各项指指标的业业务含义义的描述述性信息息，在综综合统计计分析平平台中，包括维维、度量量的业务务含义描描述，主主题的分分析目标标描述，报表指指标的解解释信息息等。商业元数数据的管管理可以以分解成成数据仓仓库元数数据的管管理和报报表元数数据的管管理。各类元数数据管理理办法：其他元数数据数据访问问日志、数据装装载日志志