基于CWM的数据仓库体系结构设计.ppt

基于CWM的 数据仓库体系结构设计,我的工作,提出了一个基于CWM的数据仓库体系结构 基于该体系结构，参与设计和实现了一个 电信综合业务信息服务平台,提纲,背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计,背景介绍,数据仓库的应用越来越广泛 不同数据仓库工具之间无法进行数据交换 企业的应用受到工具的限制 利用元数据可以实现数据交换,提纲,背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计,数据仓库理论,数据仓库的定义 数据仓库的建设 数据仓库的应用 国内数据仓库建设的问题,元数据,定义 描述数据的数据 研究元数据的原因 管理、使用数据的需求 系统分布和互通的要求 元数据重用、共享的要求,元数据的建模和标准化,建模的两大方向 元数据参考模型 元数据模型 标准化 OMG MDC,提纲,背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计,元数据的层次,OMG规范和元数据层次的关系,CWM和相关规范的关系,CWM和MOF的关系 CWM和UML的关系 直接继承了UML核心元模型 使用UML图形标记 使用UML中的OCL（对象约束语言） CWM和XMI的关系,CWM的组成,CWM元模型 基础包 资源包 分析包 管理包 CWM DTD和CWM XML CWM IDL,提纲,背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计,基于CWM的数据仓库体系结构,数据源,OLTP数据库 遗留数据 内部办公系统数据 外部数据,数据源,多种类型：关系型、多维、 记录、XML 以及其它一些工具类型 关系型：模式，物理表， 视图，字段，索引，触发器，外关键字 ，主关键字 ，数据类型，字段值，数据记录，记录的集合,Relational元模型,Relational元模型（续1）,Relational元模型（续2）,关系型数据源的主要接口,BaseTable：查询和修改表的属性、触发器和结构 Catalog：查询和修改包含的元素 Column：查询和设置属性 Row：查询和修改一条记录的内容 RowSet：查询和修改包含的记录,ETL,读取数据 清洁数据 转换数据 装载数据,ETL组件的接口,黑盒变换： Transformation ，DataObjectSet ，TransformationUse 白盒变换： FeatureMap ，ClassifierMap ，ClassifierFeatureMap ，TransformationMap 变换的执行顺序控制： TransformationTask ，TransformationStep ，TransformationActivity ，StepPrecedence ，PrecedenceConstraint,中央数据仓库,数据粒度最细且多层次 数据是历史的 数据是时间相关的 大数据量 数据是整合的 通用的、全局的,操作数据存储ODS,数据集市,数据集市的特点,面向部门应用 规模小，投资少 使用方便且成本低,元数据库,类型： 中央元数据库 本地元数据库 内容： 抽取过程：任务、执行顺序、映射关系、转换规则 描述数据 ：方位图、数据之间的商业关系、商业规则、数据的改变 数据仓库管理：安全性、运行状态、抽取过程的调度、I/O对象及其关系,数据仓库管理,访问控制和安全性管理 数据增长管理 抽取过程的管理 性能管理 故障恢复 扩充和演变管理,数据仓库管理接口,抽取过程的调度（WarehouseProcess，WarehouseEvent，InternalEvent，ScheduleEvent，ExternalEvent） 抽取过程的执行（TransformationExecution，StepExecution，ActivityExecution） 数据元素的变化（Measurement，ChangeRequest）,OLAP组件接口,立方体的定义： Cube，CubeDimAssoc，CubeRegion，Dimension，Hierarchy，Level，Mearsure， LevelBasedHierarchy，HierarchyLevelAsso， ValueBasedHierarchy，MemberSelection，MemberSelGrp， 立方体到物理数据源的映射 StructureMap， LevelBasedHierarchy， ValueBasedHierarchy,数据挖掘组件的主要类及接口,MiningModel：模型属性和模型的输入 MiningSettings：对象属性，输入参数的说明 ApplicationInputSpecification， ApplicationAttribute：使用模型时的参数 MiningModelResult：挖掘的结果 SupervisedMiningModel: 描述预言性算法产生的模型 StatisticsSettings, AssociationRulesSettings, ClusteringSettings, ClassificationSettings, RegressionSettings：对应模型的设置,基于CWM的数据仓库体系结构的 特点及优点,统一的数据集市和数据仓库 中央元数据库驱动机制 灵活高效的数据交换方式 易于升级