基于CWM的数据仓库体系结构设计.ppt

基于CWM的数据仓库体系结构设计 我的工作 提出了一个基于CWM的数据仓库体系结构基于该体系结构 参与设计和实现了一个电信综合业务信息服务平台 提纲 背景介绍数据仓库 元数据理论介绍CWM MOF UML XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计 背景介绍 数据仓库的应用越来越广泛不同数据仓库工具之间无法进行数据交换企业的应用受到工具的限制利用元数据可以实现数据交换 提纲 背景介绍数据仓库 元数据理论介绍CWM MOF UML XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计 数据仓库理论 数据仓库的定义数据仓库的建设数据仓库的应用国内数据仓库建设的问题 元数据 定义描述数据的数据研究元数据的原因管理 使用数据的需求系统分布和互通的要求元数据重用 共享的要求 元数据的建模和标准化 建模的两大方向元数据参考模型元数据模型标准化OMGMDC 提纲 背景介绍数据仓库 元数据理论介绍CWM MOF UML XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计 元数据的层次 OMG规范和元数据层次的关系 CWM和相关规范的关系 CWM和MOF的关系CWM和UML的关系直接继承了UML核心元模型使用UML图形标记使用UML中的OCL 对象约束语言 CWM和XMI的关系 CWM的组成 CWM元模型基础包资源包分析包管理包CWMDTD和CWMXMLCWMIDL 提纲 背景介绍数据仓库 元数据理论介绍CWM MOF UML XMI规范介绍基于CWM的数据仓库体系结构设计电信综合业务信息服务平台设计 基于CWM的数据仓库体系结构 数据源 OLTP数据库遗留数据内部办公系统数据外部数据 数据源 多种类型 关系型 多维 记录 XML以及其它一些工具类型关系型 模式 物理表 视图 字段 索引 触发器 外关键字 主关键字 数据类型 字段值 数据记录 记录的集合 Relational元模型 Relational元模型 续1 Relational元模型 续2 关系型数据源的主要接口 BaseTable 查询和修改表的属性 触发器和结构Catalog 查询和修改包含的元素Column 查询和设置属性Row 查询和修改一条记录的内容RowSet 查询和修改包含的记录 ETL 读取数据清洁数据转换数据装载数据 ETL组件的接口 黑盒变换 Transformation DataObjectSet TransformationUse白盒变换 FeatureMap ClassifierMap ClassifierFeatureMap TransformationMap变换的执行顺序控制 TransformationTask TransformationStep TransformationActivity StepPrecedence PrecedenceConstraint 中央数据仓库 数据粒度最细且多层次数据是历史的数据是时间相关的大数据量数据是整合的通用的 全局的 操作数据存储ODS 数据集市 数据集市的特点 面向部门应用规模小 投资少使用方便且成本低 元数据库 类型 中央元数据库本地元数据库内容 抽取过程 任务 执行顺序 映射关系 转换规则描述数据 方位图 数据之间的商业关系 商业规则 数据的改变数据仓库管理 安全性 运行状态 抽取过程的调度 I O对象及其关系 数据仓库管理 访问控制和安全性管理数据增长管理抽取过程的管理性能管理故障恢复扩充和演变管理 数据仓库管理接口 抽取过程的调度 WarehouseProcess WarehouseEvent InternalEvent ScheduleEvent ExternalEvent 抽取过程的执行 TransformationExecution StepExecution ActivityExecution 数据元素的变化 Measurement ChangeRequest OLAP组件接口 立方体的定义 Cube CubeDimAssoc CubeRegion Dimension Hierarchy Level Mearsure LevelBasedHierarchy HierarchyLevelAsso ValueBasedHierarchy MemberSelection MemberSelGrp 立方体到物理数据源的映射StructureMap LevelBasedHierarchy ValueBasedHierarchy 数据挖掘组件的主要类及接口 MiningModel 模型属性和模型的输入MiningSettings 对象属性 输入参数的说明ApplicationInputSpecification ApplicationAttribute 使用模型时的参数MiningModelResult 挖掘的结果SupervisedMiningModel 描述预言性算法产生的模型StatisticsSettings AssociationRulesSettings ClusteringSettings ClassificationSettings RegressionSettings 对应模型的设置 基于CWM的数据仓库体系结构的特点及优点 统一的数据集市和数据仓库中央元数据库驱动机制灵活高效的数据交换方式易于升级