数据模型之经典培训ppt课件

数据模型 1 数据模型培训 2009年07月 2 目录 数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结 3 逻辑数据模型 LogicalDataModel 是 利用图形方式 通过数据和关系反映业务的一个过程 定义需要追踪和管理的各种重要实体 属性和关系 是进行各种数据管理 分析和交流的重要手段 是IT和业务人员沟通的桥梁 什么是数据模型 4 数据模型作用 为复杂的业务系统实施提供了规范和基础结构 蓝图促进业务部门用户和IT分析人员之间的有效沟通 提高了IT系统开发的效率明确业务需求解决业务问题形成对重要业务定义和术语的统一认识 有助于业务的积累具备跨部门 中性的特征 能够表达所有的业务业务具有一定的稳定性 可以减少项目实施的风险借鉴行业实践检验 提供成熟 可扩展的方案 5 数据模型的基本组成 数据模型由实体 属性和关系组成 实体是具有公共性质的可区别的现实世界对象的集合 诸如人 地点 事件或概念等任何要保留信息的事务 如客户 产品等 包括基本实体 子类型实体 属性实体 关联实体四种类型 属性是描述实体或者联系的性质的数据项 是实体的特征 每个属性都代表实体的单个特征信息 如客户ID 客户名称等 其中主键用于唯一标识实体 外键存在于父子关系的一对实体间 关系是表示实体之间的关联 连接等 关系有一对一 一对多 或者多对多 关系有基数 可选性 标识联系 非标识联系等特性 6 范式化 第1范式 属性依赖于键第2范式 属性依赖于全键第3范式 属性只依赖于键总结 所有属性必须依赖键且为全键 并且只能依赖于键讨论 范式化与逆范式化 通俗的说法 窄表 宽表 数据模型与数据结构 7 指标维护 指标关系历史 8 指标维护 指标性质 第一位 1 本期2 上期3 年初4 同期5 比较 第二位 1 实际值2 增减值3 增减百分比 9 指标维护 计算方式代码 10 指标结构 11 指标维护 指标性质 第一位 1 本期2 上期3 年初4 同期5 比较 第二位 1 实际值2 增减值3 增减百分比 12 指标维护 计算方式代码 13 数据模型关系 14 数据建模技术 企业级数据模型 主题域模型 业务数据模型 贷款业务 贷款业务 核心系统 贷款业务 信贷系统 逻辑数据模型 物理数据模型 存款业务 15 建立逻辑模型策略 从物理数据库如 核心 CRM 信贷 资产负债等系统开始进行反向工程 建立逻辑模型 被称为 自底向上 的建模方式 或模型B 根据数据建模小组的业务知识和行业建模经验建立实体水平逻辑模型 被称为 自顶向下 的建模方式 或模型A 业务知识企业级数据模型 交易系统 交易系统 16 目录 数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结 17 通用数据模型 18 19 主题划分 20 金融数据模型总览 21 当事人 22 产品及协议 23 交易 24 当事人 定义及分类 25 当事人 法律实体 26 当事人 组织机构 27 当事人 客户 28 产品 定义 29 产品 特性 30 产品 分类 31 协议 32 交易 33 财务记录 账户 34 财务记录 账户 35 协议 交易 账户的关系 当事人 具有银行指定的客户角色 与银行进行某种业务时 必然针对银行的某种产品 其产品自身的特点及交易属性决定了在交易时必须遵循一定的规则 即双方必须遵守的业务约定 协议 在业务约定的前提下 在一定的时间和地点双方实现业务约定的内容 即进行交易 交易过程中会伴随有相应的金额数量和币种等信息 交易发生时 银行会记录与这笔交易有关的财务信息 即影响银行财务增加或减少的财务记录 账户 36 地域 37 通讯 38 凭证 39 时间表 40 金融资产 41 分类 42 目录 数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结 43 FSD FinancialServiceDatastore 的目标 面向银行业 满足银行业务 管理 监管要求通过多家银行的报表需求 不断完善FSD元数据内容通过对报表需求的分析 不断完善元数据定义的标准通过多家银行的项目实施经验 不断完善数据采集的管理 调度机制 实现外部业务系统 数据平台的安全 协调运行具有良好的拓展性 满足银行不断推出的新业务 新服务的要求制定FSD管理流程 保证FSD与数据平台产品的同步升级建立FSD数据管理方法论 保证新增数据与数据模型 历史数据的有效衔接协助银行 制定有效的数据管理制度从任何角度统计 在业务逻辑一致的情况下 结果相同从分户账 总账 交易信息 等等 任何一个角度进行统计 结果一致 44 数据代理层 数据提供者 业务报表 管理报表 数据服务工厂 数据使用者 数据管理体系 抽取 清洗 转换 加载 组织 活动 交付 职责 技术 即席查询 分析决策 数据管理体系 数据平台层 数据应用层 监管报表 45 FSD的处理步骤 ODS层 基础层 汇总层 46 FSD业务主题域 内部资料注意保密 47 内部资料注意保密 FSD业务主题域 48 贷款数据模型 内部资料注意保密 49 FSD贷款主题分析模型 186个维度 91个指标 13个数据粒度 贷款业务模型已较为完整 可据此产生新的报表 内部资料注意保密 贷款主题分析模型 50 目录 数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结 51 FSD数据模型的语义定义 商业机密 52 技术层 展现层 ETL加工过程 业务系统产生的数据 语义层 FSD物理模型 技术元数据 技术元数据 业务元数据 业务元数据 语义定义过程 语义应用过程 元数据管理 查询 报表 文件 视图 52 元数据业务视图 FSD物理模型 表字段视图关联分区 元数据建模 模型元数据 属性指标组合维度层次 MMT元数据 条件维度列指标列单 多维度指标列组合MMT 报表元数据 参数样式行列定义数据区定义平衡检查补录定义 53 多维模型 多维建模是一种将数据模型概念化和形象化为一组可用一般商业概念描述的度量的技术 星型模型雪花模型多维建模的基本概念维度度量面向业务人员的建模过程 54 维度和度量 维度是一个与业务相关的观察角度依赖于数据的有效性和表达业务成效的关键性能指标度量度量是业务量化的表示用于评价业务状态的数值型数据用于检测业务的成效不同度量反映不同的业务性质度量之间是独立的 机构时间币种贷款产品类型贷款用途贷款投向行业五级分类担保方式期限 维度 余额逾期金额发放金额回收金额表内欠息表外欠息实收利息应计利息贷款笔数发放笔数回收笔数逾期笔数 度量 贷款模型 示例 2008年度北京分行用于个人消费的三年期人民币贷款的发放总金额和贷款余额是多少 维度 时间 2008年度 度量 发放总金额机构 北京分行 贷款余额产品 个人消费贷款 期限 三年期 币种 人民币 贷款分析举例 55 目录 数据模型的概念主题域模型介绍FSD数据模型总体介绍FSD数据模型应用数据仓库建模基础总结 56 什么是数据仓库 数据仓库区别于其他数据存储系统 数据仓库是一个面向主题的 集成的 随时间而变化的 不容易丢失的数据集合 支持管理部门的决策过程 W H Inmon 57 数据仓库经典著作 58 数据仓库模型主题的定义 59 数据仓库模型主题的时间性 60 数据仓库建