数据架构设计指导书.doc

部分内容来源于网络 有侵权请联系删除 数据架构设计指导书数据架构设计指导书 版本号 V1 0 朗新科技 中国 有限公司朗新科技 中国 有限公司 2013 年 06 月 部分内容来源于网络 有侵权请联系删除 更改履历 版本号版本号修改编号修改编号更改时间更改时间 更改的更改的 图表和章节号图表和章节号 更改简要描述更改简要描述更改人更改人批准人批准人 V1 02013 6 15 王全义郑德炳 注 更改人除形成初稿 以后每次修改在未批准确认前均需采用修订的方式进行修改 部分内容来源于网络 有侵权请联系删除 目录目录 1 1编写目的编写目的 3 2 2适用范围适用范围 3 3 3数据架构设计原则数据架构设计原则 3 4 4数据架构设计数据架构设计 3 4 1企业业务数据分类 4 4 1 1按数据格式划分 4 4 1 2按数据参照程度划分 4 4 1 3按数据采集频道划分 4 4 1 4按使用性质划分 4 4 2数据主题域 5 4 2 1数据主题域视图 5 4 2 2数据主题域关系视图 6 4 3概念数据模型 概念数据模型主要由最佳实践和业务需求作为驱动 因素高阶的数据模型 定义了重要的业务领域概念 即数据主题域 和彼此的 关系 由核心的数据实体或其集合 以及实体间的关联关系组成 概念数据模 型独立于信息系统存在 不涉及信息在系统中的表示 7 4 3 1概念模型视图 7 4 3 2数据流转视图 8 4 4逻辑数据模型 8 4 4 1逻辑数据模型视图 8 4 4 2数据分布视图 9 4 5物理数据模型 10 4 5 1物理模型视图 10 4 6数据库详细设计 11 4 6 1数据基础设计 11 4 6 2常用参数 11 4 6 3主要模式 11 4 6 4表空间规划及存储容量估算 12 4 6 5历史表 12 4 6 6表分区 13 4 6 7DBLINK 14 4 6 8同义词 14 4 6 9主键 14 部分内容来源于网络 有侵权请联系删除 4 6 10索引 15 4 6 11约束 15 4 6 12修改标志时间戳 15 4 6 13LOB 字段 15 4 6 14冗余字段设计 15 部分内容来源于网络 有侵权请联系删除 1编写目的 为了提高数据架构设计能力 规范软件设计流程 加强架构管控力度 提 高软件安全特制定本规范 此文档描述了数据架构设计等 2适用范围 适用于数据架构设计人员 3数据架构设计原则 数据资产化原则 数据资产化原则 将数据作为公司具有价值的无形资产来管理 统一认识 加强数据资产认责管理 保障数据资产的价值发挥 数据共享性原则 数据共享性原则 避免数据孤岛的建设和数据私有化 加强数据在公司各 级单位 各个业务领域间的共享 营造及时 准确的共享数据环境 完善数据 管控机制 确保数据共享符合信息安全要求 数据可用性原则 数据可用性原则 建立标准化 多样化的数据资产获取渠道和访问方式 加强数据质量管理 增强用户使用数据的信心 有效支撑各类分析应用建设 数据认责原则 数据认责原则 针对不同的数据资产指定权威的数据拥有者 质量责任者 日常管理维护者等角色 建立配套的数据管控机制和评价考核体系 确保数据 认责工作的有效开展 数据标准化原则 数据标准化原则 在公司全局范围内建立通用的数据标准 包括业务数据 标准 主数据标准 元数据标准等 避免数据的二义性 促进数据共享和利用 数据安全性原则 数据安全性原则 定义数据安全级别 建立数据安全控制过程 保证数据 被合理的访问 共享和发布 避免未经授权的数据操作 满足监管单位和公司 业务经营对数据安全的要求 4数据架构设计 数据架构设计主要解决 存在哪些数据资源 如何管理数据资源 解析业 务信息的数据模型是什么 面向交易 交换和分析的数据模型是什么 信息在 流程间 数据在功能间如何流转等问题 部分内容来源于网络 有侵权请联系删除 数据架构设计主要内容 数据主题域设计 概念数据模型设计 逻辑数据 模型设计 物理数据模型设计等 4 14 1企业业务数据分类企业业务数据分类 4 1 1按数据格式划分 结构化数据 方便用数据库的二维表结构来逻辑表达实现的数据 数据结 构字段含义确定 清晰 例如 客户信息 用电记录等 是挖掘数据价值的主 要对象 非结构化数据 很难按照一个概念去处理的无结构性的数据 例如文本 多媒体数据等 其数据利用技术相对于结构化数据起步晚 是未来数据应用的 一个发展方向 4 1 2按数据参照程度划分 主数据 用于描述企业核心业务实体 对象的基本业务数据 它在企业内长 期存在并且被重复应用于多个业务部门和信息系统 是最容易产生数据一致性 问题的一类数据 需要单独的管控机制对其进行管理 非主数据 相对于主数据 其它的参照度低的 存在周期短的非核心实体 对象数据可认为是非主数据 4 1 3按数据采集频道划分 非实时数据 相对于实时数据 其它的企业经营过程中产生的 由业务人 员通过应用系统输入的数据都可认为是非实时数据 实时数据 主要是由一些传感器设备以自动化的方式采集的秒级 毫秒级 的数据 例如电网运行数据 设备状态数据等 这些数据的特点是数据内容简 单 但数据量很大 4 1 4按使用性质划分 分析性数据 用于支持日常报表 查询 分析等决策需求的数据 共享数据 来自某个业务系统 在业务部门之间 业务系统之间重复使用 的数据 部分内容来源于网络 有侵权请联系删除 4 24 2数据主题域数据主题域 数据主题域由业务信息按照其业务耦合程度聚合而成的高阶数据主题群 一般与业务域有着紧密的对应关系 例如 财务 物资 生产等 数据主题域通过数据主题域视图和数据主题域关系视图来体现 4 2 1数据主题域视图 展现数据域和数据主题 并定义数据主题对业务域的支撑关系 例图如下 部分内容来源于网络 有侵权请联系删除 4 2 2数据主题域关系视图 展现数据主题域之间的逻辑关系 一般分为一级数据主题域关系视图和二 级数据主题域关系视图 二级是一级的细化 一级数据主题域关系视图如下 部分内容来源于网络 有侵权请联系删除 二级数据主题域关系视图如下 客客户户档档案案 电电动动汽汽车车 运运营营 客客户户服服务务 营营销销账账务务费费用用查查询询 重重要要客客户户 服服务务 能能效效管管理理 服服务务跟跟踪踪 重重要要客客户户服服务务 互互动动服服务务 电电能能产产品品 资资产产台台账账 电电池池管管理理 电电动动汽汽车车服服务务 物物资资配配送送 充充值值卡卡 充充值值卡卡配配送送 能能效效服服务务 网网站站服服务务 客客户户 物物资资 资资产产 产产品品 部分内容来源于网络 有侵权请联系删除 4 3概念数据模型概念数据模型 概念数据模型主要由最佳实践和业务需求作为驱动因素高阶的数据模型 定义了重要的业务领域概念 即数据主题域 和彼此的关系 由核心的数据实 体或其集合 以及实体间的关联关系组成 概念数据模型独立于信息系统存在 不涉及信息在系统中的表示 概念模型应该抓住一个重点 即表达重要业务概念及业务概念之间的关系 解决并只解决需要在全国范围内统一规范的核心的业务问题 只是反映了业务 对数据的需求 包容多种物理实现方式 除非该种物理实现方式不满足业务的 需求 概念数据模型一般由概念数据模型视图和数据流转视图组成 4 3 1概念模型视图 展现数据主题域之下的数据实体 并展现数据实体之间的关联关系 部分内容来源于网络 有侵权请联系删除 4 3 2数据流转视图 展现数据实体所分布到的应用 并展示数据在应用间的流转 例图如下 业务应用服务 应应用用服服务务层层 数数据据存存储储存存 生生产产数数据据库库 应用 接口 省省 市市 公公司司 业务应用服务 应应用用服服务务层层 应用 接口 公公司司总总部部 E ET TL L 公公司司总总部部供供电电服服务务品品质质评评价价应应用用 省省 市市 公公司司供供电电服服务务品品质质评评价价应应用用 E ET TL L E ET TL L 第第三三方方系系统统 第第三三方方系系统统 公公司司总总部部 客客服服系系统统 9 95 55 59 98 8智智能能 互互动动网网站站 短短信信平平台台 9 95 55 59 98 8系系统统 营营销销系系统统 用用电电信信息息 采采集集系系统统 生生产产管管理理 系系统统中中间间 数数据据区区 业业务务 数数据据区区 中中间间 数数据据区区 业业务务 数数据据区区 总总部部客客服服 查查询询库库 总总部部客客服服 报报表表库库 G Gr ro ou up p b by y G Gr ro ou up p b by y 数数据据存存储储存存 生生产产数数据据库库 4 44 4逻辑数据模型逻辑数据模型 逻辑数据模型对概念数据模型的进一步分解和细化 描述实体 属性以及 实体关系 通用的字段类型 长度和主外键关系等做了定义 设计时一般遵从 第三范式 以达到最小的数据冗余 逻辑模型的设计由最佳实践和业务需求 数据资源规划 现有业务应用数据模型等作为驱动因素 逻辑数据模型由逻辑数据模型视图和数据分布视图组成 4 4 1逻辑数据模型视图 对数据实体的分解细化 对数据实体的属性 属性类型 长度和主外键关 系等做了定义 遵从 第三范式 以达到最小的数据冗余 部分内容来源于网络 有侵权请联系删除 4 4 2数据分布视图 展现数据实体所分布到的功能 并定义在功能中的操作 CRUD 数据分布视图如下 省省 市市 公公 司司 结结构构化化数数据据存存储储 中中间间数数据据存存储储区区业业务务数数据据存存储储区区 非非结结构构化化数数据据存存储储 轻轻度度汇汇总总 数数据据 流流程程数数据据 9 95 55 59 98 8 业业扩扩 分分析析指指标标 数数据据 公公 司司 总总 部部 分分析析指指标标 数数据据 轻轻度度汇汇总总 数数据据 9 95 55 59 98 8流流程程数数据据 各类文本式报告 报表 各类知识类文档 指标数据分析数据因子数据 第三方调查数据评价数据 各类文本式报告 报表 各类知识类文档 指标数据分析数据因子数据 第三方调查数据评价数据 部分内容来源于网络 有侵权请联系删除 CRUD 如下 4 54 5物理数据模型物理数据模型 物理数据模型描述数据模型的细节 需要考虑所使用的数据库产品 对应 的字段类型 长度 索引等因素 并对数据冗余与性能进行平衡 必须确定数 据库平台和应用程序的架构 物理数据模型的设计由数据库 数据仓库系统平台 和性能调整优化要求作为驱动因素 4 5 1物理模型视图 描述数据模型的细节 需要考虑所使用的数据库产品 对应的字段类型 长度 索引等因素 并对数据冗余与性能进行平衡 物理模型视图例图如下 部分内容来源于网络 有侵权请联系删除 4 64 6数据库详细设计数据库详细设计 4 6 1数据基础设计 数据库类型 Oracle 数据库版本 11 2 0 3 或 11 2 0 4 数据库 SID sqadb1 sqadb2 数据库名 sqldb 语言 AMERICAN AMERICA 数据库字符集 NLS CHARACTERSET UTF8 国家区域字符集 NLS NCHAR CHARACTERSET UTF8 4 6 2常用参数 NLS LENGTH SEMANTICS CHAR 说明 此参数需要设置后重启方可生效 4 6 3主要模式 设计规划数据库 schemas 主要用于客户端或外部系统访问数据库 具体 设计例子如下 部分内容来源于网络 有侵权请联系删除 模式名模式名英文英文内容描述内容描述权限需求权限需求对象类型对象类型默认空间默认空间 默认索引表默认索引表 空间空间 工作流 用户 sotower 用于保存工 作流数据 由普华提供由普华提供 DATA SOTOWERIDX SOTOWER 权限 组织 bpm 用于保存权 限组织 由普华提供由普华提供 DATA BMPIDX BPM 4 6 4表空间规划及存储容量估算 根据业务情况与各物理表设计字段长度 评估运行周期 1 年内产生的数据 量 数据域数据域数据表空间数据表空间容量估算容量估算 GB GB 索引表空间索引表空间容量估算容量估算 GB GB 客户档案 DATA CUS70 280IDX CUS105 420 服务体系 用能分 析 营销市场 系统 支持 DATA EESMP40IDX EESMP60 用能采集 DATA EIC7300IDX EIC14600 工作流 DATA SOTOWER0 5IDX SOTOWER0 5 组织 权限 DATA BPM0 5IDX BPM0 5 接口用户 DATA API0 5IDX API0 5 4 6 5历史表 所有非档案数据表在系统设计之初就需要考滤历史数据的使用 历史表设 计必须在需求分析阶段确定下来 并在数据模型设计得以体现 在线数据保留在在线系统中的当前表中 保留业务经常使用的数据 历史 数据保留在历史系统中的历史表中 保留当前业务不被使用的数据 将这部数 据从在线系统中迁出可以在线系统库维持在稳定的大小 提高在线库的性能和 可靠性 提高当前表中的查询速度 对于有时间特征的流水业务数据必须进行归档 归档周期由具体业务需求 决定 如果数据量巨大 可根据业务需求缩短归档时间周期 对于没有明显时 间特征的旧数据 可按业务需要标准进行判断之后加以归档 如果数据状态 标识等 归档实体表中尽可能增加时间属性 本系统中对于流程已走完的工单数据 在呼叫接入平台 呼叫服务业务支 持系统数据库中 咨询 报修类数据保留 3 个月 其它数据保留 6 个月 咨询 报修类数据保留 3 个月以前的数据和其它 个月以前的数据将迁移历史库中 部分内容来源于网络 有侵权请联系删除 呼叫接入平台与呼叫服务业务支持系统共用同一个历史库 历史表结构必须为时间分区结构 特殊情况除外 字段结构与在线表相同 历史表名与在线表名保持一致 序号序号主题域主题域 历史表实历史表实 体名称体名称 历史表表名 与历史表表名 与 基表表名相同 基表表名相同 历史表分区方案历史表分区方案历史表数模变更需求历史表数模变更需求 4 6 6表分区 尽可能不采用二级分区 每个分区的记录数应对于数据量较大的表 为提高系统性能 方便业务数 据管理必须进行相应的分区处理 分区策略可选择一级 二级分区 分区字段 由相应的数据分布特征或业务需求来定 1 分区的依据 记录数超过 2000 万的表需要考滤为该表做分区 2 分区字段的选择 分区字段优先考滤最有可能作为查询条件的字段 尽可能不要使用 TIMESTAMP 类型的字段 这在我们当前的营销业务的其它 系统中最常出现 并且已经被证明 非常影响性能 如果需要这类字段作为分 区条件 那么需要在表中添加一个新的字段 作为前面的 TIMESTAMP 类型的字 段的冗余 字段类型为 varchar2 型 并以这个新的字段作为分区字段 3 分区数量的考滤 表的分区数据不宜太多 以住在营销系统中我们常采用二级分区的方法 导致表的分区数据太多 一保持在 100 500 万之间 4 禁止使用 pmax 分区 在创建分区表时不可以创建 pmax 分区 创建 pmax 分区将导致后续分区扩 展变得非常困难 在营销系统中我们吃尽了这方面的苦头 不能再犯这类的错 5 数据归档或迁移的考滤 表分区的创建还要充份考滤便于后续数据的归档和迁移 如某张表在线数 部分内容来源于网络 有侵权请联系删除 据只保留 6 个月 归档表只保留 6 个月前至 1 年前之间的数据 历史表保留 1 年以前的数据 那么在表分区规划时就要考滤这张表的数据归档迁移方式 要 能以最快速度 最小代价 最低影响在线系统的方式将数据归当 迁移出去 6 对于数据量巨大且无明显数据分布特征可采用 HASH 分区 7 制定分区表需要开发设计与开发 DBA 共同讨论 分区命名遵循 P 分区 值的原则 子分区遵循 P 主分区值 P 子分区值的原则 如 单位分区 P3340101 年月分区 P201001 单位年月组合分区 P 3340101 P201001 注意 范围分区时分区名应大于分区值上界 在总部系统中由于数据较小暂不考虑分区 4 6 7DBLINK 由于目标客户使用的硬件资源各不相同 要求我们在设计之时 不得不考 虑未来多种部署模式 多种部署模式中 有存在跨数据库访问的情况 因此规 划数据链 注意 尽量不要使用 DBLINK 来访问外部数据库 主库主库目标库目标库数据库链名数据库链名用途用途属主属主连接帐连接帐 号号 权限权限说明说明 95598服务业务 系统库 95598服务业务 系统历史库 DL TO EESMPH API 历史数据迁移 EESMP API待定 4 6 8同义词 引入同义词是为了解决程序部署灵活性的要求 将开发人员程序调整工作 量降到最低的情况下 来满足程序的灵活部署 同意义与表同名 同义词类型同义词类型同义词命名规则同义词命名规则源端源端 for for 目标端目标端 展现类同义词SY ED XXXXERMDERMA SGPM SGPM O UT KMAC 营销管理类同义词SY AD XXXXSGPM SGPM OUT AMBER WF AMBE R ERMA ERMD 风险流程类同义词SY WF XXXX最小化平台 稽查流 程 ERMD 部分内容来源于网络 有侵权请联系删除 4 6 9主