安徽移动经营分析数据库设计V10

安徽移动经营分析系统 数据库设计规格书 V0 1 安徽移动通信股份有限公司安徽移动通信股份有限公司 南京联创科技股份有限公司南京联创科技股份有限公司 2003 年 9 月 修改历史 版本号日期编写者修改内容 0 12003 08 26 赵懿敏 陈昌辉形成框架 模版 0 12003 09 06 陈昌辉完成文档格式调整 参考文献 附件内容 修改历史 0 22003 09 08 张宇闻 邓玉春完成对象设计部分内容 目 录 1 概述概述 1 2 总体设计总体设计 2 2 1 数据库对象命名规则 2 2 1 1 数据库命名规则 2 2 1 2 节点命名规则 2 2 1 3 节点组命名规则 2 2 1 4 表空间命名规则 3 2 1 5 表命名规则 3 2 1 6 索引命名规则 4 2 1 7 约束命名规则 4 2 2 数据库设计 5 2 2 1 数据库分库设计 5 2 2 2 数据库配置参数设计 6 2 2 3 数据库分区设计 6 2 2 4 节点组设计 6 2 2 5 表空间划分原则 6 2 2 6 安徽经营分析系统表空间的划分 6 2 2 7 分表设计 6 2 2 8 数据库备份 恢复策略 6 2 2 9 磁盘划分 6 2 3 系统容量要求计算和扩容要求 6 2 3 1 语音清单 6 2 3 2 数据业务 其他新业务容量 6 2 3 3 结算清单 6 2 3 4 用户账单 用户资料档案 用户交易处理记录 6 2 3 5 中间表的存储 6 2 3 6 事实表和多维数据存储 6 2 3 7 ETL接口文件 6 2 3 8 数据仓库备份 文件系统管理容量 6 2 3 9 数据仓库原始数据量合计及扩容建议 6 3 对象设计对象设计 6 3 1 模型设计 E R 图 6 3 1 1 客户主题 6 3 1 2 服务主题 6 3 1 3 资源主题 6 3 1 4 服务使用主题 6 3 1 5 帐务主题 6 3 1 6 结算主题 6 3 1 7 客服主题 6 3 2 数据字典 6 3 2 1 EDM数据字典 6 3 2 2 中间分析模型数据字典 6 3 2 3 事实表数据字典 6 3 2 4 系统管理数据库 6 3 2 5 接口数据字典 6 3 3 物理设计 6 3 3 1 资料表 6 3 3 2 中间表 6 3 3 3 事实表 6 4 参考文献参考文献 6 5 附件内容附件内容 6 1 概述概述 安徽移动经营分析系统属于大规模的数据仓库应用系统 数据库管理系统 对数据的管理能力极为重要 经过慎重考虑 选择 DB2 EEE 作为数据仓库管理 系统 DB2 EEE 支持 Share Nothing 的结构 支持分节点并行管理数据 各节点 使用独立的 CPU 内存 I O 通道对数据实现独立的管理 可以提高数据管理 的性能 随着安徽移动业务的不断拓展 未来经营分析系统将面临数据扩展的问题 DB2 能够自动地实现比较高效的后台数据重分布 这将给我们的系统管理带来 极大方便 2 总体设计总体设计 2 1 数据库对象命名规则数据库对象命名规则 2 1 1 数据库命名规则数据库命名规则 安徽移动经营分析系统数据库采用以下名称 数据仓库 BASS DW 清单数据库 BASS CDR 报表数据库 BASS RPT 系统管理数据库 BASS MM 2 1 2 节点命名规则节点命名规则 安徽移动经营分析系统是基于数据仓库的分析系统 数据量巨大 数据库 采用分节点并行管理数据的技术 节点的命名规则如下 NODE 注 SERVERNAME 主机机器名缩写 NN 两位节点序号 从 01 02 03 2 1 3 节点组命名规则节点组命名规则 节点组采用如下命名原则 NDGP 注 MM 两位节点数 节点组所包含节点数转换为两位字符 如 08 代表该 节点组包含 8 个节点 NN 两位序号 在命名上区分包含相同节点数的节点组时 采用的两位序 号 如 01 02 2 1 4 表空间命名规则表空间命名规则 应用数据表空间名称以 TBS 开头 后跟表空间类型 最后面为应用子系统 缩写代码和流水号 长度不超过 16 个字符 具体格式如下表所示 具体格式如下表所示 表空间类型命名 系统表空间 SYSTEM 临时表空间 TEMP nn 接口表表空间TBS INTF xxxx nn 如 TBS INTF USRARCH 01 资料表表空间TBS USR xxxx nn 如 TBS USR USRARCH 01 清单表表空间TBS CDR xxxx nn 如 TBS CDR VOICE 01 中间表表空间TBS MID xxxx nn 如 TBS MID USRARCH 01 事实表表空间 TBS FACT xxxx nn 如 TBS FACT KEY 01 帐务表表空间TBS ACCT xxxx nn 如 TBS ACCT BILL 01 备份表空间 TBS BAK xxxx nn 索引表空间TBS IDX xxxx nn 如 TS IDX USRARCH 01 注 xxxx 为某类业务数据的缩写代码 nn 为二位的流水号 系统表空间必须具有固定的名称 system 2 1 5 表命名规则表命名规则 表名可以不用包含子系统的名称 本系统中表名的命名规则为 TableTypeAb FunctionTypeAb 其中 TableTypeAb 表名类型缩写 由 1 2 位元英文字母构成 主要包 括 将相关联的表赋以合适统一的前缀即可 前缀含义如下 Tf 资料表 Tf fact 事实表 Td 参数表 Tmp 临时表 Tp 中间表 采用英文名称 除了一些标准的或通用的缩写 如 cdr 外 都尽量全部拼 写的单词 只有在名字全长超过 32 个字母时才考虑进行缩写 不得使用汉语拼 音缩写 英文单词的使用应该力求准确 恰当 2 1 6 索引命名规则索引命名规则 IDX PK FK UIX BM 其中 PK 用于主键的索引 FK 如果索引建立在外键上 UIXUnique 约束 BM Bitmapped 索引 IDX普通索引 Index 表名的缩写 索引字段名的缩写 2 1 7 约束命名规则约束命名规则 PK FK UNQ CHK 其中 PK 如果是主键 FK 如果是外键 UNQUnique 约束 CHKCheck constraints 表明缩写 对于约束的描述 2 2 数据库设计数据库设计 2 2 1 数据库分库设计数据库分库设计 针对数据仓库的特点和具体需求情况 将数据库分为四个 序号数据库数据库命名软 硬件平台备注 1 中央数据仓库 AMCC DWIBM P690 AIX UNIX 5 1 数据仓库 2 清单存储库 AMCC CDRIBM P690 AIX UNIX 5 1 清单存储 3 报表处理数据 库 AMCC RPTIBM P690 AIX UNIX 5 1 报表数据处理 4 管理数据库 AMCC MDWindows 2000 Server 系统管理 安全认 证 主要用途如下 1 中央数据仓库 经营分析系统核心数据库 按照企业模型存放所有的 资料 不包含往月清单 提供经营分析系统分析数据 2 清单存储数据库 经营分析系统按照 12 1 的原则保存清单 含结 算清单 存放当前月份的清单和往月 12 个月的清单 由于清单量巨 大 完全存放在经营分析系统中对数据仓库的管理备份都带来不便 因此将除当月外的 12 个月的清单单独存放在清单存储数据库中 由于 存储容量所限 目前只设计存放六个月的清单 扩容后才能满足存储 12 个月的清单的要求 具体扩容相关考虑参见 2 3 9 系统容量计算标 准扩容要求 3 报表处理数据库 为了满足报表需求 同时避免报表数据处理对数据 仓库中主题分析构成影响 因此将报表数据库独立出来 专门用作报 表处理 4 管理数据库 经营分析系统管理数据库 是专门用来进行系统管理的 数据库 存放安全管理数据 系统运行日志等数据 2 2 2 2 2 2 数据库配置参数设计数据库配置参数设计 DB2 数据的优化一方面是优化运行在数据库上的应用 另一方面就是对数 据库和数据库实例本身进行的优化 而对数据库和数据库实例的优化又主要是 靠一系列配置参数的调整来达到的 2 需要调整的数据库实例配置参数和建议值 配置参数名称说明一般配置 sheapthres 排序堆阈值Sortheap 可能同时连接的不同应用程 序数 maxagents 代理程序的最大 数目 大于等于 maxappls Intra parallel 分区内并行开关因为一个分区只有一个 CPU 所以该参 数 off fcm num buffers Fcm 缓冲区数设的大一点 这是节点间通信的通道 fcm num rqb Fcm 请求块数 18000 fcm num connect Fcm 连接项数 16000 3 需要调整的数据库配置参数和建议值 配置参数名称说明一般配置 dft queryopt 缺省的查询优化级别 3 dbheap 数据库堆 4800 4k logbufsz 日志缓冲区 512 4k buffpage 缓冲池大小在 olap 系统中 建议为系统剩余内 存 0 5 locklist 锁定列表的最大存储 器 Between 512 36 maxappls 4096 and 512 72 maxappls 4096 app ctl heap sz 应用程序控制堆 1024 sortheap 排序堆大小在 olap 系统中 建议为系统剩余内 存 0 5 stmtheap 语句堆大小Sql 语句编译的时候使用 8192 applheapsz 应用程序堆大小 384 maxlocks 最大的锁数量100 每个应用程序 512 锁定 每 个锁定 32 字节 2 locklist 4096 字节 Num iocleans 页清除期数量每一个 CPU 一个 Num ioserver I O 服务器数量多少个逻辑卷多少个 ioserver maxappls 最大的应用程序数此参数指定可与一个数据库连接 本 地和远程 的并行应用程序的最大数 目 logfilsiz 日志文件大小根据实际数据量 logprimary 主日志文件数量根据实际数据量 logsecond 辅日志文件数量根据实际数据量 logretain 日志利用类型 recovery 2 2 3 数据库分区设计数据库分区设计 鉴于安徽移动经营分析系统数据处理量巨大的特点 同时根据主机平台的 配置 我们将数据库进行了分区 共分为 8 个节点 其中 1 个节点作为主节点 又称控制节点 其他 7 个节点作为从节点 节点命名如下 NODE YT01 NODE YT02 NODE YT03 NODE YT04 NODE TL01 NODE TL02 NODE TL03 NODE TL04 2 2 4 节点组设计节点组设计 在 DB2 EEE 中 数据可以跨节点存储 数据存储在表中 表是建立在表空 间上的 表空间又是构建在节点组上的 而节点组是由不同的节点 分区 构 成的 这样表中的数据就可以分布在组成该表所在的节点组的各个表分区上 不但可以有多个节点组成节点组 还可以由单个节点组成节点组 大表跨 越所有分区组成的节点组 而小表可以放在一个分区内 根据安徽移动的前期交流的结果数据仓库的硬件配置是两台主机 分别配 置 8 个 CPU 32G 内存 根据这个配置 我们可以将数据库分 8 个节点 分区 每个节点 2 个 CPU 8G 内存 具体的节点组划分情况如下所示 不同节点组可以使用同一个节点 序号节点组名称节点数节点主要用途 1 NDGP 08 018NODE YT01 NODE YT04 NODE TL01 NODE TL04 各种清单 帐单 缴费记 录 销帐记录 业务纪录 业务费用纪录 参数表 2 NDGP 04 014NODE YT01 NODE YT03 NODE TL01 NODE TL03 客户资料 用户资料 个 人大客户资料 集团大客 户资料 变更历史 事实 表等 3 NDGP 04 024NODE YT02 NODE YT04 NODE TL02 NODE TL04 中间表 记录数在 100 万以 上的事实表 4 NDGP 02 012NODE YT02 NODEYT 04 记录数在 10 100 万事实 表 5 NDGP 02 022NODE TL02 NODETL 04 记录数在 10 100 万事实 表 6 NDGP 01 011NODE YT01 记录数少于 10 万条且一般 不与跨多个节点的表进行 关联的表 7 NDGP 01 021NODE YT03 记录数少于 10 万条且一般 不与跨多个节点的表进行 关联的表 8 NDGP 01 031NODE TL01 记录数少于 10 万条且一般 不与跨多个节点的表进行 关联的表 9 NDGP 01 041NODE TL03 记录数少于 10 万条且一般 不与跨多个节点的表进行 关联的表 2 2 5 表表空间划分原则空间划分原则 DB2 EEE 以表空间形式存储数据库的数据 包括表 索引 对象 Object 序列号 Sequence 存储过程等 表空间是 DB2 EEE 数据库的 逻辑结构 每个表空间又由若干的物理数据文件组成 表空间划分应考虑业务管理和应用处理的需要 例如对某类业务数据经常 进行独立地处理或维护 同时应兼顾性能的优化 尽量将可能并发存取的数据 分布在不同的物理硬盘上使 I O 负载均衡 以减少资源竞争和冲突 提高系统 处理性能 经营分析系统表空间的划分 遵循了下列原则 应用数据必须与系统数据字典的数据分开存储于不同的表空间 按业务划分数据 不同应用的数据应存储于不同的表空间 减小一个表空 间的数据影响多个应用 按业务管理需要独立处理或维护的数据 例如独立进行数据备份或清理 应考虑存储在独立的表空间 表和索引应分离 需存储在不同的表空间 以便分布到不同的数据文件 硬盘上 并分别进行不同的物理存储参数优化 并行存取的多个分区 应考虑存放在不同的表空间 以控制分区分布到不 同的数据文件 硬盘上 相对静态的表和频繁变动的表分开存放在不同的表空间以便分别进行不同 的物理参数优化 2 2 6 安徽经营分析系统表空间的划分安徽经营分析系统表空间的划分 经营分析系统中 清单及其他大数据量表存储都分区处理 因此 经营分 析系统表空间的划分与分区划分相关 即保证不同分区内存取的数据 存储于 不同的表空间上 以便均衡 I O 的分布 充分发挥和提高系统并行存储数据的 性能 经营分析系统表空间具体划分如下 2 2 6 1 2 2 6 1 数据仓库表空间划分数据仓库表空间划分 2 2 6 1 1 表空间存储划分表空间存储划分 表空间类型节点数 表空间名说明 估算容量 GB 节点组数据操作特征表空间主要参数 节点 裸设备容 量 裸设备数量 系统表空间 1SYSTEM 系统表空间 1GNDGP 01 01 Pagesize 16K 缺省 EXTENTSIZE 16 缺省 PREFETCHSIZE 16 缺 省 1x1G x1 临时表空间 8TBS TEMP DW 01 系统临时表 空间 由系 统管理 96GNDGP 08 01 频繁的插入 8x4G x3 用户临时表空 间 8TBS USER TEMP 用户临时表 表空间 32GNDGP 08 01 频繁的插入 8x1G x4 参数表表空间 8TBS PARA DW 01 参数表表空 间 8GNDGP 08 01 静态数据 8x1G 参数历史表空 间 8 TBS HIS PTBS HIS PARA DW 01 参数历史表 空间 8GNDGP 08 01 静态数据 8x1G 接口表表空间 8 TBS INTF USRAR CH 01 客户资料接 口表表空间 16GNDGP 08 01 导入及删除 8x1G x2 8 TBS INTF MEMBE R 01 成员资料接 口表表空间 8GNDGP 08 01 导入及删除 8x 1G x1 8 TBS INTF NETMA G 网管数据接 口表表空间 16GNDGP 08 01 导入及删除 8x 1G x2 8 TBS INTF CUSTO MSERVER 客服数据接 口表表空间 8GNDGP 08 01 导入及删除 8x 1G x1 8 TBS INX INTF 0 1 接口表索引 表空间 16GNDGP 08 01 导入及删除 8x 1G x2 8 TBS USR USRARC H 01 普通用户资 料 16GNDGP 08 01 频繁的插入 修改 删除 查询 4x4G x1 8 TBS USR TRADE 01 交易数据表 空间 32GNDGP 08 01 频繁的插入 修改 删除 查询 4x4G x2 8 TBS USR VIPARC H 01 个人大客户 数据表空间 8GNDGP 08 01 频繁的插入 修改 删除 查询 4x2G x1 用户资料表空 间 8 TBS USR GROUPA RCH 01 集团大客户 数据表空间 8GNDGP 08 01 频繁的插入 修改 删除 查询 4x2G x1 8 TBS HIS USRARC H 01 用户资料历 史表表空间 64GNDGP 08 01 插入 查询 4x8G x2 4 TBS IDX USRARC H 01 用户资料索 引表空间 16GNDGP 08 014x4G x1 4 TBS IDX H USRA RCH 用户历史资 料索引表空 间 16GNDGP 08 014x4G x1 8 TBS CDR VOICE 01 语音清单表 表空间 96GNDGP 08 01 频繁的导入及查询 Pagesize 32K8x4G x3 8 TBS CDR VOICE 02 语音清单表 表空间 96GNDGP 08 01 频繁的导入及查询 Pagesize 32K8x4G x3 8 TBS CDR VOICE 03 语音清单表 表空间 96GNDGP 08 01 频繁的导入及查询 Pagesize 32K8x4G x3 语音清单表表 空间 含漫游清 单 8 TBS IDX CDR VO ICE 语音清单索 引表空间 64GNDGP 08 01Pagesize 16K8x4G x2 短信清单表空 间 8 TBS CDR MESS 0 1 短信清单表 表空间 64GNDGP 08 01 频繁的导入及查询 Pagesize 32K8x4G x2 8 TBS CDR MESS 0 2 短信清单表 表空间 64GNDGP 08 01 频繁的导入及查询 Pagesize 32K8x4G x2 8 TBS CDR MESS 0 3 短信清单表 表空间 64GNDGP 08 01 频繁的导入及查询 Pagesize 32K8x4G x2 8 TBS IDX MESS 短信索引表 表空间 32GNDGP 08 01Pagesize 16K8x4G x1 8 TBS CDR SEETLE 01 结算清单表 表空间 64GNDGP 08 01 导入 查询 Pagesize 32K8x4G x2 8 TBS CDR SEETLE 02 结算清单表 表空间 64GNDGP 08 01 导入 查询 Pagesize 32K8x4G x2 8 TBS CDR SEETLE 03 结算清单表 表空间 64GNDGP 08 01 导入 查询 Pagesize 32K8x4G x2 结算清单表空 间 8 TBS IDX SEETLE结算清单索 引表空间 32GNDGP 08 01Pagesize 16K8x4G x1 其他清单表空 间 2 TBS CDR OTHER 01 其他清单表 表空间 32GNDGP 02 01 导入 查询 Pagesize 16K2x4G x4 2 TBS CDR OTHER 02 其他清单表 表空间 32GNDGP 02 01 导入 查询 Pagesize 16K2x4G x4 2 TBS CDR OTHER 03 其他清单表 表空间 32GNDGP 02 02 导入 查询 Pagesize 16K2x4G x4 2 TBS IDX OTHER 其他清单表 索引表空间 16GNDGP 02 02 导入 查询 Pagesize 16K2x4G x2 8 TBS BILL MON 0 1 帐单表空间 含当月和 往月 96GNDGP 08 01 频繁的插入 修改 查询 8x4G x3 8 TBS IDX BILL 0 1 帐单索引表 空间 32GNDGP 08 01 频繁的插入 修改 删除 查询 8x2G x2 8 TBS BILL PAY 0 1 销帐 收费 表空间 64GNDGP 08 018x4G x2 8 TBS IDX BILL P AY 销帐 收费 索引表空间 16GNDGP 08 018x2G x1 帐务资料表空 间 4 TBS BILL ACCOU T 01 帐务资料表 空间 64GNDGP 08 01 频繁的插入 修改 删除 查询 8x2G x4 4 TBS IDX BILL A CCOUT 帐务资料表 索引空间 16GNDGP 08 018x2G x1 1TBS BILL OTHER 帐务其他数 据表空间 补 退费 滞纳 金 呆坏帐 等 16GNDGP 01 03 频繁的插入 修改 删除 查询 1x4G x4 1 TBS IDX BILL O THER 帐务其他数 据索引表空 间 4GNDGP 01 03 频繁的插入 修改 删除 查询 1x2G x2 8TBS MID CDR 01 通信资料中 间表表空间 96GNDGP 08 018x4G x3 8 8 TBS IDX MID CD R 通信资料中 间表索引表 空间 32GNDGP 08 018x2G x2 中间表表空间 4 4 TBS MID USRARC H 01 用户资料中 间表表空间 16GNDGP 08 018x2Gx1 4 4 TBS IDX MID US RARCH 用户资料中 间表索引表 空间 8GNDGP 08 018x1Gx1 4 4 TBS MID BILL 0 1 帐务资料中 间表表空间 16GNDGP 08 018x2Gx1 4 4 TBS IDX MID BI LL 帐务资料中 间表索引表 空间 8GNDGP 08 018x1Gx1 4 4 TBS MID OTHER 01 其他资料中 间表表空间 8GNDGP 04 014x2Gx1 4 4 TBS IDX MID OT HER 其他资料中 间表索引表 空间 4GNDGP 04 014x1Gx1 4 4 TBS FACT DATA 01 事实表表空 间 192GNDGP 08 018x4G x6 事实表表空间 4 4 TBS IDX FACT 0 1 事实表索引 表空间 40GNDGP 08 018x1G x5 1 TBS FACT DATA 02 事实表表空 间 20GNDGP 01 014G x5 1 TBS IDX FACT 0 2 事实表索引 表空间 4GNDGP 01 012G x2 日志文件系统 8 无 采用文件系 统 240G 频繁的读 写 8x30 合计 2053G 注 数据仓库磁盘划分内容较多 本划分方案为估算后的方案 实际运行 过程中可以根据实际情况进行调整 在创建数据仓库时表空间划分可以小于上 述容量 在运行过程中进行增加 2 2 6 1 2 各节点数据存储分布各节点数据存储分布 按照上表方案 各节点数据分布情况如下 序号节点名存储容量 GB 存储设备类型 1 NODE YT01209 裸设备 2 NODE YT02238 裸设备 3 NODE YT03204 裸设备 4 NODE YT04238 裸设备 5 NODE TL01248 裸设备 6 NODE TL02206 裸设备 7 NODE TL03232 裸设备 8 NODE TL04206 裸设备 9 日志240文件系统 10 合计1781 2 2 6 2 2 2 6 2 清单数据库表空间划分清单数据库表空间划分 2 2 6 2 1 表空间存储划分表空间存储划分 表空间类型 节点 数 表空间名说明 表空间估算 容量 GB 节点组 数据操作特 征 表空间主要参数 节点 裸设备容量 裸设备数量 系统表空间 1SYSTEM 系统表空间 1GNDGP 01 01 Pagesize 16K 缺省 EXTENTSIZE 16 缺省 PREFETCHSIZE 16 缺 省 1x1G x1 临时表空间 1TBS TEMP CDR 系统临时表空 间 由系统管 理 64NDGP 08 01频繁的插入PREFETCHSIZE 328x4G x2 参数表表空间 8TBS PARAM CDR 参数表表空间 8NDGP 08 018x1x1 8TBS CDR BAK 01 清单表表空间 320GNDGP 08 01导入及查询PREFETCHSIZE 328x8G x5 8TBS CDR BAK 02 清单表表空间 320GNDGP 08 01导入及查询PREFETCHSIZE 328x8G x5 8TBS CDR BAK 03 清单表表空间 320GNDGP 08 01导入及查询PREFETCHSIZE 328x8G x5 8TBS CDR BAK 04 清单表表空间 320GNDGP 08 01导入及查询PREFETCHSIZE 328x8G x5 8TBS CDR BAK 05 清单表表空间 320GNDGP 08 01导入及查询PREFETCHSIZE 328x8G x5 清单表表空间 8TBS CDR BAK 06 清单表表空间 320GNDGP 08 01导入及查询PREFETCHSIZE 328x8G x5 8TBS IDX CDR BAK 清单表索引表 空间 256GNDGP 08 01导入及查询PREFETCHSIZE 328x8G x4 合计 2221G 日志文件系统 8 日志文件系统文件系统 328x4 注 由于存储空间不足 目前只设计存储六个月清单的存储容量 若需存储 12 个月则需要增加存储设备 2 2 6 2 2 各节点数据存储分布各节点数据存储分布 按照上表方案 各节点数据分布情况如下 序号节点名存储容量 GB 存储设备类型 1 NODE YT01281 裸设备 2 NODE YT02281 裸设备 3 NODE YT03281 裸设备 4 NODE YT04281 裸设备 5 NODE TL01281 裸设备 6 NODE TL02281 裸设备 7 NODE TL03281 裸设备 8 NODE TL04281 裸设备 9 日志32文件系统 10 合计2221 2 2 6 3 2 2 6 3 报表数据库报表数据库 2 2 6 3 1 表空间存储划分表空间存储划分 表空间类型节点数表空间名说明节点组 表空间估算 容量 GB 数据主要操作 特征 表空间主要参数 节点 裸设备容 量 裸设备数量 系统表表空间 1TBS RPT SYSTEM系统表表空间 NDGP 01 01 1 Pagesize 16K 缺省 EXTENTSIZE 16 缺省 PREFETCHSIZE 16 缺省 1x1 x1 临时表表空间 1 TBS RPT TEMP 01 临时表表空间 NDGP 08 01 64 读写 8x4 x2 用户临时表表空间8 TBS RPT PARAM 用户临时表表空间NDGP 08 01 24 读写 8x1x3 参数表表空间 8TBS RPT PARAM 参数表表空间 NDGP 08 018 查询 8x1x1 资料表表空间 8 TBS RPT USRARC H 01 资料表表空间 NDGP 08 01 64 读取 修改 8x4x2 资料表索引表空间8 TBS RPT IDX US RARCH 01 资料表索引表空间 NDGP 08 01 16 读取 8x2x1 帐单表空间 8 TBS RPT BILL 0 1 帐单表空间 NDGP 08 01 96 读取 修改 8x4x3 帐单索引表表空间8 TBS RPT IDX BI LL 01 帐单索引表表空间 NDGP 08 01 16 读取 修改 8x2x1 清单汇总表表空间8 TBS RPT DETSUM 01 清单汇总表表空间 NDGP 08 01 320 读取 写入 修改 8x8x5 清单汇总表索引表 空间 8 TBS RPT IDX DE TSUM 01 清单汇总表索引表 空间 NDGP 08 01 32 读取 写入 修改 8x4x1 中间表表空间 8TBS RPT MID 01中间表表空间 NDGP 08 01 64 读取 写入 修改 8x4x2 中间表索引表空间8 TBS RPT IDX RP T 01 中间表索引表空间 NDGP 08 01 8 读取 写入 修改 8x1x1 单节点表空间 1 TBS RPT NODE1 02 单节点表空间 NDGP 01 02 161x4x8 单节点索引表空间1 TBS RPT IDX NO单节点索引表空间NDGP 01 0261x2x3 DE1 01 双节点表空间 2 TBS RPT NODE2 01 双节点表空间 NDGP 02 01 322x4x4 双节点索引表空间2 TBS RPT IDX NO DE2 01 双节点索引表空间 NDGP 02 01 61x2x3 数据库日志 8 数据库日志 使用 文件系统 808x10 合计 761 2 2 6 3 2 各节点数据存储分布各节点数据存储分布 按照上表方案 各节点数据分布情况如下 序号节点名存储容量 GB 存储设备类型 1 NODE YT01 91 裸设备 2 NODE YT02 95 裸设备 3 NODE YT03 92 裸设备 4 NODE YT04 95 裸设备 5 NODE TL01 76 裸设备 6 NODE TL02 76 裸设备 7 NODE TL03 76 裸设备 8 NODE TL04 76 裸设备 9 日志80文件系统 10 合计761 2 2 6 4 2 2 6 4 系统管理数据库系统管理数据库 系统管理数据是运行在 WIN2G SERVER 环境下的 DB2 UDB EE 数据库 存储设备为普通 PC SERVER 硬盘 数据库中数据存储对象为表容器 同时 存储量较小 不作划分设计 2 2 7 分表设计分表设计 由于某些数据的数据量十分巨大 为了保证数据处理的性能 要尽量避免 把这些数据放在一张表中 这样就需要对数据的存储进行数据分割 数据分割 的方式一般有 分区 分表两种方法 由于 DB2 数据只支持数据库分区 不支 持表的分区 数据库分区也能将数据分割 因此只能进行分表存储 并不是所有数据都需要进行分表处理 由于 DB2 数据库能够进行数据库分 区 数据在每个分区上可以均匀分布 因此数据已经进行了分割 本设计只对 每个分区上数据量大于 1000 万条记录的表进行分表设计 2 2 6 5 2 2 6 5 语音清单语音清单 安徽移动用户目前每月产生的语音清单大约在 5 6 亿之间 按照 500 万用 户的估算公式 用户数 500 万 30 每月天数 8 每天平均话单数 12 亿 安徽移动一个月的语音话单大约在 12 亿左右 根据分区的结果 将数据库分为 8 个分区 分区后数据得到了分流 缓解 了一部分性能压力 但由于语音清单的数据量特别巨大 所以对语音清单进一 步进行分表存储 分表的原则 尽量让数据分散 同时尽量考虑便于编写应用 程序 根据这个原则 对于当月语音清单 采用如下分表原则 由于数据库分为 8 个分区 每个分区管理 8 分之一的数据 仍然太多 在 此基础上 用六张表存放一个月的清单 即从一日起每五天一张表 31 日的数 据放在最后一张表中 这样每个节点上的每一张清单表的数据量按照通用计算 方法约为 12 亿 8 6 2500 万 按照目前实际情况计算约为 6 亿 8 6 1250 万 按照清单在线存储 12 1 个月的要求 共有 01 12 十二个月的清单数据 再对每个月进行分表 分成六张表 将语音清单分为 78 张表 2 2 6 6 2 2 6 6 短信清单短信清单 短信清单的数据量与语音清单相差不大 且发展趋势是增长的趋势 故短 信清单的的分表方法与清单表一样 首先 即按照分区结果 短信数据分布在 8 个分区上 其次每月的清单每五天存放在一张表中 中央数据仓库中存用六 张表存放当月短信清单 清单存储库中用 72 12 6 张表存放往月 12 个月的 短信数据 2 2 6 7 2 2 6 7 网间结算清单网间结算清单 网间结算清单的数据量约为语音清单的一半 考虑到已经将数据库分为 8 个分区 且该部分数据一般不需作即席查询 通过网间结算清单形成中间汇总 数据后 一般不会再使用 顾只考虑按月进行分表 中央数据仓库中 用一张 表存放当月结算清单数据 清单存储库中用 12 张表存放往月 12 个月的结算数 据 2 2 6 8 2 2 6 8 物理存储用途划分物理存储用途划分 安徽移动经营分析存储设备采用 EMC SYMMETRIX DMX2000 3 磁盘阵列 配置裸容量 17520GB RAID5 24CACHE 单盘容量 146GB 注 实际数字会 少于这个数值 做完 RAID5 后 进行裸设备和文件系统的划分 预计损失存 储比例 25 有效存储空间约为 17520G 75 13140G 上述存储容量用于两部分 主要用于数据仓库 含报表数据库 清单数据 库 存储 多维数据库和系统管理文件系统 其中数据仓库的存储主要使用裸 设备 多维数据库和系统管理文件系统采用文件系统 大致的分配方法如下 数据仓库 裸设备 5 5T 中央数据仓库 2 0T 清单备份库 2 5T 六个月 报表数据库 1T 系统管理文件系统 2 5T 用于接口文件 数据库日志 数据库全备份 系 统管理 多维数据库文件系统 5T 文件系统一 2T 文件系统二 2T 文件系统三 1T 2 2 8 数据库备份 恢复策略数据库备份 恢复策略 2 2 6 9 2 2 6 9 数据备份数据备份 根据不同的情况 需要对数据库进行不同类型的数据备份 各种备份的备 份工作汇总如下 序号备份类型 备份周期 备份方式保存周期备份结果保存方式 数据库全备份 一月 每 月三日晚 Backup 二个月 备份到文件系统 压缩后备份到磁带 库 表空间的备份一周 Backup 一个月 转移到其它路径或 其它存储设备备份 重要表备份一周 Export 三个月 转移到其它路径或 其它存储设备备份 数据库日志备 份 一周 Copy 三个月 备份到文件系统 压缩后备份到磁带 库 数据库配置备 份 一周 Db2 get dbm cfg 永久 转移到其它路径或 其它存储设备备份 数据转储备份 每月核查 超过存储 周期备份 Export 保存到磁带 说明 由于清单数据库数据量太大 且营帐系统也有备份 因此不考虑对 清单数据库进行备份 2 2 6 10 2 2 6 10 数据库恢复数据库恢复 数据库可能由于硬件和 或软件故障而变得不能使用 同时由于接口数据出错而 造成数据回退的情况下 也可能需要作恢复 不同的故障情况可能需要不同的 恢复操作 这里主要介绍通过备份出来的数据库备份文件恢复数据 数据库全恢复 在数据库损坏 无法启动或正常工作的情况下 可以通过数据库全备份产生的 文件来完全恢复数据库 恢复后的数据库与进行数据库全备份时的的数据库一 致 表空间的恢复 可以通过数据库表空间备份产生的文件局部的恢复数据库的某个或几个表空间 恢复后的表空间与进行表空间备份时的表空间一致 重要表数据恢复 对通过重要表的备份数据进行数据恢复 可以使用 import 命令进行恢复 数据库日志恢复 一旦数据库日志文件遭到破坏需要恢复 可以将备份的数据库日志文件拷贝到 日志目录下 数据库配置恢复 db2 的数据配置包括两部分 管理数据库配置参数和数据库配置参数 通过修 改命令 恢复配置 2 2 9 磁盘划分磁盘划分 参见附件 错误 链接无效 错误 链接无效 2 3 系统容量要求计算和扩容要求系统容量要求计算和扩容要求 2 3 1 语音清单语音清单 语音话单 含智能网 每张按 230 字节计算 考虑 10 的漫游 500 万移动用户 平均每天产生 8 条通话记录 每天产生 4000 万话单 话单清单在线保存 12 1 个月 每个月按 30 天计算 数据库存储考虑 30 索引和冗余 传统语音话单净存储容量要求计算公式 5000000 8 30 230 1 1 13 1 3 4 8TB 2 3 2 2 3 2 数据业务 其他新业务容量数据业务 其他新业务容量 数据业务 其它新业务 CMnet GPRS 移动梦网等 服务使用记录的数 量按传统话音业务的 40 考虑 每张服务使用记录在抽取前平均按 400 字节考 虑 话单清单在线保存 12 1 个月 每个月按 30 天计算 数据库存储考虑 30 索引和冗余 5000000 8 30 400 0 4 1 1 13 1 3 1 9TB 2 3 3 结算清单结算清单 结算话单数量按以上两项的 40 考虑 话单长度平均按 200 字节考虑 话单清单在线保存 12 1 个月 每个月按 30 天计算 数据库存储考虑 30 所以和冗余 5000000 8 30 200 1 4 0 4 1 1 13 1 3 2 3TB 2 3 4 用户账单 用户资料档案 用户交易处理记录用户账单 用户资料档案 用户交易处理记录 平均每个用户客服 咨询 投诉每季度 1 次 每个记录 1K 存放 3 年 共 36 笔 考虑 30 的索引和冗余 则 500 万用户客服咨询投诉的记录存储容量为 1K 36 1 3 5000000 224GB 用户业务历史数据平均每笔 5K 字节 包含业务受理日志和联机指令处理 日志等 平均每位用户办理各种业务 6 笔 以 3 年为期计算 考虑 30 的索 引和冗余 则 500 万用户的业务历史数据存储容量为 5K 6 笔 500 万 186GB 综合帐务数据 语音 短信 WAP GPRS 平均每人每月 5K 字节 包含 各种帐务费用数据和交费日志数据 考虑 30 的索引和冗余 则 500 万用户 的综合帐务数据在线保存 3 年的记录存储容量为 5K 500 万 1 3 36 个月 1 1TB 用户静态资料平均每人 10K 字节 包含所占用的号码 SIM 卡资料等 考虑 30 的索引和冗余 则 500 万用户的静态资料的存储容量为 10K 500 万 1 3 63 5GB 合计 224GB 186GB 1 1TB 63 5GB 1 6T 2 3 5 中间表的存储中间表的存储 中间表的存储每月按照 200G 计算 考虑到要保存历史 但清单表只保存 重度汇总的结果 保存一年的历史 初步估算需要 1 2T 2 3 6 事实表和多维数据存储事实表和多维数据存储 事实表按照平均每张 300M 计算 考虑 30 的索引和冗余 按照 300 张事 实表计算 300M 1 3 300 253G 多维数据存储采用 MOLAP 的方式 多维存储的容量要求大约是事实表的 4 7 倍 这里用 7 倍 由于要进行 CUBE 分拆 平均分拆为 2 个 考虑 20 的计 算列冗余 维存储的空间要求为 253G 7 2 1 2 4 2T 本估算值属于比 较保守的估算 实际容量可能大于这个数值 2 3 7 ETL 接口文件接口文件 通话清单 结算清单 帐单 客户营业及客服交易记录 客户资料等数据 的接口文件在线保存一个月 客户资料 15 增量 月 综合帐务数据 5 K 人月 每个用户每月 2 次 则综合帐务的存储量为 500 万 5K 2 1 个月 48 8GB 用户业务数据 5 K 人笔 平均每位用户办理各种业务 6 笔 3 年内 客户静态资料每人 10 K 字节 客服交易数据 1 K 人笔 平均每位用户客服交易记录 36 笔 3 年内 客户资料存储量为 10K 500 万 15 5K 500 万 6 36 1K 36 500 万 36 7 32GB 4 07GB 4 9GB 15 5GB 通话清单存储容量 5000000 8 30 230 1 1 290GB 结算清单 一个月大约 150G ETL 和 ODS 有效存储容量 48 8 15 5 290 150 500GB 2 3 8 数据仓库备份 文件系统管理容量数据仓库备份 文件系统管理容量 为了对数据仓库进行全备份以及文件系统的管理 需要配备相应的文件系 统 预计容量 2 5T 2 3 9 数据仓库原始数据量合计及扩容建议数据仓库原始数据量合计及扩容建议 合计 4 8T 1 9T 2 3T 1 6T 1 2T 4 2T 0 5T 2 5T 19T 因此总的有效存储容量要求在 19T 以上 安徽移动目前有效存储 13T 需 要进行扩容 以增加有效容量 6T 裸盘容量大约 8 8T 建议尽早着手准备 2 4 权限设计权限设计 2 4 1 权限的范围权限的范围 安徽 BASS 系统数据仓库主要有四个方面的权限 1 为分析人员提供数据查询权限 2 为维护人员提供维护权限 3 为内部程序提供相关的操作 创建等权限 4 数据库管理员权限 2 4 2 权限分配的原则权限分配的原则 为了保证数据的安全 对权限分配使用原则 分析人员只能对事实表数据查询 不同分析人员查询数据的范围 应当明确规定 维护人员只能对维表数据操作 但不能对表操作 不同维护人员维护的范围应当明确规定 内部程序不分配超过其所需权限的权限 内部程序的用户名 密码应当保密 数据库管理员拥有对数据库的全部权限 2 4 3 BASS 数据仓库权限实现的方法数据仓库权限实现的方法 数据仓库以 IBM DB2 为平台 使用 DB2 的权限管理方法 结合主机系统的权限 管理 来实现数据仓库权限管理 DB2 权限管理通过对系统用户的管理来实现 首先在主机系统上建立用户 然后使用 DB2 赋权语句按上述要求为其分配权限 3 对象设计对象设计 3 1 模型设计 模型设计 E R 图 图 3 1 1 客户主题客户主题 个个人人大大客客户户 个人大客户编码 客户编码 FK 地地域域 地域编码 地域级别编码 FK 上级地域编码 FK 地地域域级级别别 地域级别编码 上级级别编码 FK 黑黑名名单单 客户编码 FK 集集团团大大客客户户 集团大客户代码 客户编码 FK 集集团团大大客客户户成成员员 集团大客户代码 FK 客户编码 FK 集集团团客客户户 单位标识 客客户户 客户编码 单位标识 FK 所在地域 FK 客客户户群群 客户群编码 客客户户细细分分 客户编码 FK 客户群编码 FK 离离网网客客户户 客户编码 FK 客户包括安徽移动能获取其资料的所有在网客户和潜在客户 客户可分为个 人客户和集团客户 客户实体记录客户的基本信息 其他实体记录本范围内特 定信息 个人大客户和集团大客户都是客户的一部分 其基本信息在客户实体 中统一记录 集团大客户成员是集团大客户中单个客户的信息 黑名单 离网 客户实体分别记录我们所关注的这些客户群体特征 客户群是客户分群项目的结果 它描述了各个客户群的特征以及营销对策 建议 一