江西经营分析数据库物理设计.doc

江西移动经营分析系统 物理设计说明书 文档编号 BOSS JYFX WLSJ 1 0 创建日期 2003 02 21 最后修改日期 2003 08 05 版 本 号 0 3 0 电子版文件名 江西经营分析系统物理设计说明书 DOC 江西移动经营分析系统一期 版本号 0 3 0 物理设计说明书编号 BOSS JYFX WLSJ 1 0 江西移动通信有限责任公司第 2 页 共 13 页2003 6 17 文档修改记录文档修改记录 修改日期修改人修改说明版本号 2003 06 15创建0 1 0 江西移动经营分析系统一期 版本号 0 3 0 物理设计说明书编号 BOSS JYFX WLSJ 1 0 江西移动通信有限责任公司第 3 页 共 13 页2003 6 17 目目 录录 1引言引言 4 1 1编写目的 4 1 2背景介绍 4 1 3术语定义 4 1 4参考资料 4 2总体设计总体设计 4 2 1设计目标 4 2 2系统拓扑结构 4 3ETL OLAP 和和 DM 物理设计物理设计 5 3 1ETL 设计 5 3 1 1ETL环境 5 3 1 2ETL空间划分 6 3 2OLAP 设计 6 3 2 1OLAP环境 6 3 2 2OLAP空间划分 6 3 3DM 设计 6 3 3 1DM环境 6 3 3 2DM空间划分 6 4数据仓库安装与配置数据仓库安装与配置 7 4 1数据库环境 7 4 2数据库的启动参数 7 4 3数据库的启动文件 8 4 4用户环境变量设置 9 5数据仓库物理设计数据仓库物理设计 10 5 1设计目标 10 5 2分区设计 10 5 3表空间设计 10 5 3 1表空间设计及存储分配 10 5 3 2Tabspace的物理存储划分设计 11 5 4用户及权限设计 12 6数据备份数据备份 13 6 1ETL 备份 13 6 2OLAP 备份 13 6 3DM 备份 13 6 4DB2 数据仓库备份 13 1 引言引言 1 1 编写目的编写目的 本文档提供了江西经营分析系统的项目实施与配置说明 包括整个系统的拓扑结构 系统的软 硬件配置 存储设备的分配以及数据仓库的物理设计 可以作为系统初始实施 的要求 1 2 背景背景介绍介绍 1 3 术语定义术语定义 1 4 参考资料参考资料 江西经营分析系统软 硬件购货合同 2 总体设计总体设计 2 1 设计目标设计目标 2 2 系统拓扑结构系统拓扑结构 整个系统的拓扑结构图如下 江西移动经营分析系统一期 版本号 0 3 0 物理设计说明书编号 BOSS JYFX WLSJ 1 0 江西移动通信有限责任公司第 5 页 共 13 页2003 6 17 3 ETL OLAP 和和 DM 物理设计物理设计 系统安装 系统安装 江西经营分析系统的硬件配置中 主机平台 两台 S85 利旧 一台 H85 配置不明 具体安装分配如下 DB2 多节点版本安装在两台 S85 上 OLAP Server 和 DataStage 分别安装在 S85 上 DataMinner 安装在 H85 上 具体的磁盘空间分配参考下面的说明 3 1 ETL 设计设计 3 1 1 ETL 环境环境 DataStage 版本 DataStage 5 2 for AIX 4 3 操作系统 AIX 4 3 硬件环境 S85 利旧 存储环境 EMC Symmetrix 8530 江西移动经营分析系统一期 版本号 0 3 0 物理设计说明书编号 BOSS JYFX WLSJ 1 0 江西移动通信有限责任公司第 6 页 共 13 页2003 6 17 3 1 2 ETL 空间划分空间划分 根据 ETL 的特点 在文件系统上存储 ETL 数据 以江西每月 150G 话单 含短信 计 算 ETL 在处理过程中要生成临时文件 对处理后的数据保留一段时间 在加上一定空间 冗余 所以 ETL 的存储空间划为 1T 3 2 OLAP 设计设计 3 2 1 OLAP 环境环境 OLAP 版本 IBM OLAP server 7 1 for AIX 4 3 操作系统 AIX 4 3 硬件环境 IBM S85 利旧 存储环境 EMC Symmetrix 8530 3 2 2 OLAP 空间划分空间划分 OLAP 数据以文件系统方式存储 OLAP 数据占用空间 500G 冗余空间 268G 共划分 768G 3 3 DM 设计设计 3 3 1 DM 环境环境 DM 版本 IBM IM 6 1 for AIX 4 3 操作系统 AIX 4 3 硬件环境 IBM H85 配置不明 存储环境 EMC Symmetrix 8530 3 3 2 DM 空间划分空间划分 DM 数据以文件系统方式存储 文件系统存储 15 个模型 每个模型大小 20G 共 300G 冗余 36G 共 336G 宽表存储在数据库中 按 15 张算 每个占 5G 共 75 冗余 5G 共 80G 江西移动经营分析系统一期 版本号 0 3 0 物理设计说明书编号 BOSS JYFX WLSJ 1 0 江西移动通信有限责任公司第 7 页 共 13 页2003 6 17 4 数据仓库安装与配置数据仓库安装与配置 4 1 数据库环境数据库环境 数据库版本 IBM DB2 EEE 7 2 for AIX 4 3 操作系统 AIX 4 3 硬件环境 2 台 S85 利旧 存储环境 EMC Symmetrix 8530 安装概述 1 按照数据仓库物理设计 生成相应的裸设备和文件系统 2 为按照 DB2 准备好相应的文件系统 产品安装在 usr lpp 目录下 其他目录可以指定 3 用 root 登陆 mount CD ROM 4 进入 CD ROM 的 mount 目录 执行 db2setup 5 按照安装程序的提示 安装相关的产品 生成相关的用户 建立相关的 instance 6 修改节点配置文件 db2node cfg 7 启动 FCM 程序 修改 etc services 8 修改系统参数 9 允许远程执行命令 修改 etc hosts equiv 或 rhost 文件 10 按照数据仓库物理设计 建立数据库 11 启动数据库 4 2 数据库的启动参数数据库的启动参数 数据库参数 数据库参数 1 DB2 注册变量 db2set DB2 PARALLEL IO db2set DB2 HASH JOIN YES db2set DB2 RR RS YES db2set DB2COMM TCPIP db2set DB2 FORCE FCM BP TRUE 2 数据库管理程序参数 db2 all db2 update dbm cfg using INTRA PARALLEL YES db2 all db2 update dbm cfg using ASLHEAPSZ 60 db2 all db2 update dbm cfg using SHEAPTHRES 125000 db2 all db2 update dbm cfg using MAX QUERYDEGREE 1 db2 all db2 update dbm cfg using NUMDB 2 db2 all db2 update dbm cfg using MAXAGENTS 100 江西移动经营分析系统一期 版本号 0 3 0 物理设计说明书编号 BOSS JYFX WLSJ 1 0 江西移动通信有限责任公司第 8 页 共 13 页2003 6 17 db2 all db2 update dbm cfg using BACKBUFSZ 16384 RESTBUFSZ 16384 3 数据库参数 db2 all db2 update db cfg for zmccdw using NUM IOSERVERS 6 db2 all db2 update db cfg for zmccdw using NUM IOCLEANERS 1 db2 all db2 update db cfg for zmccdw using DBHEAP 2048 db2 all db2 update db cfg for zmccdw using CATALOGCACHE SZ 512 db2 all db2 update db cfg for zmccdw using LOGBUFSZ 256 db2 all db2 update db cfg for zmccdw using SORTHEAP 65536 db2 all db2 update db cfg for zmccdw using APPLHEAPSZ 256 db2 all db2 update db cfg for zmccdw using DFT QUERYOPT 7 db2 all db2 update db cfg for zmccdw using DFT DEGREE 1 db2 all db2 update db cfg for zmccdw using DFT PREFETCH SZ 48 db2 all db2 update db cfg for zmccdw using LOCKLIST 1024 db2 all db2 update db cfg for zmccdw using LOCKTIMEOUT 60 db2 all db2 update db cfg for zmccdw using MAXAPPLS 10 db2 all db2 update db cfg for zmccdw using PCKCACHESZ 1600 db2 all db2 update db cfg for zmccdw using UTIL HEAP SZ 51200 db2 all db2 update db cfg for zmccdw using DLCHKTIME 500000 db2 all db2 update db cfg for zmccdw using NEWLOGPATH home db2nfs db2inst1 db2log db2 all db2 update db cfg for zmccdw using LOGFILSIZ 65535 db2 all db2 update db cfg for zmccdw using LOGPRIMARY 48 LOGSECOND 0 db2 all db2 update db cfg for zmccdw using SOFTMAX 1600 db2 all db2 update db cfg for zmccdw using CHNGPGS THRESH 80 db2 all db2 update db cfg for zmccdw using BUFFPAGE 16384 4 3 数据库的启动文件数据库的启动文件 SQLDBCON 数据库配置文件 存储数据库的调整参数和标志 SQLOGCTL LFH 日志控制文件 跟踪和控制所有数据库日志文件 SQLSPCS 1 表空间文件 包含数据库所有表空间定义和当前状态 SQLSPCS 2 SQLSPCS 1 的副本 SQLBP 1 缓冲池文件 包含数据库所有缓冲池定义 SQLBP 2 SQLBP 1 的副本 DB2RHIST ASC 数据库历史文件 保存对数据库执行的管理操作的历史记录 江西移动经营分析系统一期 版本号 0 3 0 物理设计说明书编号 BOSS JYFX WLSJ 1 0 江西移动通信有限责任公司第 9 页 共 13 页2003 6 17 DB2RHIST BAK DB2RHIST ASC 的备份 注意 以上文件均为注意 以上文件均为 DB2 内部格式文件 只能通过相应的内部格式文件 只能通过相应的 DB2 命令修改 千命令修改 千 万不能用文本编辑器直接修改 万不能用文本编辑器直接修改 4 4 用户环境变量设置用户环境变量设置 PATH usr bin etc usr sbin usr ucb HOME bin usr bin X11 sbin usr local bi n export PATH if s MAIL This is at Shell startup In normal then echo MAILMSG operation the Shell checks fi periodically The following three lines have been added by UDB DB2 If f home db2inst1 sqllib db2profile then home db2inst1 sqllib db2profile fi Warehouse manager env ODBCINI home db2inst1 odbc ini VWS LOGGING home db2inst1 export ODBCINI VWS LOGGING End set o vi DB2 EEE 安装完毕之后回生成 2 个用户环境变量配置文件 db2profile for Bourne shell or Korn shell 和 db2cshrc for C shell 只需要直接引用就可以 无需更改 需要访问 DB2 EEE 的用户只需要在他的 profile 增加以下脚本即可 The following three lines have been added by UDB DB2 If f home db2inst1 sqllib db2profile then home db2inst1 sqllib db2profile fi 江西移动经营分析系统一期 版本号 0 3 0 物理设计说明书编号 BOSS JYFX WLSJ 1 0 江西移动通信有限责任公司第 10 页 共 13 页2003 6 17 5 数据仓库物理设计数据仓库物理设计 5 1 设计目标设计目标 1 高可用性 充分利用 RAID 技术 某块物理存储介质出现问题 不影响整个系统的运行 利用 SAN 和 DB2 EEE 的特性 对重要数据进行多重保护 在硬件条件具备的条件下 不出现单点故障 2 高性能 合理的设计 tabspace 平衡 I O 恰当配置系统和 DB2 EEE 参数 充分发挥 SMP 多 CPU 和大内存的优势 充分利用 DB2 EEE 特有的数据仓库的技术 充分发挥 DB2 EEE 的优势 3 具备良好的扩展性 能够容易利用新添加的主机 能够容易利用新添加的存储设备 4 易于维护 能够方便 快速地将过期历史数据从运行数据库中备份 清除 在发现正在装载的数据出错后 能够快速地将正在装载的数据清除 根据实际使用情况 能够方便地在各个 tabspace 之间调配空间 备份与恢复时间最小化 5 2 分区设计分区设计 DB2 EEE 可以在一台主机上划分多个分区 多个主机上的多个分区可组成一个完整的 server DB2 EEE 在并行处理方面很有特色 系统不但能够充分利用硬件资源 而且具备 良好的可扩展性 5 3 表空间设计表空间设计 5 3 1 表空间设计及存储分配表空间设计及存储分配 根据 DB2 EEE 的特点以及数据的特点 设计以下 tabspace catalog 目录表空间 存放数据的系统表 catalog information temp 临时表空间 pagesize 要与所有表空间中最大的 pagesize 对应 可以根据需要设 计多个 江西移动经营分析系统一期 版本号 0 3 0 物理设计说明书编号 BOSS JYFX WLSJ 1 0 江西移动通信有限责任公司第 11 页 共 13 页2003 6 17 系统 log 数据库 log 存储设备 Tbs index 索引表空间 DB2 EEE 中索引的作用很大 需要建立独立的表空间 与数 据的物理 I O 分开 tbs dim 维表表空间 存放所有维表 tbs cdr 计费详单表空间 存放所有 CDR pagesize 可以比较大 32K tbs cdr comp 竞争详单表空间 存放所有竞争 CDR pagesize 可以比较大 32K tbs cust 客户资料表空间 存放普通客户资料和大客户资料 tbs fact 亚信事实表表空间 tbs agg 亚信汇总表空间 存放汇总数据 tbs default 用户缺省表空间 5 3 2 Tabspace 的物理存储划分设计的物理存储划分设计 TableSpace容量容量分片方式分片方式备注备注 CATALOG1 8751container 1 875G系统系统 tbs 只存在一个节点只存在一个节点 TBS TEMP1808partition 4container 5 625G临时临时 tbs TBS LOG1208partition 15G系统系统 log TBS INDEX1208partition 4container 3 75G索引索引 tbs TBS DIM3 751partition 3 75G维表维表 tbs 只存在一个节点只存在一个节点 TBS CDR2520 8partition 4container 11 25G 7 月月 普通详单普通详单 tbs 包括所有计费详单 包括所有计费详单 备注一 备注一 TBS COMP840 8partition 4container 3 75G 7 月月 竞争对手详单竞争对手详单 tbs 包括所有语音 包括所有语音 和短信和短信 TBS CUST1808partition 4container 5 625G客户资料 包括大客户 客户资料 包括大客户 tbs TBS FACT3608partition 4container 11 25G亚信事实表亚信事实表 tbs TBS AGG3608partition 4container 11 25G亚信汇总表亚信汇总表 tbs TBS CALL3608partition 4container 11 25G保存呼叫数据保存呼叫数据 TBS DM1208partition 4container 3 75G数据挖掘宽表数据数据挖掘宽表数据 TBS DEFAULT608partition 4container 1 875G用户缺省用户缺省 tbs 合计合计5225 625 总量总量5385 剩余剩余159 375 5 4 用户及权限设计用户及权限设计 江西移动经营分析系统一期 版本号 0 3 0 物理设计说明书编号 BOSS JYFX WLSJ 1 0 江西移动通信有限责任公司第 12 页 共 13 页2003 6 17 系统分为以下几种权限角色 1 DBA 角色 具有数据库所有权限 可以通过实例配置变量中的 SYSADM GROUP 参数来指定一个用户组拥有该权限 如 db2set SYSADM GROUP dba 然后把用户加入 dba 组里 有以下用户 db2inst1 数据库的缺省安装用户 dw 数据库的建库用户 2 日常维护 运行角色 具有运行所需权限 如 Load create table select 等 可以通过指定一个用户组拥有 DBADM 权限 如 GRANT LOAD ON DATABASE TO GROUP maintenance GRANT CREATETAB ON DATABASE TO GROUP maintenance GRANT SELECT ON TABLE table name TO GROUP maintenance 有以下用户 db2main 3 LOAD 用户角色 具有 Load 的权限和 insert 相关表的权限 GRANT LOAD ON DATABASE TO GROUP lo