数据仓库-系统设计说明书

1、归一大数据平台数据仓库系统设计说明书件控制受控不受控档编号版本号分册名称第册 /共册总页数正文附录编制审批生效日期.修改变更记录：更改条款及内容更改人审批人更改日期创建文档阎飞谢益武2015-11-5.目录1引言 .51.1文档编制目的 .51.2背景 .61.3词汇表 .61.4参考资料 .62总体设计.72.1软件体系结构 .72.2系统运行体系 .错误 ! 未定义书签。2.2.1运行体系图 .错误 ! 未定义书签。2.2.2程序 /模块对应表 .错误 ! 未定义书签。2.3系统物理结构 .72.4技术路线 .83系统接口设计 .83.1用户接口 .84子系统 /模块设计 .84.1数据仓

2、库 .84.1.1odl( 操作数据 )层设计 .84.1.2bdl( 数据仓库 )层设计 .104.1.3idl( 宽表 )层设计 .114.1.4pdl( 应用 )层设计 .124.1.5pub( 维度 )层设计 .154.1.6数据导出设计 .165数据结构与数据库设计 .176外部存储结构设计 .177故障处理说明 .178尚需解决的问题 .18.编写指南：本模板力图给出系统设计阶段可能包括的基本信息，重点在于和需求分析文档相联系。.描述系统整体情况。如果某个章节在项目或当前阶段中无法描述，则可保留其标题， 注明“不适用”；如果需要对本模板的个别章节详细描述，也可将其形成单独的文档，成

3、为本文档附件。若文档中的某个章节已经在其他项目文档中加以描述，可保留标题，注明“参见（文档编号）（文档名称） （条款）”。形成正式文档后须删除斜体字内容。0 报告编制要求这里列出本系统设计报告编制的经验性要求，须由系统设计人员参照其进行裁剪以确定本次报告编制的相关规定。序号要求1 对各种结构图要求采用 visio 绘制。2 软件体系结构图通常包括：子系统实体、子系统间数据流、相关说明。3 软件结构图通常包括：模块实体、模块间数据流、数据存储、相关说明。4 运行体系图包括：进程实体、启动顺序、并发性、数据交换。5 物理结构图包括：物理节点实体、物理节点分布、物理节点描述、物理节点间相互关系。6

4、对数据库结构的描述要求采用结构图方式描述，而非采用过多表格。7 数据库结构图主要包括：表实体、表间关系、主要字段、相关说明四部分。8 对于平台性产品，要求有系统层次的划分图。9 通常要隔离应用对数据库的直接访问。1 引言1.1 文档编制目的? 指导开发人员进行后期的开发工作；.? 指导测试人员进行解决方案级的系统测试；1.2 背景叙述系统设计阶段的目标、作用范围以及其他应向读者说明的理解本报告所需的背景，如与公司其它软件之间的联系等。1.3 词汇表列出本系统设计说明书中专门术语的定义、 英文缩写词的原词组和意义、 项目组内达成一致意见的专用词汇，同时要求继承全部的先前过程中定义过的词汇。词汇名

5、称词汇含义备注备注中注明该词汇的来源，或有其他更详细的解释的文档位置；以及对该词汇的其他叫法。1.4 参考资料需求规格说明书系统架构设计说明书数据仓库命名规范.docx.2 总体设计2.1 软件体系结构2.2 系统物理结构描述使用本软件系统典型用户的物理设备分布图及设备上相应基本软件配置。软件环境包括：操作系统、数据库、以及其它支撑软件；硬件环境包括：主机类型、网络类型、存储器容量、其它特殊设备。要求：1） 尽量为系统的每个物理节点定义一个和功能相关的名称，名称的含义在词汇表中说明；2） 结合运行体系图中提到的“程序”，将相关的“运行程序”分布到各个物理节点中；3） 采用网络拓扑图表示。.2.

6、3 技术路线描述本软件系统在实现过程中所采用的技术路线、方法。对较新的技术给予详细的阐述及必要的说明，在可能的情况下给出相应的技术参考资料。3 系统接口设计3.1 用户接口无接口。4 子系统 /模块设计4.1 数据仓库4.1.1 odl( 操作数据层 )设计4.1.1.1 功能描述实现从外部系统导入数据到大数据平台,odl 层数据与数据源保持一致.? 同步方式包括 : 增量同步全量同步? 数据源类型包括 : 数据库4.1.1.2 业务流程? 流程图 :.数据同步流程图调度系统分布式数据仓库数据源系统开始远程调用数据库读取同步脚本数据库同是否成功是odl本地表步否异常处理结束? 流程说明 :1.

7、 调度系统定时启动数据同步作业 .2. 作业读取数据同步脚本 ,远程调用数据库接口 .3. 数据库接口返回远程调用结果 .4. 接收数据库接口返回的数据集 ,装载到 odl 本地表 . ? 异常处理 :调度系统捕获异常并处理? 日志说明 :由调度系统负责记录作业(正常和异常 )日志 .? 数据源说明 :1. 通过视图封装需要同步的物理表 , 与业务进行隔离 . 当物理表发生变动 ,尽量通过修改视图兼容 .2. 数据同步程序访问数据源视图 . ? 数据粒度说明：与数据源保持完全一致。4.1.1.3 作业设计详见 .4.1.2 bdl( 事物层 )设计4.1.2.1 功能描述bdl 层对 odl

8、数据进行清洗、转换，实现统一维度的数据整合。4.1.2.2 业务流程? 流程图 :bdl数据流程图调度系统分布式数据仓库开始odl表读取作业脚本数据清洗etl阶维度转换、捕获维表段bdl本地表结束? 流程说明 :1. 调度系统定时启动数据同步作业 .2. 作业读取 odl 表，进行数据清洗，对不符合规则的数据进行丢弃或转换.3. 将转换后的结果数据装载到 bdl 本地表 . ? 异常处理 :调度系统捕获异常并处理.? 日志说明 :由调度系统负责记录作业(正常和异常 )日志 .? 数据粒度说明：与 odl 保持一致 .4.1.2.3 作业设计详见 4.1.3 idl( 宽表层 )设计4.1.3.

9、1 功能描述在 idl 层对 bdl 事实表按主题进行合并 , 形成一次写多次读的宽表 , 降低系统整体开销 . 并实际根据需要进行用户级粒度的聚合 , 进一步提高查询效率 .4.1.3.2 业务流程? 流程图 :idl数据流程图调度系统分布式数据仓库开始bdl表 1bdl表 n读取作业脚本按主题关联etl阶事物级粒度用户级粒度聚合段idl本地表结束? 流程说明 :.1. 调度系统定时启动数据同步作业 .2. 按主题读取相关 bdl 表 , 进行关联 , 尽量补齐维度字段 , 生成事物级宽表 .3. 按用户级粒度聚合 , 生成用户级宽表 . ? 异常处理 :调度系统捕获异常并处理? 日志说明

10、:由调度系统负责记录作业(正常和异常 )日志 .? 数据粒度说明 :1. 事物级粒度 .2. 用户级粒度 .4.1.3.3 作业设计详见 4.1.4 pdl( 应用层 )设计4.1.4.1 功能描述pdl 层按业务需求 , idl 宽表汇总查询生成各种结果表.4.1.4.2 业务流程? 流程图 :.pdl数据流程图调度系统分布式数据仓库开始idl表各种粒度聚合读取作业脚本e维度条件筛选tl阶生成指标数据段pdl本地表结束? 流程说明 :1. 调度系统定时启动数据同步作业 .2. 读取 idl 宽表 ,按业务需求进行聚合 ,筛选 ,生成指标数据 .3. 结果写入 pdl 层结果表 .? 异常处理

11、 :调度系统捕获异常并处理? 日志说明 :由调度系统负责记录作业(正常和异常 )日志 .? 数据粒度说明 :1. 按业务需求的各种粒度 .4.1.4.3 业务账数据统计设计业务账数据统计如下特点:? 业务账指标由多个交易类型代码组合 , 一个交易类型代码对应多个业务指标 , 例如 :. 指 a 交易 型代 m00010, m00001,m00002,m00003, 指 b 交易 型代 m00010, m00011,m00012,m00013, 指 c 交易 型代 m00000, m00011,m00002,m00023, ? 随需求也 化 , 指 及其交易 型代 也会 化 .? 每个 指 算法

12、相同 , 只是其交易 型代 合不同 .? 每个 指 可能会被多个 表 用，例如 “ 分 金 ” 以上特性 , 通 抽象的方法， 指 （交易 型代 ） 配置化管理、运算 一化技 的功能，减少系 成本。业务账指标定义交易类型代码字典业务账指标业务账流水配置业务账指标数据报表调用4.1.4.4 作业设计详见 .4.1.5 pub( 维度 )库设计4.1.5.1 功能描述采用异步 looup 方法 ,主动捕获非法维度数据 ,经过人工识别生成维度数据.4.1.5.2 业务流程? 流程图 :pub数据流程图调度系统分布式数据仓库开始odl表、维表读取作业脚本异步 lookup维度映射表etl阶捕获异常维度

13、是人工识别处理段维度表结束? 流程说明 :1. 调度系统定时启动数据同步作业 .2. 异步读取 odl 表和维表 ,对比维度映射表查找是否有不存在的维度数据 .3. 如果发现非法维度数据 ,经过人工识别 ,写入维度映射表和维度表 .? 异常处理 :调度系统捕获异常并处理? 日志说明 :由调度系统负责记录作业(正常和异常 )日志 .4.1.5.3 作业设计详见 4.1.6 业务账 (数据集市 )库4.1.7 数据导出设计4.1.7.1 功能描述将 pdl 表和维度导出 ,同步给 mysql 库,供统计报表查询使用 .4.1.7.2 业务流程数据导出流程图调度系统分布式数据仓库门户系统开始读取同步脚本抽取pdl表、维表装载统计表、维表etl阶段结束? 流程说明 :1. 调度系统定时启动数据同步作业.2. 读取 pdl 表和维表 ,将数据装载到 mysql 库对应的表中 . ? 异常处理 :调度系统捕获异常并处理? 日志说明 :由调度系统负责记录作业(正常和异常 )日志 .4.1.7.3 作业设计5 数据结构与数据库设计详见 6 外部存储结构设计说明本系统存贮于磁盘等持久性存贮介质，而且不是由数据库管理系