数据仓库体系培训(内部)

1、Advance Your Potential咨询咨询 解决方案解决方案 数据仓库体系培训1文思信息 版权所有，内部保密材料主题2数据仓库体系规划数据仓库体系规划数据仓库实施方法论Q&A文思信息 版权所有，内部保密材料数据仓库规划步骤33现状分析体系规划实施路线基础数据平台与分析型系统现状总结银行现有数据仓库体系差距规划数据仓库系统总体技术方案蓝图制定相关管理制度与工作流程规划数据仓库体系分阶段落地方案与实施路线图指导方针承前启后：着重考虑对前期工作的承接和规划成果的落地实施敦本务实：实施公司、同业经验与银行实际相结合远近兼顾：立足长远与满足当前需求相结合文思信息 版权所有，内部保密材料数据仓库

2、典型体系架构（星型EDW）4SASBYHTCMSPMS。调度软件调度软件（Control-M、Automation、ETL_PLUS）ETL软件前端软件管管 控控 平平 台台DM信用卡集市DM信贷集市DM风险管理集市DM。ETL软件ETL软件ETL软件前端软件前端软件前端软件文思信息 版权所有，内部保密材料数据仓库典型体系架构（集中型EDW）5SASBYHTCMSPMS。调度软件调度软件（Control-M、Automation、ETL_PLUS）ETL软件PowercenterDatastage文本脚本前端软件（BIEE、Congnus、BO、Microstrategy）DB（TD、DB2、

3、Oracle）缓冲层模型层汇总层集市层管管 控控 平平 台台文思信息 版权所有，内部保密材料数据仓库典型体系架构（混合型EDW）6SASBYHTCMSPMS。调度软件调度软件（Control-M、Automation、ETL_PLUS）ETL软件PowercenterDatastage文本脚本前端软件（BIEE、Congnus、BO、Microstrategy）DB（TD、DB2、Oracle）缓冲层模型层汇总层集市层管管 控控 平平 台台库外集市库外集市文思信息 版权所有，内部保密材料数据仓库体系规划7应用体系应用主题应用模式应用方案实施规划数据体系数据架构 ODS基础层汇总层集市层技术体系

4、统一交换统一监控统一调度统一发布统一管控运维体系数据存储数据质量元数据安全组织架构管控体系组织架构管控流程管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。数据仓库规划。文思信息 版权所有，内部保密材料BI环境内的数据架构8集市层汇总层预连接/预处理ODS基础层客户账户资产交易产品渠道财务账户汇总交易统计汇总客户汇总机构汇总产品汇总渠道汇总指标库:规模指标、客户指标、盈利指标、风险指标等核心个贷法贷基金存管国结IT人员业务分析人员决策用户高级分析人员ODS层层解决源系统快速接入的问题；避免从

5、源系统频繁、重复数据抽取；源系统一次性分析、一次性抽取、一次性接入；需要随着源系统变更进行维护基础层基础层面向主题整合；保留详细数据和历史数据按照业务驱动、逐步建设模型相对稳定；但是随着源系统和数据业务标准的变化，ETL加工逻辑会长期变化应用集市层应用集市层面向应用的个性化定制。汇总层汇总层提供统一的业务口径。避免集市的重复加工。随着应用建设逐步完善模型相对稳定，随着业务扩展可以扩展模型；随着业务统计口径变化，ETL加工逻辑会变化；文思信息 版权所有，内部保密材料不同层次应用场景91 1审计/风险管理等需要未经加工的业务原始数据源数据质量检查规则、常规报告应用用户、决策用户会访问特定应用业务人

6、员通过设定业务检查规则来明确模型可用性业务部门人员多数需要常规报表供日常呈报业务人员参考整合规则来验证业务正确性POWER USER通常需要访问第二层对数据进行深入分析2 23 34 4文思信息 版权所有，内部保密材料ODS & EDW 特点比较ODS :与源系统保持一致基本不进行转换和整合当前最新数据EDW:第三范式模型进行数据整合和转换当前数据和历史数据ODS:状态类数据保存当前最新数据日志类数据保存3个月 针对及其特殊的需要可以考虑对数据保留一定时间段的历史EDW:一般最长在线保存7年。事件类数据在线保留时间会短一些，13个月左右。ODS:全部源系统不重复保存已经入EDW的Event类数

7、据EDW:全部源系统的原始细节数据，不接入派生和汇总数据。ODS: 时效性要求高的不需要需历史数据需要访问最始数据（审计、稽核类）的应用EDW:模型区时效性可以满足要求的需要访问历史数据的基于多个系统整合数据的不是必须访问原始数据的应用数据模型数据接入数据存储数据应用 ODS ODS 特点特点面向数据的面向数据的非集成的非集成的易变的易变的当前数据的当前数据的 详细的 EDW EDW 特点特点面向主题的 集成的稳定的 随时间变化的详细的文思信息 版权所有，内部保密材料11 业务处理系统 (OLTP)用户群体 客户 员工应用交易处理帐务处理访问特征频繁的更新偶尔的查询数据模型当前状态数据很少的历

8、史数据范围比较小战略性分析 (EDW)用户群管理人员高层领导应用战略性分析复杂的查询和报表预测访问特征批量插入-很少的更新频繁的复杂查询优劣势对比解决企业的决策需求不能满足实时监控和实时业务需求战术性查询 (ODS)用户群体一线的业务人员客户应用业务领域查询战术性决策支持简单的分析（评分）访问特征当前数据访问查询较多优劣势对比满足实时监控和实时业务需求不能满足中远期决策需求EDWOLTP 1OLTP 2OLTP 3任务的连续性任务的连续性ODS & EDW价值和定位ODS最佳数据架构，最佳数据架构，ODSODS和和EDWEDW是互为补充的。是互为补充的。文思信息 版权所有，内部保密材料ODS层

9、模型12偏源系统模型部分数据保留全量少量数据保留短暂历史简单处理不考虑整合考虑保留策略文思信息 版权所有，内部保密材料基础层模型 VS. 汇总层模型文思信息 版权所有，内部保密材料应用集市层模型文思信息 版权所有，内部保密材料数据仓库体系规划15应用体系应用主题应用模式应用方案实施规划数据体系数据架构 ODS基础层汇总层集市层技术体系统一交换统一监控统一调度统一发布统一管控运维体系数据存储数据质量元数据安全组织架构管控体系组织架构管控流程管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。数据

10、仓库规划。文思信息 版权所有，内部保密材料统一数据交换16文思信息 版权所有，内部保密材料统一调度架构17文思信息 版权所有，内部保密材料统一监控架构18文思信息 版权所有，内部保密材料统一信息发布统一信息发布定位统一信息发布定位统一信息发布平台定位为广发银行数据仓库体系的展现平台，用于展现银行的基础数据平台及所有分析型应用资源。分析型应用资源的集成包含前端界面的整合和各应用后台数据及权限的整合19登录首页公告页面调用功能分析型应用集成角色管理授权管理系统系统管理管理日志管理会话管理应用模应用模式式固定报表即席查询数据挖掘用户身份管理统一认证单点登录安全审计认证管认证管理理统一信息统一信息发布

11、内容发布内容统一统一入口入口权限权限管理管理应用应用集成集成文思信息 版权所有，内部保密材料统一数据管控架构20元元 数数 据据 管管 理理 数据标准管理数据标准管理数据质量管理数据质量管理影响分析、血缘分析影响分析、血缘分析代码标代码标准落地准落地提供检核对象定位检核问题检核指标存储提供映射源数据标准存储数据标数据标准信息准信息模型模型数据标数据标准文档准文档提供检核规则提供检核问题检核规则指标模型源系统源系统源系统ETLETL数据服数据服务务StageStageFDMFDMADMADM数据服务数据服务数据服务数据服务数据平台数据平台应用系统应用系统元数元数据据元数元数据据元数元数据据业务元

12、数据业务元数据操作元数据操作元数据技术元数据技术元数据综合信息服务管理综合信息服务管理数据标准需求数据质量需求元数据需求银行业务需求文思信息 版权所有，内部保密材料数据仓库体系规划21应用体系应用主题应用模式应用方案实施规划数据体系数据架构 ODS基础层汇总层集市层技术体系统一交换统一监控统一调度统一发布统一管控运维体系数据存储数据质量元数据安全组织架构管控体系组织架构管控流程管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。数据仓库规划。文思信息 版权所有，内部保密材料国内银行商业智能应用

13、22客户管理客户管理支持国内银行的数据仓库应用种类超过支持国内银行的数据仓库应用种类超过4040余个，主要分布如下余个，主要分布如下 ：运营运营管理管理风险风险管理管理财务财务管理管理信息信息管理管理客户信息管理系统（CIM）分析型客户关系管理系统（ACRM）操作型客户关系管理（OCRM ）个人积分计算客户贡献度计算/模型客户流失概率模型客户聚类细分模型产品购买关联度模型业务统计分析信用卡分析渠道分析、中间业务分析平衡计分卡经营指标快报(KPI Dashboard)利润贡献度客户经理绩效考核产品绩效分析1104监管报表人行反洗钱人行征信非现场稽核五级分类数据加工内部评级法定价系统客户违约概率模

14、型信用卡申请评分模型资本充足率资产负债管理关联交易应用支持人行集中金融统计内部财务信息分析管理会计数据标准企业数据架构数据质量管理元数据管理（Metadata）数据访问安全管理文思信息 版权所有，内部保密材料常见的应用模式及其演变发展23报表报表发生什么事情发生什么事情预定义报表预定义报表分析分析为什么会发生为什么会发生随机查询随机查询, BI Tools预测预测什么将会发生什么将会发生数据挖掘模型数据挖掘模型使用于操作使用于操作什么正在发生什么正在发生捕捉动态事件捕捉动态事件ACTIVATING MAKE it happen!事件营销事件营销操作智能是决策智能向业务系统和流程的延伸。操作智能

15、是决策智能向业务系统和流程的延伸。决策智能决策智能操作智能操作智能文思信息 版权所有，内部保密材料业务需求/分析和应用模式的关系OLAP/固定报表随机查询挖掘模型 用途：提供日常业务管理统计，辅助发现业务发展趋势。 场景：客户分布发生变化或者某项业务趋势呈现异常，转而使用其他分析手段，以“客户交易金额和笔数分布发生变化”为例。 用途：提供解决那些无法预先定义的查询分析需求以及查找问题时的详细钻取。 场景： “客户交易金额和笔数分布发生变化”的详细分析，比如“哪些客户的哪些交易有了变化，是交易种类、金额、笔数还是交易场所？这些客户的特征是怎样的？他们在我行持有的产品分布如何？” 用途：数据挖掘通

16、过模式识别与数学模型技术从数据仓库中的大量明细数据中发现隐藏的模式与趋势。 场景： 经过随机分析发现那些属于“交易金额和笔数分布发生变化”的客户群中发现部分客户最近有销户或者已经很长时间不发生往来的倾向，因此需要利用“客户流失模型”进行评分，结合“客户等级”确定需要进行挽留的客户名单。 用途：支持综合、复杂业务逻辑的应用，提供前端的用户使用界面。 场景： 设计营销活动进行客户挽留，输入该营销活动的“执行策略、日期、预计成本”以及具体的“沟通计划”和“渠道使用规则”等信息。上述各模式的使用顺序与逻辑仅是示例，依赖于具体的使用场景。应用系统分析人员分析人员文思信息 版权所有，内部保密材料应用规划考

17、虑维度q IT部门除了考虑数据质量、数据可用性、投资预算规模之外，更重要的是考虑应用实施能否满足业务用户目前收益心理预期等因素，要想的大（全面，具体，全局观）。q 数据仓库建设规划，要分步骤进行实施，起步从小做起（）；q 不同业务部门对业务应用的优先度要求不同，必须综合考虑不同部门对业务应用的策略价值和投资回报评价，形成初步的规划后，再经数据仓库管理委员会讨论确定。数据仓库建设规划，通常从以下三个方面数据仓库建设规划，通常从以下三个方面进行评估：进行评估：p实施难度：实施难度：ITIT部门评估部门评估p策略价值：决策层评估策略价值：决策层评估p投资回报：应用部门评估投资回报：应用部门评估文思信

18、息 版权所有，内部保密材料实施路线规划l 仓库规划咨询l 管控平台建设l ODS系统优化业业管管技技l 管理驾驶舱l 统一报送平台l 即席查询l 构建数据仓库技术框架l 数据仓库部分模型入仓l 数据标准扩展与落地l 数据管控平台应用业业管管技技l 数据仓库接入范围扩展l 数据仓库主题完善l 数据标准完善l 完善、推广管控应用l 完善流程与制度l 建立商业智能团队l 风险应用l 客户管理业业l 商业智能团队，扩大业务支持范围l 推广数据挖掘和即席查询l 应用迁移管管l 全方位管控体系的执行和推广l 提升数据资产质量l 加强管控监督技技l 数据仓库稳定与完善l 数据服务提高技技技术架构管管业业业务

19、支持数据管控准备阶段第一阶段第二阶段第三阶段文思信息 版权所有，内部保密材料数据仓库体系规划27应用体系应用主题应用模式应用方案实施规划数据体系数据架构 ODS基础层汇总层集市层技术体系统一交换统一监控统一调度统一发布统一管控运维体系数据存储数据质量元数据安全组织架构管控体系组织架构管控流程管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。数据仓库规划。文思信息 版权所有，内部保密材料运维体系规划从现有的经验看，数据仓库体系的运行维护主要是通过合理的组织架构，制定易于执行的运维管理流程和规范

20、，通过完善的管理工具，对系统监控、问题处理、系统变更等常规问题进行系统化的处理，并在知识库中予以记录Title in hereTitle in hereTitle in hereTitle in hereTitle in hereTitle in hereTitle in hereTitle in hereTitle in here日常监控变更管理问题处理容量规划备份恢复需求管理服务水平组织架构管理工具主管部门技术支持部门生产运行部门数据支持部门资源管理部门资源监控服务监控应用监控运行性问题非运行性问题变更规范变更流程设计原则备份内容备份策略备份管理技术缓冲层整合模型层共性加工层应用集市层制定

21、SLA标准落实标准周期性考核数据标准管理平台元数据管理平台数据质量管理平台综合信息服务平台问题管理系统项目需求临时数据类需求组织架构日常监控问题处理变更管理备份恢复容量规划服务水平管理工具需求管理文思信息 版权所有，内部保密材料运行维护规划系统安全管理29系统安全管理综述系统安全管理综述鉴于数据仓库中数据的商业性和保密性，需要一个安全的系统来加强数据仓库管理服务，在保证数据安全的基础上，提高数据仓库运作效率和准确性。数据安全保证需要从技术和管理两个层面实现，技术层面主要是通过技术手段保证系统的安全；管理层面主要系统的安全策略由安全处理流程和安全制度组成，通过定义安全需求，同时定义处理流程和规章

22、制度以满足这些需求。网络安全：网络安全：包括防火墙、地址翻译、监控网络通讯、数据传输加密等系统安全：系统安全：包括限制用户访问主机资源、用户口令安全规则等应用安全：应用安全：包括用户管理、权限管理、日志审计等安全策略：安全策略：包括用户帐户统一管理、通报机制、单点登录等安全制度：安全制度：包括建立角色权限视图、规范应用程序上线变更、生产与开发测试环境隔离等用户安全：用户安全：包括用户认证、用户锁定、用户权限控制等数据库安全：数据库安全：包括物理安全、用户登录控制、数据存取控制可靠性保护：可靠性保护：包括系统级数据保护、数据库级数据保护安全策略：安全策略：根据不同用户需求划分为四个层面，DBA、

23、业务用户、ETL用户、开发测试用户安全制度：安全制度：通过制定数据安全使用授权机制及审批流程，结合安全审计等制度来保证数据资产的安全数据安全数据安全系统安全系统安全文思信息 版权所有，内部保密材料数据仓库体系规划30应用体系应用主题应用模式应用方案实施规划数据体系数据架构 ODS基础层汇总层集市层技术体系统一交换统一监控统一调度统一发布统一管控运维体系数据存储数据质量元数据安全组织架构管控体系组织架构管控流程管控内容管控体系从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述数据仓库规划。数据仓库规划。文思信息 版权所有，

24、内部保密材料数据管控核心要素系统工具组织架构工作流程数据管控核心组成部分通过建立相应的数据管控组织架构，梳理完善的管控工作流程，通过系统工具支撑日常工作，使数据管控治理工作能够落到实处，全面提升银行数据运用水平和数据质量。文思信息 版权所有，内部保密材料数据标准管理组织架构和职责负责制定数据标准化工作计划；负责数据标准制定、评审、发布、执行、变更、复审等工作的具体组织与协调；负责数据标准执行情况的监督检查；协助制定数据标准化工作计划；负责IT系统开发流程中标准核检工作；协助数据标准执行情况的监督检查；负责数据标准管理平台的日常运营和维护、用户设置与管理；负责标准版本在平台上的发布；各业务部门标

25、准管理员负责本部门数据标准相关需求的收集、整理，并在需求管理平台提交数据标准新增/变更需求。计划财务部数据标准专员根据收集到的标准需求，牵头开展定制相关标准、评审标准和审核落地计划等工作。信息技术部在日常软件开发流程以及变更流程中根据实际情况协助将标准进行落地。文思信息 版权所有，内部保密材料数据标准制定流程标准提出方（分行、总行部门）数据标准管理员（业务部门）数据标准管理专员（计划财务部）数据标准平台管理员（计划财务部）标准新增/变更需求是否提交？组织相关人员评审标准标准提出需求审批标准评审标准发布岗位职责比对现有标准否是数据标准咨询项目组收集标准需求组织标准可行性/必要性评审是否通过？否建

26、立/变更数据标准制定标准是牵头申请标准立项，制定工作计划是否通过？结束需求否是标准发布数据标准管理平台需求管理平台非管控平台流程说明说明是否立项？是否建立/变更数据标准文思信息 版权所有，内部保密材料数据管控系统界面文思信息 版权所有，内部保密材料标准管理系统-标准浏览八大类信息项目录树产品分类映射到PMS中INDV_BASC_NFO的EDU_LEVEL学历标准代码小类信息项明细信息项标准与系统映射映射到具体字段文思信息 版权所有，内部保密材料元数据管理系统-数据字典浏览选择具体系统选择具体表查看卡状态代码“是否代码字段”为1，表示有代码注释文思信息 版权所有，内部保密材料数据质量管理系统检核

27、规则检核结果质量分析检核字段：OPERATERID记录总数：3397问题总数：285检核字段：COLNUMBER检核类型：非空检核频度规则基本属性规则扩展属性指标趋势分析非空问题：31%长度问题：31%一致性问题：38%趋势分析问题数：3问题数：7类型分析检核对象规则定义报警渠道文思信息 版权所有，内部保密材料主题38数据仓库体系规划数据仓库实施方法论数据仓库实施方法论Q&A文思信息 版权所有，内部保密材料需求分析需求分析系统设计系统设计开发与测试开发与测试上线与维护上线与维护企业基础数据平台项目实施方法论业务调研业务访谈业务需求编写业务需求分析信息调研应用概要设计应用详细设计应用模型设计应用

28、设计应用开发逻辑模型 设计物理模型 设计系统体系架构设计ETL开发系统测试投产试运行系统管理运维数 据 访 问 服 务数据管控（元数据、数据质量、数据标准、数据需求）项 目 管 理项目前期准备项目结束回顾 项目启动会议 确认项目范围与目标 确认项目实施计划 确定工作小成员职责 确定工作小组阶段性目标 工作场地与环境准备 项目管理规范准备 圈定调研业务部门 准备业务访谈与调研计划 策略性规划应用系统 确定系统重点用户 业务需求调研与分析 源系统调研与分析 样本数据质量分析 数据缺口分析 建立实体模型 逻辑数据模型客户化 LDM转换PDM 系统总体架构设计 数据、ETL体系 运维体系设计 应用概要

29、、详细设计 数据接口设计 系统界面设计 用户权限设计 应用数据模型设计 ETL策略与体系结构设计 ETL设计和开发 应用功能模块开发 用户访问权限开发 企业门户集成开发 开发、测试系统软硬件设备安装 制定系统、UAT测试计划 系统、UAT测试验收 上线投产文档准备 生产系统软硬件安装 制定数据仓库日常管理与操作流程 验证数据备份与恢复程序 用户培训 现场投产 项目总结与汇报 项目下阶段工作规划文思信息 版权所有，内部保密材料模型物理化总体原则物理模型是数据仓库基础建设中模型建设的一部分，是逻辑模型的最终物理实现。所有的业物理模型是数据仓库基础建设中模型建设的一部分，是逻辑模型的最终物理实现。所有的业务间逻辑均体现在逻辑模型中，物理模型仅仅反映逻辑在数据库中的具体体现。物理模型原务间逻辑均体现在逻辑模型中，物理模型仅仅反映逻辑在数据库中的具体体现。物理模型原则上与逻辑模型保持一致。在进行模型物理化时，需要注意以下共性环节：则上与逻辑模型保持一致。在进行模型物理化时，需要注意以下共性环节：模型模型物理化物理化原则原则表与字表与字段物理段物理命名命名选择字选择字段数据段数据类型类型确定字确定字段大小段大小写敏感写敏感选择及选择及调整索调整索引引选择表选择表分区字分区字段段表英文名全部