数据仓库建设方案设计201X0625-V20ppt课件

.,1,某银行数据仓库建设方案设计,2013-6-25,.,2,内容提要,建设背景和当前现状,系统建设目标,数据分析平台的定位,系统架构和功能设计,数据模型设计,.,3,建设背景,自2010年3月数据下载系统全国推广上线以来，全行各省（区、市）以数据下载系统为依托开展本省数据分析工作。2012年全国各省（区、市）数据分析团队应用数据下载系统中提供的数据共开展了466项主题分析，并完成大量日常数据提取和统计工作。在使用数据过程中，由于各源业务系统同一指标统计口径不一致，数据下载系统中各业务系统库表数量庞杂等问题，各省（区、市）数据分析人员在使用数据时，面临着数据提取来源不明确、统计方法不一致等问题。基于以上问题，亟需建立一套统一的数据指标库提供给各省（区、市）数据分析团队使用。,.,4,当前现状,现有客管系统数据不能完全支持数据分析的需要：包括数据的历史时长不够、数据质量问题、数据缺失问题（基于风险、客户行为、财务管理等数据缺失比较严重）等没有统一的分析平台：各支持厂商和总行自主分析团队的分析环境比较零乱，没有统一的系统分析平台与环境，不能对开发效率、质量、流程等形成统一的管理不能有效的对分析需求、分析过程进行集中管控、分析结果展现等各期的专题分析成果没能发挥其持续业务效益，没有形成有效的知识库管理对各省分行数据分析团队支持效率和效果不够对分析结果的应用落地环节还不够顺畅，没有对包括营销系统、客户服务中心、风险管控中心等形成闭环式应用没有一个统一的分析数据管控中心，数据安全存在一定风险,.,5,内容提要,建设背景和当前现状,系统建设目标,数据分析平台的定位,系统架构和功能设计,数据模型设计,.,6,系统建设目标,构建面向全行的企业级数据仓库平台,统一完善各类经营发展指标的数据来源及统计口径，形成一套适用全行经营发展的指标体系，全面实现总行、各省分行数据分析团队在统一平台上进行数据分析与挖掘服务,实现各种第三方分析工具的灵活接入与管控，给各业务部门提供自助取数与灵活查询的功能,实现对分析全过程的管控，提高分析效率和质量,建立分析平台Portal门户，实现对分析成果、分析流程、知识库的管理与应用,实现对分析成果与灵活查询结果向各类业务应用的有效数据推送,.,7,系统建设目标,.,8,内容提要,建设背景和当前现状,系统建设目标,数据分析平台的定位,系统架构和功能设计,数据模型设计,.,9,数据分析执行过程的工作支撑平台,数据分析所需分析能力的提供平台,数据分析生成成果的应用与管理平台,实现包括灵活查询、专题分析、深度挖掘建模等多种分析模式的管控；提供各种第三方分析工具接入与支持,数据分析所需业务数据的管理平台,数据管理平台,分析能力提供平台,过程支撑平台,成果应用平台,数据管控平台,数据分析平台定位,数据分析平台将实现对分析相关的数据、能力、过程与成果进行一站式管理与支撑,.,10,分析数据管理平台内涵,分析数据管理平台内涵,提供分析数据数据分析平台要存储数据分析所需的各类数据，并按照不同的分析要求为分析人员提供相关业务数据,减少重复处理数据分析平台须对多个分析主题均需要的通用性数据要求进行集中支撑与统一实现，避免分析人员进行重复性的数据处理,降低分析门槛在逻辑数据模型的基础上，通过按业务方向与分析领域的语义层建设，避免业务人员直接通过基础数据层进行数据分析，降低数据分析时的数据提取难度，提高数据使用率,保障数据安全数据分析平台在为不同业务部门与机构提供数据分析服务的同时，必须确保数据的安全，如隐私数据加密、数据权限管理等,.,11,数据分析平台将提供强大的数据处理与分析能力,分析能力提供平台内涵,基础分析,数据挖掘,敏捷分析,内涵,要求,实现技术,支持不同用户同时访问分析平台，并使用SQL脚本处理数据与灵活查询,并发查询能力快速计算能力Ad-hoc灵活查询,Ad-hoc灵活查询,提供数据挖掘与建模的能力，帮助业务部门进行复杂的模型构建与分析,内置或支持第三方主流的数据分析与挖掘软件,TWM/R/SPSS/SAS.,支持灵活快速的自定义分析，以实现对多样化分析主题与内容的支持,基础数据完备引入外部数据分析角度灵活,DataMartDataLabOLAP,.,12,DataLab是一项敏捷分析技术，可以让用户导入外部数据，进行灵活的组合分析,DataLab与敏捷分析,EnterpriseDataWarehouse,ExternalData,DataLabs,ReadonlyforDataLabusers,Read,write,Production,MasterData,ReferenceData,TransactionData,DataLab内涵,DataLab价值,为不同用户设定一定的DataLab空间与计算能力支持不同类型与来源的外部数据导入，实现外部数据与分析平台数据的组合分析通过Datalab，可以极大的提升分析人员的自主性与灵活性，实现各省分行分析团队都能在同一平台上进行灵活分析应用,.,13,数据分析平台将为数据分析的执行过程提供支撑，通过对数据分析的项目式管理支撑，可以提高工作效率，促进能力复用,分析过程支撑平台内涵,内涵,功能要求,对数据分析的需求进行管理，为需求提供方与支撑方提供需求的整理、评估等过程支持,需求提出需求分析思路设计方案评审,对数据分析的执行过程进行监控，包括完成情况，人员投入、时间周期等各类中间过程与结果的保存、共享等,对数据分析的产出物进行管理，包括分析报告、报告评审、营销应用方案以及反馈等内容,数据分析报告成果评审反馈中间结果管理,项目计划管理完成情况监控分析人员投入,.,14,数据分析平台将实现对数据分析工作的成果进行管理,分析成果管理平台内涵,成果固化,业务应用,知识管理,内涵,表现形式,将得到验证并需要重复进行的分析成果，以前端应用的形式固化在分析平台中,前端可视化应用模型报表.,将分析成果以各种方式在企业实际业务过程中进行应用，提高数据分析工作给企业带来的价值,以数据接口形式将客户信息与营销建议推送至生产系统或营销系统中将挖掘出来的客户属性与偏好进行管理与展示,将数据分析中产生的知识与技能在企业内部进行广泛分享，提高知识的复用性,知识获取知识编辑知识分享,.,15,数据分析平台将实现对有价值的分析成果，以前端应用的形式固化下来,分析成果固化,固化范围,固化方式,按照不同的业务目的与应用场景，选择合适的固化方式与展现形式,只有需重复进行，且经过验证过的有价值的分析成果，才需要进行IT固化,常规的重复性的分析需求,经过验证有业务价值的成果,业务部门有强烈使用需求,数据,报表,模型,接口,以数据属性的形式固化客户偏好与知识,以分析报表的形式固化常用分析内容,以挖掘模型的形式固化复杂分析并定期执行,以数据接口的形式固化信息推送过程，或者通过第三方分析工具实现灵活查询分析,.,16,数据分析成果在实际业务应用中主要包括三种类型：即面向营销、面向客户服务、面向风险管控,业务应用支持,营销信息推送,关键信息提醒,内涵,表现形式,将数据分析成果中的营销机会推送至生产一线系统或营销管理系统中，让一线执行营销活动,与一线生产系统或营销管理系统的数据接口推送内容包括客户名单推荐产品管理建议营销方案,将数据分析成果中的关键信息以邮件、短信等方式推送到企业关键人手中，提醒其制定决策，执行有针对性的管理策略,在数据分析平台设定提醒规则，并通过短信或邮件方式进行提醒推送形式包括短信邮件,.,17,在数据分析平台将建立一个获取、整合、分享相关知识的系统流程与环境，提升数据分析相关人员的分析能力,知识管理,数据分析知识范围,业务知识,分析技能,业务应用,成功案例,对具体业务的背景知识与分析思路总结,对数据的处理技能基础统计分析能力数据挖掘与建模能力,分析成果的应用建立营销方案的设计经验营销效果评估结果,案例库的建设相关文档的管理,知识管理功能要求,具备各类数据分析知识的上传与保存功能，并建立配套机制对上传行为进行鼓励,按照业务主题与知识类型对相关知识进行整合，建立目录管理,建立数据分析分享论坛，鼓励数据分析人员之间的知识共享与传播,知识获取,知识整合,知识分享,.,18,内容提要,建设背景和当前现状,系统建设目标,数据分析平台的定位,系统架构和功能设计,数据模型设计,.,19,系统逻辑架构,.,20,功能框架,.,21,技术架构,.,22,数据架构,.,23,数据架构-ODS,ODS在业务系统和数据仓库之间形成一个隔离层，转移一部分业务系统细节查询的功能，完成数据仓库中不能完成的一些细粒度查询,ODS源数据层,数据内容和数据结构与源系统一致存储短期历史数据，支持历史数据查询支持增加数据和全量数据提供服务集中存储所有源系统数据，隔离对源系统依赖满足目标系统对高时效性和真实性的数据需求,ODS标准化数据层,数据结构与源系统一致,对源系统数据进行统一的标准化处理，包括数据定义和统计口径的一致性，避免各应用数据加工结构不一致,存储短期历史数据,支持增量数据提供服务,.,24,数据架构-数据仓库,.,25,数据架构-数据仓库,数据仓库基础层,前端应用服务应尽量避免直接访问基础层数据,保存时点全量和中长期历史数据,数据具有全面性、整合性和高可用性,主要以现有客管系统数据为基础，并按照NCR的FS-LDM模型进行数据整合,数据仓库语义层,建立多层次的数据访问服务体系，以满足不同类型应用的需要。可分为中间层与应用层，中间层包含预处理层、汇总层与指标层,汇总层一般实现各时间段或时间点各层级机构所辖范围内的卡片、账户、客户、渠道、产品、客户经理、凭证等各类汇总级别的整合,预处理层按账户、卡、合同等业务实体计算出月度、季度或年度的轻度汇总数据,指标层建立对账户、交易、资产余额等信息的多维分析数据集，从而建立起能满足全行业务发展、经营管理、战略决策、信息披露、外部监管与审计等各类行内外需求的全行统一指标库,并且全行各类报表都应以本指标库为基础生成，以确保报表数据的唯一性、权威性，并保证不同报表之间勾稽关系的一致性。,应用层针对不同业务领域或组织机构，建立逻辑或物理的数据集市，在保证数据安全的同时，促进数据的使用,.,26,数据架构-数据集市,数据集市,动态集市,.,27,数据架构-历史库,按照不同的归档周期和频率等参数设置，将ODS和数据仓库中的数据自动、及时归档为在线历史数据,按照在线历史数据的归档周期和频率等参数设置，自动、及时将部分在线历史数据归档到离线库，存储在低端存储设备上。并且在需要时可做数据恢复，将磁带库数据临时恢复为在线历史数据中进行查询。,在线历史库,离线库,.,28,数据分析平台访问结构,基础整合数据,数据库,指定数据集,数据集市,指定数据集,定期报告,BI工具数据结构,AdHoc,视图/虚拟Cube,指定数据集,分析报告,AdHoc,数据挖掘,BI分析工具,基础视图,访问控制共享区,访问控制应用区,分析数据集,应用视图/Cube,安全视图,应用视图/Cube,.,29,内容提要,建设背景和当前现状,系统建设目标,数据分析平台的定位,系统架构和功能设计,数据模型设计,.,30,数据模型设计,设计思路,以Teradata成熟模型产品NCRFS-LDM为蓝本，充分考虑到源业务系统各类信息和资料的实际情况和当前现状，驱动模型客户化,驱动模型客户化的主要因素,在模型中记录一些模型产品中不包含的信息，需要对原模型产品进行扩展模型产品中的某些信息无法从源系统获取或对某些信息对本系统没有用处某些业务规则与模型产品假设的规则可能存在差异,客户化的主要工作内容,在模型产品的既有结构上新增实体和属性删除模型的某些结构对现有结构进行修改,.,31,数据模型设计,FS-LDM模型产品客户化的优点,FS-LDM模型总结了全球二百多家金融机构的实施经验，集成了国际商业银行科学的、先进的管理经验，可以帮助贵行加快与国际商业银行接轨FS-LDM具有很大的可扩展性和灵活性描述了各类业务以及这些业务之间的关系，通过定义实体、实体的属性以及实体之间的关系来描述具体的银行业务逻辑是满足第三范式（3NF）的数据模型FS-LDM对数据仓库的物理模型（PDM）设计具有指导作用，起点高，可以最大程度缩短开发周期、从而降低风险、节约投资,客户化注意事项,考虑模型产品是否适合本系统客户化的部分能否解决现有源业务系统的数据存放问题客户化的部分要有预见性（如数据的扩展、历史的变更）必须保持客户化部分与模型产品原有设计规范、设计风格等的一致性,.,32,FS-LDM的不同层级,数据模型设计,.,33,数据模型设计,NCR金融业逻辑模型FS-LDM(第一层：主题区域),财务,资产,当事人,区域,地理区域，物理的或电子的地址,个人或机构,事件,一种资金或非资金的活动，可能需要也可能不需要银行与客户的直接接触,内部组织,金融机构分支机构及业务单元,协议,客户和金融机构之间为某种产品或金融服务而设置的某种约定,产品,任何市场化的产品或服务，包括这些产品的条款或条件,营销活动,为了获取、挽留客户或提高用户的使用率而采取的战略、计划或促销活动,渠道,银行同客户交互或接触的各类渠道,银行内部财务状况,当事人拥有的资产,.,34,数据模型设计,NCR金融业逻辑模型FS-LDM(第二层，概念),.,35,数据模型设计,NCR金融业逻辑模型FS-LDM(第三层：细节，以当事人主题为例),.,36,数据模型设计,NCR金融业逻辑模型FS-LDM(第三层：细节，以内部机构主题为例),.,37,数据模型设计,模型设计步骤,物理模型设计,逻辑模型设计,构建概念模型,系统需求分析,项目前期准备,.,38,数据模型设计,模型设计步骤-项目前期准备,组建项目团队和人员分工收集各方资料，制定资料收集模板，如源系统介绍模板、源系统数据字典模板（至少包含系统数据结构）、源系统样本数据说明书模板、业务需求分析模板等确定数据源范围确定数据模型设计工具和模型设计规范项目组数据模型产品FS-LDM培训调研各相关源系统（包括系统架构、设计思想、系统定位、主要业务功能和业务流程、关键数据表以及表关系、与其它系统关系等）建立源系统问题跟踪机制,.,39,数据模型设计,模型设计步骤-系统需求分析,通过对IT应用规划的解读，同时结合数据分析平台的建设目标，确认数据模型设计重点通过对源系统的概要调查进一步确认源系统范围通过业务访谈等方式进行前端应用业务数据分析和功能分析，业务数据分析包括涉及的指标、查询条件、分析维度、统计口径、计算公式、处理周期等；功能分析包括功能模块的目的和用途、主要业务流程调研、报表格式、展现格式等整理源系统数据结构，归纳整理代码表，产生数据字典表分析源系统样本数据的填写规则查询、验证业务规则及数据表关联、对数据质量进行检查，产生数据质量检查表基于对源系统数据结构和样本数据的分析，对源系统的表进行取舍，产生数据表级分类表基于对源系统数据结构和样本数据的分析，对筛选后的源系统表的字段进行进一步取舍，确定处理策略，产生数据字段级分类表在系统需求调研的基础上进行系统数据满足度分析，根据数据满足度中的数据缺口，确认或变更相应业务需求说明书的内容。在系统需求调研的基础上，确定加工规则，通过映射分析的方法，确定目标数据和源数据的对应关系，判断数据对应用的支持程度：完全满足/部分满足/没有数据，产生源-目标映射文档,.,40,数据模型设计,模型设计步骤-构建概念模型,根据项目前期准备工作和