先进数通部分BI案例介绍概要.ppt

北京先进数通信息技术有限公司部分BI案例介绍 北京先进数通信息技术有限公司2010年2月 内容提要 先进数通公司简介ADT数据项目个别案例介绍某大型国有商业银行ODS系统介绍某全国性股份制商业银行ODS系统介绍某省农信数据仓库项目介绍某省农信综合报表平台介绍先进数通公司BI整体解决方案 公司概述 业务方向专注于金融应用软件开发及服务专注于网络集成及服务组织结构总公司 北京先进数通信息技术有限公司分公司 上海 广州 成都 厦门办事处 21个 武汉 深圳 青岛 济南 境外全资机构 先进数通 日本 株式会社现有员工600余人业务规模 2009年销售额超过5亿元人民币 公司资质 高新技术企业软件行业协会会员国家信息产业部一级系统集成商资质ISO9001质量体系认证2008年通过CMMI 3评估纳税信用A级企业 公司业务 软件专业技术服务软件研发体系基础架构部 FAD 企业应用整合解决方案部 EAIS 商业智能解决方案部 BIS 国内 软件服务体系企业应用整合 EAI 工程部商业智能应用 BI 工程部企业数据整合 EDI 服务部测试服务部国际 日本软件外包服务系统集成专业服务网络基础建设专业服务 软件体系架构 ADT在数据应用领域的经验和优势 中国建设银行UDI 统一数据交换池 ODS系统 分行ODSB 5家 历史数据归档管理系统分行个人客户营销支持系统中国民生银行数据转换平台中国交通银行ODS项目深圳发展银行企业ETL服务平台ODS项目中信实业银行信用卡中心数据整合项目浦东发展银行汇聚平台 广东农信省农信综合报表系统佛山农信ODS项目云南农信统计报表平台指标管理福建农信数据仓库项目锦州商业银行SAPERP系统数据整合中国民生银行基础数据平台中国进出口银行行长查询系统信息共享平台 ADT在数据应用领域的经验和优势 中国平安集团ETL服务管理平台数据整合项目太平洋保险公司ODS系统深圳华为数据仓库项目全球BI应用调度项目数据仓库项目信达资产管理公司SAP管理会计系统数据集成服务 内容提要 先进数通公司简介ADT数据项目个别案例介绍某大型国有商业银行ODS系统简介某全国性股份制商业银行ODS系统介绍某省农信数据仓库项目介绍某省农信综合报表平台介绍先进数通公司BI整体解决方案 案例1 某省大型国有商业银行ODS系统 目标和实现建立全行的企业级数据中心 统一为为全行的目标系统 OLAP BI型应用 提供数据 屏蔽目标系统对源系统的直接数据需求 构建操作型应用 OLTP 和分析型应用 OLAP 之间的数据沟通桥梁 采用统一的数据模型 集中管理全行的操作型应用系统的源数据 建立标准化的数据采集 数据整合 数据存储 数据交换和数据分发架构 经过数据整合 提高数据质量 补充完善缺失数据 为全行提供准确 全面 可靠的数据资源 从而更大程度地实现数据资源的共享和利用 采用国际领先的MPP GRID计算模型 充分利用GRID机群的分布式处理能力和横向扩展能力 一方面提高效率 快速为目标系统提供数据 同时还可以应对数据规模不断扩大的挑战 标准化全行的ETL过程 建立一整套与数据项目有关的标准和规范 案例1 某大型国有商业银行ODS 系统环境 硬件PCSERVER组成MPP GRID etl 小型机组成Cluster DB 软件AIX操作系统Linux操作系统DataStageEnterpriseEditonOracle10g 案例1 某省大型国有商业银行ODS 架构 内容提要 先进数通公司简介ADT数据项目个别案例介绍某大型国有商业银行ODS系统简介某全国性股份制商业银行ODS系统介绍某省农信数据仓库项目介绍某省农信综合报表平台介绍先进数通公司BI整体解决方案 实施案例2 某全国性股份制商业银行ODS 系统状况ODS接入系统数量 42个ODS服务系统数量 16个数据量帐户数 存款2450万 贷款210万交易量 日均交易量约205万笔 日峰值约为285万笔源系统数据文件 表数量 1250日增量数据 30GBODS存量数据 5TB 2年 每日ETL加工时间 4H资源配置DBServer P5902台 16C32G数据库 Oracle10gETL工具 DSEE32CPUETL集群 台PCServer 4C8G文件传输 C D传输集群 台PCServer 4C8G全局调度产品 ADTMOIASEOLAP 报表工具 Cognas8 0 项目阶段一 10个月 需求分析架构设计标准 规范和流程的建立企业级ETL平台的搭建源系统数据采集明细数据轻度整合客户信息整合 ECIF 已有应用供数综合报表系统开发项目阶段二 6个月 明细数据深度整合基础汇总模型的建立新建目标应用供数项目阶段三 个月 指标体系建立指标服务平台目标共性加工的整合 实施案例2 某全国性股份制商业银行ODS 内容提要 先进数通公司简介ADT数据项目个别案例介绍某大型国有商业银行ODS系统简介某全国性股份制商业银行ODS系统介绍某省农信数据仓库项目介绍某省农信综合报表平台介绍先进数通公司BI整体解决方案 总体架构 数据架构 平台建设的关键环节 系统架构设计架构的稳定性 扩展性和适用性架构的前瞻性合理的松耦合性系统设计处理能力异常处理能力和容错能力数据采集所支持的数据采集策略对异构数据的支持能力数据采集的效率数据标准化字段标准化代码标准化标准代码的维护和扩充能力统一机构号 产品代码和客户号数据存储存储策略的有效性和扩展性数据存储的效率对多种数据访问方式支持的考虑数据分区策略数据生命周期管理清理和备份策略回溯和追数处理 数据处理 ETL ETL架构的合理性和效率设计数据处理能力ETL处理的模块化 共性处理的抽取 特殊处理 机构拆并 科目调整 结息日处理 定期处理 对多种数据周期的支持对作业重做的支持数据质量治理数据质量问题的发现机制数据补录关键的业务性数据检查任务调度和应用集成支持的任务调度模式与外部应用 系统的交互能力对专业产品的集成能力对大规模应用配置和部署的支持动态的资源分配和负载均衡 并行控制数据服务所支持的数据服务模式数据服务的响应时间运行维护支持 平台物理架构 内容提要 先进数通公司简介ADT数据项目个别案例介绍某大型国有商业银行ODS系统简介某全国性股份制商业银行ODS系统介绍某省农信数据仓库项目介绍某省农信综合报表平台介绍 案例4 某省农信综合报表平台 系统状况接入系统数量 5个数据量帐户数 存款9094万 贷款891万交易量 日均业务量约588万笔 日峰值约为766万笔SDM数据库空间 4TB硬盘文件系统空间预计1TB 按一般文件在硬盘保留15天计算 每日处理时间 6H资源配置DBServer HP64602台 32C64G数据库 DB28 5ETL工具 DSEE16CPUETL集群 4台PCServer 4C8G文件传输 FTP传输集群 台PCServer 4C8G全局调度产品 ADTMOIA4 2OLAP 报表工具 Cognas8 0 项目阶段一 10个月 需求分析架构设计标准 规范和流程的建立应用数据平台的搭建源系统数据采集明细数据标准化现有业务报表开发 案例4 某省农信综合报表平台 总体架构 案例4 某省农信综合报表平台 逻辑架构 案例4 某省农信综合报表平台 集成方案 源系统数据 标准化数据 按需加工数据 可视化数据 标准化 按需加工 报表生成报表展现 案例4 某省农信综合报表平台 贷款类报表 25张 存款类报表 43张 支付结算类报表 36张 电话银行业务类报表 14张 中间业务类报表 40张 银行卡类报表 25张 CIF类报表 15张 手续费分润报表 15张 财务总账 75张 ADT提供的BI整体解决方案 ADT数据整合业务的方法论 确定业务架构业务目标业务模型业务运作方式理解业务需求提供者的规格消费者的规格原料 产品的加工过程 技术实现技术架构的确定设计Job开发和单元测试业务验证数据测试业务测试投入使用 ADT数据整合项目的实施过程 架构设计数据架构物理架构ETL架构数据分析源数据规格目标数据规格数据映射 转换规则 设计 实现ODS数据存储方案设计ODS数据标准设计ODS数据交换方案设计处理流程逻辑设计编码 作业开发单元测试数据测试上线投产