民族证券的数据中心建设情况交流.ppt

企业级数据中心建设研讨 信息技术部颜阳2010年4月 建设具有民族特色的数据中心 主要内容 一 项目概述二 系统介绍三 建设过程四 实现效果 前言 什么是数据中心 数据中心是企业的业务系统与数据资源进行集中 集成 共享 分析的场地 工具 流程等的有机组合 1 从应用层面看 包括业务系统 基于数据仓库的分析系统 2 从数据层面看 包括操作型数据和分析型数据以及数据与数据的集成 整合流程 3 从基础设施层面看 包括服务器 网络 存储和整体IT运行维护服务 感官上出现的几个关键字 系统投入海量 一 项目概述 2009年度行业科技奖获奖统计的思考 数据中心裂变 一 项目概述 三大要素 八项原则架构 开发模式 项目管理 团队建设 企业 高校的模式 一 项目概述 why 简化信息系统架构 数据中心建设后可以大大简化各系统之间的关系 生产系统是数据的生产者 业务系统既是数据的生产者又是数据的消费者 而数据中心是物流中心和配送中心 减轻生产系统压力 数据中心的数据不仅权威而且全面 利用先进的实现方法 使得统计和分析更便捷 这样会大大减轻生产系统的压力 同时也为建设新一代订单系统打下了坚实的基础 保证业务数据统一 许多业务系统需要同类型的数据 由于不同系统处理方式和统计口径不尽统一 往往同类数据在各个系统中都不统一 数据中心建设后可以解决数据统一问题 提高业务创新能力 数据中心是数据加工厂 同时也是价值发现者 这样为我们后续业务系统的建设和完善提供了强有力的数据支持 提升决策分析水平 数据中心的数据全面性和包容性强 为数据深度挖掘提供了先决条件 也为决策分析提供了强有力的支持 案例 数据中心作为恢复之用 一 项目概述 how 走自主开发建设道路 能够贯彻落实属于我们的设计理念 快速响应业务部门的需求 节约运行维护成本 推动业务创新 企业 高校合作模式 构建稳定高效的平台 面向海量数据 构建一个稳定高效的数据处理平台和服务平台是数据中心建设的核心 采用成熟的开发工具 利用成熟的ETL工具 能够保证数据整合的完整性 高效性和可维护性 利用成熟的BI工具 能够快速 灵活 多视角 丰富地展示各类数据 建立科学的数据模型 根据证券行业业务的特点 结合科学的数据组织方式搭建企业数据仓库 为今后数据统计 数据分析和数据挖掘打好基础 分步骤建设数据中心 数据中心是一个持续建设的项目 我们将根据我们的现实需求和未来需求分步骤来建设我们的数据中心 国家发改委项目 一 项目概述 What 数据加工厂 在保持业务数据原始性和完整性的基础上 按一定的业务规则 指标 粒度对数据进行加工处理 数据服务者 建设统一的数据服务平台 为各个业务系统以一定服务形式提供所需数据 数据发布者 数据中心体现了数据的权威性 向外报送的数据可以以统一的口径对外服务 业务发动机 数据中心的建设为创新业务的开拓奠定了坚实的基础 有了数据中心的基础 我们可以很方便很快速开发和实施一些增值服务系统 价值发现者 通过数据中心数据长期的积累 我们可以从大量的 不完全的 有噪声的 模糊的 随机的数据中提取隐含在其中的 事先不知道的但又是潜在有用的信息和知识 案例 商场与网售 一 项目概述 八项基本原则 原则之一 逐步投入 分步建设原则之二 先易后难 逐步深入原则之三 标准统一 服务多样原则之四 架构稳定 灵活扩展原则之五 包容业务 有别业务原则之六 来自应用 服务应用原则之七 数据积累 知识发现原则之八 树立权威 体现创新 二 系统介绍 技术框架 二 系统介绍 数据关系 DATASTAGEETL DATASTAGEETL 二 系统介绍 处理流程 三 建设过程 系统选型之数据仓库选型 高性能 基于X86架构的多节点并行处理 MPP结构决定性能 低成本 包括硬件 软件 开发 扩展和维护成本 开放性 主流操作系统和数据库 支持主流的ETL BI及开发工具 维护性 系统维护简单易学 GreenPlum满足了我们的需求 海量并行处理结构 MPP MassiveParallelProcessing 由多个SMP服务器通过一定的节点互联网络进行连接 协同工作 完成相同的任务 从用户的角度来看是一个服务器系统 其基本特征是由多个SMP服务器 每个SMP服务器称节点 通过节点互联网络连接而成 每个节点只访问自己的本地资源 内存 存储等 是一种完全无共享 ShareNothing 结构 因而扩展能力最好 理论上其扩展无限制 目前的技术可实现512个节点互联 数千个CPU 三 建设过程 系统选型之BI工具选型 兼容性 操作性 功能性 展现力维护性 IBMCognos满足了我们的需求 三 建设过程 系统集成 ODS数据库部署 IBMP570 Oracle10g HDSAMS1000 10T EDW数据仓库部署 DellR600 DellMD1000 SuseLinux GPDataStage系统部署 DellR300 RHLLinux DataStage8 1Cognos系统部署 DellR300 RHLLinux Cognos8展示和管理平台部署 DellR300 RHLLinux Resin 开发平台 三 建设过程 开发过程 三 建设过程 开发过程 SVN 实现版本控制BugFree 实现任务调度和缺陷管理 三 建设过程 开发过程 Datastage作为ETL工具 在民族数据中心中的使用 有如下几个方面 数据的采集 通过Datastage将源业务系统的数据根据数据中心的需要 进行采集 这部分主要是数据的简单复制数据的清洗 这部分包括两部分 一是从原始层到ODS层的清洗 另外一个是从ODS层到EDW层的清洗 前者主要通过调用存储过程来实现 后者则通过Datastage自带的数据处理组件来实现 数据的转换 这部分主要是ODS层到EDW层的转换 调度的管理 对于按照设计方案 需要进行周期性处理的任务 由Datastage负责进行调度 调度分两块 一是Datastage自身带的调度管理工具 另外一个是Datastage和操作系统的调度管理相结合的使用 数据服务 使用Datastage的数据快速复制功能 满足数据中心对周边业务系统的数据采集需要 进行数据的主动推送 并发送推送状态报告给业务系统 三 建设过程 开发过程 业务建模快速开发质量控制 四 实现效果 技术效果 开放式技术架构 便于集成 开发和扩展清晰的数据层次 数据流清晰明了 有利于数据的扩展先进的整合工具 实现统一调度 处理大数据量性能高强大的展示工具 实现快速报表和多位分析卓越的数据仓库 具有高速海量数据处理能力灵活的业务模型 数据仓库以七大主题进行数据规划和组织快速的开发平台 通过建立业务处理模型就可以快速开发应用 不需要太多的编程工作 四 实现效果 技术优势 建设成本低维护成本低扩展成本低性能优势大 行业首用MPP架构业务支持好应用开发快 开发平台 2010年3月3日通过专家鉴定会鉴定 四 实现效果 创新效果 包容业务 有别业务 数据中心基础数据都来自各个业务系统 但并不是简单的数据整合 而是按一定的标准 规则 处理方式和数据模型进行重新组织 以便能够进行深度挖掘 为业务发展提供价值发现和决策分析 来自应用 服务应用 数据中心基础数据都来自各个业务系统 同时又要为各个业务系统服务 如 数据中心可以从柜台系统 CRM系统采集所需要的客户信息 交易信息 经纪人信息 通过数据中心进行数据处理后为CRM中经纪人推送相关的客户行为分析数据 资金周转率数据 佣金贡献率数据 监控指标数据等 支持动态分析过程 利用数据模型中的业务数据 结合业务模型 并通过商业智能工具进行动态分析 如 利用数据中心平台 针对公司净资本变化情况进行相应的敏感性分析和压力分析 帮助决策机构进行投资分析 支持快速开发业务系统 数据中心提供标准的WebService接口 能够为各业务系统快速开发业务功能提供快捷的方式 四 实现效果 快速查询效果演示 四 实现效果 多维分析图 四 实现效果 获奖 2009年10月24日 数据中心建设