恒生企业级数据中心建设规划

恒生企业级数据中心建设规划企业级数据中心建设规划—打造分析型数据中心建立集加工、计算、应用为一体的数据中心平台，对各交易系统、财务系统、清算系统、投资系统、资讯系统、CRM、呼叫中心等系统数据进行整合；实现数据集中信息化；建立统一的数据交换平台，为在建的或未来要建立的外围系统提供接入渠道，实现呼叫中心、CRM、交易系统、网上营业厅等各系统的数据充分共享；在数据中心平台基础上构建智能分析平台，通过建立业务模型，实现业务分析和数据深度挖掘，为公司决策提供支持和帮助。提高公司在客户服务、市场营销、内部管理等方面的核心竞争力。数据整合数据服务智能应用23数据中心的总体目标1数据转变为信息信息转换为知识知识转换为决策系统总体架构加载清洗调度建模抽取生成查询支持入库入库数据中心数据库规划数据中心技术发展趋势数据中心BECDA主流数据库：ORACLE/DB2/Greenplum/Teradata/SQLSERVER主流数据采集工具：OracleODI

、Datastage、Informatic主流BI工具OracleBIEE/Cognos/BO/MSTR主流硬件:小机、Terdata、Exadata、高端存储主流中间件软件Websphere/Weblogic/Tomcat一个中心，五个平台数据中心智能分析平台业务展现平台数据基础平台统一管理平台数据服务平台五个平台关系数据中心数据基础平台数据服务平台智能分析平台业务展现平台统一管理平台平台介绍数据基础平台数据服务平台智能分析平台统一管理平台业务展现平台ODS设计原则标准化原则

对不同业务系统同含义的数据进行统一标准化处理，比如客户号、机构代码、产品类别等，字段去NULL值，字段值含义统一统一客户模型

统一多套客户交易系统或者管理系统中的客户模型统一数据字典

在标准化原则下，对外提供统一的数据字典。并能自动发现新增属性值的现象，并通过预警的方式通知运维人员进行确认。统一数据格式

数据格式保持对不同交易系统的兼容，确保清洗、转换过程不会引起数据失真和清洗转换因字段值类型不匹配导致失败，同时也有利于对外提供统一的数据服务。统一业务引擎数据仓库模型举例（客户模型）客户账号CID基本信息资产账户AID资产账户信息资金账户BID产品账户各种交易信息账户其它信息附加信息客户登记表隶属关系1..n隶属关系1..n隶属关系0..n包含关系1..n隶属关系0..n资金信息客户业务属性客户业务信息隶属关系1..n帐户基本属性客户基本信息隶属关系1..n受托管理代理人基本信息0..nODS数据库OLAP模型数据集市原始数据层时点数据数据集市OLAP模型时点数据数据建模数据聚合数据仓库明晰数据聚合数据数据建模数据建模数据聚合数据聚合原始数据层统一数据字典统一数据标准统一业务引擎统一业务模型流水数据标准不一信息孤导部门级应用数据抽取ETL关键点ETL关键点具体要求时点性重要数据保留策略客户身份证变更/创业板权限/风险级别/反洗钱等级客户变更营业部处理策略转营业部后,需保持客户交易系统一致性营业部变更处理策略引入代理键、渐变维度,支持多种统计方式相关业务信息新增处理策略委托方式、银行代码等相关业务标志ETL/ELT的模式采用数据快速采集清洗策略使用存储过程、ETL的图形化出错处理Load时，ETL会自动将出错数据归入异常表,并使流程正常化

预警平台,出错时提示具体出错信息性能指标性能指标正常指标值峰值实时数据采集延迟15秒内1分钟内日终各业务系统数据采集时间30分钟内小于100分钟业务系统原始数据处理到ODS的时间60分钟内小于100分钟业务系统数据从ODS层处理到DW层30分钟内小于100分钟对数据源服务器的利用率影响小于1%小于2%所有业务报表从点击查询到展现结果时间小于5秒钟小于10秒钟在业务系统正常情况下，数据中心前一天任务执行完毕早于第二天8:30早于第二天12:00以下指标以100万客户为参考性能优化方案索引B-Tree索引

位图索引

分区索引

分区

范围分区

列表分区HASH分区

并行查询将表划分成块利用并行查询调度器汇总级别按常用查询维度汇总物化视图快照日志查询重写自动刷新平台介绍数据基础平台数据服务平台智能分析平台统一管理平台业务展现平台数据服务平台大数据量服务ETL主动推送

小数据量服务Webservice接口数据服务平台风控系统CRM系统整合新业务系统上线数据提供数据服务数据服务平台数据服务架构数据中心客户管理资金管理集中交易帐户品种证券融资融券其他产品撮合报价基金期货统一清算平台交易所登记结算公司金融公司存管银行清算银行银证平台数据交换资金管理CRM财务系统决策支持知识管理内部事务管理门户网站呼叫中心清算结算咨询信息咨询分析风险管理平台操作风险市场风险流动性风险信用风险自营系统资管系统数据服务方式多种决策支持服务客户营销服务呼叫中心服务HTTPSOAPMQSOAP数据访问服务（WebService）数据中心JDBC企业服务总线（ESB）平台介绍数据基础平台数据服务平台智能分析平台统一管理平台业务展现平台智能分析平台覆盖所有业务的分析经营分析、绩效分析、客户分析综合管理报表基于BI框架采用数据仓库技术支持报表灵活展现支持多种分析方法支持客户自定义报表提供数据挖掘功能数据仓库模型EDW-LDMFS-LDM为基础，结合证券业务第三范式规则模型框架当事人、内部机构、产品协议、事件、地址、渠道营销、财务、客户资产数据仓库模型举例（客户模型）智能分析平台原始层数据源构建数据立方体打造个性化业务逻辑全面的用户终端展现MSSQLOracleSAPMSAS/PowerPivotFlatFilesApplicationsWebServices构建数据立方体数据ETL

连接定义采集源与目标库定义采集、清洗、转化模型定义数据实时、盘后自动采集数据ETL过程监控业务逻辑定义商务模型管理平台安全性定义性能管理实时分析仪表盘控制协同作业嵌入式服务MSOffice整合自定义智能报表商务智能应用经纪业务运营过程中的商务智能自定义报表自定义报表多样的交互展现方式（一）Office的高级集成交互式信息板灵活的即席分析固定报告并发布多样的交互展现方式（二）BI嵌套业务系统(BI与CRM、门户等)与IBMWebspherePortal无缝整合，单点登录、统一认证与各应用系统无缝整合提供所见即所得的实时数据BI仪表盘设计(经纪业务总部管理)实时同步数据,丰富的报表展现形式用户自定义数据维度，进行个性化及深层次数据挖掘一键式报表服务拖拉式服务形式，所见即所得的仪表展现数据挖掘可视化的数据挖掘工具与导航数据挖掘算法集成决策树神经网络聚类时间序列相关分析回归分析基与记忆推理….相关应用关联销售营销活动预期客户分类客户行为分析风险管理信用评估反洗钱检测客户投资偏好特征分析….相关性分析平台介绍数据基础平台数据服务平台智能分析平台统一管理平台业务展现平台统一管理平台运维监控ETL调度报告ETL运行监控ETL调度异常预警平台数据质量管理数据核对数据连续性检查元数据管理数据备份管理数据质量管理模块ETL过程检查数据字典映射检查不兼容数据预警、处理数据准确性检查数据核对数据一致性数据完整性数据不规范值处理数据冗余性数据粒度级别历史明细数据存放策略老化、无效数据判定及处理元数据管理模块统一元数据管理技术元数据源数据层结构ODS模型EDW模型ETL流程业务元数据企业数据模型多维数据模型数据备份静态表、配置表:每日备份，可以采用覆盖性备份，保留最近3日或者5日的备份历史表：采用1个月备份一次全量(覆盖性备份)，其余每日增量备份分区表：每月月初备份上月所有的表的上月分区，每日备份当月分区恢复静态表、历史表全量按月恢复分区表分区使用磁带机方式备份备份策略恢复策略备份方式平台介绍数据基础平台数据服务平台智能分析平台统一管理平台业务展现平台业务展现平台多维分析数据挖掘终端用户信息展现在线数据钻取固定运维报表自定义报表自动信息预警紧密结合Office智能分析报告丰富展现形式数据综合分析数据集市Data

Mart原始业务系统原始数据层ODS数据层DW数据层数据组织数据中心数据仓库业务展现平台报表与分析绩效管理应用界面效果图业务应用客户分析绩效分析经营分析预测分析竞争性分析营销数据服务财务分析业务报表风险合规整体分析经营分析市场占有率、排名日均资产、新增客户绩效分析交易量、收入、市占率成本、利润竞争性分析公司竞争性分析网点竞争性分析预测分析行情趋势公司收入新业务对公司影响营销层面营销数据服务日均资产、周转率交易量、佣金汇总客户分析客户偏好分析、群体分析投诉建议、回访分析其他方面财务分析资产负债、净资本风险控制指标预警业务管理线报表经纪业务报表其他报表风险合规管理风险控制系统合规管理系统监管报表数据生成报表管理报表交互完整性准确性

稳定性

安全性

高效性

可扩展性复核,审批勾稽管理报表异常管理

报表状态管理

数据修正图形化展示多格式导出批量导出证监会离线报送接口支持提纲背景介绍数据中心规划项目实施案例介绍典型案例—民族证券、中信金通系统定位数据交换平台系统整合(风控+CRM+网站等)报表服务功能智能商务功能典型案例华泰证券ETL恒生中间件中信金通ETL恒生中间件BIoraclebiee民族证券ETLdatastageBIcognos数据库ODSoracle，EDWGreenplum展现平台，清软平台主要实现ETL监控，业务展现华安证券国海证券中邮证券江海证券……DATASTAGEETLEDW交易数据清算数据营销数据财务数据其它数据非结构化数据交易数据清算数据营销数据财务数据其它数据规整数据ODSETL呼叫中心营销平台财务系统门户网站管理平台商业智能工具元数据和质量管理其它系统数据服务平台DATASTAGEETL主题数据分析报表管理-报表页面报表管理-数据审核一览表截图报表管理-数据复核截图点击确定，如下所示：报表管理-勾稽管理截图报表交互-多报表同时导出截图恒生优势关键点说明整体技术实力优势恒生电子有2100多人，其中近1500人为技术开发人员。专注于证券行业的软件开发，已有15年的证券行业经验。业务理解优势恒生公司对证券行业业务理解非常深刻，是证券行业规模最大、产品线最全的证券行业内软件公司；恒生软件产品线涵盖经纪、自营、资管、投行、研究所等业务部门的产品，对业务理解非常深刻数据采集与推送优势一流的系统集成商，成功对接的系统非常多，数据采集与推送具备明显的优势市场占有率优势与数据中心相关的风控等产品目前市场占有率达到60％接口优势预留融资融券、股指期货等接口，新的业务需求可以很快捷的升级上去项目保障优势恒生公司长期战略合作伙伴，在项目实施上有着人力资源分配优势恒生优势关键点说明数据中心技术优势开发数据中心系统的主要人员都从事数据中心系统开发3年以上，业务理解深刻；系统支持证券公司现有各个数据源系统的接口，数据采集性能和稳定性高系统支持客户容量为10