中国民族证券数据中心自主建设项目介绍

中国民族证券介绍数据中心自主建设项目近年来，各证券公司认识到建设企业级数据中心的重要性，但由于各企业的技术能力、业务水平和目标定位差异很大，面对“为什么要建设数据中心”、“如何定位数据中心”、“如何建设数据中心”等问题在这里，与大家分享我们的经验和想法。(一)建设数据中心的理由；a .简化信息系统的架构。 数据中心建设后，可以大大简化各系统之间的关系，生产系统是数据的生产者，业务系统是数据的生产者，数据中心是物流中心和配送中心。b .减轻生产系统的压力。 建设数据中心可以将数据查询、数据统计、数据分析、数据服务等功能从生产系统中分离出来，使生产系统变瘦，大大减轻生产系统的压力。c .统一业务统计口径。 存储在数据中心中的数据存储在标准的业务定义规则、数据转换规则和数据组织方法中，而不是仅仅集中存储单个业务系统的数据。 其目的是在保证数据的原始性、完整性和连续性的同时，实现数据处理过程中业务的统一性。d .提高业务创新能力。 数据中心是数据加工厂，也是价值发现者，为业务分析和知识发现提供平台，可以大幅提高业务创新能力。e .提高决策分析水平。 数据中心数据具有全面、包容性和权威性，为数据深度挖掘提供了前提条件，并为决策分析提供了强有力的支持。(2)数据中心定位a .数据加工厂。 在保持业务数据的原始性和完整性的基础上，以一定的业务规则、指标、粒度对数据进行加工处理。b .数据服务业。 建立统一的数据服务平台，以一定的服务形式为各业务系统和数据消费者提供必要的数据。c .数据分发者。 数据中心体现了数据的权威，向外部提交的数据可以统一口径向外部公开。d .业务引擎。 数据中心的建设为开拓创新业务奠定了坚实的基础，在数据中心的基础上，简单快捷地开发实施一些增值服务体系。e .价值发现者。 通过对数据中心数据的长期累积，我们可以从大量的、不完整的、噪声的、模糊的、随机的数据中提取出隐藏在其中的、预先不知道但潜在有用的信息和知识。(三)数据中心建设方法；a .走自主开发建设的道路。 能够贯彻、定制我们所属的业务，迅速适应业务部门的需求，节约运行维护成本，推进业务创新。b .逐步建设数据中心。 数据中心是一个持续的建设项目，必须根据现实和未来的需要逐步建设数据中心。c .建立稳定高效的平台。 为大量数据建立稳定高效的数据处理平台和服务平台是数据中心建设的核心。d .建立科学数据模型。 根据证券行业业务特点，结合科学的数据组织方式构建企业数据仓库，为今后的数据统计、数据分析和数据挖掘奠定基础。e .建立智能信息平台。 使用成熟的智能分析、统计、挖掘、推理等工具对数据中心中存储的不同数据类型进行数据(信息)精加工和处理，以获得有价值的信息。以上是对企业级数据中心建设的理解。 在这个项目的实施过程中，我们遵循以自我为中心的原则，有效地融合了技术和业务，形成了高度自主控制数据中心、发挥性能的平台。一、项目特点介绍1 .项目的核心价值(一)自主开发、定制；随着行业新业务的不断发展和竞争的加剧，证券公司越来越需要通过技术创新提供差异化产品和差异化服务。 由于证券交易类产品行业同质化较大，这种应用系统可以由专业开发人员提供实施。 数据中心、CRM等业务管理系统个性化强，只能通过独立开发实现个性化。 因此，我公司从项目立项提出自主建设的途径，该模型的特点是随着项目建设的加深，定制的优势越来越显着。(二)贴近业务，迅速应对；项目开始时，业务人员对数据中心能做什么还不清楚，但随着项目建设的深度和业务人员的参与度的提高，越来越感受到数据中心建设的价值及其效果。 在随后的建设过程中，“要求软件开发数据服务运行保障”的整个链条由自己控制，数据中心越来越贴近业务，实现了迅速应对业务的需要。 例如，如果CRM公布新的数据需要，那么数据中心可以立即方便地提供这种服务。(三)持续改进，帮助创新；一方面坚持自主开发的基本原则，另一方面不仅可以不断改善数据中心的技术平台，还可以根据业务的发展和需求的变化不断完善业务模式和业务规则，同时随着研发的进步，通过自己的力量和先进手段，丰富的数据支持上述持续改善和创新的参与者主要是公司内部的技术人员和业务人员，通过数据中心产生的研发成果和业务创新不容易复制，可以成为企业核心竞争力的产品。(四)拓展应用，制造产品；自数据中心建立以来，多个业务应用程序系统基于数据中心进行了扩展，这种扩展速度比以前快得多。 正如公司的洗钱系统和CRM系统一样，这两个系统通过数据中心强大的数据处理功能和数据服务功能，在短时间内实现了建设目标。数据中心不仅仅是资源，还是数据加工厂、数据服务商、数据发布者、商业引擎和价值发现者。 在此基础上，可以将应用迅速扩展到CRM、风控、中介业务管理、呼叫中心、法规遵从性管理、门户等应用系统。证券行业正处于产业升级时期，金融工业化要求证券公司建立产品生产线平台。 例如，随着投资业务的发展，可以利用数据中心平台的快速计算能力和处理能力，构建业务模型，设计和生产我们需要的投资产品。 这项工作正在进行中，计划在年内通过平台推出最初的数据产品。(五)培养团队，继续建设；通过自主开发的模式，我们可以成立自己的人员队伍，不断培养自己的业务专家和技术专家，为数据中心的不断建设提供人才保障。2 .项目技术特点(一)采用自主化建设模式；自主化建设模式是项目初步确定的原则，根据该原则，从项目规划、系统选型、项目实施到后续系统运行都要靠自己的力量完成，包括工具选型、系统构建、数据处理过程、数据服务过程、数据模型设计、商业智能应用、系统运行数据中心几乎涵盖了公司所有应用程序的业务数据，只有我们能够正确了解使用部门提出的需求和实现方式，在某种程度上，我们使用数据中心的基础平台工具来实现需求目标的能力不超过这些专业厂商不仅如此，数据中心还保存了公司大量重要的数据资产和个性化、专业化计算模型，只有自主开发才能自主控制。数据仓库、ETL、BI等工具提供者的专业性优于我们，但我们的优势是了解信息系统的结构和安全结构，集成和合理利用资源的能力强，避免在信息化建设过程中产生不必要的资源浪费和冗馀。(二)采用开放的主流技术；采用开放主流技术的优点自不必说，采用开放主流技术才能发挥自主开发的作用，保障所建数据中心的连续性和生命力。由上图可知，我们选择的平台(硬件、操作系统、数据库、工具)是开放的主要技术平台，完全可以自己把握，自己搬运维度。 特别是在选择过程中，在开放性、兼容性、可用性方面进行了大量测试，确保了系统之间的无缝对接。(三)采用高性能处理平台；戴尔选择的数据仓库平台(EDW )、数据整合平台(ETL )和业务智能工具(BI )支持高性能处理要求。数据仓库选择GreenPlum产品，采用“大容量数据并行处理(MPP )”技术，通过多节点并行处理机制实现大容量数据的高速运算和处理，这将在后续系统的运行过程中得到证明。数据集成工具采用IBM DataStage产品，并采用并行扩展和并行处理技术，可根据处理数据量的大小轻松并行扩展，统一管理任务时间表。商业智能工具采用IBM Cognos产品，是商业智能应用的优秀工具，不仅处理效率高，而且具有多维处理和多维分析功能。(四)采用适当的数据模型；在数据仓库建设过程中，以往苦恼如何组织数据，数据组织的好坏直接影响到后续平台的计算效率、数据完整性、统计准确性、业务扩展能力等。 在项目实施过程中，我们首先借鉴金融行业普遍应用的金融数据模型，在此基础上结合证券业务的特点对该模型进行了重新整理和改进。 当然，随着业务的发展和变化，该模型需要不断丰富优化。(五)注重数据质量的管理；数据中心是数据加工厂、数据服务商、数据发布者、商业引擎和价值发现者，如果数据质量有问题，就什么也说不出来。 因此，只有加强数据质量管理，保障数据处理的所有阶段，才能真正确立数据中心数据的权威。在这方面，我们主要采用技术元数据管理、业务源数据业务规则监控、数据处理监控和核对等技术手段。(6)最大限度地发挥平台服务的性能数据中心最终为其他系统和数据消费者服务数据处理的结果，提高数据中心的数据服务能力也是本项目的一大技术特征。由于数据中心的数据不仅有大量的结构化数据，还有网页、图像、视频等非结构化数据大量，因此提供的数据服务的技术手段和方式也是多种多样的。数据服务方案可以是主动推式或被动调用的接口方案包括接口表、协议接口、消息机制等。 我们的思路是建立统一的数据服务平台，以SOA的形式为数据消费者服务。 目前，数据服务平台的功能已经扩展和完善。下图是数据服务的示意图业务和其他数据来源实时数据(Oracle )数据仓库(EDW )资料公平(EDM )操作数据(ODS )同步提取提取装载转换装载转换转换提取转换分文分析、穿衣服任务平台的双曲馀弦值的双曲馀弦值推动的双曲馀弦值职业任务系统统率的双曲馀弦值二、项目创新点介绍本公司建设数据中心与以往的做法不同。 早期，数据中心基本上是基于风险控制系统和其他商业系统逐渐发展，由开发人员开发实施的。 从技术上看，很多传统的事务型数据库技术和数据处理、展示手段都难以满足效率、灵活性和可扩展性的要求。 我公司在建设数据中心的过程中，不仅实现了模型创新，还采用了金融界首个开放式大容量数据并行处理(MPP )数据仓库、元数据管理、快速开发平台、数据处理过程化和智能化等先进技术和理念。1 .业内首次采用开放式MPP技术体系结构数据仓库是数据中心的核心平台，数据仓库的效率直接影响数据中心的可用性，因此选择了GreenPlum产品。 它采用“大容量数据并行处理(MPP )”技术，通过多节点并行处理机制实现了大容量数据的高速运算和处理。从系统体系结构来看，当前的业务服务器是多处理器体系结构(SMP )、非统一存储器访问体系结构(numa ) 这些特性分别描述如下：SMP服务器的主要特征是共享，系统内的所有资源(CPU、存储器、I/O等)都被共享。 因此，SMP服务器的主要问题是可扩展性非常有限。 在SMP服务器中，共享的每个元素都可能成为SMP服务器扩展的瓶颈，最受限制的是内存。NUMA服务器的基本特征是具有多个CPU模块，每个CPU模块由多个CPU (例如四个)组成，并具有独立的本地存储器、I/O插槽等。 节点之间可以通过互连模块(如Crossbar Switch )进行连接和信息交换，从而允许每个CPU访问整个系统的内存(NUMA和MPP系统之间的重要区别)。 NUMA技术也有缺点，因为远程内存访问的延迟远大于本地内存，所以随着CPU数量的增加，系统性能也不会线性增加。MPP提供了另一种方法，其中多个SMP服务器通过一个节点互连网络相互连接，并协同执行相同的任务，从用户的角度来看，这是一个服务器系统，用于扩展系统。 基本特征是，多个SMP服务器(称为各SMP服务器或者节点)通过节点互连网络相连接，各节点仅访问自己的本地资源(存储器、存储器等)，由此是完全共享的结构，所以扩展性最好。虽然在市场上很少见基于MPP架构的数据仓库，但NCR TeraData是相对较宽且时间较长的数据仓库产品。 但是，不仅成本高，而且维护成本高，是比较封闭的系统，多用于电信、规模大的商业银行等大型企业，在中小企业很少使用。GreenPlum是一种基于开放技术的MPP体系结构，经测试，其性能与NCR TeraData产品相当。 选定时，GreenPlum刚刚进入中国，国内用户寥寥无几，在金融行业没有先例。 经过这三个月的测试，我们认为我们达到了性能、可用性、稳定性、开放性和兼容性的预期目标，最终选择了此产品。 从以来的结果来看，我们的选择是正确的，为业界选择合适的数据仓库产品做出了贡献。 我们是国内第三大金融业最先使用该产品的企业，为低成本、高可用性的MPP架构数据仓库产品选择发挥了典型作用。2 .业内快速使用金融业的逻辑数据模型金融业逻辑数据模型(FS-LDM )是NCR多年来在全球实施近230家金融业数据仓库项目经验的结晶。 整个逻辑数据模型将复杂的金融业务总结为团体、产品、账户、事件、渠道、组织、地理区域和营销活动等8个主题。 包括现代金融业分析决策和客户关系管理的各个方面。基于FS-LDM，我根据设定的目标和数据范围，确定了应该建设的主题范围，构建了LDM的原型框架。 LDM原型框架决定了数据仓库的数据组织原则和基本形式，还决定了数据仓库的应用范围和应