大数据技术应用实施方案建议V

大数据技术应用实施方案建议,信息技术管理部2013年6月,1,目录,我行新一代数据集成平台能力要求业内大数据技术的特性及应用研究我行大数据技术的应用策略,2,新一代管理分析类应用需求,3,运营与信息安全运行日志存储与分析安全日志存储与分析,新一代管理分析类应用对于大数据处理分析技术提出了高要求,新一代数据集成平台数据特点与挑战,4,大数据时代，技术面临着Volume、Variety、Velocity3V的挑战,目录,我行新一代数据集成平台能力要求业内大数据技术的特性及应用研究技术特性研究技术应用研究我行大数据技术的应用策略,5,大数据技术一览图,6,大数据技术主要包含应用领域（如商务智能）、基础设施领域（结构化数据库技术、分析型数据技术等）和基础技术领域的各种相关技术。,重点调研的相关大数据存储技术产品调研,TDAsterData,基于商用硬件的分布式数据库技术,HADOOP技术,对于大数据技术、产品的调研分两类进行，即关系型数据库与非关系型技术，前者以基于X86的MPP技术为代表，后者以HADOOP技术为代表,大数据技术特性研究结论,8,基于X86的MPP技术与传统分析型数据库的差异不大，但是提供了良好的扩展性，适合替代现有技术进行关系型数据的分析HADOOP技术支持的数据类型多，扩展性强，适合海量非结构化的数据分析，但技术不成熟，需逐步试点,目录,我行新一代数据集成平台能力要求业内大数据技术的特性及应用研究技术特性研究技术应用研究我行大数据技术的应用策略,9,美国银行大数据技术应用情况,10,美国银行在数据集市领域大量使用X86MPP技术，HADOOP主要用于ETL、数据归档、日志分析及风险分析等应用,美国银行未来大数据技术应用,11,结构化数据分析领域，Netezza、Exadata、Vertica、Teradata及SybaseIQ是美国银行未来的战略产品,国内银行同业,中国银行采用HADOOP实现系统日志的分析中国农业银行进行历史数据的归档中国银联历史数据归档,12,目前中行、农行、银联等都已经开始了基于HADOOP技术的应用探索及规划,淘宝大数据技术应用情况,13,淘宝采用HADOOP技术构建了完整的数据仓库及处理分析平台,大数据技术应用研究结论,14,关系型数据领域,非关系型数据领域,Teradata主要用于数据仓库X86MPP技术在数据集市中得到广泛应用,HADOOP技术在如下领域得到广泛应用数据归档存储ELT半结构化数据分析,随着HADOOP技术快速发展，其对关系型数据的处理支持也越来越强，关系型与非关系型数据的处理技术边界已经日渐模糊，后续应用HADOOP技术可能实现统一的数据处理分析平台,目录,我行新一代数据集成平台能力要求业内大数据技术的发展及应用研究我行大数据技术的应用策略,15,我行大数据技术应用规划建议,我行大数据技术应用规划建议,第三阶段,引入基于X86平台的商用硬件的分布什数据库产品，以较合理的性价比，提高海量数据的计算能力,与时俱进、积极应用总体规划、分步实施制定计划、稳步推进,第二阶段,第一阶段,引入遵行HADOOP技术标准的HADOOP技术产品，实现：海量结构化历史数据的归档保存信息安全日志的存储与分析,扩展HADOOP技术的应用范围：电商数据分析其他场景,我行大数据技术应用实施路径建议,不断丰富大数据技术上的应用功能，形成我行完