大数据一体机

数据分析一体机目录1大数据概述2一体机概述23研发思路4应用分析大数据的4V特征“4V”是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。大数据将有新型的展现方式：大型控制中心和移动终端，实现数据的实时处理和快速决策。体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据的特征大数据技术将被设计用于在成本可承受（economically）的条件下，通过非常快速（velocity）的采集、发现和分析，从大量化（volumes）、多类别（variety）的数据中提取价值（value），属于IT领域新一代的技术与架构

用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合数据分析的价值分析技术：数据处理：自然语言处理技术统计和分析：A/Btest;topN排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等存储结构化数据：海量数据的查询、统计、更新等操作效率低非结构化数据图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储半结构化数据转换为结构化存储按照非结构化存储解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo的S4）数据采集数据储存数据管理数据分析与挖掘一些相关技术1、对现有数据库管理技术的挑战传统的数据库部署不能处理数TB级别的数据，也不能很好的支持高级别的数据分析。急速膨胀的数据体量即将超越传统数据库的管理能力。2、经典数据库技术并没有考虑数据的多类别（variety）SQL（结构化数据查询语言），在设计的一开始是没有考虑非结构化数据的。3、实时性的技术挑战：一般而言，像数据仓库系统、BI应用，对处理时间的要求并不高。因此这类应用往往运行1、2天获得结果依然可行的。但实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。网络架构、数据中心、运维的挑战：技术架构的挑战：人们每天创建的数据量正呈爆炸式增长，但就数据保存来说，目前的技术改进不大，而数据丢失的可能性却不断增加。如此庞大的数据量首先在存储上就会是一个非常严重的问题，硬件的更新速度将是大数据发展的基石。领域共性问题大数据处理技术手段StringConvertCountFilterStringTruncateSortIndexingJoinSequenceExtractAggregateSocialMediaMachine&SensorDataMediaWebClickstreamMobileAppsCallLogSplunkBI/ReportingCustomizedSolutionsDatabase/DataWarehouse较常见的解决方案大数据储存大数据处理数据分享数据检索数据分析数据展现分布式软件架构并行计算框架分布式存储横向扩容(Scale-out)架构存储与运算合一BigData运算与存储，单一架构解决9传统并行计算架构并行计算

+

分布式存储运算存储传统存储架构计算与存储一体，计算向数据靠拢，高效专用存储模式为程序员屏蔽通性、并发、同步与一致性等问题任务之间无依赖(share-nothing)，具有高系统延展性(scale-out)利用Hadoop的特性目录1大数据概述2一体机概述103研发思路4应用分析一体机概念念和分类一体机是软件与硬件件相结合的集成系统统产品，其其一般集数据处理、、数据传输输、数据存存储三方面于一一体。一体机通通过预先集成、、测试、优化，能够够实现快速部部署、简化化IT基础架构，，节省资源源，提升系统统高可用性性和可扩展展性。11类型产品数据仓库一体机OracleExadata、Teradata、IBMPureDataSystem（fornzsql）、EMCGreenplum数据库一体机OracleExadata、IBMPureDataSystem（forDB2）、华为FusionCube（forOracle）中间件一体机OracleExalogic、IBMPureApplicationSystem内存数据库一体机SAPHANA、OracleExalytics其他IBMPureFlexSystem、HP

VirtualSystem、思科FlexPod等服务器软件存储网络管理从IT基础设施发展角度看看，复杂的的系统集成成模式已经经成为业务务创新的““绊脚石””简化（预集集成）、优优化的基础础设施才能能为业务应用““云化”提提供更好的的保障大型机一体化、预预集成系统集成一体化预集集成专有技术标标准运行专有软软件运维成本极极高分层（服务务器、网络络、存储））现场集成通用平台，，缺乏对平平台软件优优化开放的技术术标准集成及运维维成本高简化，将平平台软件需需要的基础础设施预集集成优化，针对对平台软件件非功能需需求进行优优化沿用开放的的技术标准准运维成本低低平台即服务务软件即服务务数据即服务务…云GartnerDataCenterConferencepresentationGartner数据中心大大会专题讲讲座WillFabricComputingChangetheConceptoftheTraditionalServer?”,December2011光纤运算是是否会颠覆覆传统服务务器的概念念2011年12月“By2015,35%oftotalservershippedvaluewillbeasintegratedsystems.””“到2015年，35%的服务器都都将以集成成系统方式式交付”UnifiedComputingSystem(UCS)2012.42012.9FusionCubeExadata数据库一体体机Exalogic中间件一体体机Exalytics内存分析机机BigData大数据机从2008年开始，基基于开放的的技术标准准，国内外外厂商纷纷纷开始研制制一体机。。Oracle率先推出数数据库、中中间件、数数据分析以以及大数据据等多款一一体机产品品一体机架构构15负载均衡中间件数据库服务器存储单机，集群单实例，多实例横向、纵向扩展能力CPU/内存比高I/O配置单机HA，群集高随机，高顺序读写性能存储单机，多机串行，并行交易应用数据应用管理应用其他系统高端中端PC服务器刀片存储传统架构一体机架构构一体机通过过把传统架构中的主机、、存储、网网络、管理理软件、数数据仓库或或数据库或或中间件或或虚拟化软软件进行集成成打打包包，形形成成一一体体化化解解决决方案案，，降低低总总拥拥有有成成本本（（TCO），，提提升升整整体体性性能能。一体体机机不不是是简简单单的的将将软软硬硬件件进进行行堆堆砌砌，，而而是是在在软软硬硬件件架架构构上上对硬硬件件性性能能、、软件性性能能进进行行平平衡衡优优化化，以以克克服服传传统统解解决决方方案案在在数数据据管理理、I/O读写写等等方方面面的的瓶瓶颈颈，，针针对对性性的的增增强强系系统统整整体体处处理理能能力力。。一体体机机发发展展背背景景（（一一））--海量量数数据据分分析析驱驱动动16随着信息技术术在人类各项项生产生活中中的应用不断断拓展，可分析的数据呈现现出爆炸式增增长。高效、迅速地从海量数据据中挖掘出潜潜在价值并转转化为决策依依据已经成为为各行业信息息化面临的重重大挑战。海量数据分析面临挑战海量数据难以管理系统性能难以保障复杂分析难以支持解决思路硬件加速、扩充数据缓存高速内联网络、增强线性扩展能力分级存储、压缩存储、列存储技术优化数据查询规则动态负载监控与管理集群能力提升、异地容灾17一体机发展背背景（二）--大并发承载能能力驱动随着信息系统统的深入应用用以及企业对对信息系统的的依赖程度增增加，对软硬硬件平台的并发处理能力力、海量数据处理理能力、系统响应速度度、软硬件平台稳稳定性、软硬件平台可可扩展性等方面的能力力有了更高的的要求，且呈呈上升趋势。。并发处理能力力海量数据处理理能力系统响应速度度软硬件平台稳稳定性软硬件平台可可扩展性一体机发展背背景（三）--简化IT需求驱动18由于前期IT技术与理念的的局限性，信信息化发展过过程中形成了许多复杂的“竖井式””应用，对信息息化管理带来来极大挑战。通过简化IT基础架构，提高硬件资源源利用率，减少投资采采购成本、降降低设备能耗耗和运维成本等措施提提升信息化水水平已成为共共识。设备品牌型号繁杂集成复杂度高高资源利用率低低运维管理难度大面临挑战设备型号标准准化工业化预集成成负载动态均衡衡统一管理平台台解决思路机房空间不足电力能耗大运维成本高面临挑战简化IT架构提升软硬件集成成度减少设备数量量选用绿绿色节节能设设备解决思路软硬件资源池19应对简简化IT架构需需求，，目前前业界界有软硬件件资源源池与专业化化一体体机两种主主流技技术路线线可供供选择择，相相比较较一体体机产产品适适用于于单一一化（（数据据库、、中间间件、、虚拟拟化之之一））的场场景，，软硬硬件资资源池池适用用于多多用途途的通通用场场景。。海量数据据分析简化IT适用于于专业业性要要求低低的通通用场场景开放性强耦合度度低可采购购软硬硬件自自行集集成搭搭建适用于于专业业性强强的场场景开放性性弱耦合度度高由专业业厂商商预集集成封封装专业化一体机一体机机发展展背景景（四四）--技术路路线目录1大数据概述2一体机概述203研发思路4应用分析存储管理分析可视化化软硬件件一体体的创创新数数据处处理平平台针对不同应应用的系列列化产品业务支持团团队提供全国产产的自主可可控方案数据获取重新设计软软件体系结构研发思路：：基于开源软软件和国产产硬件构建建应用级一一体机采用浪潮的的设备做一一体机的硬硬件支撑适用于大数数据处理的的计算单元元有针对性设设计和开发发的适用于于大数据处处理的通用用计算单元元、轻量计计算单元和和重载计算算单元。计算随数据据分布弹性可扩展展业务连续性性保证在Hadoop上有一定拓拓展JobTrackerDataNodeCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUDataNodeDataNodeDataNodeNameNode主备备主备备主备备主备备数据本地化（计算随数数据分布））是指并行计计算框架智智能地将计计算任务指指派到存储储着该任务务所需数据据的节点，，从而避免免传统分布布式计算中中严重的数数据传输瓶瓶颈。JobMapCPU计算和存储储合一DataNodeCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUCPUDataNodeDataNodeDataNode主备备主备备主备备主备备CPU业务连续性性保证是传统分布布式计算中中最为复杂杂的开发目目标。通常常当系统规规模扩展至至百节点以以上时，就就必须应对对计算单元元失效，显显式地保存存和恢复失失败任务。。浪潮大数数据一体机机能够智能能识别失败败任务，自自动将其转转移到备份份数据节点点。使用浪潮的的底层保障障优化系统任任务调度策策略，对任务实实现实时监监控，并动动态调整任任务执行资资源，减少少慢任务数量，提高高整体性能能专注性能提提升和优化化目标：数据据分析一体体机（业务务级）全环节覆盖盖存储、管理理、展现、、分析处理密集型型的重载应应用可重构加速速器件或众众核处理器器，硬件加加速P-1数据处理应用计算能力、、I/O能力、存储储能力均衡衡P-2视频处理等等行业关键数据处处理系统………28研发工作组组织实施（（建议）1.测试环境搭建2.技术验证3.产品规划4.一体机原型样机详细设计5.

一体机试生产6.一体机规模生产7.完成目标设备到位基础环境搭建

概念规划2013.11.1-12.31一体机规划研究思路确定一体机0.1版2014.3.1-5.31一体机产品工艺完善10.1-12.312015.1一体机批量生产6.1-9.30软件平台测试、提升一体机整体设计概念验证2013.12-2014.2熟悉、掌握一体机研发发组织实施施包含测试试环境搭建建、技术验验证、产品品规划、一一体机原型型详细设计计、一体机机试生产、、一体机规规模生产等等六个阶段段。目前以人数数上以学生生主体，如如果有应急急需要，则则以社会招招聘为主体体。目录1大数据概述2一体机概述293研发思路4应用分析应用分析-案例Exadata具有业内普遍认同的最强OLTP处理能力、产品成熟度较高、采用shared-nothing+shared-disk的混合架构，IO吞吐能力强、存储智能化扫描、存储索引;

适用于OLTP与OLAP两种系统、与公司信息系统数据对接程度高;性能扩展方面介于线性扩展与非线性扩展之间，最多可扩展至8个满配机柜（64台计算服务器）；OLTP场景测试表现良好，高传输性能，业界成功案例丰富，产品开放性较低，兼容性有待测评，整体拥有成本（TCO）相对较高。华为FusionCu