云数据处理-大数据引发的变革与企业面临的挑战.ppt

云数据处理大数据引发的变革与企业面临的挑战,EricChenSYSEX精诚集团BigData事业资深总监eric_chen,mobile大数据(BigData)时代来临,BigData,People,Devices,Sensors,移动互联网MobileInternet,物联网InternetofThings,2,新量级、新处理模式、新企业智能,BigData要解决的问题,Volume,Variety,Velocity,3VsofBigData,什么是半结构化/非结构化数据,4,SocialMedia,Machine/Sensor,DOC/Media,WebClickstream,Apps,CallLog,Log,BigData带来的挑战,不同“看”数据的方式需要更高性价比的数据计算与储存方式不同的数据管理策略超越企业现有IT的数据解决能量,不同“看”数据的方式,6,可视：结构化资料15%,未视：半/非结构化数据85%,DB/DW,主管们看的战情数位仪表板，其实是残缺的,10万GB,10万TB,需要更高性价比的数据计算与储存方式,7,数据库,数据仓库,计算更快存储更省,不同的数据管理策略,当我们想要扩充时，才发觉：架构只能scale-up，scale-out不易处理时间过长，time-to-value受限成本过高，cost-efficiency受限,15%结构化的DB/DW,遗憾,残缺,每天几百GB、几TB的资料，且持续成长中,储存Storing,在收数据的同时做必要的前置处理(pre-processing)，并区分数据处理的优先等级(prioritizing),计算Processing,如何有效的避免因硬件毁坏所导致的资料损毁,管理Managing,如何从中挖掘出所关注事件的pattern或behavior,分析Analyzing,超越企业现有IT的数据解决能量,9,精诚集团BigData事业,10,精诚集团提供BigData解决方案的独立品牌在台北与北京设有研发与专业服务团队我们关注的不只是技术，更在意挖掘BigData对企业的商业价值透过软硬件一体的整合，大幅简化与优化企业处理BigData的种种问题,Appliance大数据一体机,大数据处理的平台解决方案AnUniversalBigDataProcessingSolution企业的资料云硬件与软件一体储存与运算合一,BigData运算与储存，单一架构解决,什么是大数据处理(BigDataProcessing),Logfile:1.5TB/day,HitCount,WordCount,什么是大数据处理(BigDataProcessing),177.23.21.50-15/Nov/2011:00:07:45GET/flower_store/product.screen?product_id=FL-10,3rdpartypre-definedReporting,Filter,StringTruncation,Logfile:1.5TB/day,什么是大数据处理(BigDataProcessing),1.1TBper-day,600GBper-day,什么是大数据处理(BigDataProcessing),177.23.21.50-15/Nov/2011:00:07:45GET/flower_store/product.screen?product_id=FL-10,A,B,C,D,X,Y,Z,O,P,Q,A,D,A,C,X,EventSequenceDiagram,RDBdata,Event范例被浏览的网页每笔网络交易所经历的每个程序或系统.,BigFlatFileforfulltextsearch,什么是大数据处理(BigDataProcessing),Signature,MetaData,MetaData,TagValue,TagValue,App,App,App,App,MediaExtraction,FileTransformation,Appliance的大数据处理,SocialMedia,Machine&SensorData,Media,WebClickstream,MobileApps,CallLog,Splunk,BI/Reporting,CustomizedSolutions,Database/DataWarehouse,18,传统并行运算架构,并行运算+分布式存储,运算,储存,传统储存架构,BigDataParallelProcessingFramework,DistributedFileSystem,Appliance大数据处理一体機的特性,计算与存储一体，计算向数据靠拢，高效专用存储模式为程序员屏蔽通性、并发、同步与一致性等问题任务之间无依赖(share-nothing)，具有高系统延展性(scale-out),19,Appliance大数据处理一体機的特性,20,StructureddataGB,Semi/unstructureddataTB/PB,BusinessIntelligence,ETL/DataWarehouse,DataProcessing,DataVisualization,结构化vs.半/非结构化,DataStorage,DataImport,DataProcessing,Application,Management,ParallelComputingFramework,BigDataProcessingFramework,DistributedSearch,DistributedFileSystem,BigDataStore,DBConnector,RawDataIntegrator,Search(RestfulAPI),Script,SQL-like,Monitoring,LogManagement,Authentication&AuthoritiesManagement,HighAvailability,ResourceManagement,BigData运算与储存，单一架构解决,Appliance的軟體架構,MasterNodeMetaData管理单元管理与调度WorkerNode丛集(cluster)之资源支援HA架构,WorkerNodeBigData的运算与储存单元每台可处理4TB之原始数据(rawdata)可横向扩充(scale-out)至上千Nodes数据自动复制数份在不同的WorkerNodes,Appliance大数据处理一体機,Masternode,Workernode,Workernode,Workernode,Workernode,Switch(1Gbabove),藉由WorkerNode容易扩充的能力可轻易满足数据量成长的需求,最小package1台MasterNode+2台WorkerNodes,Appliance大数据处理一体機,法规遵循可与现有系统或第三方解决方案整合,IT营运智慧可与现有系统或第三方解决方案整合,客服/客诉系统可与现有系统或第三方解决方案整合,Appliance的应用,EtuAppliance大数据处理一体機,信息撷取、储存,处理、运算,索引、标记,搜索、查询,图形、影像搜寻系统可与现有系统或第三方解决方案整合,法规遵循可与现有系统或第三方解决方案整合,IT营运智慧可与现有系统或第三方解决方案整合,法规遵循与IT营运智慧,EtuAppliance大数据处理一体機,信息撷取、储存,处理、运算,索引、标记,搜索、查询,客户属性每天日志文件大于100G，且需保留30天以上希望针对历史资料做更有效运用有较多已定义好之报表需求，能善用数据预处理模式来更有效运用Splunk技术授权产品定位与差异化Splunk+EtuAppliance能同时兼顾实时信息监控与巨量历史信息分析、运算与储存效益原始数据事先自动复制储存、预处理(去除冗余、标记、索引)，能更有效利用Splunk技术优势与授权检索速度快资料自动复制储存横向扩充容易,总持有成本低能同时满足未来进阶日志分析功能需求,客服/客诉系统可与现有系统或第三方解决方案整合,客服/客诉应用,EtuAppliance大数据处理一体機,信息撷取、储存,处理、运算,索引、标记,搜索、查询,客户属性每天日志文件大于300G以上需对不同系统之海量日志作关联比对(Join)需对所储存之日志做快速查询与搜寻(search)希望现有客服系统能很容易查询单一客户之详细单据与原始历史日志文件竞争优势高效能(HighPerformance)扩充易(Scale-outcapability)总持有成本低(LowTCO),Compliance可與现有系统或第三方解决方案整合,ITOperationalIntelligence可與现有系统或第三方解决方案整合,1.1TBper-day,600GBper-day,图形、影像搜寻系统,EtuAppliance大数据处理一体機,信息撷取、储存,处理、运算,索引、标记,搜索、查询,图形、影像搜寻系统可与现有系统或第三方解决方案整合,DB,SANStorage,大量的查询与搜索造成SANStorage接口的效能瓶颈传统Storage对储存海量小文档并不合适,客户情境上亿个影像文檔储存在SANStorage每个影像文文件大小约1020K以数据库来存放每个图像文件之特征值(meta-data),供使用者查询与搜索,数据库对上亿条数据以上的查询效能不佳无法支持全文搜索无法支撑大量的关连性计算与分析,图形、影像搜寻系统,EtuAppliance大数据处理一体機,信息撷取、储存,处理、运算,索引、标记,搜索、查询,图形、影像搜寻系统可与现有系统或第三方解决方案整合,DB,SANStorage,高可靠性高水平扩展性(scale-out)，扩充容易总持有成本低,高效能，储存、处理、查询数百亿条数据没有问题高水平扩展性(scale-out)，扩充容易并支持并行计算框架，可满足海量数据全文搜索与进阶数据分析的需求,运用面向列之大数据库(BigTable)来储存小图像文文件及其特征值,利用分布式文件系统作提供其高可靠性的底层存储支持,法规遵循可与现有系统或第三方解决方案整合,IT营运智慧可与现有系统或第三方解决方案整合,客服/客诉系统可与现有系统或第三方解决方案整合,Appliance的应用,EtuAppliance大数据处理一体機,信息撷取、储存,处理、运算,索引、标记,搜索、查询,图形、影像搜寻系统可与现有系统或第三方解决方案整合,30,BigDat