大数据时代存储解决方案

1、大数据时代存放处理方案第1页目录大数据带来哪些技术变革云时代大数据特点12大数据架构和详细实践3第2页大量用户群体海量计算大量数据管理数据分析大数据定义-不一样行业不一样声音第3页云时代大数据特点Volume-巨 量Variety-多样性 Value-价值密度数据量巨大全球在 年正式进入ZB 时代IDC预计到 年，全球将总共拥有40ZB 数据量结构化数据、半结构化数据和非结构化数据如今数据类型早已不是单一文本形式，订单、日志、音频，能力提出了更高要求沙里淘金，价值密度低一部数小时视频，可能有用数据仅仅只有一两秒。怎样快速“提纯”是大数据亟待处理难题实时获取需要信息大数据区分于传统数据最显著特征

2、。如今已是ZB时代，在如此海量数据面前，处理数据效率就是企业生命Velocity-速 度第4页信息采集系统全景介绍政府机构（医保，社保）短信通话统计数据分类数据起源运行商存放区域业务平台汇聚、分析、入库医院大型企业交通信息视频监控 Email社保、医保、住宿、交通视频监控网络信息 准确查询人际关系、行为分析跟随分析、人脸识别通话统计、住宿、交通统计报表短信、Email内容过滤等其它信息统计分析内容查询数据导入第5页大数据在各行业应用社交网络B 2C业务能源媒资地质勘探科研智能电网非线编辑后期制作卫星探测基因工程电子支付票据归档金融互联网公安视频监控视频分析第6页目录大数据各行业需求和应用大数据

3、带来哪些技术变革云时代大数据特点12大数据架构和详细实践3第7页大数据带来技术变革大数据分析处理全球技术研究和咨询企业Gartner将“大数据”技术列入对众多企业和组织机构含有战略意义十大技术与趋势之一；Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术；传统技术升级已满足不了大数据处理需求，“大数据” 技术将在未来35年内进入主流。其技术形态也会产生较大改变；存放瓶颈计算瓶颈网络瓶颈数据库瓶颈第8页大数据带来哪些技术变革单机集群虚拟化集群文件存放单机设备间连接设备内连接关系型数据库横向扩展横向扩展GE FC数据库集群10GE FC IB分布式数据库非关系型数据库块存放10GE

4、 SAS IB FC计算存放数据库网络横向扩展（硬件扩展）块虚拟化丰富增值软件及对外接口横向扩展（硬件+文件系统）文件虚拟化丰富增值软件及对外接口第9页 大数据时代群雄逐鹿第10页Hadoop处理方案架构第11页目录什么十大数据大数据各行业需求和应用大数据架构和详细实践大数据带来哪些技术变革云时代大数据特点12大数据架构和详细实践3第12页在大数据方面不但仅是平台提供商大数据应用开发提供商大数据系统集成商大数据平台提供商大数据管理服务提供商除了含有强大自主研发实力外，还具备丰富集成优化第三方平台经验，可依据用户实际需求，打造适适用户本身特点大数据服务体系；第13页Scaleout BlockS

5、caleout FilesystemScaleout DBScaleout ObjectScaleout backup分布式存放应用适配, Programmable接口通用服务器网络（交换机，路由器）存放节点 分布式计算和分析批处理(Galax HD)实时处理和内存计算近实时分析和MPP DB内存数据库流处理MapReduceHive,Pig,MashoutHBASEHcatalogSQLQuery PlannerMPP ExecData Bridge管控平面设备管理资源管理(YARN,多户,Zookeeper)策略调度日志留存OLAP视频分析数据可视化内容检索数据挖掘 大数据一体化平台集成S

6、qoopData Loader 集成和优化自研组件合作3rd PartyToolHadoop FS API, NFS/CIFS,Posix,ISCSI,S3大数据统一架构FlumeLuceneCloud OS第14页30mins/TB恢复速度安全可信弹性高效存放池内全部硬盘参加重构，仅重构业务数据由传统RAID多对一重构模式转变为HVS多对多快速重构模式数据恢复速度相对传统RAID提升20倍降低95%多盘失效概率大幅降低重构过程对业务影响加速数据恢复传统阵列RAID 2.01TB NLSAS 磁盘重构时间（小时）100.50246810数据重构时间缩短20倍第15页ApplicationsCo

7、ntrollerCPUCacheNORMALNORMALPREMIUMSSDSASSATALOWPriority nPriority 3Priority 2Priority 1Partition 1Partition 2Partition 4Partition Partition 3Partition N关键业务专属保障存放系统自动按照优先级不一样调配资源，确保关键系统资源需求SmartQoS确保关键业务服务质量物理缓存分区，为特定LUN设定专用缓存分区，防止关键业务与边缘业务恶性缓存竞争SmartPartition 关键业务性能保障安全可信弹性高效第16页Smart软件提升客户系统效率数据智

8、能流动SmartTier数据动态分级SmartVirtualization异构数据整合SmartMotion数据动态平衡EMCHDSIBMHW 安全可信弹性高效SmartTier：精细化热点统计与迁移，最大化性能资源利用率，性能提升3倍SmartMotion：基于场景动态布署变更，最大化自动负载均衡，硬盘利用率提升2倍，运维成本下降60%SmartVirtualization：支持对异构存放系统进行统一虚拟化管理，最大化现有投资保护，投资回报率提升50%Smart智能软件SSDSASNL-SAS第17页统一管控，运维一手掌握各类型存放统一管理，化繁为简分层可视化，直观监控，高效排障智能分析提升

9、服务质量，节约成本与移动运维结合，管理更智能存放管理软件统一监控与管理 报警管理 拓扑安全在线存放近线存放安全可信弹性高效第18页亚洲最大兼容性试验室亚洲最大IT产品兼容性试验室，拥有国内最全方面测试环境，产品兼容性得到充分认证，客户兼容性疑虑得到最好解答与全球400家IT厂家合作，影响全球IT生态圈，为客户提供愈加全方面IT产品。超出400家兼容性测试搭档兼容性试验室处理您兼容性顾虑第19页HVS & T系列统一存放存放虚拟化VIS6600TN9000大数据存放面向企业级数据中心实现数据智能布局双活数据中心统一存放资源池面向海量数据存放融合架构简化生命周期管理P15P22P1P8P15P22

10、P1P8P15P22P1P8P15P22P1P8P15P22P1P8Self Organized DisksDHTS3/NFS/CIFS存以智用，融以致远云化存放设计：智能融合可信赖，满足企业需要第20页外企当道、自主乏力当地产/OEM不等于自主可控当地产为是降低生产成本，OEM仅仅是包装存放关键竞争力是研发、设计技术、质量、价格均不可控当地产/OEM 自主可控IDC数据外企当道 安全威胁外企霸占国内市场：国外存放厂商占据国内80%以上市场份额，其中金融业占据90%，交通行业超出80%，电信行业超出90%；威胁国家安全：CNNVD（国家信息安全漏洞库）统计外企在国内重大信息安全漏洞多达6万个第

11、21页存放中国芯专用/通用处理器CPU 自研ARM64，融合存放特征(Raid5/6/DIF/Multicast/DMA)SHA1、Dedup加速卡 最少磁盘，最少电力，满足海量数据备份需求 加速卡实现5GB/s = 18TB/Hr更低成本，更高性价比智能融合IO芯片 Hi1812 10GE,RDMA(10GE),TOE,IOE, FCoE,FC 8G/16G all in one更低成本，更高性价比PCI-E SSD控制芯片Hi1821 支持PCI-E 3.0接口 支持SAS 3.0协议 SAS SSD控制芯片 Hi1811 业界第一颗支持SAS 2.0ASIC控制器公布首款全固态存放系统D

12、orado 2100Red-B Prime 可编程引擎（TOE、IOE、FCoE，RDMA，vSwitch、VTEP和Openflow等协议卸载） PCI-E over Fabric，IO扩展和共享，数据加密压缩Red-B Prime第22页提供最全系列全国产存放产品大数据和云存放数据保护磁盘存放存放软件HDP3500E*VTL6900*固态存放 HyperSnap HyperClone 数据复制软件存放管理软件HyperCopy HyperReplicationDorado2100 G2Dorado510060万 IOPS访问延迟低至500s100万 IOPS访问延迟低至500sHVS85T

13、/HVS88TS2600T/S5500T/S5600T/S5800T216 控制器可扩展至3TB Cache可扩展至 3216 块硬盘05s RPOS6800T可扩展至384GB Cache可扩展至1440 块硬盘25万SPC-1性能统一存放，同时支持块和文件应用可扩展至192GB Cache可扩展至1440 块硬盘S2200T双控制器支持4GB Cache支持204 块硬盘SmartQoSSmartMotionSmartTier UltrPathUltraVRUltraAPMSmartCacheSmartThinSmartX InsightManagement ConsoleInfraControlCSS分布式存放系统N9000大数据存放系统支持Posix/NFS/CIFS/JDBC/ODBC接口多GE互联UDS海量存放系统3288节点，40PB容量扩展，500万OPS 10GE/IB高性能互联标准Amazon S3接口EB级容量扩展高密设计，单柜2PB容量N8500集群NAS系统*全Active架构支持文件和块接口224节点，15PB容量扩展，300万OPS 动态分级存放一体化备份设备PB级海量备份集群架构同时支持Inline与后端重删VIS