海量数据存储解决方案

1、海量数据存储解决方案建立数据湖从海量数据谈起到2020年,互联网将连接76亿人2000亿设备数据量每两年会增长一倍目前: 20 Zettabytes2020: 4050 Zettabytes1 ZB = 10亿 TBs44 ZB 大概是地球上所有沙滩的沙粒数字总合的50倍数据来源：IDC3201571 EB全球发售的总容量非结构化数据所占的比例75%78%80%2016106 EB2017133 EB非结构化数据的占比海量数据的组成传统数据源结构化数据非结构化数据Dark Data公共记录位置信息社交媒体联网设备新兴数据源需要处理任何不能用传统系统处理的数据集数据湖与数据仓库湖泊的无限可能用于

2、分析各种来源、原始格式的数 据的企业数据管理平台将数据以原始格式迁移到数据湖中数据被放进数据湖后，可以方便的 利用工具直接对这些数据进行分析- Gartner数据湖的解读数据永远处于数据湖中生命周期的各个阶段都在数据湖中完 成部分数据有相对的生命终点归档绝大部分数据都在数据湖中周而复始的生存、演化数据湖中的数据生命周期精准农业提高产量智能衣服知道人体的感觉隐性眼镜控制血糖温控器知道你出门时间运动手环 了解你的运动量智能眼睛 引导路径无人飞机传送货物寻找海量数据中的价值产品性能提升商品推荐客户分析供应链优化风险预测?需求场景, 分析工具, 存储/数据构建数据湖的阻碍SourcesSourceHa

3、doop大容量/快速增长多种数据源低效浪费数据安全海量数据存在海量问题SourcesSourcesSourceHadoop共享存储多协议支持高可靠性横向扩展能力Shared StorageData LakeDELLEMC数据湖SMB, NFS, HTTP, FTP, HDFS, S3,Swift, Restnodeinfo nodeinfo nodeinfo nodeinfoMAPReduce MAPReduce MAPReduce MAPReducedata nodeIsilon/ECSname nodename nodename nodename node决策支持数据库网络数据OLAP数据

4、仓库Step 1:大部分数据直接存入Hadoop集群Step 2: 运行命令Hadoop ClusterIsilon/ECS 数据湖基础Isilon/ECS组合DATA CENTERUSERSSmartPools Policy30 days高性能30 days-2years2 years大容量CloudCloud数据自动流动GEO数据湖国际知名汽车技术产品供应商汽车与智能交通，智能驾驶各类型测试的影像、雷达、传感器、日志等数据客户遇到的挑战数据增长过于迅速2015/30PB多个团队多个应用需要处理相同的数据集效率决定效益DellEMC产品3个满配的Isilon存储集群，每个集群144个存储引擎

5、集中化存放所有的非结构化数据通过强大的权限管理实现数据的安全共享成功案例Bxxxx国际知名的半导体制造公司全球有十数个晶圆工厂和封装测试工厂员工达数万人客户遇到的挑战数据增长过于迅速数据类型复杂MES/VDI/Hadoop/IC design/员工个人数据等效率决定效益DellEMC产品多套存储集群分布于不同工厂业界内第一性能的全闪存储集群助力客户冷热数据智能分层（无数据迁移工作），降低TCO保护客户投资成功案例TXXX国际知名的消费电器、暖通空调、机器人及工业自动化系统、智能供应链（物流）科技集团客户遇到的挑战没有专业的非结构化数据存储平台非结构化数据增长快而且类型复杂邮件/EBS/个人共享

6、数据等不同应用的性能需求各异DellEMC产品不同性能的产品组成的统一集群，多种应用使用同一访问点智能分层，同时处理不同性能需求的数据集管理简单，而且大量冷数据可以通过SAN实现NDMP备份成功案例Mxxxx项目概述采用ECS云存储建设了企业数据归档平台，实现邮件及内部OA业 务系统历史数据统一集中归档管理，以符合上市公司法规遵从性 要求。项目背景采用独立的、孤岛化的本地服务器内置硬盘方式存储保存非结构 化数据资源分散，孤岛化、利用率低、管理复杂（大于100个服务器）法规遵从性要求，上市公司合规要求数据归档可查传统NAS无法适合海量小文件数据类型的存储要求技术要求横向扩展、跨节点实现云存储架构

7、，并支持多活方式全公司8万人，邮件平均300KB，历史邮件约4亿封需要归档项目目标建设稳定、高效、跨节点的历史数据归档平台长远支持企业内部非结构化数据归档需求EMC的方案满足邮件归档的高速读写性能与归档应用厂商集成，实现OA及email系统的历史归档功能跨几十公里的双站点双活存储方案，并支持应用级双活客户收益采用云存储技术构建了企业级历史数据归档平台满足合规和法规遵从性要求实现OA及email历史邮件归档能力跨站点双活存储架构满足数据安全性要求成功案例ZxxxxBIG DATAWILL REDEFINEEVERY BUSINESSIntel Advanced Vector Extensions

8、 512 (Intel AVX-512)Skylake-SP introduces 512-bit vector capability up to 2x improvement in peak performance over AVX2Intel AVX(Sandy Bridge & Ivy Bridge)16 SP/8 DP Flops/Cycle256-bit basic FP16 registersNDS (and AVX128)Improved blendMASKMOVImplicit unalignedIntel AVX2 (Haswell & Broadwell)32 SP/16

9、DP Flops/CycleFloat162 256-bit FP FMAs (Fused Multiply-Add)256-bit integerPERMDGatherIntel AVX-512 (Skylake-SP)Up to 2 512-bit FMAs512-bit FP and Integer32 registers8 mask registers64 SP/32 DP Flops/Cycle (SKUs with 2 512-bit FMAs)32 SP/16 DP Flops/Cycle(SKUs with 1 512-bit FMA)Embedded roundingEmbe

10、dded broadcastScalar/SSE/AVX “promotions”Native media additionsHPC additionsTranscendental supportGather/ScatterIntel AVX* and Intel Turbo Boost Technology 2.0AVX-optimized workloads still see significant performance benefit (when compared to non-AVX workloads)Some processors with turbo may not achi

11、eve any or maximum turbofrequency when running Intel AVX* instructionsRated BaseRated TurboAVX BaseAVX TurboFrequency (GHz)Intel Advanced Vector Extensions (Intel AVX)* are designed to achieve higher throughput for certain integer and floating point operations. Due to varying processor power charact

12、eristics, utilizing AVX instructions may cause a) some parts to operate at less than the rated frequency and b) some parts with Intel Turbo Boost Technology 2.0 to not achieve any or maximum turbo frequencies. Performance varies depending on hardware, software, and system configuration and you should consult your system manuf