Nautilus企业级流数据存储分析平台方案

1、Nautilus企业级流数据存储分析平台方案技术创新，变革未来Nautilus之流动的存储世界80 % 数据=非结构化数据资产三种不同数据类型具有不同的特征 对象文件流数据nfidential流Internal Use - Co流数据存储和计算分 析引擎的动态扩缩容数据处理端到端 的一致性保障企业级产品 标准统一的数据 访问接口实时流数据和历史 数据的整合数据的处理和 存储能力如何定义一个成熟流数 据处理平台？ 当前复杂的DIY 大数据平台方案ETLSensorsApp logs Mobile devicesSILOED, REAL-TIME BATCH, & INTERACTIVE ANAL

2、YTICS历史数据处理数据注入实时数据处理多余的数据拷贝，复杂的数据处理应用和开发模式无法保障数据的一致性系统架构没有弹性，导致存储资源浪费非实时流数据处理引擎无法处理幂等操作，结果精确性无法保证当前复杂的DIY 大数据平台方案实时数据处理ETL数据注入SensorsApp logs Mobile devicesSILOED, REAL-TIME BATCH, & INTERACTIVE历史数据处理基础架构和数据处理平台人员无法保证数据安全和提供数据隔离平台只能通过手工扩容，缺乏弹性数据科学家和应用A开NA发LYT人ICS员应用开发与维护复杂，需实现历史数据和实时流数据的接口访问INTRODU

3、CINGDell EMC Data Streaming Platform助 力新 应 用 创 新基 础 架 构化 繁 为 简赋能 海量数据 应用场景减 少平 台 建 设 及运 维 成 本DellEMCDataStreamingPlatform案例场景现代化工业 I o T 设备实时状态监控和异常检测设备维保预测 工业制造机器人自动驾驶汽车金融领域 风险控制（如：防欺诈）实时交易数据合规监测网络拥塞和故障预测医疗行业 病人健康状态实时监控和预测Dell EMC Data Streaming Platform/ 实时流数据处理的真“面容”历史数据处理 基于历史数据的机器学习和AI框架非实时的金融分

4、析报表实时事件处理 IoT传感器消息机器日志文件消息Web 事件实时流数据处理 实时无人视频流分析工业制造缺陷产品自动检测实时自动监控和安全隐患监视Hadoop当 前 P u b / S u b 消 息 处 理 系 统 (e.g. Spark/Kafka)Dell EMC Streaming Data Platform数据注入和存储PravegaSQLJava ScalaDELL EMC STREAMING DATA PLATFORMSecure | Integrated | Efficient | Elastic | ScalableDell Technologies Reference A

5、rchitecture实时和历史数据统一的 商业价值分析和存储持久化存储IsilonECS/ECS FlexFlinkSparkJobJob统一计算分析平台JobDell EMC Streaming Data Platform /平台架构总览 数据 科学家Kubernetes典型应用场景工业 IoT实时视频流分析汽车自动驾驶INTERACTIVE ANALYTICSBATCH PIPELINEREAL-TIME PIPELINEINGESTION ENGINE使用历史数据进行分析， 并生产相关的分析模型实时数据处理的应用 需单独开发，与历史 数据处理无法共享数 据接口处理逻辑工业制造 - 生产

6、线实时异常检测DIY 数据处理框架工业生产线DecoilerLevelerLubricatorPress结果不能实时的产生， 无法掌握产线实时状态结果准确度没有保障 (e.g. 无仅一次语义， 不能处理幂等操作)每个产品的生产制造会贯穿产线中的每个设备每个设备都会实时产生数据工业摄像头实时采集产线数据并写入到数据存储中包含多种数据类型（视频流和传感器数据）统一 数据呈现统一数据处理引擎数据注入Tier 2 | Isilon/ECS统一的数据接口为采集的数据提供一致的访问方式单一的数据处理引擎同时实 现流数据和历史数据的处理Pravega自动实现数据存储 分层，上层数据处理应用无 感知，提供高效

7、的存储效率工业制造 - 生产线实时异常检测Dell EMC Data Streaming Platform工业生产线每个产品的生产制造会贯穿产线中的每个设备每个设备都会实时产生数据DecoilerLevelerLubricator工业摄像头实时采集产线数据并写入到数据存储中包含多种数据类型（视频流和传感器数据）Press根据真实业务量大小实时 动态调存储并发度提供极高的存储/能耗比精细化安全管理保护数据安全，明确定义数据边间，提供部门间的数据隔离运用仅一次语义保障数据的 操作的幂等性， 简化了应用 对数据完整性的实现难度某德国物流公司案例Dell EMC Data Streaming Plat

8、form财务物流制造工程实时视频流& 遥感流数据财务历史数据/分析报表货车IoT传感器实时数据流统一 数据呈现统一数据处理引擎数据注入Tier 2 | Isilon/ECS支持数据源和数据格式的多样性提供各个部门之间的数据安全隔离实时动态调整存储并发度为数据分析算子正常运行护航Nautilus企业级流数据存储和分析平台存储和计算 动态扩缩容便捷的 IT 管理 简单的数据 处理应用开 发和维护 企业级的数据 安全保证企业级数据安全保障存储和计算动态扩缩容便捷的 IT 管理 简单的数据 处理应用开 发和维护 企业级的数据 安全保证 通过设置多租户帮助企业内 的数据和应用处理进行隔离Nautilus

9、 基于Kubernetes 进行功能扩展，提供了额外 数据保障、数据隔离机制各个租户能够独立地部署应 用，与其他租户的应用和数 据完全隔离企业级弹性数据分析平台存储和计算 动态扩缩容便捷的 IT 管理 简单的数据 处理应用开 发和维护 企业级的数据安全保证每个租户内数据流能够根据 具体应用场景进行分类管理每个数据流可以定义个性化 弹性扩缩策略，提供了优秀 的数据注入性能动态扩缩机制依据数据源动态的变化，弹性地优化存储对外提供的并行度企业级弹性数据分析平台存储和计算 动态扩缩容便捷的 IT 管理 简单的数据 处理应用开 发和维护 企业级的数据安全保证流数据的并行度根据数据源的实时状况（如：吞吐，

10、事件量）自动调整企业级IT 运维能力便捷的 IT 管理 简单的数据 处理应用开 发和维护 企业级的数据安全保证存储和计算 动态扩缩容统一的Flink计算集群管理界面提供多样的数据保留策略（如：time, bytes ）创建和管理Flink集群企业级IT 运维能力便捷的 IT 管理 简单的数据 处理应用开 发和维护 企业级的数据安全保证存储和计算 动态扩缩容丰富的实时监控仪表盘，展示 数据流、存储和平台运行状况。企业级轻量应用开发框架简单的数据 处理应用开 发和维护 企业级的数据安全保证存储和计算动态扩缩容便捷的 IT 管理 单一应用同时面向历史数据 和实时流数据的处理应用通过统一的数据访问所

11、有数据应用开发框架简单21Intel Advanced Vector Extensions 512 (Intel AVX-512)Skylake-SP introduces 512-bit vector capability up to 2x improvement in peak performance over AVX216 SP/8 DP Flops/Cycle256-bit basic FP16 registersNDS (and AVX128)Improved blendMASKMOVImplicit unaligned32 SP/16 DP Flops/CycleFloat162

12、256-bit FP FMAs (Fused Multiply-Add)256-bit integerPERMDGatherUp to 2 512-bit FMAs512-bit FP and Integer32 registers8 mask registers64 SP/32 DP Flops/Cycle (SKUs with 2 512-bit FMAs)32 SP/16 DP Flops/Cycle (SKUs with 1 512-bit FMA)Embedded roundingEmbedded broadcastScalar/SSE/AVX “promotions”Native

13、media additionsHPC additionsTranscendental supportGather/ScatterDell Customer Communication - ConfidentialIntel AVX* and Intel Turbo Boost Technology 2.0AVX-optimized workloads still see significant performance benefit (when compared to non-AVX workloads)Some processors with turbo may not achieve an

14、y or maximum turbo frequency when running Intel AVX* instructionsRated BaseRated TurboAVX BaseAVX TurboFrequency (GHz)Intel Advanced Vector Extensions (Intel AVX)* are designed to achieve higher throughput for certain integer and floating point operations. Due to varying processor power characterist

15、ics, utilizing AVX instructions may cause a) some parts to operate at less than the rated frequency and b) some parts with Intel Turbo Boost Technology 2.0 to not achieve any or maximum turbo frequencies. Performance varies depending on hardware, software, and system configuration and you should consult your system man