人工智能数据管道与应用

崔畅|联想凌拓存储产品部高级产品经理LenovoNetAppInternalAllrightsreserved1▪数据是人工智能管道的核心▪构建人工智能数据管道▪数据管道在自动驾驶场景的应用▪成功案例赏析sreservedLenovoNetAppInternalAllrightsreserved3455019LenovoNetAppConfidential.Allrightsreserved.6019LenovoNetAppConfidential.Allrightsreserved.7019LenovoNetAppConfidential.Allrightsreserved.LenovoNetAppInternalAllrightsreserved9边缘到核心到云边缘云边缘云工智能和深度学习的单一数据平台核核心入备 1 123边缘入边缘入云备核心 123▪微型数据管理解决方案▪VaultEdge从多传感器整合数据▪运行NetApp软件定义产品ONTAPSelect▪基于存储软件在广域网传输数据▪从终端到核心的快速书移动▪数据保护到数据中心▪行业应用ystemSE▪适用于计算和存储的专用边缘服务器内。▪适应0-55°C的温度，胜任灰尘密度高且高振动的环境▪安全、互联、可靠▪提供网络安全功能，包括密钥加密存储和安全BIOS▪物理安全功能，如锁定边框，入侵和篡改保护机制。▪提供10/100/1GbE，10GbEoverRJ45和SFP+▪敏捷性和远程可管理性▪将IT人员派遣至远程地点耗时耗力，成本高昂。SE350XClarityController支存储和网络基础架构，并加速提供服务 123 123边边缘入核核心备云16©2018NetApp,Inc.Allrightsreserved.NetAppConfidential–LimitedUseOnlyNETAPP联手NVIDIA推出(又称为DGXPOD方案)NetAppONTAPAI优势ipelinefordeeplearning简洁SIMPLE整合INTEGRATED它在终端，核心，云端高效POWERFULx100GbEx100GbE•NVIDIAGPU云深度学习堆x100GbEx100GbE•NVIDIAGPU云深度学习堆栈•NetAppONTAP9存储操作系统•NetAppTrident动态存储供应•NVIDIADGX-1超级服务器•NetAppAFFA800全闪存存储•100GbE以太网交换机xGbExGbE1xNetAppA800•NGC容器镜像云•NetAppCloudVolume5xNVIDIADGX-1kWkW得出1:5甚至更高配置 ▪性能▪延时▪可扩展性▪单一命名空间▪数据移动性▪易于管理核心云数据预处理训练集群部署核心云数据预处理训练集群部署备边边缘入 123CloudManagerCloudManagerManageandmonitorcloudstorageonsiteordirectlyinthecloudCloudVolumeCloudStoragePOSCloudManagerCloudManagerManageandmonitorcloudstorageonsiteordirectlyinthecloudCloudVolumeCloudStoragePOSPOSPOSNetAppNetApp®OnCommand®ManagementSuite▪NetApp®Snapshot®copies▪Deduplication▪Compression▪Encryption▪NetAppSnapMirror®/NetAppSnapVault®▪NetAppFlexClone®volumes▪NFS/CIFS/iSCSILenovoNetAppInternalAllrightsreserved24数据导入 数据导入 档B20%-50%有用数据打过标签的数据训练好的推理模型数据标签模型训练理模型核心(数据处理)云(私有云/近云/公有云)(训练、仿真、归档)公有云近云数据导入20%-50%有用数据模型核心(数据处理)云(私有云/近云/公有云)(训练、仿真、归档)公有云近云数据导入20%-50%有用数据模型打过标签的数据训练好的推理模型经过筛选分类后的数据，根据企业的策略，可以保存在私有云上，用内部的计算(CPU/GPU)和存储也可上传到公有云，利用公有云的计算和存储，根据数据合规保存要求，上传到公有云的数据又可以分为云和近云保存边边缘(数据处理)公有云ONTAPCVO/CVS1xNetAppA800x100GbEx100GbEONTAPSelect4xNVIDIA公有云ONTAPCVO/CVS1xNetAppA800x100GbEx100GbEONTAPSelect4xNVIDIADGX-1xGbExGbE▪主要系统▪业务特点xS▪解决方案r对象存储(StorageGRID)aFabric▪混合云+近云方式▪混合云方式▪▪近云方式1.车端(Edge):ONTAPSelect及边缘硬件2.私有云(On-Premises)：ONTAPAI架构3.近云：按需配置(采购或租用)ONTAPNPS架构OL5.车端数据导入包：车端数据导入设备和软件包▪无处不在--车端、私有云、近云、公有云都可以部署ONTAP*▪灵活部署--支持以软件方式(KVM或VM)或存储硬件部署▪数据访问--支持NFS直接访问，数据分类、训练简单、成熟、稳定▪数据传输--IP可达即可精简传输▪数据归档--内置数据生命周期管理引擎与公有云完全集成▪数据安全--内置快照、备份、容灾全套数据保护方案▪强强联合▪Nvidia/NetAppDGX-POD自动驾驶深度学习参考架构WSNetAppGDSONTAPONTAPIDC统LenovoNetAppInternalAllrightsreserved