基于NVMe与TCP的超高性能存储解决方案

1、基于NVMe/TCP的超高性能存储解决方案LOCAL NVMELOCAL NVMELOCAL NVMELOCAL NVMELOCAL NVME通过网络做副本和故障 恢复 | 2云原生应用: 新常态低延迟，高带宽稳定一致的操作响应时间应用程序做数据保护使用本地NVMe盘面临的问题:本地盘有效利用率低故障恢复:需要很长时间，服务能力下降严重影响网络性能应用程序只能运行在某些存有数据的 物理服务器上NoSQL, 内存运行, 分布式这些应用对存储的需求:50-85% 的Flash被浪费! | 3Flash闪存利用率非常低容量利用率 15-25%性能利用率 50%云原生应用+ Lightbits的 NV

2、Me/TCP块存储OS WITHNVME/TCP DRIVER副本与恢复OS WITHNVME/TCP DRIVEROS WITH NVME/TCP DRIVEROS WITHNVME/TCP DRIVER | 4存储数据存储服务器集群优势:类似于本地盘性能任意大小的块存储，并实施 精简配置SSD故障不会影响应用层服务器故障:应用程序可以在任意一 台服务器运行故障恢复时间以秒来计 算更高的应用可用性，更 高的服务连续性更高的服务灵活性，Flash使用率，更快的故障恢复 = 低TCOWho and How?Lightbits Labs: When, Where and How成立于 2016年早

3、期Offices: 硅谷, 纽约, 以色列, 阿姆斯特丹, 上海NVMe/TCP协议的先驱，并且标准化了协议2019年3月推出世界上第一个NVMe/TCP 产品强大的投资人背景 | 62009 - 20132014 - 20162017 - 2020Direct-attached高性能的 PCIe SSDsRack-scale通过RDMA 或FC远程访问NVMe SSDsCloud & Hyper-scale通过TCP/IP数据中心级别访问NVMeNVMe-oFNVMe/TCPNVMe超过10年的技术创新Lightbits 团队在NVMe领域的工作和贡献 | 7定义NVMeoFFirst NV

4、Me-rack-scalestorage solutionNVMe/TCP协议的领导者Contributed initiator code toupstream kernelFirst NVMe/TCP productFirst Clustered/Failover NVMe SDS第一代NVMe SSD 控制器Adopted by topHyperscalers and all-flash-arraysFirst Linux & VMware driversLightbits 核心价值标准的TCP/IP 网络丰富的数据服务 | 8多样的配置方式高带宽高IOPs低延迟为 QLC SSD优化提高

5、闪存使用效率计算存储解耦合-存储可单独扩展灵活性和运营效率软件定义块存储，标准的硬件基础设施独立动态扩展存储和计算需求丰富的数据服务高性能低延迟，高IOPS，高带宽降低成本最大化使用率和投资回报比提高闪存的持久性LightOS: Hyperscale Storage For All | 9高性能高可靠的NVMe/TCP的块存储看起来像SAN的逻辑卷，用起来像本地NVMe盘数据服务加速卡高性能低延迟的NVMe/TCP 存储服务器Openstack/KVM and Kubernetes/CSI drivers availableOS WITH NVME/TCP DRIVEROS WITH NVME

6、/TCP DRIVEROS WITH NVME/TCP DRIVEROS WITH NVME/TCP DRIVER应用服务器存储集群标准的TCP/IP 网络NVME/TCP TARGETNVME/TCP TARGET NVME/TCP TARGETNVME/TCP TARGET | 10Intel Ethernet 800 系列网卡带Application Device Queues (ADQ) 功能优化NVMe/TCP的延迟与Intel战略合作提供优化的存储平台Intel Optane Persistent Memory提供高速非易失写缓存及metadata没有电池，电容等要求更大的memo

7、ry, 更低的TCOIntel Xeon Scalable ProcessorsVMD: 企业级SSD 热插拔和LED 管理高性能为存储软件优化Intel QLC 3D NAND SSDs延长QLC寿命，降低TCO优化 $/GB的同时保持高性能和低延迟 11数据服务加速卡压缩纠删码保护闪存优化灵活性和运营效率软件定义块存储，标准的硬件基础设施独立动态扩展存储和计算需求丰富的数据服务高性能低延迟，高IOPS，高带宽降低成本最大化使用率和投资回报比提高闪存的持久性LightOS: Hyperscale Storage For All | 12解耦合方案：标准的NVMe/TCP用最新标准的 NVMe

8、 over TCP/IP | 13iSCSI vs. NVMe/TCPNVMe/TCP 的IOPs随线程数线性增加 (在同样线程下超过iSCSI 6倍) 同时保持低延迟, 最多比 iSCSI低4倍 - 基于同样的硬件环境 | 14同样的硬件，大不一样的结果 | 15更好的性能, 更低的成本优化的 Ceph 集群 (5 OSDs)LightOS 集群(2 服务器)LightOS 优势4K 随机读2,270,0006,000,0003X 倍 IOPs4K 70/30 随机读写IOPs691,1004,000,0006X 倍 IOPs4K 随机写 IOPs463,8001,600,0003X 倍 I

9、OPs4K 随机读延迟3000s (3ms)170s17X 低延迟4K 70/30随机读写延迟6000s (6ms)270s22X低延迟4K随机写延迟11,000s (11ms)450s24X低延迟方案估算成本$185,320 (HW only)$83,272 (HW+SW)45% 成本在相同可用容量情况下 (70TB): 基于LightOS的解决方案提供远超Ceph的性能， 并且成本只有Ceph的约1/2 | 16灵活性和运营效率软件定义块存储，标准的硬件基础设施独立动态扩展存储和计算需求丰富的数据服务高性能低延迟，高IOPS，高带宽降低成本最大化使用率和投资回报比提高闪存的持久性Light

10、OS: Hyperscale Storage For All | 17降低TCOLightOS 使能QLC 闪存:随机=顺序100Gb线速的压缩纠删码(Erasure Code)保护最多提高5倍的持久性Intel P4510 (8T TLC)Intel P4320 (8T QLC)随机写DWPD0.90.2顺序写DWPD3.00.88灵活性和运营效率软件定义块存储，标准的硬件基础设施独立动态扩展存储和计算需求丰富的数据服务高性能低延迟，高IOPS，高带宽降低成本最大化使用率和投资回报比提高闪存的持久性LightOS: Hyperscale Storage For All | 18数据库单实例的

11、数据库 (MySQL, Postgres, Maria DB)分布式/副本机制的数据库 (MongoDB, CockroachDB, Cassandra)数据分析处理传统行业, FinTech日志处理(ELK, Splunk)Apache Kafka streams人工智能AI/ML私有/边缘/混合云基础配置虚拟机容器公有云服务提供IaaS (块存储) -nvme as service | 19Lightbits 存储集群适用场景同一种技术, 两种提供方式LightOS: 带硬件加速卡的软件定义的解耦合存储方案SuperSSD: 完整的存储硬件及服务Turnkey 方案+加速数据服务NVMe Over TCP/IP软件定义全闪解决方案易于管理和部署的SDS一体机方案SuperSSD | 20LightOS核心功能介绍100Gbps 线速压缩，不增加延迟Erasure coding 做数据保护针对TLC, QLC的先进的Flash Management以提高使用寿命Thin provisioning精简配置自动分配到不同故障域的卷 Replication标准化的高可用（ANA），自动failover的 集群方案加速卡NVMe/TCPClientApplicationNVMe/TCPClientApplication