云环境下分布式存储性能优化实践

ihuatechcomAugust1,2017CONTENT华成立于2000年8月，十余年来在运营商行业树立了良好的口碑。提供的品，在省级电信、联通、移动、广电广泛部署，为上千万终端思华是互动媒体领域的领导者，为运营商客户提供互动电视平台、IPTV。思华长期致力于云计算领域的技术积累和产品研发工作。在2012年相继成立了两个专业子公司，在虚拟化、云计算、大数据领域积极布局。并在美国硅谷成立子公司，跟踪最新技术方向，锻造核心技术。集聚全球智慧，载视频技术领域精耕细作年云计算领域砥志研思年电信级业务的千锤百炼一站式云计算平台和载视频技术领域精耕细作年云计算领域砥志研思年电信级业务的千锤百炼一站式云计算平台和解决方案专家计算平台和解决方案专家13项发明专利97项软件著作权42项软件产品登记证书中国高科技高成长50强稳居行业前三覆盖四大电信／广电运营商552012年即进入云计算行业云存储事业部云计算事业部上海、西安、杭州、南京、美国五大研发中心长期持续研发资金投入国产化自主研发33满足电信级系统要求游戏行业最大混合云案例运营商媒资库PB级部署案例政府云平台PB级部署案例OpenStack基金会成员11SDN交换机NeuSwitch系列付NeuADC系列件SDN交换机NeuSwitch系列付NeuADC系列件砥志研思，奋勇前行系统义存储超融合HCIExpressVM系列MegaBric系列xView系列超融合存储ExpressIO系列性能和稳定性技术方案；x86服务器NeuServer系列储产品•同时实现分布式文件、分布式块和分布式对象存储，按需使用Pft和cinder接口•全对等全分布架构，无单点的故障，搭建高性能、高稳定存储集群•X86体系通用服务器底层，拒绝硬件绑定，支持不同厂家不同型号设备•对业务系统保持透明，集群中各节点对用户透明，同时无需提前规划，支持动态在线横向扩容储特点务护SAN务器X6服务器级WORM技术数据不可修改理删除级数据分层全对等组网，积木式堆叠部署高性能大容高性能➢易运维：硬件状态、卷状态、多维度报表➢跨数据中心：不同数据之间的灾备➢节能环保：存储更加绿色环保，降低数据本易扩容易扩容稳定单产品安全向网络优化(网络优化(RDMA)海量小文件优化磁盘读写优化读取是存储的重要挑战延时是影响性能的重要原因，RDMA技术可以极大的降低网络延时，从而提高性能业务系统对数据的读写，都要通过IO调度策略进行调配，不同的存储介质有不同的读写延时机量机量小文件的挑战全随机属性由于文件的尺寸小的特点，每次读取文件展现出全随机的属性，对于机械盘是灾难性的海量数据由于单文件尺寸较小，单PB数据量巨大，以64KB的文件为例，单PB有效容量，文件数百亿级别高IOPS&高吞吐小文件每次读取的数据很小，如4KB、8KB这对存储提出更高的时间响应要求场景海量小文件存在各种行业，比如公安交通行业监控视频，车牌识别。环境监控行业的各种水文监控数据，空气监控数据等。电信行业各种话单日志；银行行业各种交易记录信息等政务行业相关的社保交易记录，事务接待记录等。这些数据的主要特点就是文件海量，读写全随机等特点元数据管理，数据布局，条带设计，缓存管理都侧重于大文件。小文件情化方案件合并小文件删除修改操作，无法立即收回空间，效率低，磁盘利用率低，无法适应较多删除修改的业务场景缓存技术小文件缓存可以部分提高小文件的读写性能，但是当数据量达到亿级别，所需要配置的缓存数量相当大，存储成本昂贵，当缓存写满以后，性能急剧恶化MEXT文件系统传统的文件系统，主要面向大文件，MEXT文件系统，专门针对小文件，在元数据以及数据分布上进行针对设计MEXT专利技术索引节点(inode)对象:存放关于具体文件的一般信息。每个文件都有一个索引节点对象。每个索引节点对象都有一个索引节点号,这个号唯一地标识某个文件系统中的指定文件block)：保存文件的具体内容信息，保存目录的具体内容部磁盘…888990…108109110…115116117118119120121inodedirdatafiledataNameode.Nameode.MEXT专利技术TypeDirectoryModerwxrwxr-xLinkCount2UserrootGrouprootSize024Timestamp2015/8/8Blocks…888990…108109110…115116117118119120121inodedirdatafiledataSSTypeTyrectoryRegularModeMrwxr-xrw-rw-r--LinkCountLikCount1UserTypeTyrectoryRegularModeMrwxr-xrw-rw-r--LinkCountLikCount1UserrootNameodeGrouproot.SizeSizeTimestamp2015/8/8BlocksBls118,119,120件数据storage…888990…108109110…115116117118119120121inodedirdatafiledataSS车牌识别20KB小文件车牌识别20KB小文件CPUMEM64GBIOPS后小文件性能IIOPS提升50%以上MEXTMEXT提升十倍以上32TCPIP消耗32TCPIP消耗是存储内部数据交换，比如数据冗TCP/IPTCP/IP消耗存储数据侧延时写，网络延时直接影响性能！应用应用侧延时1据➢CPUtomemoryspeed=6-8GBytes/s➢PCI-Expressx16speed=5GBytes/s➢AccesstoRAM=200ns➢AccesstoL3cache=4ns➢Contextswitch~=1000ns(3.2GHz)123123为什么需要RDMA？GbpsmillionsGHzCPU44ns数据包消耗ns120个时钟周期1的网卡可以直接读写另一个服务器2的内存，最终达到高带宽，低延迟和低资源利用率的效果。应用程序不需要参与数据传输过程，只需要指定内存读写地址，开启传输并等待传输完成即可户硬件应用程序 Buffer1Buffer1Buffer1Buffer1RDMA运行于InfiniBand或Buffer1TCP/IP应用程序Buffer1Buffer1户硬件应用程序 Buffer1Buffer1Buffer1Buffer1RDMA运行于InfiniBand或Buffer1TCP/IP应用程序Buffer1Buffer1RDMA优势-原生零拷贝方案机架2机机架2aceaceNIC_drvaceaceNIC_drvaceaceRDMA优势-完整的协议卸载etBasedPayPayloadTCPHPayloadIPHTCPHPayloadETHIPHTCPHPayloadCRCPREETHIPHTCPHPayloadCRCEthernetHeaderPayloadPRELRHGRHETHPayloadCRCsStartDelimiterEXTENDEDStartDelimiter实现RDMA的三种方式InfiniBandInfiniBand–基于专用IB交换机以及网卡，昂贵，无法和业务系统无缝融合oCE级改造方便不够成熟TCP&RDMA延时36912RDMATCP程数令两台机器之间，采用MellanoxConnectX-4Lx25Gb，令采用NFSoverRDMA，通过FIO4K进行测试基于RoCE优化后效果•••••软件•••xE-2650v4CPUDRAM4xIntelS3710SSDonnectXLxGbconnectedRoCEvntukernel思华MegaBric1.6.2版本数据冗余采用3副本模式420%360%300%240%180%120%60%0%FSFSIOPS读IOPSiSCSI写IOPSIO队列主要挑战IO调度IO调度作为存储数据读写的关键要素，直接决定存储性能以及延时。不同存储介质用拥有不同的性能以及实现机制，差异化、精细化的IO调度策IO队列优化优化方向准对云环境下数据写脏数据刷新机制。做到IO的实时计算和实施控制差异化策略化化调度A化化调度精细化队列化队列自适调整4IO求放入到一个FIFO队连续的IO请求进行合并14IO求放入到一个FIFO队连续的IO请求进行合并12绝对公平算法，为进程分配一个请求队数据保证每个IO请求在一定的时间内一定要被服务