CN119473151A 一种基于持久内存的Ceph缓存系统性能优化方法 （华东计算技术研究所（中国电子科技集团公司第三十二研究所））

一种基于持久内存的Ceph缓存系统性能优本发明涉及一种基于持久内存的Ceph缓存统通过参数优化系统调整缓存和持久内存相关对配置参数的调优，最终获得最优性能参数组21.一种基于持久内存的Ceph缓存系统性能优化方法，其特征在于，基于持久内存的将持久内存设备配置为文件系统模式；使用libpmem库将持久内存设备直接挂载为文在Ceph的配置文件中指定持久内存设备作为缓存设备，在ceph.conf中开启相关的缓在部署后，持续监控Ceph的性能指标，记录Ceph存储系统缓Ceph集群各项指标进行采集和监控，通过开源的数据可视化工具Grafana连接Prometheus根据参数配置值及对应监控结果构成的样本集，建立遗传算法G动态调整缓存大小和其他参数；使用集群管理工具Ansible应用遗传算法执行过程中产生和取值范围，使用random函数在合理有效范围内随机取值；目标调优参数为：osd_map_bytes、target_max_objects、cache_target_dirty_ratio、cache_target_dirty_high_骤S3.2中监控工具收集性能监控结果的具体3MGR内置的cephprometheus模块，成功启用后可通过ceph_exporter的默认监听端口获取得Prometheus服务能够从ceph_exporter获步骤S3.2.5：在当前参数配置下的Ceph系统中通过Ceph自带的Ra测脚本，通过Prometheus和Grafana获取当前参数配置组合下Ceph集群负载情况和相应cur表示当前参数配置组合下的系统单位时间内处理I示经验参数配置组合即参数取值为默认值下的系统单位时算法应用于基于持久内存的Ceph缓存系统参数调优的遗传操作：依据交叉概率和变异概率对参数配置组合进行重新组合45[0002]分布式存储系统作为一种可靠的解决方案，广泛应用于海量数据存储业务中。持久内存可以作为一种高效且可靠的存储介质来使[0005]Ceph存储系统一般使用普通HDD机械硬盘进行数据盘构建，存储系统在面临高速[0007]为了解决上述问题，本发明针对普通HDD硬盘构建的存储系统数据存储性能慢的使用持久内存设备后的存储系统参数提升Ceph存储[0011]将持久内存设备配置为文件系统模式；使用libpmem库将持久内存设备直接挂载[0013]在Ceph的配置文件中指定持久内存设备作为缓存6初始默认取值及该配置下的Ceph集群性能指标；具体使用开源的监控和警报工具Prometheus对Ceph集群各项指标进行采集和监控，通过开源的数据可视化工具Grafana连算法动态调整缓存大小和其他参数；使用集群管理工具Ansible应用遗传算法执行过程中bytes、target_max_objects、cache_target_dirty_ratio、cache_target_dirty_high_}i与相应的性能监控结果iopsi组合，构成一个样本数据项({conf1，conf2，......，conf12}i，久内存的Ceph缓存系统性能调优模型的执行压测脚本，通过Prometheus和Grafana获取当前参数配置组合下Ceph集群负载情况和7}i作为种群中的一个[0033]上述基于持久内存的Ceph缓存系统中，性能指标为单位时间内处理I/O请求次数[0035]其中，iopscur表示当前参数配置组合下的系统单位时间内处理I/O请求次数，expiops表示经验参数配置组合即参数取值为默认值下的系统单位时间内处理I/O请求次exp[0046]通过将持久内存应用到ceph分布式存储系统中，可以实现对系统性能的实时优8法对影响持久内存缓存的主要参数进行调优的方法，最终提升Ceph存储系统整体的性能。[0056]一种基于持久内存的Ceph缓存系统性能优化方法，如图2所示，基于持久内存的[0058]将持久内存设备配置为文件系统模式。使用libpmem库将持久内存设备直接挂载[0060]在Ceph的配置文件中指定持久内存设备作为缓存9初始默认取值及该配置下的Ceph集群性能指标。具体使用开源的监控和警报工具Prometheus对Ceph集群各项指标进行采集和监控，通过开源的数据可视化工具Grafana连执行压测脚本，通过Prometheus和Grafana获取当前参数配置组合下Ceph集群负载情况和[0077]根据参数配置值及对应监控结果构成的样本集，建立遗传算法GA(Genetic}i作为种群中的一个[0080]上述基于持久内存的Ceph缓存系统中，性能指标为单位时间内处理I/O请求次数[0082]其中，iopscur表示当前参数配置组合下的系统单位时间内处理I/O请求次数，[0083]GA算法应用于基于持久内存的Ceph缓存系统参数调优的流程图和伪代码表示如[0084]图3为本发明