Postgres数据库基于持久内存的优化探索

1、Postgres基于持久内存的优化探索PM介绍01目录Contents适配方案和测试结果02进一步探索和挑战03非易失性存储PM的出现必将改变现有存储结构，优化数据访问关键路径。PMNVM是一种快速、可字节寻址、持久、大容量、读写不对称、寿命有限的新型存储硬件l M e m o r y M o d e ： 在B i o s 里设置， 即可将P M 作 为大容量易失性内存使用， 无缝地为传统应用 程序提供了实惠的大容量内存存储网络工业协会(SNIA)发布的编程模型read/writememory-mapped filePMDK(libpmem)Openfd = open(path,flags,m

2、ode);fd = open(path,flags,mode);paddr = pmem_map_file(path, size, flag, mode, &mapped_len, NULL);Allocate -ret = posix_fallocate(fd, offset, len);Map -paddr = mmap(NULL, len, prot, flags,fd, -1);Writeret = write(fd, buff, count);memcpy(paddr, buff, count);pmem_memcpy_nodrain(padd r, buff, count);Flu

3、sh -for(i = 0; iPmemFileOpen-PmemFileOpenPerm-pmem_map_file2、写WAL Log：PmemFileWrite-pmem_memcpy_nodrain3 、 刷 新 WAL log： PmemFileSync-pmem_drain4 、 读 WAL log： PmemFileRead-memcpy5 、 关 闭 WAL 文 件 ： PmemFileClose-pmem_unmap6、文件描述符结构中增加与PM相关的长度和map地址两个属性7、新增加配置项的处理：增加PM路径配置项、wal_sync_method增加pmem_drain方法

4、修改内容涉及文件测试组网和场景测试组网数据库服务器网络客户端wal_sync_methodfdatasyncpmem_drainPG 10.6原生基于pmdk挂载方式Ext4Ext4(DAX enabled)PGDATASSD挂载到AEPCPUIntel(R) Xeon(R) Gold 6240L CPU 2.60GHz 2MEMORY16GB 266612AEPINTEL OPTANE DC 512 GB PERSISTENT MEMORY MODULE 512G 12ATA HARD DRIVE512GB SSD M.2 SATA 3.0 6Gb/s Intel Liberty Harbo

5、r SSDSCKKI512G801 DC S31101测试场景测试设备SELECT场景下采用PM对性能提升不明显。 原因 在于基于pmdk的修改只针对WAL日志的读写，而SELECT不产生WAL日志随机单条INSERT相对SSD提升5倍左右随机等值UPDATE，相对SSD提升4-5倍随机单条等值DELETE相对于SSD性能提升6-8倍PM介绍01目录Contents适配方案和测试结果02进一步探索和挑战03memorydata/index/WAL bufferTrascation ProcessingWalWriter xlog recordBgWriter table indexCheckPoint table indexmemory map filePMDKStorage(PM)data/index fileWAL file进一步探索方案, 其特点：1、数据、索引、CLog、WAL buffer 直接放 在PM中，绕过共享内存2、数据、索引、CLog、WAL buffer按字节寻 址PM,没有磁盘或SSD的I/O3、性能进一步提升：不再写共享内存，直 接写PM，PM写性能比内存略低，并且是持 久化的，因此性能几乎和异步提交性能相同， 同时一致性保障和同步提交类似4、减少写放大，WAL Log块刷新时尾部块在 提交时只写一次热点数据缓存共享内存(锁等)现有方案的局限：