mongoDB_on_PowerLinux_v3

1、MongoDB on PowerLinux沈慧DataBase is evolving ! Relational-SQL 关系型数据库关系型数据库 oracle/DB2/MySQL NO-SQL 非关系型数据库非关系型数据库 ，一般不提供事务处理能力，一般不提供事务处理能力 New-SQL 新式的关系型数据库管理系统，针对新式的关系型数据库管理系统，针对OLTP（读（读-写）工作负载，追求提供和写）工作负载，追求提供和NoSQL系统相同的扩展性能，且仍然保持系统相同的扩展性能，且仍然保持ACID和和SQL等特性（等特性（scalable and ACID and (relational and

2、/or sql -access)）MongoDB V2.0DataBase is evolving!MongoDB v2.0NO-SQLMongoDB V2.0NO-SQL 特点 开源开源 大数据量大数据量 高并发高并发 弱事务弱事务 易扩展易扩展 灵活的数据模型灵活的数据模型 解决特定问题解决特定问题MongoDB V2.0NO-SQL DataBaseMongoDB V2.0NO-SQL Job TrendsMongoDB V2.0MongoDB V2.0Open Source 开源软件的编译安装开源软件的编译安装 ？字节序还是障碍吗？字节序还是障碍吗？ Power8 LE 横空出世横空出

3、世 redhat suse ubuntu centos MongoDB V2.0Data Volume 大数据量 S822L 12块内置盘 7R2 6块内置盘 S822L 1TB 内存 7R2 256G内存MongoDB V2.0High Performance Power8 SMT2/SMT4/SMT8 per core 10 core per socket CAPI on chip L3 cahce L4 cache and memory buffer MongoDB V2.0High Performance 高并发S822L 20Core * SMT8 = 160 ThreadsX86

4、80Core * SMT2 = 160 ThreadsMongoDB V2.0High Performance 高并发MongoDB 经典的架构 3节点 replica set主从节点间一直在复制数据主从节点间一直在复制数据从节点间有心跳从节点间有心跳都对并发执行的性能提出了高要求都对并发执行的性能提出了高要求 ! 主节点的单机主节点的单机RAS越高当然越好！越高当然越好！MongoDB V2.0High Performance 低延迟mongoDB CAPI + Flash System -In ProgressRedis CAPI + Flash System - GA MongoDB V

5、2.0High Performance 低延迟MongoDB V2.0strategy ( )Pin buffers, Translate, Map DMA, Start I/OApplicationRead/Write SyscallInterrupt, unmap, unpin,Iodone scheduling20K instructions reduced to /sys/block/sda/queue/read_ahead_kb增大队列增大队列,默认默认128：echo 512 /sys/block/sda/queue/nr_requests尽量不使用交换区尽量不使用交换区,默认默认

6、60：echo 0 /proc/sys/vm/swappinessIO调度调度,默认默认cfq：echo deadline /sys/block/sdx/queue/scheduler调整IO后编译前上面针对IO的优化没有太多的提升，后根据x86测试时的对比，并且通过Perf 工具抓取的运行时数据，发现大量STD模板库占用过多的CPU，尝试通过优化代码来提升性能。第三轮瓶颈分析调整IO后编译后优化方法介绍编译工具：AT 7.0优化后的编译选项：CCFLAGS=-fpic -ftemplate-depth-64 -fpeel-loops -funroll-loops -ftree-vectori

7、ze -fvect-cost-model -O3 -mcpu=power7 -mtune=power7 -maltivec -mvsx -mhot-level=1 -mcmodel=medium -Wl,-q THRDEFS=-D_REENTRANT -D_THREAD_SAFE -DPTHREADS -DTHREAD -D_RWSTD_MULTI_THREAD -D_GNU_SOURCE LDFLAGS=-lpthread -ldl SHLDFLAGS=-shared lpthread优化前的编译选项：AT（Advance ToolChain7.0）:CCFLAGS=-fpic -ftemp

8、late-depth-64 -O3 -qarch=pwr7 -qtune=pwr7 -qaltivec -qhot=level=1 -Wl,-qTHRDEFS=-D_REENTRANT -D_THREAD_SAFE -DPTHREADS -DTHREAD -D_RWSTD_MULTI_THREAD -D_GNU_SOUORCE LDFLAGS=-lpthread -ldl SHLDFLAGS=-shared -lpthread调整IO后编译后优化工具介绍AT (IBM Advanced Toolchain for PowerLinux)7.0是一组开源开发工具和运行时库，它使用户能够在 Lin

9、ux 上利用 IBM 最新的 Power 硬件特性。CCFLAGS=-fpic -ftemplate-depth-64 -fpeel-loops -funroll-loops -ftree-vectorize -fvect-cost-model -O3 -mcpu=power7 -mtune=power7 -maltivec -mvsx -mhot-level=1 -mcmodel=medium -Wl,-q fpic -生成共享库中使用的 Position-Independent Codeftemplate-depth-64 控制模板递归深度fpeel-loops -减少无用的循环次数fun

10、roll-loops -仅对循环次数能够在编译时或运行时确定的循环进行展开，生成的代码尺寸将变大ftree-vectorize -开启向量化fvect-cost-model -向量成本模型mcpu=power7 -基于Power7CPU的架构来编译mtune=power7 -基于Power7CPU的架构来优化maltivec -在Power平台 上开户向量化还需要这个开关mvsx -生成可以使用向量和无向量指令的代码mhot-level=1 -热点代码1级mcmodel=medium 产生power平台64代码 ，静态数据可以达到 4Gb调整IO后编译后业务分析测试数据硬件平台硬件平台PowerPower速率（条速率（条