redis容量规划.docx

场景一开始数据比较少，一台服务器的内存就足够，因此一个Redis 就能满足需求，但是随着业务发展，数据量变大，可能需要在多台服务器上运行多个Redis，所以需要将已有的数据进行分片(避免数据丢失),不同的片交给不同的Redis 服务。如果在一开始就考虑到这个问题，在只有一个Redis时，也将数据存放在Redis的不同db中，当增加Redis时，将dump.rdb中的数据按照db切分为多个文件，每个Redis使用各自的db，通过这种方式来实现无缝的扩展，因此需要有脚本能够切分dump.rdb。分片方法我们单服务器的内存是64G，我们估计64* 16G 在很长一段时间内是满足需求的，但是这个数据积累的过程可能比较缓慢，很长一段时间不会超过64G，因此一台Redis 服务器就足够，但是为了考虑到以后的扩展，一开始将数据sharding 到16个db中，也就是说在只有一个Redis时，client每次写数据会先计算key的hash,模16，得到db num，select db，然后写入，也可以为每个db 保持一个client，这样就可以避免每次select db 了。 当需要变更为两个Redis时，为了不丢失数据，需要将原来Redis的数据分为2份，一份是db 0-7,第二份是db 8-15, 用这两个数据启动Redis，就可以实现扩容了，因此必须要要有脚本能够切分Redis dump 出来的dump.rdb， 下面介绍我们的切分脚本：1.dump.rdb 结构： head + db 0 + db 1 + + db n + eof2.修改Redis，在启动过程中打印出每部分的offset3.提供一个c 程序，可以将一个大文件按照指定的offset 进行切分4.将切分出的各个部分进行重新组装例如我们的例子1.初始时dump.rdb 的结构： head + db0 + + db15 + eof2.得到head 以及每个db的offset3.切分出head， db0 + + db7 , db8 + + db15 三个部分4.将head ，db0 + + db7 cat 在一个文件中，并在结尾加上eof，同样，将head , db7 + + db15 cat在一个文件中，加上eof5.用上面的两个文件启动Redis，完成数据切分脚本切分脚本如下echo Usage start-end db startdb=$1 #上面的例子start 0 enddb=$2 # end 是 7 outdb=$1-$2.rdb #输出文件的名字 if ! -f dump.rdb ; then #使用当前目录下dump.rdb 作为源文件 echo no dump.rdb,must have exit -1 fi #使用修改过的redis，打印offset，然后退出，使用awk 得到head 的offset headstart=/global/share/bin/chenjp/redis-db-offset & tmp.log ; cat tmp.log | grep offset | grep -v dbid | awk -F = print $NF headfile=split-0-$headstart #head所在文件 /global/share/bin/chenjp/vsplit dump.rdb 0 $headstart #根据offset 切分文件，0- headoffset 为head dbstartoffset=cat tmp.log | grep dbid=$startdb | awk -F =|, print $(NF-2) #找到db的offset dbendoffset=cat tmp.log | grep dbid=$enddb | awk -F =|, print $(NF-2) if $dbendoffset -eq ;then dbendoffset=ls -l dump.rdb | awk -F print $5 fi echo start:$dbstartoffset:$dbendoffset dbfile=split-$dbstartoffset-$dbendoffset /global/share/bin/chenjp/vsplit dump.rdb $dbstartoffset $dbendoffset #得到db 文件 cat $headfile $dbfile $outdb #拼接 printf xff $outdb #eof #rm -rf tmp.log #rm -rf split-* echo file $dbfile ok, containts db $startdb to $enddb, pls mv to dump.rdb to start redis server redis-db-offset原理而上面的redis-db-offset实现也并不困难，只需要在load的时候将各个db开始的offset值打印也来就行了。diff如下：chenjpnb290 redis-2.4.10$ diff src/rdb.c ././redis-2.4.10/src/rdb.c 959c959 fprintf(stderr,redis_db head finished,offset=%lldn,ftell(fp); 982a983,984 long db_start = ftell(fp) - 1; 988a991 fprintf(stderr,redis_db select,offset=%ll