大规模集群管理及迁移

DBA,Baidu肖贝贝MongoDB中国大会MongoDB数据迁移主要内容：主要内容介绍:MongoDB在百度云的使用

遇到的问题与解决方法MongoDB集群内均衡MonogDB集群间迁移MongoDB在百度云

应用：百度云首页信息通讯录短信人脸识别数据百度网盘图片元数据日志类记录…数据量与请求量：总的数据量千亿以上.每秒请求数据量很多.MongoDB实例很多.单集群群上几百亿数据.服务保证:可靠服务.遇到的问题与解决方法

遇到的问题：IO问题:IO被打满.换SSD磁盘,加分片.每个分片的组成:2-4台SSD在线服务节点.从是否提供读取决于业务要求:主从延迟.0-1台HDD,延时备份机器.数量不等的投票机器.SSD芯片的选择

:不同芯片的SSD性能有明显差别.iostat的util长期100%遇到的问题：集群可控性问题:封禁与权限问题.问题原因:资源隔离性不够完全.封禁需求:部分用户非法操作:

视为攻击行为.权限控制需求:禁止使用者做昂贵操作与可能导致严重问题的操作:创建索引等...删除索引,删除数据表等...解决办法:

上层权限处理:添加rest接口.遇到的问题：在线建索引

:直接或者后台建立影响性能.导致的问题:建立索引时出现查询写入超时.解决办法:利用复制集单节点失效不影响集群存活的特性,轮转建立索引.先从后主.注意:oplog时间要足够长.连接问题：每个到Mongos的连接都会创建一个到后端分片的连接.导致的问题:客户端数量增加导致连接数线性增长.解决办法:Monogs之前的proxy:连接池.连接问题：导致的问题:分片之间连接影响.解决办法:

使用具有各分片间连接数控制的轻量proxy代替mongos.收益:一个分片响应缓慢不再影响其他分片查询.弊端:不再支持跨分片查询.遇到的问题：均衡问题:服务器负载较高时的均衡性能.设置均衡时间窗口.性能原因定位:删除数据阶段IO问题.解决办法一:

取消均衡数据的同步删除数据阶段,改为后台删除.缓解,不治本.解决办法二:

完全取消均衡数据的删除阶段.BalancerMongoDB集群内均衡

自动的均衡：

...ConfigServerMongos将某个chunk迁移至shard2shard1shard2请接收数据...数据传输...更新ChunkManager更新ChunkManager更新Chunk信息更新Chunk缓存删除或者不删除...增量数据同步...我们的均衡：

...ConfigServerMongosshard1shard2数据传输...更新ChunkManager更新ChunkManager更新Chunk信息WriteBack时更新均衡效果：收益:速度大幅提升.限制:分片必须为复制集.可用于MongoDB数据库扩容/缩容.MongoDB集群间迁移

应用场景：机器过保下架机器操作系统更换机房机器调整业务表在集群之间调整......基本思路：基础数据迁移:查找写入(export+import)或者是(find+insert)增量数据迁移:使用oplogapi切换:业务层无感知基础数据迁移：find数据之后insert到目标mongos遇到的问题:迁移工具长时间运行有意外被杀死的可能解决办法:迁移工具进度记录,可以在任意时间中断并重启基础数据迁移：find数据之后insert到目标mongos遇到的问题:基础数据量太大,迁移阶段oplog滚动一圈解决办法:多线程find+insert,增加数据迁移速度按照shardkey范围进行多次迁移增量数据迁移：oplog回放操作:遇到的问题:oplog回放速度小于oplog增长速度分析:

oplog有序性限制写入.解决办法:同类操作批量进行,如连续写(场景有限).oplog是否可以无序以实现并发.shardkey为保证顺序的最小粒度.增量数据迁移：具体操作:队列读写,shardkey取模分配.队列间并发.收益:同步速度接近极限.缺点:只适用于分片的集合.绝大多数大型集群都被分片.增量数据迁移：问题:oplog格式shardkey在某些oplog中不存在.增加shardkey到所有oplog的o字段.带来的问题:没发现问题.现在,我们所有的MongoDB都是修改了opl