MongoDB开发架构实践

1、MongoDB 开发架构实践议程1.连接设置性能相关模型设计架构相关连接设置问题: 1个mongos 不可用，应用整体延迟增高，性能明显下降配置: connection string: mongodb:/mongos1:port,mongos2:port,mongos3:portmongodb version:3.4.13 driver :C 1.5.0连接设置原理:serverSelectionTimeoutMS 30slocalThresholdMS 15ms单线程模式C Drivers连接池模式议程1.连接设置性能相关模型设计架构相关索引索引的选择性索引索引的选择性索引前缀 a: 1,

2、b: 1, c: 1 a: 1 a: 1, b: 1 a: 1, b: 1, c: 1 filtersort. a: 1sort. a: 1, b: 1sort. a: 1, b: 1, c: 1 sort( a: 5 ).sort( b: 1, c: 1 )( a: $gt: 2 ).sort( c: 1 )索引索引的选择性索引前缀复合索引：等值 排序 范围db.restaurants.find( “,avgcost”: $lte: 300cuisine: Sushi).sort(stars: 1)db.restaurants.createIndex( “cuisine”: 1,“stars

3、”: 1,“)avgcost”: 1 等值排序范围索引索引的选择性索引前缀复合索引：等值 排序 范围索引创建foreground：快 锁库Background: 慢 mongoshell不会退出从节点启动到standalone模式，手工创建索引，再加入复制集索引索引的选择性索引前缀复合索引：等值 排序 范围 索引创建$indexStatsdb.collection.aggregate( $indexStats : , $project : key: 1, accesses.ops: 1 ).prettyCRUDupdatedb.foo.find()db.foo.update(a : 5, b

4、: 5, $set : c : 10, upsert : true) db.foo.find() _id : ObjectId(5a014bab2e7289371f61d474), a : 5, b : 5, c : 10 db.collection.update(, , )multi : 犬人falseCRUDupdate Bulk Writedb.collection.bulkWrite( , , . ,writeConcern : ,ordered : )order顺序插入数据，中间出现错误则退出Unorder并行插入，遇到错误不会退出CRUDupdate Bulk Write 写关注

5、w: , j: , wtimeout: w : 数据写入节点后向客户端确人w: 1 犬人w: 0majority”J ： 确人写操作写入journalwtimeout: 写入超时时间，仅w大千1时有效CRUDupdate Bulk Write 写关注countdb.collection.count()db.collection.find( a: 5, b: 5 ).count()db.collection.aggregate( $match: , $count: myCount )CRUDupdate Bulk Write 写关注count$inc/post/171353301/using-m

6、ongodb-for-real-time-analytics议程1.连接设置性能相关模型设计架构相关模型设计内嵌引用富JSON、包含关系、对多更快的查询性能关联数据原子更新内嵌大星数据重复且查询无法受益多对多大的层级结构模型设计关注、粉丝信息内嵌在用户集合#users_id : Messi, fullname : LeoMessi, country : Argentina,followers : Neymar, C Ronaldo,following : Neymar, C Ronaldo结构清晰查询快速但是用户集合增长粉丝数星剧增(16M)数组操作代价高模型设计#followers“_id”

7、 : ”ObjectId(),”from : Neymar,”to : Messi“_id” : ”ObjectId(),”from : C Ronaldo,”to : Messi “_id” : ”ObjectId(),”from : Messi,”to : C Ronaldo“_id” : ”ObjectId(),”from : Messi,”to : Neymardb.followers.find( from : “Messi”,_id:0, to:1)挴西关注了谁:db.followers.find( to :“Messi”).count()#索引“v” : 1，“key : “fro

8、m” : 1, “to” : 1 , ”name : ”from_1_to_1 挴西有多少粉丝:#索引“v” : 1，“key : “to” : 1, “from” : 1 , ”name : ”to_1_from_1 模型设计分片#索引“v” : 1，“key : “from” : 1, “to” : 1 , ”name : ”from_1_to_1 “v” : 1，“key : “to” : 1, “from” : 1 , ”name : ”to_1_from_1 targeted to shard使用from分片某人关注了谁#followers“_id” : ”ObjectId(),”f

9、rom : Neymar,”to : Messi#following“_id” : ”ObjectId(),”from : Neymar,”to : Messi原则:平衡应用MongoDB机制 数据读取场景某人被谁关注了scatter-gather to all shards议程1.连接设置性能相关模型设计架构相关系统配置版本数据一致性网络安全硬件配置系统配置架构OSJournal配置认证与权限控制内存大小和WT Cache内核和文件系统选择复制集压缩和加密对硬件的要MongoDB脏读配置通讯加密求启用NTP分片集Driver写关注存储加密SSD和readahead禁用atime压缩算法选择网络监听禁用NUMAulimit配置防火墙SWAP空间禁用Huge Page审计RAID配置禁用SELinuxMongoDB独立账户远程文件系统TLS/SSL库https:/do/禁用服务器端脚本manual/administration/pro分散存储 otesduction-n内存过量(VMWare)https:/do/ma连nu接al池/tu大to小rial/TCP KeepAlive