阿里云MongoDB技术架构演进与展望

扬帆起航阿里云MongoDB技术架构演进与展望目录阿里云MongoDB发展历程企业级特性内核增强特性数据迁移与同步阿里云MongoDB发展历程产品拓扑结构阿里云MongoDB时间轴MongoDB

4.0上线许可证变更MongoDB

4.2上线产品拓扑结构发展历程数据迁移DMSHDMMongoShakeDTS可视化数据管理RocksDBTerarkDB(已下线)WiredTigerMongoDB

3.4MongoDB

4.0MongoDB

4.2备份物理备份逻辑备份增量备份 快照备份恢复任意时间点全量备份集单库恢复克隆实例存储引擎运行日志审计日志慢日志日志收集HA告警秒级监控副本集分片集群单节点共享独享 独占阿里云MongoDB时间轴发展历程3.2版本公测分布式集群版本2017.02 2017.113.4版本上线2018.094.0版本上线2019.10与MongoDB达成战略合作2019.114.2版本上线敬请期待3.2版本上线2015.12 2016.03MongoDB

4.0上线发展历程跨文档事务支持将文档模型的性能，灵活性与ACID保证相结合。使MongoDB解决各种用户场景变得更加容易。40%迁移速度提升通过迁移时并发写数据，使得副本集新增节点的迁移速度提升了约40%，增强水平扩展的能力。读性能大幅扩展借助事务特性，使得备库不再因为同步日志而阻塞读取请求。在阿里云MongoDB的3.2和3.4版本中也增加该功能，使得备库读取能力有显著提升。发展历程MongoDB

4.2上线分布式事务（Distributed

Transaction）采用二段提交方式，保证分片集群事务的

ACID

特性。极大地

拓

展

了

MongoDB

的

业

务

场

景

，

实

现

从

NoSQL

到NewSQL的飞跃。可重试读（Retryable

Read）增加可重试读功能，提供弱网环境下自动重试能力，降低业务端逻辑复杂性，保证用户业务连续性。通配符索引（Wildcard

Index）对于非确定字段，MongoDB

支持创建通配符索引，覆盖一个文档下的多个特征字段，所以管理更方便，使用更灵活。字段级加密（Field

Level

Encryption）驱动层面支持字段级加密，可以针对特定敏感信息，比如账号，密码，价格，手机号等信息单独加密，避免全库加密，提升业务灵活性和安全性。物化视图（On-Demand

MaterializedView

）通过物化视图缓存计算结果，便于之后多次查询计算结果，提升查询性能许可证变更发展历程2018

年

10

月，MongoDB

宣布其开源许可证将从

GNU

AGPLv3，切换到

SSPL开源许可证变更2019年10月，MongoDB

与阿里云达成合作，阿里云成为国内第一家认可

MongoDB

新开源授权模式的云厂商TO

云厂商：4.0.3以后版本及4.2版本需要得到授权才可使用目前唯一能提供MongoDB

4.2

&

最稳定4.0版本服务的云厂商战略合作企业级特性全链路安全能力秒级监控&同城容灾&索引推荐秒级监控展示索引推荐展示全链路安全能力企业级特性事前专有网络隔离白名单控制账号密码鉴权安全环境免密事中访问链路加密数据落盘加密备份文件加密事后全量操作日志审计秒级监控&同城容灾&索引推荐企业级特性多存储引擎(3.4)秒级监控同城容灾索引推荐秒级监控展示企业级特性CloudDBA索引推荐展示企业级特性查询性能分析自动生成索引推荐报告内核增强特性审计日志物理热备份透明数据加密Oplog自适应&Oplog

GID审计日志内核增强特性信息全面时间/账号/操作语句客户端IP/连接信息/线程ID读/写/慢日志等用户价值业务行为分析安全审计性能诊断物理热备份内核增强特性stable_timestamp=xxxMongoDBOpen

backupcursorOSSWiredTiger.backupWiredTigerDisk

FilesWiredTiger.wt

btreeBackup

metadata:checkpoint_timestamp=xxx…BackupFile

listBackupFile

listFile:(data

source)File:(data

source)File:(dat…a

source)uploadBegin

backup(checkpoint)checkpoint_timestamp=xxxClosebackup

cursorBackup

Done基于WiredTiger原生热备份改进：备份过程无需加锁解决磁盘空间快速增长问题支持单库恢复，极大减少恢复所需数据量，从而缩短恢复时间透明数据加密(TDE)内核增强特性特性密钥不落盘表级加密对客户端完全透明密钥管理阿里云KMS密钥托管/服务账号Oplog自适应

&

Oplog

GID内核增强特性多活支持配合MongoShakeOplog自适应减少Full

resync概率维护增量备位点数据迁移与同步MongoShake高德地图多中心同步阿里云开源项目MongoShake/alibaba/MongoShake数据迁移与同步多种迁移模式：Direct、Kafka

…所有迁移形态：副本集->副本集，副本集->集群集群->副本集，集群->集群极其丰富的功能：全量+增量，表白名单，变更表名，变更索引，断点续传，ddl和shardingddl，过滤orphan文档，解决move

chunk引起的因果一致性问题，阿里云MongoDB的数据多活…即将到来的功能：全量期间增量持久化，完善的监控，自建场景下的多活

…高德地图MongoShake多中心同步数据迁移与同步游戏、互联网解决方案游戏行业业务场景：回档、合服等要求：按时间点恢复、MongoShake等图片图片互联网行业业务场景：业务增长快、数据量大要求：水平扩展、吞吐、高可用等IoT物联网、金融解决方案IoT物联网业务场景：实时写入、计算分