MongoDB数据库新功能介绍

1、MongoDB 4.2 新功能介绍4.2新功能概述 更全面的事务更强大的查询分析 更佳的弹性更高的安全性更多的部署选项 问答环节议程40分钟电商销售额将达到4.9万亿美元到2021年物联网设备连接数量 将达到750亿台到2025年83%的机构视AI为战 略首选到2019年5G，速度提高20倍，延迟降低120倍到2021年智能手机用户将达到38亿人次到2021年网络犯罪造成的损失 将超过6万亿美元到2021年数据无处不在每家公司都必须变身为数据及软件公司6业务需求加速创新数据驱动降低成本7开发者是关键8开发者是关键，但是几千位C级管理人员在接受调查 时表示，获得合格的开发人员比 获得资本更难，这

2、是公司在发展 中面临的较大制约。开发人员系数，Stripe开发人员每周用于维护和修正错误代码上的 时间占全部工作时间的42%。9MongoDB：为提升开发效率而生最佳的数据管理方式智能地将数据放在需要的地方可自由的在任何地方运行智能数据平台MongoDB的演变3.2文件验证 查找快速故障切换更简单的可扩展性 聚合+静态加密存储器内部存储引擎BI连接器MongoDB指南针 APM集成自动索引构建项目 文件系统备份可线性化读取 内集群压缩 只读视图日志编辑 图形处理 十进制 整理分面导航 聚合+自动平衡+ARM、功率、z系列BI及Spark连接器+指南针+ LDAP授权 加密备份Cloud Fou

3、ndry集成3.43.6变更流可重试写入 表达数组更新 查询表达性 因果一致性一致分片二级读取 操作管理器+查询顾问 架构验证 端对端压缩 IP白名单默认绑定本地主机 对话WiredTiger 1m+集合 表达查找R驱动程序 Atlas跨区域复制Atlas自动存储扩展4.0复制集事务 Atlas全局集群 Atlas HIPAA Atlas LDAPAtlas审计 Atlas附件存储引擎Atlas备份快照 类型转换分片转移速度提高40% 快照读取非阻塞二级读取SHA-2 TLS 1.1+指南针聚合通道构建器 指南针导出到代码 Charts测试版自由监控云服务操作管理器K8s测试版MongoDB

4、Stitch遗传算法MongoDB移动测试版4.2分布式事务全局时间点读取 大型事务可变片键值Atlas数据湖 Atlas自动扩展Atlas全文搜索 Atlas ISO合规性Atlas服务代理 字段级加密多CA及滚动加密 按需物化化视图 通配符索引聚合通道+ 表达更新Apache Kafka连接器 MongoDB Charts遗传算法 可重试读写新索引stepDown速度提高10倍 存储节点监视器Zstandard压缩Ops Manager Headless Backup Ops Manager K8s GAOps Manager Single Agent选择MongoDB数据库的人数越来越多

5、Stack Overflow调查显示: MongoDB是大家 最想用的数据库4.2ACID事务分布式事务Global PiT ReadsMutable Shard Key Values4.2ACID事务分布式事务Global PiT ReadsMutable Shard Key Values查询及分析物化视图通配符索引Atlas数据湖4.2ACID事务分布式事务Global PiT ReadsMutable Shard Key Values查询及分析物化视图通配符索引Atlas数据湖韧性及扩展性可重试读写Stepdown速度加快10倍Zstandard4.2ACID事务分布式事务Global

6、PiT ReadsMutable Shard Key Values查询及分析物化视图通配符索引Atlas数据湖韧性及扩展性可重试读写stepdown 10倍加快Zstandard企业级安全字段级加密多CA审计消耗减少了2/34.2ACID事务分布式事务Global PiT ReadsMutable Shard Key Values查询及分析物化视图通配符索引Atlas数据湖韧性及扩展性可重试读写stepdown 10倍加快Zstandard企业级安全字段级加密多CA审计消耗减少了2/3可在任何地方运行Atlas自动扩展Atlas全文搜索K8s集成多文档ACID事务194.0版中的事务应用程序驱

7、动程序主节点从节点从节点复制集204.2版中的分布式事务应用程序驱动程序Mongos从节点分片N提交主节点从节点Mongos分片1提交分片2提交主节点主节点从节点从节点从节点从节点分片集群事务设计目标与关系性数据库的事务一样多条语句，相似的语法任何应用程序都可使用支持一个或多个集合及数据库中的多个文档分片和复制集中的事务无任何差别ACID一致性保证快照隔离，要么全成功，要么全失败对单一文档操作无性能影响开发人员熟悉的语法对所有编程语言都一致和关系数据库的用法一致简单且易于理解with client.start_session() as s: s.start_transaction() coll

8、ection_one.insert_one(doc_one, session=s) collection_two.insert_one(doc_two, session=s) mit_transaction()MongoDB事务语法try (ClientSession clientSession = client.startSession() clientSession.startTransaction(); collection.insertOne(clientSession, docOne); collection.insertOne(clientSession, docTwo); cli

9、entSmitTransaction();MongoDB事务语法表结构(关系型) 数据库相关的数据被放到不同的多个表中， 跨记录的事务是必须的数据模型和事务不同数据库采用不同方式文档型（非关系型）数据库相关数据存储在一个单独而丰富的文档中。单文档的操作， 无需事务来保证一致性。分布式事务实例支付及交易更新账户金额事件处理填写订单、通知供应商电信收费创建话单，更新每月账单26Mutable Shard Key Values一级节点二级节点二级节点EU片区一级节点二级节点二级节点APAC片区提高分片灵活性使用分布式事务修改片键的值时，将会 移动文档。全局重新分布：重新将文档划归到一个新区域分层存储

10、：将旧文档处理到低成本存储片区修改片键值，无须先删除再插入，并在 应用层保证原子性了。默认60秒运行时间限制分布式事务注意事项使用MongoDB 4.2驱动程序事务在单一的分片上，比跨多个片速度会更快。事务在60秒之后自动中止 （可调），数据库会回滚被 中止的事务。最佳实践：单一事务中，修改的文档不超过1,000份。不支持投票节点。运行事务之时，数据块迁移会受到限制。分布式ACID事务的发展旅程2015年开始，涉及服务器到驱动程序的所有部分。存储层复制协议分片架构一致性和耐久性保证全局逻辑钟集群元数据管理驱动程序关键的工程项目MongoDB 3.0MongoDB 3.2MongoDB 3.4M

11、ongoDB 3.6MongoDB 4.0MongoDB 4.2New Storage engine (WiredTiger)Enhanced replication protocol: stricter consistency & durabilityShard membership awarenessConsistent secondary reads in sharded clustersReplica Set TransactionsDistributed TransactionsWiredTiger default storage engineLogical sessionsMake

12、 catalog timestamp-awareOplog applier prepare supportConfig server manageability improvementsRetryable writesSnapshot readsDistributed commit protocolRead concern “majority”Causal ConsistencyRecoverable rollback via WT checkpointsGlobal point-in-time readsCluster-wide logical clockRecover to a times

13、tampMore extensive WiredTiger repairStorage API to changes to use timestampsSharded catalog improvementsTransaction managerRead concern majority feature always availableCollection catalog versioningUUIDs in shardingFast in-place updates to large documents in WT开发便捷性大型事务超过16MB60秒超时（默认）事务诊断日志中的新相应指标错误

14、处理驱动程序中的回调API31Global PiT Reads应用程序驱动程序Mongos主节点从节点从节点分片1主节点从节点从节点分片2主节点从节点从节点分片NMongos全面的数据一致性控制快照读与全局一致性快照返回一致性数据视图分布于所有片区同步修改查询及索引按需物化视图更快了解您的数据：对一般分析查询的结果进行预 计算和存储在$merge阶段，聚合通道输出现有结果集合，以增 加和丰富视图。每当通道运行时更新。输出到分片及非分片集合在视图上定义索引利用uniqueKey，控制文档如何添加到视图中：Insert, Replace, Merge $merge: to: , on: : 1,

15、. ,whenNoMatch: ,whenMatch: $merge语法_id : ObjectId(5c1d358bf383fbee028aea0b),product_name : Blaster Gauntlet, product_attributes : elements : Fire , Water , price : 250.,_id : ObjectId(5c1d358bf383fbee028aea0c), product_name : Super Suit, product_attributes : superFlight : true,resistance : Bludgeon

16、ing, Piercing, Slashing .,通配符索引可以进行更自然的数据建模，避免 每个存取模式均采用预定义索引多形态文档结构：产品目录、CMS临时查询及数据探索定义过滤器，让索引匹配全部字段、子文档和数组稀疏索引，忽略特定字段覆盖查询及整理一致性高：根据基本数据自动更新根据产品属性，为所有子文档和数 组添加索引其它增强功能更强大的更新语句利用聚合通道表达，基于另一个字段的值评估更新操 作。其它查询增强功能更强大的更新语句利用聚合通道表达，基于另一个字段的值评估更新操 作。新的聚合操作三角表达式（Trigonometry Expressions）舍入（Round Expression

17、）$NOWRegexApache Kafka MongoDB 连接器（测试版）为微服务构建稳固的数据通道和事件驱动架构由MongoDB工程师开发并提供支持，经Confluent验证将MongoDB作为Kafka的汇聚节点和来源予以支持与变更流和Atlas触发器相集成，创建完全响应式事件驱动通道。GitHubConfluent Hub模式验证中支持JSON格式在智能编辑器中定义JSON模式规则自动建议字段名、BSON类型和验证关键字实时预览成功和失败的文档只读视图管理直接定义和创建只读视图直接在导航中查看视图支持MongoDB 4.2和MongoDB Atlas的新特性连接到MongoDB At

18、las数据湖在聚合通道运行全文搜索和使用其他新聚合阶段。利用字段级加密连接实例创建/编辑/删除通配符索引MongoDB CompassMongoDB Charts GA创建、分享和嵌入MongoDB数 据可视化的最快、最便捷方式专为MongoDB文档模型设计， 在Atlas中以服务形式运行或可下 载部署运行新功能：地理空间分析工作负载隔离在网页应用程序中嵌入图表，创 建丰富的用户体验弹性及扩展性可重试读写应用程序驱动程序将更多的错误处理代码从应用程序移到 驱动程序和服务器读取失败时，驱动程序自动重试网络错误，主节点选举30秒后触发，重试一次，保证读取偏好3.6版本引入的可重试写入，现在变成所

19、有驱动程序的默认功能X新的在线索引构建更快生成新索引，对应用无影响充分利用现有前台和后台索引构建速度与前景构建项目一样快，效率同B-Tree一样和后台构建索引一样，对应用无影响缩短维护窗口主节点stepDown速度快10倍主节点立即调用选项，而不需要等待从节点1秒内选择新的主节点保持连接主级节点读取连接保持开放，直到光标关闭清除失败的读取，应用程序等待驱动在主级节点长重启连接维护事件响应更快、更简单，对应用影响较小存储节点监视器大范围故障状况的自救恢复更快节点监控从网络心跳，延伸覆盖文件系统文件系统无响应时，Mongod程序终止如果是主节点问题，触发选举作为Atlas和企业版的一部分，已经被集

20、成到社区版中比初始同步提升15%重构程序更快，并减少源上的负载添加新复制集以增强读取，或移动数据到新区域替换失效或陈旧的从节点同步节点有多个大集合或很多个小集合时，增益最大网络延迟升高时，增益也最大Zstandard 压缩以较低的占用，创建更高效的存储框架相比于snappy，存储容量减少达55%，CPU占用比zlib低应用于集合和日志WiredTiger及加密存储引擎企业级安全客户端字段级加密单独文档字段通过自身密钥加密数据库只看见密文优势多多便捷：自动及透明任务隔离：（简化服务管理，运维无法看到内容）合规：监管“被遗忘权”快速：最小性能代偿通过的客户MongoDB Driver查询及响应验证

21、1db.patients.find (ssn: “901-01-0001 623密钥管理器 4 5加密字段始终按密文存储、传输和检索Pat,Lee,901-01-0001,lee, +1-212-555-1234, 235498firstName: lastName: ssn: email: mobile:medRecNum:Pat,Lee, r6EaUcgZ41Gw . ,K4bSU3TlcIXh . ,oR72CW4Wf SEj . , 235498firstName: lastName: ssn: email: mobile:medRecNu m:FLE查询流程还有哪些新功能？审计消耗降

22、低了2/3还有哪些新功能？审计消耗降低了2/3多证书授权还有哪些新功能？审计消耗降低了2/3多证书授权TLS向前加密还有哪些新功能？审计消耗降低了2/3多证书授权TLS向前加密零停机证书和密钥文件转换还有哪些新功能？审计消耗降低了2/3多证书授权TLS向前加密零停机证书和密钥文件转换密钥管理器集成可在任何地方自由运行MongoDB Atlas 全球云数据库自助服务及弹性全球及云诊断企业级安全及SLA采用最好的操作自动化，按需要进行部署、修改 和升级数据库自动维护在AWS、Azure、GCP的60多个区域可用适用于在任何地方读/写部署，多区域容灾的全局 集群网络隔离、VPC对联、端对端加密和基于

23、角色的 访问控制加密密钥管理、LDPA集成、精细数据库审计数据库及基础框架资源，实现代码操作跨云服务提供商的一致性体验，方便数据转移SOC 2 / Privacy Shield / HIPAA只需要点击几次或API调用，即可向上、向外或向 下扩展。高SLA保证全面监控自动备份Stitch：无服务器平台服务主动警报，超过100个关键绩效指标（KPI）支持恢复到指定时间点后端逻辑、服务集成和API的简单、无服务器功能实时性能追踪和性能顾问可查询的备份快照在简单的字段级访问规则保护下，可从前端设备 访问数据库API与监控仪表盘集成支持分片的一致性快照数据库和验证触发，实时对变化做出反应云数据迁移支撑关键任务负载MongoDB Atlas 自动扩展实体大小自动调整，这样预分配容量可对需求做出反 应监控关键资源利用指标通过UI或API打开或关闭调整实体大小，控制成本在复制集中滚动变化，对应用的影响降到最低自2018年起，提供了自动存储扩展功能MongoDB Atlas 全文搜索（测试版）添加全文搜索功能，作为Atlas集群全面管理服务采用Lucene 8搜索引擎，不需要提供和运行单独的搜索平台与MongoDB查询语言集成，因此不需要学习单独的API动态和静态索引，支持模糊及通配符搜索、布尔型及综合查询、语言分析仪、评