基于MongoDB的数据中台技术实现

1、基于MongoDB的数据中台技术实现AGENDA内容大纲1. 现代企业数据架构及痛点5问题1：客户最常用什么方式和航空公司交互？回答时间: 数天？数周？PSDP行程订单主动营销 行为订单触点系统 事件数据FFP旅客信息投诉、行李、 不正常航班大数据 旅客标签手机APP6问题2：某险企新开发保单贷小程序，对接数据需要多少时间？所需时间: 数周？数月？生命 人寿重疾 保险财产 保险推荐 系统客户 标签微信小程序 后台数据库一次性导入+脚本定期增量一次性导入+脚本定期增量一次性导入+脚本定期增量7数据孤岛：低效率和利用困难的根源形成原因事业部门各自建设 数据库性能无法支撑 分库分表数据孤岛的影响数据

2、开发低效：需要大量对接及同步 用户体验下降：数据不完整，不实时 成本增加：重复建设，复用率低8目前解决方案： 数据仓库/大数据平台生命 人寿汽车 保险运动 保险旅游 保险重疾 保险T+ 1数据仓库数据湖9数据仓库和大数据平台的不足生命 人寿汽车 保险运动 保险旅游 保险重疾 保险数据湖T+ 1数据仓库数据抽取不及时！交付方式太粗放面向场景偏分析2. 理解数据中台11什么是数据中台生命 人寿汽车 保险运动 保险旅游 保险重疾 保险T+ 012数据中台定义以打通部门或数据孤岛的统一数据平台为基础，构建统一 数据资产体系，并以API服务方式为全渠道业务(分析+应用) 提供即时交付能力的企业级数据架构

3、13金融数据中台参考架构PC 網銀資料治理 資料質量 資料目錄資料同步 資料開發 資料建模資料去重行動APP金融商城社交化系統第三方支付数 据 平 台服 務開放API應 用貼源層業務 模型 庫客 戶標籤庫推薦模型資料運算 建模資 料 採 集批量導入基於日誌的CDCDB2TXT/CSVSQLServerOracleLegacyIoTAPI 集成分析 模型 庫賬 戶交 易產 品EDWHadoop風 控資 產RESTful APISTREAMING APISQL API客戶中心產品中心營銷中心賬戶中心營銷中心清算中心支付中心精準營銷內部分析數據大屏監管報表數據發現14数据中台的主要价值数据协同 效率

4、数据复用 效率数据交付 速度3. 数据中台的技术模块16数据中台的模块数据即服务 | Data as a Service数据资产体系 数据统一平台T+ 0ETLT+ 1数据同步与汇聚17数据中台技术产品数据平台数据同步数据治理数据服务Hadoop / HDFS / HiveKafkaApache AtlasSpringTeradataKettleInformaticaKongMongoDBFlinkErwinKafkaGreenplumSpark ETLOracleLoopbackMySQL ClusterTalendWhereHowMulesoftOracleInformaticaTapda

5、taCATranswarpGolden GateAPIGeeElastic SearchFlinkTapdataTapdata18数据平台产品分类90s00s10s20s关系型数据库 RDBMS大数据数据仓库 MPPNoSQL/NewSQL19关系数据库/RDBMS 数据库之鼻祖主要特点1980s 1990s取代文件方式数据存 储基于关系模型与 SQL最主流的数据库主要场景交互式业务 资源计划 ERP 客户关系 CRM 业务流程 BPM主要局限严格模式不够灵活 难以横向扩展 难以支持非结构化 40岁了！20数据仓库/MPP 解决关系型数据库的扩展能力问题主要特点2000s突破关系型数据库的 性

6、能及容量瓶颈主要场景批量分析历史数据 Archive 商业智能 BI数据分析 Analytics主要局限解决了90年代的大 数据，但是解决不了 手机时代的大数据 结构严格，不支持非 结构化数据21大数据/Big Data 处理移动时代的海量数据和非结构化数据主要特点2010s突破数据仓库容量瓶颈 有效管理非结构化数据主要场景批量处理历史数据 Archive标签系统 Personalize 推荐系统 Recommend主要局限架构复杂难懂基于HDFS文件系统 批处理为主要目标 性能无法满足交互式22NoSQL 海量，非结构化数据及交互式性能）主要特点2010s分布式架构灵活模型（JSON主要场景

7、实时交互全文搜索 Elastic 高速缓存 Redis 高并发读写 MongoDB日志处理 Cassandra主要局限大部分缺乏事务 性功能不够全面23数据统一平台选型参考海量数据 VOLUME响应时间与并发 VELOCITY多结构数据 VARIETY选型参考RDBMS长板: 短板性能快，人力现成 横向扩展能力MPP长板:短板:基于SQL，分析成本高，开发周期长Hadoop长板:短板:海量能力，大量生态 人力成本，性能低MongoDB长板: 型短板:分布式高性能灵活模多表关联能力NewSQL长板:短板:分布式SQL，低学习 只支持结构化数据4. 基于MongoDB + Tapdata 数据中台

8、落地方案25MongoDB作为中台架构的数据平台优势：多模数据库PrimarySecondarySecondaryPrimarySecondarySecondaryPrimarySecondarySecondaryShard 1Shard 2Shard N路由节点路由节点多工况支持多模多态自动扩展TB PB 海量数据支持无缝扩容应用全透明毫秒级响应时间API 友好目录节点目录节点目录节点26MongoDB对象模型的优势数据采集数据治理ODS贴源传统模式：专业数据工程师数周概念建模逻辑建模物理建模CDMDWSDWD业务数据模型（关系模型）REST APIMongoDB方案: 普通开发工程师 数天

9、基于类似逻辑模型存储业务数据模型（对象模型）REST API27MongoDB: HTAP 全渠道业务支持（交易 + 分析）分析型PrimarySecondarySecondarySecondaryuse = analytics交易型Predictive Analytics & Data ScienceAggregatio nsSecondaryuse = analyticsBI & ReportingCompassBIConnector28MongoDB 触发器APIChange Streams APIBusiness AppsUser DataSensorsClickstreamReal-

10、Time Event NotificationsMessage Queue29Tapdata： 为MongoDB量身定做的中台构建工具集数据建模 数据治理同步机器人 实时采集业务应用移动端/网页端开放数据 数据共享AI 数据底座MongoDB实时分析 自助BI智能API服务数据库权限认证教 师学 生用户班级业务逻辑作业系统前端数据库网上课堂前端数据库教师发展前端权限认证教 师学 生用户班级业务逻辑权限认证教 师学 生用户班级业务逻辑联通数据孤岛 统一认证 统一用户 统一权限教师学生班级权限认证用户数 据 中 台Excel/CSV/XML/Json音频/视频PDF/Word/PPT等等图片教育新

11、闻班级通讯 录从传统的孤岛模式开发数据库作业系统前端数据库网上课堂前端已有系统单向日志同步到颠覆式的中台模式开发主数据管理前端业务逻辑双向读写API教室发展 2.0前端业务逻辑双向读写API31数据同步及处理能力实时异构数据库同步支持数据源 OracleSQL Server Sybase MySQLMongoDB DB2Excel CSV32数据建模能力可视化建模关系型到文档模型 自动转型平台内数据模型 实时联动33数据治理能力元数据管理数据目录 数据溯源 数据质量34数据API发布能力无代码直接发布APIOpenAPI 兼容 行级及列级过滤 自动文档及测试 详尽的权限管控前端数据库权限认证教

12、 师学 生用户班级业务逻辑办公 OA数据库图书管理前端数据库教师发展前端学生班级权限认证用户 教师权限认证教 师学 生用户班级业务逻辑权限认证教 师学 生用户班级业务逻辑打破数据孤岛 统一认证 统一用户 统一权限数 据 中 台前端数据库办公 OA业务逻辑。数据库图书管理前端业务逻辑。前端数据库教师发 展业务逻辑。Excel/CSV/XML/JsonPDF/Word/PPT等等图片音频/视频班级通讯录学校通知教育新闻单向日志同步主数据管理前端业务逻辑双向读写API业务逻辑双向读写API教育中台业务创新：无数据库开发36MongoDB Cluster Scale on DemandOracleSQ

13、LServerPostgresMongoDBMongoDBMongoDBMongoDBMongoDBMongoDBmongosmongosmongosMobile AppWeb AppReport UserReal time DashboardSMSTSPLegacyTXT/CSVAPI ServerSQLIoTLogsTapdata参考小型中台物理部署ReplicatorAPI ServerTapdataHA & Load Balancing5. 中台方案选型38我的选型建议如果：基于MongoDB方案适用度基于Hadoop / 数仓 方案适用度你已经有Hadoop 或者数仓统一平 台一般，有重复建设之嫌疑理想你尚未构建数据统一平台理想一般（投入大，技术复杂）你的中台数据主要为前端交互式应 用服务理想不合适你的中台数据只是为BI分析服务不适合做太多表关联（如10)，或 者配合Spark合适你希望有个比较轻的解决方案，快 速见效快速迭代理想一般你们没有专门的数据工程师理想不合适39基于MongoDB数据中台的优势无缝横向扩展能力TB 到PB级存储能力，支撑一站式企业级数据平台 无下线时间横向扩展能力，始终保证秒级响应能力多类型结构数据模型结构化，