【FFA 2026】Real-Time Analysis 2 Flink CDC 在腾讯云WeData 数据集成平台的应用与实践_第1页
【FFA 2026】Real-Time Analysis 2 Flink CDC 在腾讯云WeData 数据集成平台的应用与实践_第2页
【FFA 2026】Real-Time Analysis 2 Flink CDC 在腾讯云WeData 数据集成平台的应用与实践_第3页
【FFA 2026】Real-Time Analysis 2 Flink CDC 在腾讯云WeData 数据集成平台的应用与实践_第4页
【FFA 2026】Real-Time Analysis 2 Flink CDC 在腾讯云WeData 数据集成平台的应用与实践_第5页
已阅读5页，还剩17页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

演讲人范佳腾讯研发工程师演讲人腾讯云WeData介绍腾讯云WeData数据开发治理平台云端一站式数据开发治理平台异构数据源的深度适配兼容各种数据源变动的复杂场景源端不停变动的情况下，能够正常提供服务复杂的网络环境环境下，提供开箱即用的数据集成服务多种数据同步方式运维监控WeData实时集成模块架构和原理基本架构和原理接入层接入层版本管理任务开发任务运维版本管理任务开发管控层关键事件展示任务渲染数据源管理告警监控关键事件展示任务渲染数据源管理资源层OceanusServerless集群基本架构和原理任务配置信息任务配置信息FlinkSQLFlink任务Oceanus集群整库同步整库同步分库分表数据湖数据库消息队列数据湖数据库消息队列增量加表关键事件上报事件重放数据转换增量/全量同步evolutionschema资源动态检查优化实时数据集成任务一般具有如下特性•实时数据集成任务一般具有如下特性•全量阶段数据的多，需要快速同步完成消耗资源大•增量阶段消耗资源小帮助节约成本Savepoint+RestoreReportOceanus资源组Query&ConsumeMetricsSystemEventBusResourceManagerAutoScale管控层增量加表全量同步和增量资源隔离痛点：痛点：一个常见的操作。量同步的性能和延迟ReportStatusNewSnapshotSplitNewSnapshotSplitNewSnapshotSplitNewSnapshotSplitSnapshotSplitSnapshotSplitSnapshotSplitSnapshotSplit只下发给非增量ReaderStreamSplit补充问题上下文获取任务补充问题上下文获取任务ID获取任务配置获取任务日志基于知识库检索历史问题检索问题结论生成任务怎么失败了？问题类型判断建议：SkillSkill流程设计Skill流程设计问题识别与分类匹配专家SkillSkill内部维护排查流程知识库搭建历史工单案例知识结构化/标签化DataBuddy+实时集成DataBuddyDataBuddy实时集成端到端数据分析端到端数据分析自动化的数据治理AI实现的数据工程部分功能后续推出智能问数报告生成AI诊断全链路交付指标分析可视化看板搭建代码生成任务分析任务开发性能分析稳定性分析链路分析多模态数据Reader多模态数据FilePartIndexFileContentMetadata下发分片给Reader实时监控文件变更确保所有文件快速同步到下游MM流式传输文件，解流式传输文件，解决大文件传输内存消耗和性能问题TC-Lake多模态数据湖WeData实时集成场景的产品化案例分享利用利用WeData实时集成提供的

人人文库> 全部分类> 应用文书 > 研究报告

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论