【FFA 2026】Agentic Lake 2 字节跳动基于 Paimon 的拉链表设计与应用_第1页
【FFA 2026】Agentic Lake 2 字节跳动基于 Paimon 的拉链表设计与应用_第2页
【FFA 2026】Agentic Lake 2 字节跳动基于 Paimon 的拉链表设计与应用_第3页
【FFA 2026】Agentic Lake 2 字节跳动基于 Paimon 的拉链表设计与应用_第4页
【FFA 2026】Agentic Lake 2 字节跳动基于 Paimon 的拉链表设计与应用_第5页
已阅读5页，还剩38页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

离线全量计算周期性合并全量和增量，生成新的全量计算性能差、数据可见性低存储冗余计算链路简单高效，可见性高实现高降储周期性全量计算，但变化数据少存储冗余不影响生产链路、数据回溯、热分区查询main=>appendtablechain=>primarytable逻辑分区和物理分区解耦逻辑分区描述数据集物理分区存储实际数据逻辑世界物理世界逻辑世界物理世界0725072407230722072507230722拉链读取Delta07240723${db.tb}select*from`db`.`tb$branch_delta`•生产链路：增量导入，拉链周期7天应用场景余公共层·DWD/DWS/ADSODS层·离线MysqlODS层·离线MysqlDump公共层公共层·DWD/DWS/ADSODSmysql2paimon公共层全改增：HybridChainTable方案ChainTableBranch·冷分区ChainTableBranch·冷分区MainBranch·热分区MainBranch·热分区››公共层全改增：PartitionCopy方案冷分区·Paimon冷分区·PaimonChain几大业务线规模化落地｜累计优化存储200PODS层mysql2paimon100张表电商交易/营销/广告/跨境/流量直播/视频/关注关系/流量下游：HSQL/ADHOC/应用计算04多分支一致性多分支FallbackRead机制多分支回溯语义正确性保证Schema04多分支一致性多分支FallbackRead机制多分支回溯语义正确性保证Schema&tblproperties一致性分区融合展示05TTL管理多分支TTL管理冷热分区基于热度持久化分区0101全增量语义保证binlog消息类型持久化全局有序sequence保证全增量语义正确全增合并计算全量全量diff计算增量02Compaction管理0602Compaction管理06下游性能热分区机制小文件控制Native读写分区级Compaction全增合并产出热分区文件级Compaction控制小文件MOR支持跨分区使用不同bucketmerge读全增分区使用不同bucket消除小文件的影响•公共层全改增自动化系统完善•公共层统一视图冷热分层支持•

人人文库> 全部分类> 应用文书 > 研究报告

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论