FFA2024分论坛-流式湖仓 合辑-部分1

数据湖解决的问题流批一体的演进112233+批批批批批批流流流流流流批批批批批批流流流流流流批批批批流流流流流流…);批批批批流流流流流流 Fallback Fallback流流流流T当天（1-5分钟可见延迟）中间层D T当天（1-5分钟可见延迟）数据湖AI方向的探索}spark=SparkSession.buipaimon_table="my_catalodf=spark.read.format(”paimon").load(paimondefconvert_image_to_pdf(image_patpdf_path=new_path(imagfilter_df=df.filter(.filter(col("name").endsWith("filter_df.rdd.forea模型预测oss://..oss://..oss://..oss://..THANKYOU核心策略高l基于Paimon构建湖仓公共层，统一口THANKYOU业务应用推荐策略实时数仓数据源...报表分析数据存储业务应用推荐策略实时数仓数据源...报表分析数据存储实时数仓数据存储（u_id:11,r_id:99,status:true,ts:01）（u_id:11,r_id:99,status:false,ts:02）selectrid,+I（u_id:11,r_idselectrid,+I（u_id:11,r_id:99,satus:true,ts:01）-U（u_id:11,r_id:99,satus:true,ts:01）sum(status),...fromdwd_db_talelast_value(status...fromdwd_db_tale...+U（u_id:11,r_id:99,satus:false,ts:02）...fromdwd_db_talerid,createtabledwd_db_tale(statusint,...)selectcount(distinctuid)fromdwd_db_talewheredtbetween{startTime}and{endTime}LookupChangelogLookupChangelogAggregationEngineAggregationEnginecreatetabledwd_db_tale(statusboolean...)partitionedby(datestring)withtblproperties('merge-engine'='deduplicate','changelog-producer'='lookup','primary_key'='uid,rid,date...)+I（u_id:11,r_id:99,satus:1,ts:01）-U（u_id:11,r_id:99,satus:1,ts:01）+U（u_id:11,r_id:99,satus:0,ts:02）createtabledws_db_tale(statusbigint...)withtblproperties('merge-engine'='aggregation','fields.status.aggregate-function'='sum','primary_key'='rid',...)00精准一次vid,dt,vid,mint,sumvid,dt,vid,mint,sum(value),last_value(value,ts),.........fromdwd_db_taledwd_db_talefromdwd_db_taledwd_db_tale...vid,createtabledwd_db_tale(value...bigintvid,dt,sum(value),value...bigintvid,dt,sum(value),...dwd_db_taledwd_db_tale)否是基于session集群可扩展、低成本的方案探索探索TB级的维表高性能同步方案探索TB级的维表高性能同步方案PartialUpdate、TagBranch等能力落地实践THANKYOU流批链路统一THANKYOU余StreamingupsertDatalakeStreamingupsertDatalakePartialupdateSchemaevolutionAggregationSchemaevolutionAggregationl双流join状态大影响稳定性文件系统上的总数据量最新快照引用的数据量可扩展性优化（shufflehashjoin）THANKYOU分行机构员工总数分行机构2022年5月，经中国银保监会批准，正式吸收合并洛阳银行、平顶山银行及焦作中旅银行。先后荣获“年度十佳城市商业银行”“铁马十佳银营业网点资产总额行”“最佳上市公司”“年度卓越城商行”等称营业网点资产总额a）实时抽取数据a）实时监控协同交易b）实时报表大屏展示c）实时海量数据存储d）面向业务人员开发b）与行内资源兼容交易流水表账户表账户表账户表账户表......事实表/事件表/流水表维度表/账户表/属性表基于事实表的实时增量计算基于维度表的实时全量计算主要是INSERT操作主要是UPDATE操作秒级秒级、分钟级增量计算主要是LookupJoins主要是RegularJoins缓存中间数据量小缓存中间数据量大计算逻辑相对简单计算逻辑相对复杂存储选择按照日期分区存储选择单分区多分桶业务系统实时采集业务系统实时采集实时计算&实时存储;meta对公业务运营业务零售业务风险业务对公业务运营业务零售业务风险业务changelog流公共汇总changelog流贴源数据贴源数据changelog流增量数据tinsert、update、deletechangelog流增量数据全量加增量'changelog-producer.r实时采集实时计算Paimon维度表小rp实时采集实时计算Paimon维度表信贷系统实时批量查询换机流量数据实时批量查询换机流量数据海量数据实时⼊湖a）提炼适配场景：首先筛选需要业务人员进行规则开发的场景进行适配；b）拖拽开发测试：低代码的拖拽式DAG页面，达到设计即开发，预校验，模拟测试；c）规则动态更新：运行时可实时更新算子规则，更新既上线，高效快速迭代；d）关联系统对接：DAG底层采用JSON+自研DSL表达式表述，便于其它系统对接。THANKYOU 架构简单，大量场景适用作业夜间运行延迟较高：天级/小时级更新成本较高延迟低：秒级成本较高，场景有限•主键表支持大规模的更新写入•更新性能高效•更新方式灵活•完整变更日志生成•分钟级延迟•非主键表支持大规模流批处理•小文件自动合并•PB级大规模数据管理•支持时间旅行（数据版本回溯）•支持数据分支切换•包含详细信息的系统表》porIS 字节、汽车之家、喜马20222023-2024202420242024CREATECATALOG`my-catalog`WITH(ordersorders_syncMaxComputeSQLCREATECATALOG`dw`WITH(ASTABLEd.orders;Value12Value12Value12Value12Value11102120•‘deletion-vectors.enabled’=‘true’启用DV计算数据不需要经过合并，节省大量CPU开销支持非主键过滤条件的下推Value11Value11Value1Value1Value1Value11Value1110 86420 86420INT,00`user_id`BIGINT,00selectuser_id,max(sell_nick_name)fromorders400400`user_id`BIGINT,0THANKYOU实时数仓实时数仓近实时数仓近实时数仓湖仓探索阶段湖仓探索阶段质量监控告警平台数据开发管理运维平台质量监控告警平台数据开发管理运维平台..................数仓建设个数仓建设个个个离线T+1维度拓宽场景离线T+1维度拓宽场景Reaj业务域内实时拓宽场景业务域内实时拓宽场景Reaj业务过程业务过程分分数仓建设--数仓建设------>joinjoinReajjoinjoin!多流join