邵赛赛周康：AGI时代统一数据目录的设计与实践

演讲人：邵赛赛演讲人：周康ApacheGravitino创始人 实验的跟踪和可视化打包、运行ML流程作业超参优化打包、运行ML流程作业超参优化评估GenAI应用训练，调优，及生产化监控、调试LLM评估GenAI应用训练，调优，及生产化开发GenAI应用AutomationAutomation自动触发流程发布和分享模型及数据集自动触发流程ReportsArtifactsDataReportsQ不同组织之间分享模型、数据集数据集、模型生不同组织之间分享模型、数据集数据集、模型生命周期管理数据集、模型治理及权限控制https://www.llamaindex.ai/blog/introducing-llamacloud-and-llamaparse-af8cedf9006b下------------、karkakarka数据连接ConnecttotheDataThatMatters数据发现Automaticallyfind,classify,数据连接ConnecttotheDataThatMatters数据发现Automaticallyfind,classify,andmapallofyourdata-everywhere.数据主权Automateend-to-enddatarightsrequestsandreporting.3rdParty数据主权Automateend-to-enddatarightsrequestsandreporting.数据分类AutomaticallyAutomaticallyclassifymoretypesofdatainmoreplaces.元数据增强Enrichtechnicalmetadatawith元数据增强Enrichtechnicalmetadatawithbusinessandoperationalmetadataforfullvisibility.数据生命周期管理Simplifyandautomatedatalifecyclemanagementfromcollectiontodestruction.–HiveHiveMetastoreBuilt-inBuilt-inCatalogSchemaSchemaRegistryRegistryRegistry消息队列数据仓库数据湖机器学习消息队列数据仓库数据湖机器学习●数据统一视图●从元数据层面上达到SSOT●统一访问和治理Next-GenDataCatalogistheCoreinNewOpenUnifiedAccessingUnifiedManagingGravitinoUnifiedAccessingUnifiedManagingGravitinoWarehouseGravitinoGravitinoGravitinoGravitinoFunctionalitylayerInterfacelayerCorewithobjectmodelConnectionLayerMetadataMetadataStorageUnifiedUnifiedProcessingUnifiedGoverningUnifiedUnifiedRESTAPIsIcebergIcebergRESTAPIsCatalogCatalogCatalogSchemaSchemaSchemaTableModelFilesetMetalakeCatalogCatalogCatalogSchemaSchemaSchemaTableModelFilesetMetalakeCatalogCatalogSchemaSchemaTopicTopicAlterAlter…}….}ArrowFileSystemArrowFileSystemAlterADLSADLS…}storageLocation:str….}Spark/Spark/Flink/Presto对接统一元数据完善用户审计转换底层权限隐藏认证凭据在线数据库数据湖表格OLAP系统对接机器学习框架传统机器学习对接机器学习框架传统机器学习大模型预训练/微调流程打通、产品打通DataOps/MLOps/LLMOps非结构化数据资产地图与资产治理存量数据纳管支持设置TTL与TTV数据处理流程AI流程数据加工spark/Flink数据分析OLAP数据探查数据加工spark/Flink数据分析OLAP数据探查Notebook模型训练LLM模型部署数据集成集成引擎根据血缘推荐TTL、TTV管理前降本40%管理后特征分析特征分析pytorch模型训练pandaspytorch模型训练TalosModel模型部署数据落仓提取特征模型部署数据落仓lcebergFileset模型校验lcebergFilesetModelModel数据分析