AI 时代的多模数据库：ArcNeural

ArcNeural—AI时代的多模数据库陈辉枫清科技(Fabarta)技术专家 01Fabarta与ArcNeural概览02ArcNeural架构与实现03ArcNeural实践与应用04总结与展望：AI时代的基础设施Chapter01Fabarta与ArcNeural概览库、AI等领域有深刻理解。团队创始人曾担任大型跨国公司中国研究院院长和本土互联网巨头大数据与人工智能技术、产品和商业化负责人，带领400+团队，实现全球数亿美金的软件营收，具有将前沿技术与商业成功结合的卓越能力。则分别指代数据与AI。产品推出后获得多个奖项及客户好讯云原生数据库CynosDB（TDSQL-C）的研发数据技术演进数据收集期大数据时代数据收集期大数据时代智能时代数据分析期企业智能中的LargeModel与KnowledgeFinetuneInteractivePretrainFinetuneInteractiveUserEnterpiseUserEnterpiseDataPrivatePrivateDataPublicData....构建AI时代的基础设施——Fabarta“一体两翼”产品矩阵应用应用侧…3322建立企业内部高质量数据与大模型之间的连接，通过低代码化的方式来快速构建场景化AI能力。ArcFabric多模态数据编织平台ArcPilot企业智能分析平台程中积累下来的大量多模态数据资产变得FabartaArcNeural多模态智能引擎4ReadyForAI。企业FabartaArcNeural多模态智能引擎4模型微调GNN图计算式关系模型微调GNN图计算一方面一方面，我们认为“符号”+“概率”是实现可解释人工智能的关键，所以我们从图和向量入手。另一方面，要为人工智能的算法提供长效记忆体，把我们真正核心的数据使用前，使用中和使用后的数据真正能够存储和记忆下来，沉淀企业专有的、可重复使用的数据。征抽象都需要融合在统一的数据存储当中，凭此绘制一张真正的架构上存算分离、功能上存查算一体：数据统一检索、资源统一调度、模型统架构上存算分离、功能上存查算一体：数据统一检索、资源统一调度、模型统导航地图，这样才能真正把企业数据资产为己所用，为A Chapter02ArcNeural架构与实现范式转移：从存储&计算到记忆与推理@符号与概率ArcNerual大数据叠加数据耦合范式转移：从存储&计算到记忆与推理@符号与概率ArcNerual大数据叠加数据耦合数据的不规则与多模态实时更新原因及难点以图为基础来构建多模态智能引擎的GraphHTAP多模引擎云原生与多GraphHTAP多模引擎云原生与多样化存储ArcNeuralTPGroupArcNeuralAPGroupServerlessResourceManagerAPNodeAnalyticsArcNeuralAPGroupServerlessResourceManagerAPNodeAnalyticsAlgorithmsLearningAlgorithmsSubDatafragmentAPNodeAPNodeAPNodeAPNodeJob)AsyncCheckpointArcGraphEngineTopoCache•MemoryAsyncCheckpointArcGraphEngineTopoCache•Memorymap•Partitionlocate•DeltaupdatePropertiesCache•LRUevict•Indexbuild•DeltaupdateArcVectorEngineHNSWBuilderVectorIndexesStorageGraphIDGraphIDGraphIDGraphIDWALRaftLogLogLeaderLogLogLogLogSessionSessionManagementTransactionPipelineStatMachineResultlCache OP3Worker1PipelineWorker2PipelineCoordStatMachinePipelinePipelinePipeline OP1 OP2 OP2 OP3QueueQueueOP1CoordinatorMetaMetaStorageFollowerQueryCall(APEngineMemEngineFollowerQueryCall(APEngineMemEngineApplyApplyRaftRaftLogTPPartitionSecondaryPagePageLoad•ShareRead/SingleWrite•CloudNativeInfra•HighThroughput/LowcostPagePageLoadPagePagePagePagePagePagePagePage多模态智能引擎ArcNeural—存储属性缓存•LRU置换•属性索引属性缓存•LRU置换•属性索引•批量构建•复用图索引脏页管理•DeltaUpdate•CPUCache优化•无锁并发事务管理•MVCC•分布式事务TOPO索引•常驻内存•结构紧凑排列•反向边索引LogasDatabase•Leader选举•LogasDatabase•Leader选举•多副本高可靠本地存储•LSN管理存储适配器：抽象多种存储模式数据访问接口原图存储•LogBuffer•GroupCommit本地存储•LSN管理存储适配器：抽象多种存储模式数据访问接口原图存储模式2：敏捷部署本地磁盘•Raft模式2：敏捷部署本地磁盘•Raft高可用/单机本地•多副本可读扩展模式3：分布式存储池对象存储共享块存储远端存储•存储Serverless•低成本高性能模式1：KV存储Page共享存储•图转换为KVPage存储•可适配主流分布式KV存储引擎•KV存储引擎保障数据可靠性,高性能,高性能多模态智能引擎ArcNeural—GraphHTAPQuery：MATCH(a:Query：MATCH(a:Person)-[:likes]->(b:Person)WHEREpany="Fabarta"Callpagerank((n)-[e]->(b),0.85,10)YIELD*returnid,result;AP：离线超复杂计算Data：CSV,TXT,HDFSetc.Query:Callgraph_matching(graph,edge_csv_path,vertex_csv_path)YIELD*returnsub_graph_listTP：低延时高并发Create：CREATE(:Person{name:"Alice",company:"Fabarta"})CREATE(alice)-[:likes]->(bob)Query：MATCH(a:Person)-[:likes]->(b:Person)WHEREpany="Fabarta"RETURNa,b;EdgewithCSC&CSRPartitionEdgewithCSC&CSRPartitionRebalancerGraphGraphMemEngineforGraphComputingTP引擎AP执行器TP引擎AP执行器TP分布式并行执行器MemEngineArcGraphAP引擎VertexwithRe-arrangedVertexwithRe-arrangedIDMessagewithremotevertex-idindex子图：内存中间结果TP查询计划HTAP查询计划TP查询计划HTAP查询计划算法库算法库WorkerComputingEngineWorkerComputingEngineWorkerComputingEngineWorkerComputingEngineComputingEngineWorkerWorkerWorkerWorkerComputingEngineComputingEngineComputingEngineAP引擎AP引擎•高性能图计算内存引擎Assemble•统一CypherAssembleMasterComputingEngineMasterComputingEngine多模态智能引擎ArcNeural—VectorColumnTypeCREATEVERTEXIFNOTCREATEVERTEXIFNOTEXISTSMovie(PRIMARYKEYvidINT(64),infoJSON,contentVECTOR(1536),VECTORINDEXv_idx(content)HNSW)ArcHNSWVectorIndexSIMD距离计算加速：4倍性能提速支持属性Filter：支持字段属性过滤TopK数据库级管理：完善的CRUD与ACID多模态数据查询—OneQueryWHEREm1.embedding<->“[0.ArcNeural2.1版本核心特性VectorJsonTableBlob多模态GraphVectorJsonTableBlob多模态Graph高效内存引擎多跳并行化短跳高效内存引擎多跳并行化短跳高吞吐GPU硬件加速Online企业级数据管理ACID分布式多副本多地分布式多副本多地多中心模块化企业级交付架构弹性云原生Rust面向合作企业开源Rust面向合作企业开源全面自主可控国产化2023.9v2.1PoCBeta版发布2023.12v2.1正式版ReleaseChapter03ArcNeural实践与应用基于Fabarta产品矩阵加速大模型时代AI新范式落地问答问答信息抽取信息抽取文本分类文本分类实践：企业智能IT—Arc42大模型（GLM2、ChatGPTetc.）ArcPilotQuestionAnswer企业私域数据OrganizationArcNeuralArcGraph显式关系ArcPilotQuestionAnswer企业私域数据OrganizationArcNeuralArcGraph显式关系ArcVector查询计划生成ArcFabric知识提取数据血缘数据集成元数据管理数据消费：智能洞察Step2：检索“存储层”相关性文档Step3：检索“存储层”相关性代码Step4：查找“文档”/“代码”的作者挖掘ArcNeural增强Step1：抓取企业信息元数据建模入图Step2：文本、图片建立向量索引Step3：利用LM语义理解，图谱信息关系补全Chapter04总结与展望：AI时代的基础设施企业从数字化到智能化所需要的基础设施AIReadyAIReadyforApps：模型+数据+场景低代码应用构建企业知识中台企业决策智能模型工厂LLMOpsDataReadyforAI：数据治理和资产服务智能化数据资产盘点理智能化数据编织智能化数据治InfrastructureReadyforAI：存算&记忆推理的数据基础设施解决多模态数据存储计算&面向大模型时代的记忆和推理企业智能应用语义理解语义理解自然语言知识更新IntelligenceMemo