阿里云2025年DataAI开启数据智能新时代报告

还在为企业智能化转型的技术难题发愁?这本阿里云Data+AI指南，通过理论与实践的结合，我们将共同探索Data+Al如何成为企业智能化转型的核心驱动力，帮助每一戏、营销、运营等多个行业的成功经验，以及技术专家对数据库与AI融合趋势 9 20 25 34 64 64 76 89 2.数据资产与AI联动问题：企业积累了大量数据资产，这些资产价值的释才培养投入，如果涉及转型还会有业务流程和组织上的变革1.2Data+AI的价值有了Data+AI，企业实施AI的挑战将得到有效解决：），例如在零售行业，通过实时、动态的数据获取，企业能够借Data+AI能够实现多模的数据和数据—>AI1.4企业走向Data+AI的关键为确保AI应用的高效产出，平台必须兼顾数据的准1.6未来展望重磅发布：重磅发布：Data+AI驱动的多模数据管理平台DMS ⑦PolarDBAlwaysOn:全面解耦全栈池化多主多写支持米哈游新游《绝区零》全球开服PolarDB屡获国际学术顶会最高奖PolarDB性能为业界同类数据库3倍，并凭以上成果成功摘得中国首个ACM从数据工程与业务实践的角度来看，由离线数据处理到实时数据处理，再到今天的3.1智能升级加速，数据管理平台机遇与挑战并存生成式AI虽然带来了前所未有的机遇，让企业在3.2阿里云DMS+X一站式数据管理平台设计原理二十年前一样，把不同数据进行聚拢，再进行数据下发。现在，基本都是近存计算、智能开发平台的一系列功能，帮助用户更容易地生成带有业务属性的数据处理流程，AI边界，构建AI原生能力，进而实现数据资产的价值最当然，部署Data+AI融合战略的企业不只阿里云一家。与同类竞品相比，阿里云“Data+AI”驱动的DMS+X一站式多模数据管理平台之所以成为各行各业实现数），3.3未来：AI就绪，迎接GenAI时代发挥重要作用。这些努力不仅体现了阿里云瑶池数据库对未来技术趋势的深刻洞察，战略愿景转化为实际行动，致力于为用户带来更高效、更便捷的智能数据平台体验，清华大学计算机系本科，宾夕法尼亚大学计算机与信息科学博士，国家级领军人才，朗丽兹西山花园酒店|⑨8月22-24日技术委员会主席王远(右)4.2智能底座的进化据平台的“大脑”，包括数据的统一、现代数据4.3打磨一站式数据管理平台据王远介绍，阿里云瑶池旗下包括3款核心的自研数据库，分别是PolarDB、自研向量检索引擎FastANN主要用于自研数据库产品，比如AnalyticDBPG、景。向量最大的意义是打破了结构化与非结构化数据之间的界限，“万物皆可特征帮助用户拥抱AI时代。1.1行业趋势1.2技术挑战置之后的数据。数据仓库引擎需要具备丰富的函数支持、事务以及复杂逻辑处理），1.3阿里云Data+AI解决方案在今年9月云栖大会上，阿里云瑶池数据库重磅发布“的Data+AI数据管理服务”。该平台通过OneMeta和OneOps两大创新，简化了流式增量刷新基表2批量导入增量刷新批量增量刷新基表1AA数据表B数据表据消费据消费专属资源、负载隔离集群实例OSS分布式云存储服务协调节点(辅)备份/加载●SQL注释/优化/纠错智能运维智能训练智能治理智能基线智能编织智能运维智能训练智能治理动态集成动态防护业务分类枚举值精确定位bi.m_sc_web_log_detail_dt1t1.container=t2.container((t2.page_match_flag=1ANDt1.page=t2.page)管控流管控流初始化数据库(lnitVectorDatabase)创建Namespace(CreateNamespace)创建文档库(CreateDocumentCollection数据流图片文件上传文档(UploadDocumentAsyn图片文件以图搜图以文搜图析2.1行业趋势2.2技术挑战更优质的高性价比解决方案。在某头部游戏客户的日志分析场景中，面临以下挑战：2.3阿里云Data+AI解决方案DMS+AnalyticDB&百炼多模智能检索向量+SQL+全文搜索，百亿向量规模ADB内湖表2.3.2日志数据高效查询3.仓检索(亚秒级):XIHE:select*fromtmp仓表Whereactivity='yyy';2.湖查询(分钟级):XIHE:createtmp仓表asselect*from湖表1.缓存预热(小时级):Spark指定分区预热(小时级),预热20240921分区ADB内湖表ADB仓存储/*创建模型/*创建模型*/))asselectevent_list,targ体化的编排调度，从数据接入，处理到模型训练，上线和推理实现全自动周期运行。玩家流失预测玩家流失预测付费用户预测付费金额预测用户行为预测ADB仓存储其他ETL引擎Al算法(训练、评估、预测)(AI节点)3.1雅迪公司介绍及业务介绍Al智能应用一网库存管理价格促销管理支付管理3.2项目需求与痛点化，比如精确获取当前最新的销售动态和市场表现，以便根据实时信息快速制定据，因此需要将销售人员输入的自然语言提问转换成最终的结果展示，即满足高开业的活动策划和文案推荐，电动车销售技巧推荐等，希望有一个比较统一的问3.3阿里云Data+AI解决方案DN⁵+x:Unfed,Open,andMultimodalD2x效果提升，准确率提升50%向量+SQL+全文搜索，百亿向量规模数据准备使用内置通用模型已经具备特征化的交易数据与预处理LightGBMDeepFMK均值聚类BST洞察销售动态，优化销售策略，快速获取关键信息。立即获取上月哪个车型的零售额最高?上月零售车型退货量排行榜?xxx导购今天销售了多少辆?轻松掌握上个月的采购订单金额是多少?本月配件采购量多少?本月采购订单量排名前5的车型是哪些?·知识库全自动加工：数据存取、文本分割、向量转换、索引构建、增量处理等数◦系统自动完成查询问题向量转换、语义检索，并将问题和语义检索得到的2)当用户提出问题后，问题一方面会被自动转化成向量预处理、格式转换。并写入数据预处理、格式转换。并写入数据文本(离线)向量检索、全文检索查询/问题文本分割Prompt模板向量检索+全文检索增量更新：数据订阅流处理我想知道如何挖掘潜在客户。提高产品销量有很多策略和技巧，以下是1.*了解目标市场**:首先，你需要深入了解你的目标客户群体，包括他们的需求、喜好、购买习惯等。这将帮助你定制适合他们的产品和营销策略。2.*优化产品**:确保你的产品或服务具有高质量，满足或超越消费者的期望。如果产品本身存在问题，无论营销策略多好，都无法长期提高销量。3.*定价策略**:合理的价格既能保证利润，也能吸引消费者。你可以通过市场调研来确定合适的价格点。更有开业大优惠，惊喜连连，等你来撩!所有朋友进店均有好礼相赠，购车更有超值折扣等着你。让我们一起，以雅迪，行无界，探索生活的每一个角落。分享此消息给你的朋友们，一起来感受雅迪的魅力吧!让我们在环保出行的路上，与你同行!#雅迪新店开业##绿色出行##骑行生活#5.*优惠促销*:定期的优惠活动，如打折、买一赠一、积分兑换等，可以刺激消费者的购买欲望。6.*优质客户服务*:提供优秀的售前和售后服务，能增强消费者的信任感和满意度，从而促进复购。7.·建立品牌*;一个强大的品牌形象可选择自由问答在提问哦~可以基于实时的数据分析和洞察，以数据、表格、图表、文字等多种形式获取信息，迪云销通App将具备更强大的功能，不仅可以为门店提供活动策划、文4.1公司及业务介绍现资源高效利用。目前，猫耳FM业务实现数据离在线处理效4.2业务需求和挑战数据平台团队推出了一系列运营工具，但在实际使用过程中面临以下需求3、实时分析与成本的平衡。直播业务实时性分析要求高，虽然已通过AnalyticDBMySQL实现在线实时分析，但相当一部分业务分析需求无法实），4.3阿里云Data+AI解决方案的Data+AI数据管理服务”（X即云原生数据库PolarDB、云原生数据仓库企业级RAG智智能问数智能问数①查询最近3个月每天的销售额变化趋从2024年8月20日至8月30日，每日销售额有显著波动。8月20日销售额为大屏互动），结合领域和场景构建问数Agent，并根据Agent对客的服务反馈来进行知识优化提那么DMS+X到底是如何构建出准确性如此之高的智能问数服务的呢？接下来拒识横型Training能力下限(65%+)的同时通过小模型不断4.4总结与展望5.2DMS+AnayticDB支持智能问数场景法保障数据更新时效性，导致大模型应用在企业中落地困难。企业可采用DMS+An和非结构化数据通过Embedding向量化后存储到AnayticDBforPostgreSQL/聊天历史+新问题独立长问题独立问题+相关知识生成答案LLMAPI推理(总结)企业知识块最相关文本内容(知识)应用层1.追问/改写：小模型2.反馈：大模型钉钉-智能问数路由模块优势1:一站式融合分析优势2:社区合作紧密优势3:功能完善，性能极致优势4:解决方案丰富优势5:精品NL2SQL模型Level1(开箱即用)体验，测试Level2(专属部署)生产Level3(专属优化)专属高准确度生产5.5总结与展望满足不同企业对数据不出域的最高安全的要求。钉钉AI助理的各项问题，从而提升经营效率，加速企业智能化转型，为企业发展带来新的动力。元宇视科技运维部部长陈津扬……iueLIanewiinXcols='Airlin,FlightAirportFrom,AirportTo,DayOFWmodel_parameter=(boosting_type='gbdt,n_estimators=rom,AirportTo,DayofWeek,Time,Length线) 库协调节点(辅)1.4Lindorm:基于多模数据服务的一站式智能检索基础设施·从接收请求到第一个生成第一个Token数据生成速度要快于通常的阅读速度第一个token的数据生成速率决定服务响应时间A2024云团大合方案存在主在一致性和可取舍；业务补数据该写节点该写节点读节点计算节点共享存储弹性中台APSARA云栖大会基于对象存储的全量数据管理能力降本增效业务连降本增效可运维性可运维性时降低至·第一代盘内透明压缩，不再占用主机资源·硬件成本基本不变，业务可用容量大幅提升，降低成本FTL驱动·建立多厂商生态档Projection、能基于等数据库SQL算的需求，PolarDB的列存索引IMCI在复杂查域名解析域名解析的同城容灾缓存数据肉剪AZ葛可用陈震宇迅雷集团运维经理迅雷集团运维经理陈震宇,Redis接口兼容GB1QPS规格到最大100TB干实例创建启动APSARA+持久存储=复更快的放育复速演，期 LindormLindorm查犹数据视图2024云栖大会30分钟备份/物理备份/快赐备份置快照备份加速(数据去重)·按备份时间点恢98数据处理：Data+AI驱动的数据库管理服务无感集成重磅发布：重磅发布：Data+AI驱动的多模数据管理平台DMS分布式数据管理助力数据价值交付效率提升10倍4.1打通底层元数据，打造面向“Data+AI”的一站式多模数据平台始采用多种数据引擎、多数据实例组合的策略。随着DMSDMS+X:统一、开放、多模的Data+AI数据管理服务阿里云智能集团副总裁、数据库产品事业部负责人李飞飞表示："DMS:以某大型游戏公司为例，其游戏业务的智能推荐场景采用4.2全面解耦、全栈池化，AlwaysOn的云原生架构。2021年起，阿里云瑶池在业（计算、存储、内存）架构，基于全栈池化技术，将云计算的弹性能力发挥到极致，据悉，利用AI与云数据库的深度结合和大模型智能调⑦⑦PolarDBAlwaysOn:全面解耦全栈池化多主多写5000万PolarDB屡获国际学术顶会最高奖面向Al和车联网等创新应用开发场景，阿里云瑶池旗下的云原生多模数据库重磅发布：重磅发布：TairServerlessKV服务，构建推理缓存加速通过KVCache池化，预计成本降低20%,PD分离/调度优化吞吐预计提升30%,4.3赋能核心业务与AI应用实践，让创新触手可及月之暗面：月之暗面：Lindorm构建AI应用的数据基础设施秒级弹性无缝推理融合检索4x检素吞吐，50%成本下降国内首部云原生数据仓库著作阿里云李飞飞博士团队1.1智能搜索成为信息消费的趋势DN5+x:unfed.Open,andMulti家头部基模企业和AI独角兽落地部署万亿数据级别1.3Lindorm智搜方案为何成为头部基模客户之选LindormLindorm数据表：单表多模型、多类型索引搜索引擎向量引擎倒排索引向量索引分布式执行数值率提升10倍。储空间仅为HBase的1/2,MySQL的1/4。多级介质管理副本异构+1LindormLindorm=正排库+检索服务(向量+全文)+推理服务(A推理)2.1简介何在数据库中调用AI大模型执行文本转向量、情感分类等功能，以及2.2基本概念中的一个重要概念。它是指将高维、稀疏的特征向量（如词典中的词语、图像像2.3优势说明·简单易用性：无需深厚的AI专业知识或复杂的编程技能，用户仅需掌握基础的库内，并且可以很方便地与其他结构化或非结构化数据进行联合查询分析，从而·数据安全保障：在整个计算过程中，原始数据始终存放在安全可靠的数据库环境如细粒度权限控制、访问审计跟踪以及加密技术等手段，进一步增强了系统的防·卓越性能表现：由于所有的计算任务都在数据库内部执行，省去了数据移动所带自动故障切换、在线扩容缩容、多租户隔离等等。这些都为企业构建稳定可靠的2.4快速入门selectselectmodel_seq,model_i+/api/v1/services/embeddings/text-embedding/text-/api/v1/services/embeddings/text-embedding/text-3|_dashscope/text-classfication/opennlu-v1/api/v1/services/nlp/将中文、英语、西班牙语、法语、葡萄牙语、印尼语、日语、韩语、德语、俄罗·_dashscope/text_embedding/text_embedding_v3：通用文本向量模型，在·本小节以调用内置模型'_dashscope/text_embedding/text_embedding_v2'为·'_dashscope/text_embedding/text_embedding_v2'内置模型输出的向量固定selectpolar_ai.AI_SetModelToken('_dashscope/text_embedding/text_embedding_vselectpolar_ai.AI_SetModelToken('_dashscope/text_embedding/text_embedding_vt{0.0049301917,-0.012394876,0.041976027,-0.01943111,0.039707053,-0.030824259,0.036376007,-0.035169102,-0.00021252778,0.0053405385,0.03900.03019667,-0.0067224405,0.01711386,0.00.019008696,-0.03215185,-0.021820776,0.029520806,0.022677675,-0.0038922566,0.014941438,0.012986258,0.030003566,-0.008285377,0.0014570.017584551,-0.038089804,-0.0371967,-0.00selectpolar_ai.AI_SetModelToken('_dashscope/text-classfication/opennlu-v1',selectpolar_ai.AI_SetModelToken('_dashscope/text-classfication/opennlu-v1',tselectselectpolar_ai.ai_text_selectpolar_ai.ai_text2.5高级进阶本小节以调用灵积模型服务中的主题分类模型为例，自定义实现文本主题分类功能。·获取阿里云账号的API-KEY，参考API-KEY的获取与配置。{{}}json中model项、input/sentence与input/labelRETURNSjsonb{{"request_id":"d89c06fb-46a1-4}SELECTpolar_ai.ai_creat'/api/v1/services/nlp/nlu/understandiNULL,'my_text_classificati(4,my_text_classification_model,polar_ai,op(((polar_ai.AI_CALLMODEL($1,$2)::json)体育新闻;createtablemy_text_classificatio慧点亮全球治理的拉美时刻'),(3,'王楚钦复仇莫雷加德晋updateclass=my_text_classification_func('my_text_classification_modselect*frommy_text_classific·获取阿里云账号的API-KEY，参考API-KEY的获取与配置。{{]}}RETURNSjsonb{{"embedding":[0.00493019182"embedding":[0.00493019182}}只需要取output/embeddings/embedding项的向量部分内容，并保留jsonb格jsonb)RETURNSjsonb((((response_json->>'output')::jsonb->>'embeddings')::jsonb)->0->>'emSELECTpolar_ai.ai_createmodel('my_text_embedding_model','/api/v1/services/embeddings/text-embedding/text-"token":NULL,'my_text_embedding_in'::regproc,'my_text_em(5,my_text_embedding_model,polar_ai,text-embjson_array_elements_text(polar_ai.AI_CALLMODEL($1,$2)::json))::flocreatetablemy_text_embedding_tinsertintomy_text_embeddin库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。'),(2,'postgresql是一种开源的关系型数据库管理系统，由updatemy_text_embedding_tblvec=my_text_embedding_func('my_text_embedding_model',content);3.1业务场景3.2最佳实践系型数据库产品，100%兼容PostgreSQL，高度兼容Oracle语法；采用基于①4行模型部署，并通过POLAR_AI插件自定义函数的能力实现数据库内/zh/pai/use-casemodelscope-service-a日志自动伸缩1【"input":{"text":"PolarDBAIfContent-Type:application/j【"translation":"PolarDBAI非常易于使用"}{"input":{"text":"PolarDBAlfunction{"input":{"text":"PolarDBAlfunctionisveRETURNSjsonbRETURNSjsonb创建模型SELECTSELECTPOLAR_AI.ai_createmode'/select((POLAR_AI.AI_CALLMODEL('damo/nlp_csanmt_translatioselect((POLAR_AI.AI_CALLMODEL('damo/nlp_csanmt_translatiofunctionisveryeasytouse')::jsonb)->>'translation')::t((POLAR_AI.AI_CALLMODEL('damo/nlp_csanmt_translation_en2zh',$1)::jsonb)->>'trans3.3总结相近的图片。这不仅对于用户检索商品图片很有用，对于企业内部查找文档和图4.2最佳实践系型数据库产品，100%兼容PostgreSQL，高度兼容Oracle语法；采用基于中文可译为嵌入或嵌入式表示，是机器学习和自然语言处理领域中的一个重要概念。52{"data":[{"blob":"base64_s{"data":[{"blob":"base64_s{"data":[{"uri":"}%5D}"https://clip-as-servie/static/te{"header":{"requestId":"8b1f4b419bc54e95abxxxxxxx","status":null,"execEnd{"header":{"requestId":"8b1f4b419bc54e95abxxxxxxx","status":null,"execEndargetExecutor":""},"parameters":null,"routes":[{"executor":"gateway","startTime"04-01T15:24:28.267003+00:00","endTime":"2022-04-01T15:24:28.328868+00:00","status":null},{"executor":"clip_t","startTime":"2022-04-01T15:24:28.267189+00:00","endTime":"2022-04-01T15:24:28.328748+00:00","status":null}],"data":[{"id":"b15331b8281ffde1e9f._id":null,"granularity":null,"adjacency":null,"blob":null,"tensor":null,"mime_type":"texain","text":"hello,world!","weight":null,"uri":null,"tags":null,"offset":null,"location":null,"embedding":[-0.022064208984375,0.1044921875,...,-0.1363525390.447509765625],"modality":null,"evaluations":null,"scores":null,"chunks":null,"ma数据库准备一个自定义的模型包含输入，输出以及用户使用输入函数CREATEORREPLACEFUNCTIORETURNSjsonbCREATEORREPLACEFUNCTIONclRETURNSjsonb输出函数输出函数对于文本和图片类型一致，从返回的RETURNSjsonbAS$$select(((((response_json)->>'da创建模型'http://10.10.1.x:51'clip_image_embedding_injson_array_elements_text(polar_ai.AI_CALLMODEL('embedding/clip_text',$1)::json))::floatjson_array_elements_text(ganos_ai.AI_CALLMODEL('embedding/clip_image',$1)::json))::fl数据准备test_data/bdd100k/images/10k/train/0004a4c0-d4dff0aINSERTINTOimages(url)VALUESINSERTINTOimages(url)VALUESUPDATEimagesSETembedding=clip_image_embedding(urUPDATEimagesSETembedding=clip_image_embedding(ur4.3总结PolarDBPOLAR_AI模型服务具备灵活的特性，通过调用4.4附录dbname="dbname",#host="localhost",#数据库地)AS$$SELECTAI_RESIZEIMAGE(AI_LOADFILE('OSS://<ak>:<sk>@<endpoint-\5.1业务场景·语义理解：通过明确的关系定义，知识图谱可以帮助系统更好地理解信息之间的·支持推理：基于知识图谱，系统可以进行逻辑推理，从已知的信息推导出新的信关5.2最佳实践本文以一个开源的股票知识图谱为例，介绍如何使用PolarDB+通义千问系型数据库产品，100%兼容PostgreSQL，高度兼容Oracle语法；采用基于通义千问是由阿里云自主研发的大语言模型，用于理解和分析用户输入的自然语言，3age_graph.py位于/site-packages/langchain_commun数据入库SELECTcreate_graph('stock_graph');SELECTSELECTcreate_vlabel('stock_graph{person_id:'dddbd3ad0f2e3fca80da88296298bb51',name:'杜玉岱',gender:'男',a{person_id:'2f867939e123f10437a15a127799248e',name:'延万华',gender:'男',age{person_id:'e68b3ae7a003c60cd9d50e371cdb3529',name:'宋军',gender:'男',age:pipinstallBeautifulSouppipinstallbs4CREATETABLEIFNOTEXISTSdocs(idbigserialprimarykey,titletext,contenttext,--文本内容tokensinteger,embeddingvector(1536)--向量);在向量上创建索引，此处使用hnsw索引，并使用欧式距离CREATEINDEXONdocsUSINGhnsw(embeddingvector_l2_ops);classCustomRetriever(Base5".format(embeddings.embed)1('科士达(002518)公司资料_F10_同花顺金融服务网谢谢您的宝贵意见您的支持是我们最大的动力谢谢您的支持同花顺F10最新价：涨跌幅：扌2('佳士科技(300193)公司资料_F10_同花顺金融服务网谢谢您的宝贵意见您的支持是我们最大的动力谢谢您的支持同花顺F10最新价：涨跌幅：3('日签署的股权转让协议，沪士控股及碧景控股将其拥有的本公司的部分股权，分别占股本总额的2%及18%,转让于合拍友联。上述股权转让事宜4('5年8月1日，香港碧景将其拥有的本公司全部股权转让给注册于西萨摩亚群岛的沪士集团控股有限公司(“沪士控股”)。同时本公司改名为沪士中5('其中合并报表的有：7家。序号关联公司名称参控关系参控比例投资金额(元)被参控公司净利润(元)是否报表合并被参股公司主营业务-黄石沪：graph=graph,)根据提供的信息，这里有关于股票的信息：股票名称为酒鬼酒，代码为7根据提供的信息，这里有关于股票的信息：股票名称为酒鬼酒，代码为7以上两种查询的结果都不尽人意，因为向量检索和知识图谱都只存储了独立的内容，))根据提供的信息，与李士祎相关的股票“酒鬼酒”的详细信息如下：根据提供的信息，与李士祎相关的股票“酒鬼酒”的详细信息如下：请注意，以上信息是基于所提供的上下文得出的结论，如果需要更详细的财务数据或其他具体信息，请参考官方公告或相关财经网站。同花顺金融服务网谢谢您的宝贵意见您的支持是我们最大的动力谢谢您的支持同花顺F10最新价：涨跌幅：扌主营业务：从事生产、销售曲酒系列产品。产品名称：酒鬼系列、湘泉系列、内参系列3('其中合并报表的有：0家。序号关联公司名称参控关系参控比例投资金额(元)被参控公司净利润(元)是否报表合并被参股公司主营业务-酒鬼洞4('华谊B股(900909)公司资料_F10_同花顺金融服务网谢谢您的宝贵意见您的支持是我们最大的动力谢谢您的支持同花顺F10最新价：涨张跌幅：5('华电B股(900937)公司资料_F10_同花顺金融服务网谢谢您的宝贵意见您的支持是我们最大的动力谢谢您的支持同花顺F10最新价：张跌幅：5.3总结5.4附录#查找冒号的位置defconvert_vertex_cprint("print("SELECTcreate_vlabeldef