CN119537376A 一种基于大模型的sql元数据处理方法、sql语句生成方法、电子设备和数据中台 (云启智慧科技有限公司)_第1页
CN119537376A 一种基于大模型的sql元数据处理方法、sql语句生成方法、电子设备和数据中台 (云启智慧科技有限公司)_第2页
CN119537376A 一种基于大模型的sql元数据处理方法、sql语句生成方法、电子设备和数据中台 (云启智慧科技有限公司)_第3页
CN119537376A 一种基于大模型的sql元数据处理方法、sql语句生成方法、电子设备和数据中台 (云启智慧科技有限公司)_第4页
CN119537376A 一种基于大模型的sql元数据处理方法、sql语句生成方法、电子设备和数据中台 (云启智慧科技有限公司)_第5页
已阅读5页,还剩35页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

本发明公开了一种基于大模型的SQL元数据在方法步骤中检测是否存在需要进行元数据维据维护的效率,增强了元数据的准确性和一致数据操作时能够依赖更新后最新的元数据进行21.一种基于大模型的SQL元数据处理方法,应用于数据中台的元数据处理,其特征在获取数据中台的元数据,检测是否存在需要进行元数据维护的触发操作,所述触发操如果存在与元数据维护对应的触发操作,则根据触发操作调用大语言模型生成切片对应的元数据知识点,将所述2.根据权利要求1所述的基于大模型的SQL3.根据权利要求1所述的基于大模型的SQL元将经过元数据处理后的新增表内容生成新增表内容文件,将所述将经过元数据处理后的变更表内元数据生成更新表内容文档,将经过元数据处理后的删除表操作生成删除表操作文档,将所述4.根据权利要求1所述的基于大模型的SQL元数据处理方法接收数据查询请求,利用自然语言处理技术对所述数据查询请求3在元数据知识库中检索数据查询请求对应的元数据,将元数根据所述语义解析结果对应的执行SQL语句,将所述执行SQL语句调用大语言模型生成切片对应的新增表内容知识点利用嵌入式模型将新增表内容知识点、变更生成表及其字段的内容概述,内容概述包括所有表存放的信息以及所有表的所有字6.根据权利要求4所述的基于大模型的SQL元数据在利用大语言模型对数据查询请求进行语义理解的过gg在全文检索时对问题进行分词、去除停用词或提取词干,在判断问答知识库中是否存在提问问题对应的答案,如果检索到提问问题对应的答案,根据在向量数据库中查询的结果使用大语言模型生成对应的S根据接收到的用户对SQL语句选择情况,将相应的SQL语句保存到问8.根据权利要求7所述的基于大模型的SQL语句生将所述提问问题通过嵌入式模型转换为向量,通过向量在元数据知4所述在全文检索时对问题进行分词、去除停用词或提取词干,在语在通过嵌入式模型转换交问题转换为向量的过程中提取SQL语句n表示第n个特征的权重值;对特征向量进行归一化处理,归一化公式为||V||表示向量V的欧几里得5[0005]本发明的目的在于提供一种基于大模型的SQL元数据处理方法、SQL语句生成方[0008]获取数据中台的元数据,检[0009]如果存在与元数据维护对应的触发操作,则根据触发操作进行对应的元数据处[0013]跟踪数据中台的变更历史,通过在数据中台中设置触发6[0030]调用大语言模型生成切片对应的新增表内容知识点,生成切片内容的三元组信7gg[0044]根据接收到的用户对SQL语句选择情况,将相应的SQL语[0047]根据在向量数据库中的所述元数据切片使用大语言模型生成对应的SQL语句,具[0049]在通过嵌入式模型转换交问题转换为向量的过程中提取SQL语句的特征,特征包[0050]将提取的特征映射到高维空间,形成特征向量,其中特征向量表示为V=(v1,n表示第n个特征的权重值;[0051]对特征向量进行归一化处理,归一化公式为[0052]对特征向量进行复杂度计算,以确定特征向量的复杂度,复杂度计算公式为C=权重特征的比例。89[0071]如图1所示,基于大模型的SQL元数据处理方法应用于基于大模型的SQL元数据处[0080]步骤S11到步骤S12提供的优化技术方案实现了对数据中台元数据的全面监控和的元数据文档,再将所述更新表内容文档的全部内容作为一个切片上传到元数据知识库,[0094]调用大语言模型生成切片对应的新增表内容知识点,生成切片内容的三元组信[0098]步骤S21到步骤S23的优化技术方案实现了自动化的元数据管理和知识点向量化使得模型能够在低维空间中表示和比较复杂的数据结构量能够保留原始数据的语义和上下文信息,现有技术中的嵌入式模型包括:Word2Vec、GloVe(GlobalVectorsforWordRepresentatio[0105]步骤S31到步骤S33提供的优化技术方案实现了从自然语言查询请求到结构化查查询之间的无缝对接。利用大语言模型来实现从自然语言到SQL语句的转换能够准确解析SemanticSimilarity(R,Z),语义相似度计算结果用于评估查询语句与相关知识之间的相[0113]g是整合函数(IntegrationFunction),将上述所有组件的输出合并为统一的表[0115]步骤S31到步骤S33提供的优化技术方案利用大语言模型对自然语言形式的数据了注意力机制,使得进行SQL语句查询和生成的过程中能够识别并聚焦于查询语句中的关通过训练数据学习得到整合函数g的参数θg,利用自学习功能更准确地捕捉用户的真实查[0119]元数据知识点转换向量模块,用于调用大语言模型生成切片对应的元数据知识自然语言问题到结构化查询语言(SQL)的高效转换,首先通过嵌入式模型将用户的自然语[0132]步骤S51到步骤S52提供的优化技术方案能够通过提问问题对应的向量在向量数[0134]在通过嵌入式模型转换交问题转换为向量的过程中提取SQL语句的特征,特征包[0135]将提取的特征映射到高维空间,形成特征向量,其中特征向量表示为V=(v1,n表示第n个特征的权重值;[0137]对特征向量进行复杂度计算,以确定特征向量的复杂度,复杂度计算公式为C=围;γ表示特征向量中零权重特征的比例权重,γ的作用在于调整零权重特征对复杂度的[0139]在步骤S5的优化技术方案中通过大语言模型将自然语言形式的数据查询请求转过加入对SQL语句复杂度的计算,通过计算特征向量的复杂度能够评估SQL语句的复杂性,次数,提高了系统和用户之间的交互效率实现了从自然语言到SQL语句的高效、准确转[0145]SQL语句生成模块,用于根据在向量数据库中查询的结果使用大语言模型生成对SQL语句生成系统在数据中台实现了应用。在本发明实施例的数据中台中包括:大语言模有的技术方案增加了知识库和大语言模型,知识库逻辑上包含元数据知识库和问答知识出生地代码使用中华人民共和国行政区划代码,人员出生地代码保存在表t_regioncode,示例:“t__id学生所在院系是学生表t__student的外键,外键值是t_码。人员出生地代码使用中华人民共和国行政区划代码,人员出生地代码保存在表t_regioncode,t_regioncod[0191]把关联表新元数据文件上传到元数据知识库形成文档。[0195]语义检索使用问答知识库查询SQL语句。先把用户的问题通过嵌入式模型转换为

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论