CN119537411A 基于LLM语义理解技术的Excel模版数据自动回填方法 (中电万维信息技术有限责任公司)_第1页
CN119537411A 基于LLM语义理解技术的Excel模版数据自动回填方法 (中电万维信息技术有限责任公司)_第2页
CN119537411A 基于LLM语义理解技术的Excel模版数据自动回填方法 (中电万维信息技术有限责任公司)_第3页
CN119537411A 基于LLM语义理解技术的Excel模版数据自动回填方法 (中电万维信息技术有限责任公司)_第4页
CN119537411A 基于LLM语义理解技术的Excel模版数据自动回填方法 (中电万维信息技术有限责任公司)_第5页
已阅读5页,还剩25页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

基于LLM语义理解技术的Excel模版数据自是一种基于LLM语义理解技术的Excel模版数据理NLP、自然语言转NL2SQL和自动化数据填充技2通过读取用户上传的Excel模板文件,获取表头信息等元数据,为后续的处理过程提供将S01步骤解析得到的表头信息和用户输入的查询条件嵌入到预定义的提示词模板Excel向量为H,查询条件为q,用于提供LLM需要生成的是SQL语句的上下文mask,则系统将生成的Prompt传递给NL2SQL模型,模型通过语义解析和上下文理解生成SQL查验证SQL查询中的字段是否与Excel模板中的字段准确对应,包括检查分析SQL查询的逻辑结构,确保其符合用户意图和模板要求,3数据源连接与查询执行:首先建立与预设数据源的安全连接,是各将S05步骤回填数据后生成新的Excel文件4将S01步骤解析得到的表头信息和用户输入的查询条件嵌入到预定义的提示词模系统将生成的Prompt传递给NL2SQL模型,模型通过语义解析和上下文理解生成5验证SQL查询中的字段是否与Excel模板中的字段准确对应,包括检查字段名称、6将S05步骤回填数据后生成新的Excel文件[0008]结合模板信息的智能Prompt生成方法:发明创造性地设计了一种包含"Prompt模满足特定Excel模板的数据需求。这种方法综合考虑了Excel模板的结构特征和数据特性,对NL2SQL生成的SQL查询进行智能7通过NL2SQL模型转换为SQL查询语句,系统执行该查询语句从预设的数据源中获取所需数[0016]如图1所示,本发明实施例的一种基于LLM语义理解技术的Excel模版数据自动回8主要使用智普GLM_4_9B模型生成对应的S[0021]假设Excel表头信息为H,查询条件为q,用于根据给定的数据库Schema,这是更具问题[QUESTION]{user_question}[/9CREATETABLEt_populat3)生成完整Prompt:将S01步获取的表头信息作为查询字段与用户输入的查询条CREATETABLEt_populat大模型并针对Excel填充任务进行了特定的微调。这包括使用大量的Excel模板和相关[0034]3)Schema对齐:模型能够将自然语言查询中的实体和关系与Excel模板的字段和确保生成的SQL查询不仅语法正确,还能高效地满足特定Excel模板的数据需求。[0038]2)模板字段映射验证:验证SQL查询中的字段是否与Excel模板中的字段准确对SELECTname,CASEgenderWHEN0THEN'男'ELSE'女'ENDASgender,CAST(SUBSTR(identification_no,7,4)ASSIGNEDINTEGER)一CAST(LEFT(CURDATE(),4)ASSIGNEDINTEGER)ASage,identification_noFROMt_populationWHEREgender=1ANDCAST(SUBSTR(identification_no,7,4defvalidate_sql_query(sparsed_query=sqlpa支持用户自定义数据类型和转换规则。defexecute_sql_query(sql_query,db_codb_connection=sqlite3.connect('data_source.db')sql_query="SELECTuser_id,name,registration_dateFROMuser_tableWHEREYEAR(registration_date)=2021"extracted_data=execute_sql_query2)数据回填:将格式化后的数据回填到用户上传的Excel模板中。使用pandas的ExcelWriter可以方便地将数据写入[0061]deffill_template_with_data(template_path,output_path,formatted_withpd.ExcelWriter(template_path,engine='openpyxl',mode='a')formatted_data.to_excel(writer,index=False,sheet_name='output_path='filled_tefill_template_with_data(template_path,output_path,formatted_data)defsave_filled_template(output_path,ssave_path='final_fuser_idINTPRIMARY);SELECTname,registration_dateFROMuser_tableWHEREYEARuser_idINT,order_dateDATE,);sale_dateDATE,);SELECTDATE_FORMAT(sale_date,'%Y_%m')ASmonth,SUM(amount)AS[0069]N

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论