CN119443087A 文本纠错方法、装置、设备及存储介质 （中移动信息技术有限公司）

2将获取到的待纠错文本输入至大语言模型，基于所述大语言模型对所从预设热词权重表中匹配所述错误词汇的替换候选词汇，所述预设热词权基于所述大语言模型与预设滑动窗口，从所述替换候选词汇中筛选最满从所述替换候选词汇中筛选最满足所述错误词汇上下文的目标替换词汇的从所述替换候选词汇中筛选与所述当前纠错段落中的错误词汇对应待替换热基于所述大语言模型确定各所述待替换热词组成的热词将所述替换概率最大热词组合中的目标替换热词，确定为最满足基于所述大语言模型按照所述当前纠错段落的语义，逐个对各所述待从所述预设热词权重表中获取各所述待替换热基于所述权重对各所述语义贴合概率进行加权处理，确定各所述热词组合的替换概基于所述大语言模型对所述待纠错文本中每个词汇进行上下文分基于所述大语言模型，从所述词汇中筛选出所述概率模型小于预设概率阈值的词汇，从预设热词权重表中获取与所述拼音表述相同的同音热确定所述错误词汇与所述预设热词权重表中基于所述同音热词、编剧距离以及语义相似性的特征权重，对各所3对获取专业领域的专业术语以及专业文本进行垂直分析，获得所基于预设RAG整合所述专业领域的知识文本对所述初训语言模型进行优化，获得大语错误识别模块，用于将获取到的待纠错文本输入至大语言对所述待纠错文本中的每个词汇进行错误概率识别，获得所述待纠错文本中的错误词汇，所述大语言模型是基于专业领域语料对语言模型进行训筛选模块，用于基于所述大语言模型与预设滑动窗口，从算机程序被处理器执行时实现如权利要求1至6中任一项所述的文4[0004]上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技5[0033]基于预设RAG整合所述专业领域的知识文本对所述初训语言模型进行优化，获得6包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的文本纠错方法的步7语言模型是基于专业领域语料对语言模型进行[0066]需要说明的是，待纠错文本可以是需要检查并纠正错别字、用词和/或语法等文8入的待纠错文本进行错误概率识别，以根据待纠错文本的语义识别出错误概率较高词汇，根据用户的日常用于、行业术语以及用户反馈数据创建包含用户习惯用语或用词的热词通过点击接受或修改建议的形式进行，或/和设置一个允许用户直接对热词的使用进行评9[0078]在具体实现中，在使用预设滑动窗口标定当前需要纠错[0085]步骤S32，从所述替换候选词汇中筛选与所述当前纠错段落中的错误词汇对应待[0086]步骤S33，基于所述大语言模型确定各所述待替换热词组成的热词组合的替换概每个wi是在给定上下文和可能的热词选择中替换的结果，设定序列S的语义贴合概率为Pw2n-1)[0108]可以理解的是，通过使用经过大数据训练的大型语言模型(LLM)进行词汇概率预[0111]在具体实现中，经过大量专业领域语料数据优化的LLM模型处理用户输入的待纠[0123]在具体实现中，将利用热词表和从文本中标定的潜在错ppυ2是两个词的向量表示。[0134]步骤S3，基于预设RAG整合所述专业领域的知识文本对所述初训语言模型进行优[0139]使用收集的专业领域语料对选定的开源大型语言模型进行非监督的预训练微使模型更好地理解和生成专业领域的文本，从而提升其在专业领域的token(令牌)概率预型和Chroma向量数据库。这种方法能够通过检索相关的知识文本来为模型提供先验知识，知识项。在使用余弦相似度来衡量BGE生成的嵌入向量与Chroma数据库中向量之间的相似述词汇中筛选出所述概率模型小于预设概率阈值的词汇，获得所述纠错文本中的错误词令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例一中的文本纠错方[0158]下面参考图9，其示出了适于用来实现本申请实施例的文本纠错设备的结构示意播接收器、PDA(PersonalDigitalAssistant：个人数字助理)、PAD(Portable置1003加载到随机访问存储器(RAM：RandomAccessMemory)1004中的程序而执行各种适[0164]本申请提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令[0166]上述计算机可读存储介质可以是文本纠错设备中所包含[0168]可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN：[0173]本申请提供的计算机程序产品能够解决常用技术方案不能在复杂或变化的语言