CN119398035A 文本纠错语言模型训练方法、文本纠错方法及相关产品 （杭州阿里云飞天信息技术有限公司）

本申请涉及一种文本纠错语言模型训练方2获取使用场景数据和基于所述使用场景数据得到的初始训练数在所述使用场景数据中确定所述改前信息的上下文信息利用所述目标训练数据训练所述文本纠错语言将与所述第一位置相邻的第一目标位置对应的第一文字信息，作为基于所述第二位置在所述使用场景数据中确定第二目标位置；根据所述关联度值在所述第二文字信息中确定所述改前信基于所述上下文信息在所述使用场景数据中确定目标上下文信息下文信息与所述上下文信息之间的相似度满足基于所述目标上下文信息和所述改前信息，对所述使用场景数据进行信将包括所述目标上下文信息和所述改前信息的检索内容作为在所述初始训练数据中确定所述改后信息对应的多种其它改3获取所述改前信息对应的多种相似改前信息，在所述多种相似将所述待处理文本输入文本纠错语言模型，以对所述待处理文本进行文本纠错处理；数据模块，用于获取使用场景数据和基于所增强模块，用于在所述使用场景数据中确定所述改前信息的上处理模块，用于将所述待处理文本输入文本纠错语言模型，以对所包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1_8中任一项算机程序被处理器执行时实现权利要求1_4与所述改前信息之间具有关联性，所述目标训练数据中包括目标改前信息和所述改后信5所述文本纠错语言模型是通过上述的方法训[0013]本发明实施例，获取使用场景数据和基于所述使用场景数据得到的初始训练数67时间关联等维度来度量这种关联关系，即所述上下文信息与所述改前信息之间具有关联8[0045]本发明实施例，获取使用场景数据和基于所述使用场景数据得到的初始训练数[0046]考虑到改前信息邻近位置的文本信息，对改前信息的正确使用可能存在较大影9文字信息中除所述上下文信息以外的任意第二文字信息对数据中的位置不同；将包括所述目标上下文信息和所述改前信息的检索内容作为检索结括所述目标上下文信息和所述改前信息的检索内容作为检择C作为第一改前信息，即在所述初始训练数据中确定所述改后信息对应的多种其它改前[0065]在一种可能的实施方式中，根据所述检索结果和所述改后信息生成目标训练数[0066]在该可能的实施方式中，可以将检索结果中的改前信息于训练模型在结合上下文信息或目标上下文信息的情况下，将改前信息修改为改后信息，使目标训练数据的错误分布和实际使用场景的错[0085]本发明实施例，获取使用场景数据和基于所述使用场景数据得到的初始训练数于所述第二文字信息中除所述上下文信息以外的任意第二文字信息对应的器通信连接的存储器。上述存储器存储有能够被上述至少一个处理器执行的计算机程序，上述计算机程序在被上述至少一个处理器执行时用于使电子设备执行本发明实施例的方计算机程序在被计算机的处理器执行时用于使上述计算机被计算机的处理器执行时用于使计算机执行本发明[0099]参考图3，现将描述可以作为本发明实施例的服务器或客户端的电子设备的结构中的计算机程序或者从存储单元308加载到随机访问存储器(RAM)303中的计算机程序，来执行各种适当的动作和处理。在RAM303中，还可存储电子设备操作所需的各种程序和数储单元308以及通信单元309。输入单元306可以是能向电子设备输入信息的任何类型的设[0103]用于实施本发明实施例的方法的计算机程序可以采用一个或多个编程语言的任理装置的处理器或控制器，使得计算机程序当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连