CN119513231A 敏感信息识别方法、系统、设备、存储介质及程序产品 （国网浙江省电力有限公司电力科学研究院）

号知识数据库中相似度排名靠前的预设个数的知本发明既可通过细粒度文本分块策略提升上下2将所述待分析文本与预先构建的知识数据库进行相似度计算，确定所将所述文本数据输入预先构建的分级分类大模型，输出与所述待分获取预先构建的文本分类分级微调数据集，所述文本分类分级基于所述文本分类分级微调数据集对所述基座模型进行微;;3计算模块，用于将所述待分析文本与预先构建的知识数识别模块，用于将所述文本数据输入预先构建的分级分类大模存储器和处理器，所述存储器和所述处理器之间互相通信连接9.一种计算机可读存储介质，其特征在于，所述机执行权利要求1_6中任一项所述的敏感信4使得传统的基于规则和关键字的敏感信息识别方法无法充分满足5[0013]在一种可选的实施方式中，基于文本分类分级微调数据;;AIIBI为向量A的模与向量B的模的乘积。型提供相关的上下文信息，提升大模型在处理待分析文本时的准确性和上下文理解能力，6使计算机执行上述第一方面或其对应的任一实施方式的7是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，微调后的大模型进行文本分类分级的结果输出的过程中，需要利用RAG检索的结果和待分[0033]如下是基于RAG的知识子数据库与待分析文本组成的新的大模型的输入的一个简8[0036]避免提及你是从<Da在上述数据的Input部分中<Data></Data>即是通过RAG检索获取的数据，用户输本实施例中还可以设计一种基于检索增强生成和大模型的智能化电力信息系统敏感信息中，可以采用多维度的文本分块策略对分类分级数据集进行分块，并进行分块数据的[0050]如下是本实施例中提供的一个文本切割策略的示例（假设上传的是txt纯文件9分号等找到后作为切割点。[0061]在文本分块以后需要将分块后的文本进行Embedding存入向量数据库，方便后续检索过程中通过余弦相似度来计算和输入文本最相关的TopK个数据库。经过考虑Embedding模型的向量维度、计算消耗和效果等多方面内容，本实施例中优先选择的策略1中有可能涉及到分块的文本存在前后紧密关联但是会被切割开的情况，基于此提出于2000个字符的文本，分割的快的文本索引分别是[1,500],[490,990],[980,1480],析工具能够比较方便的解析出其中的标题和相关内容，比如md文件，通过python中的尽可能的向预设的字符靠近，另一方面能保证分块后的文本之间不会存在较大的不连贯_description：专注于数据安全领域，负责根据文档的分类分级标准对数据进1.深入阅读并熟悉数据分类分级的文档标欢迎使用数据分类分级专家助手，请描述您希望了解的具体数据分类分级内容，[0090]在一些可选的实施方式中，基于文本分类分级微调数据;N为高斯分布的标志。kd，是远远小于W的参数量d2的，这样通过在旁支添加A、B矩阵的方式，一方面可以不改变原有的llamda_factory作为微调训练实现的技术框架，当loss值在0.7左右即可认为达到一个比;合预期能够进行文本分类分级的推理。AIIBI为向量A的模与向量B的模的乘积。[0097]在进行文本相似度计算的过程中，通过M3E模型对传入的文件或者输入文本进行数据即可获取输出结果，经过对结果的验证本系统对文本分类分级的结果又大于95%的准[0103]本实施例中的敏感信息识别系统是以功能单元的形式来呈现，这里的单元是指主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处[0111]该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程