CN120297419A 基于大语言模型对抗性提示检测方法、设备及介质 （山东浪潮数字商业科技有限公司）

本发明公开了基于大语言模型对抗性提示技术中大语言模型安全防护过程中存在的静态对语义特征、结构特征以及上下文特征经Min_2特征提取：全面解析用户文本中的语义信息、结构信息利用BERT微调的意图分类模型，对文本进行Tokenization与Transformer编码，提取结合通用命名实体识别与自定义高危实体库构异常符号检测：通过正则表达式规则库匹配连续非单词字符，统计连编码混淆检测：通过遍历字符Unicode编码，识别AS破解高风险操作请求：通过关联当前输入文本与历史对话，破解对话一致性校验：利用Sentence_BERT模型编码最近若干轮对话与当前输权限矛盾检测：基于知识图谱构建规则推理引擎，将用户身份属性与操作请用户身份与操作请求存在明显权限不匹配时：通过预设的权限规则库和知识图谱关联分35.根据权利要求1所述的基于大语言模型对抗性提示检测方法，其特征在于，BERT_BiLSTM双路融合模型结合预训练语言模型的语义理解能力与序列模型的局部模式捕捉能其中，语义编码层用于通过BERT模型对输入文本进行WordPiece分词后，经由12层Transformer编码器生成上下文感知的词向量序列，其中[CLS]标记的768维向量作为全局序列模式层用于采用128单元的双向LSTM网络，前向LSTM网络解析指令逻辑的正向时决策层用于通过两层全连接网络逐步降维，具体为：首层将106.根据权利要求1所述的基于大语言模型对抗性提示检测方法，其特征在于，BERT_预训练阶段：基于百万级对抗样本，通过交叉熵损失微调BERT参4首先将拦截的高风险请求及其上下文特征持久化存储至Elasticsearch攻击特征库，通过每日新增攻击样本启动增量训练流程，采用分层过采样技术对BERT_BiLSTM双路融合模型的顶层全连接网络进行热更新，同时通过A/B测试框架将更新后的模型以10％流量比例灰所述至少一个处理器执行所述存储器存储的计算机程序，使得所述行如权利要求1至8任一项所述的基于大语言模型对抗性提5为动态防护能力的缺失。现有技术缺乏对输入文本的深层语义分析与上下文逻辑推理能关键词、符号)的检测机制难以识别此类策略，造[0004]本发明的技术任务是提供一种基于大语言模型对抗性提示检测方法、设备及介6[0020]作为优选，BERT_BiLSTM双路融合模型结合预训练语言模型的语义理解能力与序Transformer编码器生成上下文感知的词向量序列，其中[CLS]标记的768维向量作为全局[0022]序列模式层用于采用128单元的双向LSTM网络，前向LSTM网络解析指令逻辑的正向时序依赖，后向LSTM网络逆向检测非常规结构(如倒置步骤或异常符号插入)，将双向LSTM网络的128维前向隐状态与128维后向隐状态拼接为256维序列特征向量，再与BERT模[0024]作为优选，BERT_BiLSTM双路融合模型的训练策略分为预训练与联合训练两个阶7[0025]预训练阶段：基于百万级对抗样本(含60％真实攻击数据与40％GPT_3.5生成变首先基于BERT_BiLSTM双路融合模型在验证集ROC曲线上的最优Youden指数(最大化TPR_(过去500次推理得分的标准差)以及实时误报率(FP/(FP高峰期是指当滑动窗口内高风险请求占比>15％或BERT_BiLSTM双路融合模型TPR>90％时，险摘要(含高危实体列表与意图类别)，前端渲染动态确认页，用户授权后请求携带8基于每日新增攻击样本启动增量训练流程，采用分层计算机程序可被处理器执行以实现如上述的基于大语言[0042](一)本发明用于识别并拦截针对大语言模型(LLM)的对抗性提示攻击，提升模型[0044](三)本发明通过融合语义、结构及上下文的多维度特征提取与双路融合模型在48小时内自主适配新型攻击模式(检测精度平均提升2.3％)，同时通过分级响应与语义9[0050]参照说明书附图和具体实施例对本发明的基于大语言模型对抗性提示检测方法、的风险实体进行同义词扩展匹配，进而通过统计实体密度(如每百字含3个以上高危词)量体密度是指高危实体数与总词数之间的百分比。单词字符在文本中的占比并结合Levenshtein距离算法进行模式聚类，识别潜在的异常符用滑动窗口计算局部连贯性得分，并联合GPT_2模型的困惑度评估，量化文本分段异常程密度超过30％则判定为异常。编码混淆检测则通过遍历字符编码，识别混合使用ASCII与会标记此类混淆行为。文本碎片化程度则通过句长标准差与标点密度联合评估：若输入如突：当检测到用户身份与操作请求存在明显权限不匹配时(例如普通用户请求涉及专业领中的权限越级或事实冲突：当检测到用户身份与请求操作存在明显权限不匹配时(例如普通用户请求涉及专业领域的特殊操作)，系统会通过预设的权限规则库和知识图谱关联分[0069]本实施例步骤S2中的BERT_BiLSTM双路融合模型结合预训练语言模型的语义理解Transformer编码器生成上下文感知的词向量序列，其中[CLS]标记的768维向量作为全局[0071]序列模式层用于采用128单元的双向LSTM网络，前向LSTM网络解析指令逻辑的正向时序依赖，后向LSTM网络逆向检测非常规结构(如倒置步骤或异常符号插入)，将双向LSTM网络的128维前向隐状态与128维后向隐状态拼接为256维序列特征向量，再与BERT模[0076]本实施例步骤S2中的动态阈值调整机制中初始阈值θ0＝0.75的确定具有双重依大化TPR‑FPR)，同时参考系统采集的历史攻击数据分布(过去30天攻击请求占比的中位击高峰期是指当滑动窗口内高风险请求占比>15％或BERT‑BiLSTM双路融合模型TPR>90%时，触发灵敏度优先模式，θ逐步降低至0.65(下限保护)；平静期是指当攻击频率<5％且式风险摘要(含高危实体列表与意图类别)，前端渲染动态确认页，用户授权后请求携带征库，通过DBSCAN密度聚类算法识别新型攻击模式(如检测到绕过符号"##{指令}##"的变比新旧版本的TPR/FPR指标以验证有效性；最果，运用Q_Learning算法动态调节内容脱敏规则权重(如提升化学品类实体的替换优先[0090]处理器可以是中央处理单元(CPU)，还可以是其他通用处理器、数字信号处理器[0091]存储器可用于储存计算机程序和/或模块，处理器通过运行或执行存储在存储器