CN119520172A 一种抗爬虫监测处理方法、装置、设备及介质 （中电科长江数据有限公司）

质本申请提供一种抗爬虫监测处理方法、装根据实时获取的当前访问行为的访问数据和访根据基于访问数据更新后的访问日志构建访问问行为对应的样本访问行为参数和样本访问特征参数及其样本爬虫结果进行模型训练获得的2获取访问日志，根据所述访问数据和所述访问日志获基于所述访问数据更新所述访问日志，并根据更新后的访问日志构输入所述访问行为参数和所述访问特征参数至预设爬个历史访问行为对应的样本访问行为参数和样本访问特征参数及其样本爬虫结果进行模在所述爬虫识别结果对应的所述当前访问行为是恶意爬虫行为根据所述样本访问日志，获取多个样本访问行为对应的访根据所述样本访问日志，构建样本访问行为特征矩阵，并根据以每个所述样本访问行为对应的所述样本访问行为参数和样本访问特征参数作为模若根据所述用户代理识别所述当前访问行为包含爬虫从所述访问日志中提取包含所述访问标识的历史访问行为的访根据所述访问类型和访问时间，从所述参考访问数据获取与当前访根据所述请求URL和访问时间，从所述参考访问数据以及当前访问行为的访问数据中根据所述访问类型和访问时间，从所述参考访问数据获取以及3提取更新后的访问日志中所有访问行为对应的访问标识，并获取更新后的筛选所述更新后的访问日志中的无效数据和噪声数据，将接收所述终端返回的身份验证信息，根据所述身份验证信息确定所述第二获取模块，用于获取访问日志，根据所述访问数据和所构建模块，用于基于所述访问数据更新所述访问日志，布序列；预测模块，用于输入所述访问行为参数和所述访问特征参数至预设别模型是根据多个历史访问行为对应的样本访问行为参数和样本访问特征参数及其样本处理模块，用于在所述爬虫识别结果对应的所述当前访问行为是恶9.一种电子设备，包括存储器、处理器以及存储在4最高的代理；接着设置本次任务的配置信息，反爬虫检测模块根据代理与配置信息使用5据多个历史访问行为对应的样本访问行为参数和样本访问特征参数及其样本爬虫结果进以每个所述样本访问行为对应的所述样本访问行为参数和样本访问特征参数作根据所述请求URL和访问时间，从所述参考访问数据以及当前访问行为的访问数[0010]根据本申请提供的技术方案，所述根据更新后的访问日志构建访问行为特征矩6间分布序列；预测模块，用于输入所述访问行为参数和所述访问特征参数至预设爬虫识别模爬虫识别模型是根据多个历史访问行为对应的样本访问行为参数和样本访问特征参数及7在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语2001234"_""Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.368用户代理为：Mozilla/5.0(WindowsNT10.0;Win64;x64)ppleWebKit/fromsklearn.ensembleimportRandomForestmodel=joblib.load('trained_model.pkl')log_entry["timestamp"]=pd.to_datetime(log_entry["timestamp"],format='%d/%b/%Y:%H:%M:%S%z')"ip":"","timestamp":"11/Jul/2024:12:00:01+0000","url":"/index.html","user_agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)}new_log_entry=monitor_l所述参考访问数据以及当前访问行为的访问数据中获取所述访问标识对应的历史访问行9行为特征矩阵，从所述访问行为特征矩阵中获取所述当前访问行为对应的访问特征参数；序列；均值以及访问时间分布序列。[0027]所述访问频率标准差可以通过计算一个IP地址在各时间段内的访问频率的标准[0030]所述访问时间分布序列通过获取某IP地址在某一时间段型是根据多个历史访问行为对应的样本访问行为参数和样本访问特征参数及其样本爬虫虫识别模型，获得所述预设爬虫识别模型输出的所述当前访问行为对应的爬虫识别结果。[0034]S105、在所述爬虫识别结果对应的所述当前访问行为是[0035]具体地，在所述爬虫识别结果对应的所述当前访问行为是恶意爬虫行为的情况以每个所述样本访问行为对应的所述样本访问行为参数和样本访问特征参数作[0038]在上述实施例的基础上进一步地，所述当前访问行为的访问[0040]在上述实施例的基础上进一步地，所述访问数据包括当前访问行为的访问标识、2001234"_""Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/88.0.4324.150Safari/5372001234"_""Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/88.0.4324.150Safari/5371.1"2005678"_""Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/[0050]根据所述请求URL和访问时间，从所述参考访问数据以及当前访问行为的访问数访问数据中获取所述访问标识对应的历史访问行为和当前访问行为构成的访问请求序列，2001234"_""Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/88.0.4324.150Safari/5372001234"_""Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/88.0.4324.150Safari/5371.1"2005678"_""Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/{"ip":"","timestamp":"10/Jul/2024:11:05:42+0000","url":"/index.html"},{"ip":"","timestamp":"10/Jul/2024:11:10:43+0000","url":"/index.html"},{"ip":"","timestamp":"10/Jul/2024:11]entry["timestamp"]=pd.to_datetime(entry["timestamp"],format='%matrix=defaultdict(lambda:defa2001234"_""Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/88.0.4324.150Safari/5372001234"_""Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/88.0.4324.150Safari/5371.1"2005678"_""Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/2001234"_""Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/88.0.4324.150Safari/5371.1"2005678"_""Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/fromflaskimportFlask,request,jsonifycontext.use_privatekey_file('path/to/privatekey.pem')context.use_certificate_file('path/to/certificate.pem')@app.route('/sensitive_data',methods=['GET'])defdecorated(args,kwargs):token=request.headers.get('Authorization')jwt.decode(token,SECRET_KEY,algorithms=[exceptjwt.ExpiredSreturnf(args,kwargs)@app.route('/sensitive_data',methods=['GET']){"ip":"","timestamp":"11/Jul/2024:12:00:01+0000","url":"/sensitive_data"},{"ip":"","timestamp":"11/Jul/2024:12:00:02+0000","url":"/sensitive_data"},{"ip":"","timestamp":"11/Jul/2024:12]log_entry["timestamp"]=pd.to_datetime(log_entry["timestamp"],format='%d/%b/%Y:%H:%M:%S%z')defextract_features(lcurrent_time=log_efeatures=[interval,request_coundefdetect_and_protect(lnew_log_entry=moninew_features=extract_featis_bot=model.predict(new_print("Detectedbotactivity.Blockingaccesstosensitiveprint("Legitimateuser.Alnew_log_entry={"ip":"","timestamp":04+0000","url":"/__[11/Jul/2024:12:00:03+0000]"GET/sensitive_data2005678"_""Mozilla/5.0""至根据多个历史访问行为对应的样本访问行为参数和样本访问特征参数及其样本爬虫结前访问行为进行爬虫对抗。通过实时监测访问行为并利用机器学习模型进行预测和识别，[0067]上文结合图1对本申请实施例提供的抗爬虫监测处理方法进行了详细介绍，下面预测模块204，用于输入所述访问行为参数和所述访问特征参数至预设爬虫识别设爬虫识别模型是根据多个历史访问行为对应的样本访问行为参数和样本访问特征参数处理模块205，用于在所述爬虫识别结果对应的所述当前访问行为是恶意爬虫行[0069]本申请实施例提供的抗爬虫监测处理装置可对应于执行本申请实施例中描述的抗爬虫监测处理方法，并且该装置的各个模块的上述功能对应于实现图1所示方法的相应[0071]如图3所示，所述电子设备的计算机系统300包括CPU301，其可