版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
道老坑社区兰景北路68号深宇科技园一种基于机器学习的大数据异常检测处理本发明公开了一种基于机器学习的大数据方法包括:获取K个大数据任务在预设历史窗口得K个集中异常特征集合序列;进行异常特征关行异常检测处理本发明解决了现有技术中大数据异常检测时缺乏深入分析大数据任务历史运2获取K个大数据任务在预设历史窗口的任务运遍历所述K个历史运行日志序列进行异常特征集中提取,获得K个集中异分别对所述K个历史运行日志序列和所述K个集中异常特征集合序列进行异常特征关根据所述K个异常检测结果对所述K个大数据任务进行异获取所述K个大数据任务的K个基准运行特征集合和K个运行特以所述K个基准运行特征集合和所述K个运行特征宽容区间集合为约束,对所述K个历基于所述K个异常特征簇序列进行异常特征集中筛选,确定所述K于所述K个异常特征簇序列进行异常特征集中筛选,确定所述K个集中异常特征集合序列,从所述K个异常特征簇序列中随机提取第一异常特征簇,并从所述第一异常特征簇中第一异常运行特征集合中到所述第一异常运行特征均值的距离为预设集中筛选步长的任判断所述第一阶段异常运行特征与所述第一异常运行特征均值的集中密度差值是否按照预设集中筛选步长对所述K个异常特征簇序列进行异常特征集中筛个集中异常特征集合序列。3别对所述K个历史运行日志序列和所述K个集中异常特征集合序列进行异常特征关联迭代对每个集中异常特征进行场景描述的多个关键提取K个一阶关键词组集合序列中位于首位的K个首位一阶关键词组集合,基于K个首位一阶关键词组集合按照从前到后的顺序依次对所述K个一阶关键词组集合进行关联关键取K个一阶关键词组集合序列中位于首位的K个首位一阶关键词组集合,基于K个首位一阶关键词组集合按照从前到后的顺序依次对所述K个一阶关键词组集合进行关联关键词捕获取所述K个一阶关键词组集合序列中位于第二位的K个第所述K个首位一阶关键词组集合为索引对所述K个第二位一阶关键词组集合进行关联捕获,再次获取所述K个一阶关键词组集合序列中位于第三位的K个第三位一阶关键词组集经过多次关联迭代识别,直至对序列中最后一位历史一阶关根据更新后的K个二阶关联捕获记忆库获得所述K个二阶关联分别计算所述K个任务异常系数均值比上所述K4[0003]现有技术存在着大数据异常检测时缺乏深入分析大数据任务历史运行中存在的[0006]获取K个大数据任务在预设历史窗口的任务运行日志,获得K个历史运行日志序[0008]分别对所述K个历史运行日志序列和所述K个集中异常特征集合序列进行异常特[0009]利用训练完成的K个异常检测路径对所述K个大数据任务的运行情况进行异常检5[0014]图1为本申请实施例提供的一种基于机器学习的大数据异常检测处理方法的流程[0015]图2为本申请实施例提供的一种基于机器学习的大数据异常检测处理方法中确定K个大数据任务的K个任务异常系数集合的现有技术中大数据异常检测时缺乏深入分析大数据任务历史运行中存在的隐含关联情况,[0019]实施例,如图1所示,本申请提供了一种基于机器学习的大数据异常检测处理方[0022]所述K个大数据任务为利用大数据进行处理分析的任务,可以为数据定期采集任6了所述K个大数据任务在预设历史窗口的运行情况,实现了为后续进行可靠的大数据异常[0027]以所述K个基准运行特征集合和所述K个运行特征宽容区间集合为约束,对所述K包括一个历史运行日志中存在的多个异常运所述K个历史运行日志序列中不满足约束的数据特征进行提取,获得K个异常特征簇序列,达到了为后续分析每个历史运行日志序列的异常特征普遍情况提供数据支持的技[0034]从所述K个异常特征簇序列中随机提取第一异常特征簇,并从所述第一异常特征7所述第一异常运行特征集合中到所述第一异常运行特征均值的距离为预设集中筛选步长[0037]判断所述第一阶段异常运行特征与所述第一异常运行特征均值的集中密度差值[0038]按照预设集中筛选步长对所述K个异常特征簇序列进行异常特征集中筛选,确定所述K个集中异常特征集合序列。一异常运行特征集合在考虑边缘值时一个异常基准运行特征征为所述第一异常运行特征集合中到所述第一异常运行特征均值的距离为预设集中筛选特征均值不能代表所述第一异常运行特征集合的一异常运行特征集合中进行筛选,直至满足预设筛8集合序列进行异常特征关联迭代识别,确定所述K个大数据任务的K个任务异常系数集合,[0049]提取K个一阶关键词组集合序列中位于首位的K个首位一阶关键词组集合,基于K个首位一阶关键词组集合按照从前到后的顺序依次对所述K个一阶关键词组集合进行关联[0052]获取所述K个一阶关键词组集合序列中位于第二位的K个第二位一阶关键词组集[0053]再次获取所述K个一阶关键词组集合序列中位于第三位的K个第三位一阶关键词异常系数集合反映了所述K个大数据任务在历史运行中各个基准运行特征发生异常的情9更新后的K个二阶关联捕获记忆库,并根据更新后的K个二阶关联捕获记忆库获得所述K个对大数据任务的异常情况进行分析识别的技[0064]分别计算所述K个任务异常系数均值比上所述K个任务异常系数均值的总和的比长为本领域技术
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 小学五年级科学《巧用斜面》教学设计:从现象探究到工程建模
- 高三化学教案:化学平衡常数综合计算的三阶突破
- 七年级语文下册《有为有不为》教学设计:义利抉择与君子养心
- 初中七年级英语 Unit 3 My School Section B 语音教学设计
- 小学五年级美术《色彩的色相》教学设计
- 高中二年级英语UNIT 6晨背Topic Talk主题语境词汇教学设计(北师大版选择性必修第二册)
- 2027届高三英语听力教学设计:语篇重构与策略迁移专题第四十三课时
- 2026事业单位工勤技能-新疆-新疆广播电视天线工三级(高级工)历年参考题库含答案详解
- 湖北省荆州市荆州区2026-2027学年上学期期中质量监测七年级语文试题(文字版含答案)
- 辽宁鞍山市铁东区2026-2027学年九年级上学期期中语文试卷(文字版含答案)
- 工会审计整改报告模板及范例
- 隐睾下降固定术手术规范
- 2025年石河子大学马克思主义基本原理概论期末考试真题汇编
- 2026年医疗保险审核部门面试题及应对策略
- 2026-2031中国法兰行业市场前景分析预测报告
- 施工便道临时方案
- 信息科技课程标准2025年版
- 眼科手术并发症处理规定
- 风机叶片覆冰安全培训课件
- 2025云南曲靖市人力资源和社会保障局招聘公益性岗位工作人员3人考试参考题库及答案解析
- 医院服务接待礼仪
评论
0/150
提交评论