证券IT智能运维平台建设 方案

个环节均存在明显不足，需要大量依赖人的经验，工作效），栈的监控，然而大量无效/无用数据会增加后端数据处理把数据变成了有价值的信息;而现在的智能运维，不仅要把数据变成有价例如仅基于KPI指标相互之间的关联去解析，接着通过机器学习、现代证券企业业务本身对稳定性的要求很高，需要保持各项业务的高效率、智能运维，目标是将人的知识和运维经验与大数据、机器学习技术相结合，在智能算法方面重点深入，面向业务场景明确业务目标，不为智能而智能；智能运维需要在技术创新上勇于开拓，加快步伐，主要分为四个部分[11,8,9]：所有团队的目标达成一致，从总体上提升团队的执行力[用户可以根据平台提供的算法服务开发框架自主开发时用户可以依托云平台的SaaS快速开发能力，针对单一运维场景快速开发对算平台同时提供了SaaS应用开发的脚手架，用户使用脚手架可以快速进行信息展示。数据平台提供数据接口，方便调用OpenT层、算法应用层、SaaS应用层。数据交互层依托原大数据平台通过动态扩缩容功能增加容器个数就可以实现计算能力的扩展。S图2.2应用架构设计生产镜像，并且容器基于轻量级的进程，可以快速扩展l直接计算（infer）:主要用于耗时较短的一次性计算任务，用户直）：成模型后将模型保存到本地磁盘或写入数据库；耗时较长的一次性计算场景（计算阶段），算法根据输入计算得到结果后将结果保存到本地磁）：后使用。主要用于：需要复用模型的场景，算法根据输入和已保存的模型计算得到输出；耗时较长的一次性计算场景（返回阶段算法直接便算法使用人员调用，有必要附加一个服务用于向算法使用人员展示调l下载模板：用户可在算法平台指定入口下载算法开发l创建：用户在平台中创建一个算法应用，录入管理算法应用必要的获取源代码后打包成镜像，并生成容器自动在测试环境运行，同时平台l测试：测试人员访问算法应用测试环境地址可以对算法应用进测试人员测试完成后可将测试报告等相关信息保存在算法平台，同时算l上线：测试完成后算法应用负责人可以选择将算法应用上线或对测通过的算法应用进行修复后再次上传部署，上线成功的算法应用将自动l下架：明确不再使用的算法应用可以通过算法平台下架，算法对于具有训练模型功能的算法应用，算法平台提供了训练任务调用的窗口，训练，训练好的模型可以和SaaS应用进行绑定作为SaaS应用的可选模型，与统自动生成的模型名称、模型文件大小、模型文件保存路径等，用户将模异常检测（AnomalyDetecti型三种13，如下图所示：图3.1周期型指标图3.2稳定型指标图3.3不稳定型指标在前人的研究成果中，针对周期型指标的异常检测，有基于本文的动态阈值算法受到了Twitter的开源异常检测算法14的启发，主要借鉴了时间序列分解和GeneralizedESD算法。整个算法的流程图如图3.4所示。图3.4动态阈值算法流程图性与周期性，周期型数据占有很大的比例，（来自于企业内部某系统的生产数据）如下图3.5所示：图3.5实际的周期型指标数据从图中可以看出，每天的指标数据形状都是极其相似的，除了周末或假期。图3.6按日期重叠的周期型指标数据图3.7标记异常的周期型指标数据去掉第4和第5天之后，剩下的数据如下图所示。图3.8去掉异常日期的周期型指标数据），图3.9去掉更多异常日期的周期型指标数据图3.10标记异常的周期型指标数据可以将其理解为分布稀疏且离密度高的群体较远的点。在特征空据是异常的。孤立森林是一种适用于连续数据(Continuousnumerical随机分割的策略下，异常点通常具有较短的路15。（Seasonal-Trenddecomposi图3.11STL算法计算流程图3.12周期型指标数据的STL分解示意图），），图3.13基线和动态阈值示意图图3.14基线、动态阈值和测试数据示意图图3.15超出动态阈值异常示意图图3.16动态阈值算法检测异常示意图图3.17带有GeneralizedESD算法的动态阈值异常示意图图3.18动态阈值向上微调示意图图3.19动态阈值向下微调示意图图3.20动态阈值变宽微调示意图图3.21动态阈值变窄微调示意图图3.22动态阈值重置示意图图3.23CPU占用率-时间曲线图3.24内存占用率-时间曲线图3.25时间-指标量和内存占用-指标量曲线图3.26一组真实的KPI数据图3.27去除节假日的KPI数据图3.28基线预测样例图3.29历史数据长度对预测基线准确度的影响常检测的，例如在拉取指标数据时限制维度为hostname=*，得到的就是各主机applicationswithnoise，这个算法以密度为基础，给定某空间里的一个点集），图3.30同一纬度下的指标数据图3.31经过数据预处理的指标数据MAD，英文全称为MedianAbsoluteDeviation。在统计学中，中位数绝对偏差（MAD）是对单变量定量数据样本的可变性的有力测量。它还可以指由样本计算的MAD估计的总体参数17。对于单变量数据集X1,X2,,Xn，MAD定义为与数据中位数的绝对偏差的中位数=median(X)：4)计算modified_z_score图3.32同一纬度下的指标数据图3.33经过数据预处理的指标数据图3.34指标数据离群散点示意图图3.35指标A图3.36指标B图3.37指标A的差分序列图3.38指标B的差分序列图3.39指标A的差分序列（对数变换后）图3.40指标B的差分序列（对数变换后）图3.41指标A的差分序列（数值替换后）图3.42指标B的差分序列（数值替换后）序列周期间匹配的基本思路是将每个周期的时间块序列与其前后相邻周期图3.43指标A的周期间匹配结果（红色区域为未匹配区域）图3.44指标B的周期间匹配结果（红色区域为未匹配区域）图3.45指标A的残差序列图3.46指标B的残差序列假设有两条共享索引序列P的非等间距序列X、Y，即X{ar,lpP}，YY,lpP}，P{piiN",in}。给定数值容忍度e和位置容忍度T，序列X上的每个点至多只能匹配序列Y上的一个点，反之亦然。 和的匹配相似度为所有匹配点对的相可以用动态规划的思想递归解决这个问题。用Ai代表序列A前i个值组成的子序列。用sij代表xi与yj的最大匹配相似度。计算j时分成三类情况进行比n沿用xi与yj1的最优匹配方式，在xi的未匹配点中寻找所有能匹配yjn沿用xi与yj的最优匹配方式，在yj的未匹配点中寻找所有能匹配X;则将si)j加入sij候选列表。在ij候选列表中找出最大值，并记录下ij取得最大值时对应的最优匹配方式。如果sij取得最大值时对应了多种匹配方式，则优先选择第一类情况的匹配方式，其次第二类，再次第三类。如果依然存在多种匹配方式，通过互相关分析，需要得到联动系数、联动时间差和联动时间点三个结果。oo图3.47互相关函数（上）和乘积序列（下）图3.48原指标与联动分析结果对比图图3.49波动序列示例图3.50阶跃序列示例图3.51脉冲序列示例图3.52合成后的随机序列示例下图中的蓝色和橙色柱状图分别展示了两步各自得到的关联度的数值分布指标对得到的关联度分布。78%的无关联指标对得到的关联度的绝对值小于0.图3.53关联度分布（蓝色为添加关联现象前指标对得到的关联度分布，橙色为添加关联现象后指标对得到的关联度分布）且联动时间差正确率为100%。由此可见，序列中的大量脉冲图3.54关联度分布（合成随机序列时不含脉冲子序列）据是平稳的，如果时间序列是非平稳可以通过差分将其转换为平稳数据，ARIMA首先利用python的数据分析库pandas对原时间序列进行去除重复索引操作，LSTM采用监督学习的方式，先将清洗之后的时间序列进行归一化处理，，然后数据的线性变换，使结果值映射到[0-1]之间，通过标准化处理提高模型的收敛norm(rxmi")/(r-mazrzmi")(3.4)依据上述方法，将数据拆分为测试集和训练集后输入长短时记忆网络LSTMLSTM是一种时间递归的神经网络，非常适合处理时间序列数据。相比于传统的递归神经网络（RNN），LSTM通过引入了记忆单元，解决了RNN入时间序列为x(t)，t为当前时刻，则各单元的状态可用如下公式表示:输入单元：g(t)tanh(usgg(t1)Ihh(t1))1b,i(t)σ(ii(t1)lhih(t1)lbi)f(t)σ(fi(t1)1whfh(t1)1bf)o(t)σ(i(t1)IUhh(t1)1b.)记忆单元：M(t)f(t)M(t1)1i(t)g(t)状态输出单元：h(t)。(t)tanh(M(t))如图3.59所示为以某磁盘时序数据前2880个时间数据为输入，y_recurrent为对整个时间序列进行递归预测的结果图，y表示原始时间序列，递归损失证券交易系统为实时系统，对业务连续性、实时性要求很高，证券企业IT2.有了智能运维不代表就不需要运维人员了，因为毕竟算法是人写的，机3.若想做好准确的预测，需要有足够、精细的历史数据为样［EB/OL］./newsroom/id/3674017,2018-02-25./s/AHhttps://mp.weixin.q6.工程师青青.随着人工智能的发展，推动着运维管理由传统的人工运维向智能运维转变[EB/OL]./article/759737.html,2018-09-03./zhoushuntian/article/details/7866368.Cherkasova,Ludmila,etal."Automamodelingofenterpriseapplications."AcmTransactionsonComputerSystems27.3(2009):19.Liu,Dapeng,etal."OppDetectionThroughMachineLearn/info/b5bb5f0fcad15c2b4dcce82a5a840031.h13.运维场景详情.Availableat:ht/extremebingo/article/details/80108247.(Accessed:3/monitors/monitor_types/outlier/.(Accessed:Aseasonal-trenddecompositionprocedurebasedonloess.JournalofOfficiclusteringmethodforverylargedatabases".ProcSIGMODinternationalconferenceonManagementofdata-S22.齐子薇.基于ARIMA模型的民航客运量时间序列研迷,2018(12):253.SystemsUsingRecurrentNeuralNetworks[C]//InternationalConferenceonAdvancedDataMining&Applications.20126.马彦龙.基于时间序列分析的综采工作面瓦斯浓度预测研究[D].西安科技大学,2018.27.郑毅.时间序列数据的胶囊式LSTM特征提取算法研究[D].华中师范大28.周凌寒.基于LSTM和投资者情绪的股票行情预测研究[D].华中师范大predictionwithLSTMneura