CN119516445A 终端设备远程维护方法、装置、设备和计算机存储介质 （四川博大正恒信息技术有限公司）

护主体的维护主体光流特征和对应的显著性关体对应的目标显著性光流特征进行特征聚合操2获取拟识别的目标终端取证视频，对所述目标终端取证视频获取所述目标终端取证视频中的目标维护主体，确定所述目标维护主基于所述第一相关维护主体的维护主体光流特征和对应的显将所述目标终端取证视频特征与所述目标维护主体对应的目标显著性光流特征进行基于所述目标聚合特征确定所述目标终端取证视频对应的获取所述第一相关维护主体与所述目标维护主体组成的视对于所述视觉时空关系图中的关系图维护主体，获取指示所述关系图基于所述维护关系特征表示与所述目标视频光流特征得到特征相关程度确定所述相邻维护主体对应的显基于所述相邻维护主体对应的显著性关注变量以及所述相邻维护主体的维护主体光在所述视觉时空关系图的各个关系图维护主体对应的目标显著将所述相邻维护主体的维护主体光流特征以及所述维护关系特征表示传入所述目标基于所述关系图维护主体对应的第一显著性光流特征和对应的所述相邻维护主体对基于所述关系图维护主体与所述相邻维护主体之间的维护主体相关性确定目标整合3基于所述目标整合策略对所述相邻维护主体的维护主体光流特征以及所述维护关系通过所述目标变换结构中的权重和偏置对所述整合特征表示进行变换，获对所述整合特征表示进行变换，获得所述关系图维护主体对应的第一显著性光流特征包获取所述显著性特征挖掘算法中，所述目标变换结构对应所述目标变换结构通过第一权重和偏置对所述整合特征表示以及所述变换特征表示述特征相关程度确定所述相邻维护主体对应的显著性关通过所述目标变换结构中的第二权重和偏置对所述维护关系特征表通过所述目标变换结构中的第三权重和偏置对所述目标视频光流特基于所述参考特征表示与所述索引特征表示获取得到特基于所述特征相关程度确定所述相邻维护主体对应的显著性关注变程度与所述相邻维护主体对应的显著性关注变量所述将所述目标终端取证视频特征与所述目标维护主体对应的目标显著性光流特征基于所述目标维护主体对应的目标显著性光流特征对目标视频帧对应的视频帧特征通过所述目标视频帧对应的特征融合特征，对所述视频帧特征集合中通过特征聚合算法对所述优化后的视频帧特征集合和所述目标视频光流特征进行特将特征聚合操作后的目标视频光流特征传入收敛状态的维护行为识所述基于所述目标维护主体对应的目标显著性光流特征对目标视频帧对应的视频帧4基于所述目标维护主体对应的目标显著性光流特征与目标视频帧对应的视频帧特征获取示例终端取证视频以及所述示例终端取证视频对应的先将所述示例终端取证视频传入视频特征编码算法，获得示例终示例终端取证视频特征包括所述示例终端取证视频获取所述示例终端取证视频对应的示例维护主体，确定所述示例维将所述第二相关维护主体对应的维护主体光流特征传入显著性特征挖将所述示例终端取证视频特征与所述示例维护主体对应的示例显著性光流特征传入基于所述示例变换结果与所述先验维护情况检验信息修正所述视频理解算法的算法视频特征编码模块，用于获取拟识别的目标终端取证视频，对所述维护主体确定模块，用于获取所述目标终端取证视频中的显著特征确定模块，用于基于所述第一相关维护主体的维护光流特征聚合模块，用于将所述目标终端取证视频特征与维护情况检验模块，用于基于所述目标聚合特征确定所述目标终5所述目标终端取证视频特征包括所述目标终端取证视频对应的目标视频光流特征；其中，述目标终端取证视频特征与所述目标维护主体对应的目标显著性光流特征进行特征聚合6征表示之间的相关程度得到，所述维护关系特征表示是代表维护主体相关性的特征表示；标聚合特征确定所述目标终端取证视频对应的维护情7vt+1，那么这个像素点的水平光流分量u和垂直光流分量v可以通过以下公式计算：8[0023]确定了目标维护主体之后，计算机设备需要找出与之对应的第一相关维护主对目标终端取证视频中的每一帧图像进行特积层后的特征图为F，其计算过程涉及到多个卷积核与图像像素的卷ProposalNetwork，RPN）在特征图F上生成可能包含目标的区域提议（Region位置。果手正在操作螺丝刀进行服务器外壳的拆卸）也可以被视为第一相关维护主体。计算机设备可以通过对目标维护主体周围的元素进行语义分析，例如利用预训练的语义分类模型维护主体。[0029]步骤S130：基于第一相关维护主体的维护主体光流特征和对应的显著性关注变9过光流特征来体现。维护主体光流特征反映了维护主体在视频帧间的运动状态，包括运动[0033]计算机设备确定目标维护主体对应的目标显著性光流特征的过程是基于上述维护主体光流特征和显著性关注变量的。以一个计算机主板维修的场景为例，目标维护主体是主板上的某个电容，第一相关维护主体可能是周围的电路线路和散热片等。如果散热片为了更好地观察电容而被移动其显著性关注变量根据前面提到的相关性计算确定为较[0034]计算机设备可以通过加权计算的方式来确定目标维护主体对应的目标显著性光流特征。设第一相关维护主体的维护主体光流特征向量为F=[f,fz,…,f]，其对应的显著性关注变量为w=[w1,w2,…,wm]，那么目标维护主体对应的目标显著性光流特征向量G=lg1,g2,…,gm]可以通过以下计算得到：gi=wixf；其中，i=1,2,…,m。这种加权计算了第一相关维护主体的维护主体光流特征和对应的显著性关注变量后得到的与目标维护[0039]假设目标终端取证视频特征表示为向量v=[v1,v2,…,vn]，目标维护主体对应的目标显著性光流特征表示为向量u=[uq,u2,…,um]。计算机设备可以采用简单的向量拼接单直接，能够将两种特征信息完整地组合在一起，使得后续的分析能够同时考虑到端取证视频中的原始特征和与目标维护主体相关的显著性光流特征。量Z=[zq,z2,…,z]可以通过以下公式计算得到其中i的取值范围维护主体对应的目标显著性光流特征对于判断维护情况更为关键，那么可以适当增大b[0045]维护情况检验信息旨在判断维护人员在对待维护终端设备进行操作时的各种情计算机设备利用目标聚合特征来确定这些维护情况检验信息的过程涉及到复杂的数据分接输入层第i个神经元到隐藏层第j个神经元的权重隐藏层第j个神经元的偏置为bj，则隐藏层第j个神经元的输入hy可以通过以下公式计算然后通过激活函规的动作模式是通过神经网络对大量正常和异常维护操作数据的学习而识关系图。视觉时空关系图是一种能够表示不同维护主体在视频的视觉空间以及时间维度上关系的数据结构。在终端设备维护的场景下，例如对一个计算机机房中的多台服务器进行维护主体可能包括与该硬盘相连的数据线、电源线，以及在同一机柜中临近的其他服务器中的先后顺序或者功能上的关联性等。从技术手段上来说，计算机设备可以采用图构建算而构建出视觉时空关系图。的中心坐标为(x1,y1)，数据线一端点的中心坐标为(xz,ya)，则空间距离d可以通过公式征相关程度，基于特征相关程度确定相邻维护主体对应的显著性关注变量。目标视频光流特征反映了目标终端取证视频中的运动信息。在服务器维护场景中，如果目标视频光流特征显示硬盘附近的光影在某一时间段内有规律的闪烁（可能是因为数据读写或者故障提示而数据线（作为相邻维护主体）的维护关系特征表示表明它与硬盘在功能上密切相关（如负责数据传输那么它们之间就存在较高的特征相关程度。计算机设备可以采用多种coefficient）。设维护关系特征表示向量为x=[xq,x2,…,x]，目标视频光流特征向量为微的振动（可能是因为服务器内部风扇转动或者其他设备的影响其显著性关注变量为量为F=[f,fz,…,f]，则关系图维护主体对应的目标显著性光流特征向量g=0.6xf(i=1,2,…,m)计算得到。这种加权计算方式[0064]在实际应用中，这一系列步骤的准确执行对于终端设备远程维护具有重要意标维护主体对应的目标显著性光流特征能够帮助远程维护人员快速定位可能存在的问题。如果目标维护主体是服务器集群中的某个关键服务器的电源供应模块，通过这一系列步[0066]在其他可能的场景中，例如在医疗设备维护方面，例如对医院中的X光机进行维冷却球管的冷却系统以及球管周围的防护装置等。计算机设备按照上述步骤进行操作，构取维护关系特征表示可以体现出高压线与球管之间的电力供应关系、冷却系统与球管之间的热交换关系等。通过特征相关程度和显著性关注变量的计算，确定球管对应的目标显著性光流特征。如果目标显著性光流特征显示球管周围的光影和部件运动存在异常情况合其他相关信息，可以准确判断球管是否存在故障隐患，如是否因为高压线的电流不稳定征挖掘算法输出的，显著性特征挖掘算法包括不少于一个目标变换结构。基于此，步骤S134，基于相邻维护主体对应的显著性关注变量以及相邻维护主体的维护主体光流特征，[0068]步骤S1341：将相邻维护主体的维护主体光流特征以及维护关系特征表示传入目[0069]步骤S1342：基于关系图维护主体对应的第一显著性光流特征和对应的相邻维护[0070]步骤S1341中，计算机设备将相邻维护主体的维护主体光流特征以及维护关系特征表示传入目标变换结构中进行变换，获得关系图维护主体对应的第一显著性光流特征。F=[f,fz,…,f]，同时，维护关系特征等信息，假设这个维护关系特征表示向量为R=[r1,r2,…,r]。计算机设备将这两个向量传表示将向量F和R按列拼接成一个新的向量。这种线性变换通过权重矩阵W对输入的特征进能够更好地拟合复杂的关系，例如，能够更好地捕捉到维护主体光流特征和维护关系特征在某些情况下，数据线的微小运动（维护主体光流特征）与它和硬盘之间的复杂功能关系在确定第一显著性光流特征中的作用。p[0073]然后是步骤S1342，计算机设备基于关系图维护主体对应的第一显著性光流特征g'']。p[0074]计算机设备可以采用加权计算的方式来确定关系图维护主体对应的目标显著性g''i。[0075]这种加权计算方式使得关系图维护主体对应的目标显著性光流特征能够充分考的机械振动或者电磁干扰等因素引起维护关系特征表示可能包含信号线与传感器之间[0077]通过将信号线的维护主体光流特征和维护关系特征表示传入目标变换结构进行主体相关性确定目标整合策略，目标整合策略为特征叠加或特征求差。在终端设备维护的场景下，维护主体相关性描述了关系图维护主体与相邻维护主体之间在维护操作情境下的差的目标整合策略。假设移动硬盘的维护主体光流特征向量为Fn=[fma,fn2,…,fm]，维护关系特征表示向量为Rm-h=[rm-h,Im-h2,…,Im-hn]。采用特征求差策略是因为二者的状合方式将散热风扇的运动状态特征与它和CPU之间的功能关系特征结合在一起，形成了一算硬盘对应的第一显著性光流特征提供了更有针度为q其中q是变换后特征的维度。[0094]步骤S134132：目标变换结构通过第一权重和偏置对整合特征表示以及变换特征往包含多个变换结构（例如隐藏层每个变换结构都对输入的特征进行特定的变换操作，线在不同维护操作下与硬盘数据传输稳定性相T=[t,t2,…,tJ，其中每个元素t_i都是经过前面的计算和变换得到的数值，这些数值代表[0098]然后是步骤S134132，目标变换结构通过第一权重和偏置对整合特征表示以及变[0099]继续以服务器硬盘和数据线的例子来说明。在步骤S134131中获取到了相邻维护T=[t,t2,…,t]，同时，在之前的步骤S13412中得I=[i,i2,…,i]。1中的每个元素w1ij表示整合特征表示和变换特征表示中的元素对变换后第i个第一显著性光流特征[0103]步骤S1331：通过目标变换结构中的第二权重和偏置对维护关系特征表示进行变[0104]步骤S1332：通过目标变换结构中的第三权重和偏置对目标视频光流特征进行变关程度与相邻维护主体对应的显著性关注变量的[0107]首先是步骤S1331，计算机设备通过目标变换结构中的第二权重和偏置对维护关这些关系量化为向量形式，设为R=[r1,ry,…,r]。K=[kq,k2,…,k]可以通过以下公式计算：K=w2XR+b2，这个参考特征表示是对原始[0110]接着是步骤S1332，计算机设备通过目标变换结构中的第三权重和偏置对目标视对应的光影变化、数据线在插拔操作时的移动轨迹等信息，设目标视频光流特征向量为。[0113]然后是步骤S1333，计算机设备基于参考特征表示与索引特征表示获取得到特征设m=q，如果不相等可以进行适当的处理使其维度一致）。余弦相似度S的计算公式为：[0115]最后是步骤S1334，计算机设备基于特征相关程度确定相邻维护主体对应的显著性关注变量用于衡量相邻维护主体对目标维护主体的重种设定方式使得显著性关注变量能够根据维护关系特征表示与目标视频光流特征之间的廓特征、周围其他硬件设备相对于硬盘的位置关系等信息，设该视频帧特征向量为Ff=[f,这种拼接方式将视频帧特征和目标显著性光流特征完整地组合在一起，使得新的特征融合特征既包含了视频帧中关于目标维护主体的静态信息特征集合包含了目标终端取证视频中各个视频帧对应合特征向量Ff。计算机设备利用这个特征优化的方式可以是直接替换，即将原始的视这样视频帧特征集合中的目标视频帧对应的视频帧特征就更新为包含了更多与目标维护以通过以下公式计算这种加权更新的方式可以在保留原始向量为F=[f1,f,2,…,f]。计算机设备可以先将这些向量映射到一个共同的向量空间中，[0131]例如，可以采用欧几里得距离来衡量向量之间的差异。对于视频帧特征向量FX(i=1,2,…,k)和目标视频光流特征向量FO，欧几里得距离可以通过以下公式计算：,其中n是向量的维度（假设视频帧特征向量和目标视频光流特征向量经过处理后维度相同为第j个视频帧特征向量，fy为第j个目标视频光流特征向聚合后的视频帧特征向量Fwr和聚合后的目标视频光流特征向量F,。[0132]这种特征聚合操作将优化后的视频帧特征集合和目标视使得最终得到的特征聚合操作后的视频帧特征集合和特征聚合操作后的目标视频光流特目标视频帧对应的视频帧特征进行特征融合处理，获得目标视频帧对应的特征融合特征，[0134]步骤S1411：基于目标维护主体对应的目标显著性光流特征与目标视频帧对应的[0135]计算机设备执行步骤S1411时，基于目标维护主体对应的目标显著性光流特征与目标视频帧对应的视频帧特征进行特征首尾连接，获得目标视频帧对应的特征融合特征。这里的目标维护主体对应的目标显著性光流特征包含了与目标维护主体相关的重要信息，[0136]目标视频帧对应的视频帧特征则是从目标终端取证视频中提取出来的关于该视向量为FS=[1,fs2,…,fsml，目标视频帧对应的视频帧特征向量为F,=[f,流特征可能包含了与该阀门相连的管道内流体的流动情况（通过光影变化反映的运动特意义的结果。维护行为识别算法是专门用于识别终端设备维护过程中的各种行为的算法。[0142]计算机设备将特征聚合操作后的目标视频光流特征传入这个收敛状态的维护行。[0147]oi=Bwon+b,；[