CN113673307B 一种轻量型的视频动作识别方法 （浙江工业大学）

AU2020103901A4,2021化处理后的RGB视频帧图像进行图像增强、引导RGB视频帧对其反复进行迭代训练，以优化其性卷积神经网络以分别提取视频的空间特征信息软注意力机制的Bi-GRU网络以获取视频的全局2将获取到的实时监控视频或现有视频序列利用OpenCV进行视频帧利用对比度阈值T对每个图像子块的灰度直方图即局部直方图进行裁剪，然后将裁剪部分随后，利用引导滤波对经过图像增强的视频帧图像使用一个二次多项式来近似表示一个二维的灰色图像；因像素点(x,y)的灰度值看成是一个二维变量函数f(x,y)，若以感兴趣的像素点为中心构建像素点作为样本点，通过计算这些样本点的值和坐标来进行中心像素点的六维系数的估3f(x)=x'AX+B]x+c(2)2＝A1在计算过程中，利用一个先验位移值来缩减迭代次数，因为适利用HSV颜色模型将光流场转换为光流图像；因为经步骤S1和步骤S2提取到的只是一通过设计LRDN模型以实现轻量化地完成特征提取，该模型以预处理后的RGB视频帧或4利用视频库中每段视频预处理后的RGB视频帧对LRDN模型进行迭代训练，以保证LRDN基于LRDN网络模型设计轻量化双流卷积循环神经网络，以快速获取视频行为特征数含有软注意力机制的Bi-GRU网络以获取视频的全局时域信息，实现快速视频动作分类识综合考虑模型性能、网络计算损耗等因素，选择LRDN网络作为轻量帧化处理后得到的视频帧经图像增强、去噪等预处理后即可用以空间LRDN网络的训采用LRDN网络全局平均池化后的特征向量作为输入RGB视频帧的空间特征，并将其保存为轻量化双流卷积循环神经网络的时域特征提取网络与空间特征提取网络采用平行的所对应的前4张、后5张以及本身共10张光流图组合成堆叠的光流特征图像输入到网络中，5采用的卷积融合网络是一个三层堆叠的卷积层，即第一层利用128个尺寸为1×1×64对于每段视频，利用空间LRDN网络产生的空间特征图和时域LRDN利用基于软注意力机制的Bi-GRU网络进一步提取时空融合特征中表征视频序列的全其中，a;表示t时刻第i帧视频帧在网络模型注意力分配中待学习的权重，且有a;反映了在t时刻第i帧视频帧时空融合特征在行为识别过程中的重要程度，该时刻t输入的时空融合特征qi以及Bi-GRU网络上一时刻的隐藏层状态值ht-h.+B,)(10)此外，利用经典的软注意力机制初始化策略来计算Bi-GRU网络中单元状态初始值c0和6验证明了利用这种初始化方法会使得网络更加后一个时刻输出的概率分布中概率最大所对应的行为类别为模型当前输入的视频帧序列所属的行为类别；此外，在模型的训练过程中，使用交叉熵损失函数与注新参数；其中，使用双随机惩罚原则是为了对注意力权重值施加额外的约束，从而保证的实现，而使用注意力正则化是为了约束网络模型在视频帧每个区域的观察时"*g时，则P′g(ri)＝0，g7[0002]计算机视觉技术的突飞猛进和深度学习方法的发展不仅拓宽了其在图像领域的[0003]基于视频的人体动作识别是指利用视觉处理信息系统从一段未知的视频或者是[0005]本发明首先对帧化处理后的RGB视频帧图像进行图像增强、引导滤波去噪等预处类识别。8[0016]使用一个二次多项式来近似表示一个二维的灰色图像。那么图像像素点(x,y)的灰度值可以看成是一个二维变量函数f(x,y)，若以感兴趣的像素1)2个像素点作为样本点，通过计算这些样本点的值和坐标来进行中心像素点的六维系数[0021]首先通过全局位移来构造一个新的信号，假设某一个像素点M的原始位置为f192＝A1[0026]然后通过假定二次多项式中的系数相等来计算整体的位移。假设式(3)中的A1为[0036]本发明利用HSV颜色模型将光流场转换为光流图像。因为经步骤S1和步骤S2提取[0038]本发明通过设计LRDN模型以实现轻量化地完成特征提取，该模型以预处理后的[0039]首先，利用1层标准卷积和1层改进的深度可分离卷积提取输入图像的浅层特密集连接块、一个下采样过渡块以及一个带池化的恒等连接。而对于模型中的最后一个[0043]利用视频库中每段视频预处理后的RGB视频帧对LRDN模型进行迭代训练，以保证[0050]轻量化双流卷积循环神经网络的时域特征提取网络与空间特征提取网络采用平RGB视频帧所对应的前4张、后5张以及本身共10张光流图组合成堆叠的光流特征图像输入[0053]本发明采用的卷积融合网络是一个三层堆叠的卷积层，即第一层利用128个尺寸特征图作为输入对卷积融合网络进行训练，其中训练时在网络的后面添加一层全连接层，[0056]本发明利用基于软注意力机制的Bi-GRU网络进一步提取时空融合特征中表征视[0057]在模型的解码过程中，将视频时空融合特征序列的加权和作为Bi-GRU网络的输[0059]其中，a;表示t时刻第i帧视频帧在网络模型注意力分配中待学习的权重，且有a;反映了在t时刻第i帧视频帧时空融合特征在行为识别过程中的重要程度，该前时刻t输入的时空融合特征qi以及Bi-GRU网络上一时刻的隐藏层状态h(M,g,+N,h.+B,)(10)发明选择最后一个时刻输出的概率分布中概率最大所对应的行为类别为模型当前输入的视频帧序列所属的行为类别。g[0092]使用一个二次多项式来近似表示一个二维的灰色图像。那么图像像素点(x,y)的灰度值可以看成是一个二维变量函数f(x,y)，若以感兴趣的像素1)2个像素点作为样本点，通过计算这些样本点的值和坐标来进行中心像素点的六维系数[0097]首先通过全局位移来构造一个新的信号，假设某一个像素点M的原始位置为f1[0098]f(3)=x'4x+x+ci(2)2＝A1[0102]然后通过假定二次多项式中的系数相等来计算整体的位移。假设式(3)中的A1为[0112]本发明利用HSV颜色模型将光流场转换为光流图像。因为经步骤S1和步骤S2提取[0114]本发明通过设计LRDN模型以实现轻量化地完成特征提取，该模型以预处理后的[0115]首先，利用1层标准卷积和1层改进的深度可分离卷积提取输入图像的浅层特密集连接块、一个下采样过渡块以及一个带池化的恒等连接。而对于模型中的最后一个[0119]利用视频库中每段视频预处理后的RGB视频帧对LRDN模型进行迭代训练，以保证[0126]轻量化双流卷积循环神经网络的时域特征提取网络与空间特征提取网络采用平RGB视频帧所对应的前4张、后5张以及本身共10张光流图组合成堆叠的光流特征图像输入[0129]本发明采用的卷积融合网络是一个三层堆叠的卷积层，即第一层利用128个尺寸特征图作为输入对卷积融合网络进行训练，其中训练时在网络的后面添加一层全连接层，[0132]本发明利用基于软注意力机制的Bi-GRU网络进一步提取时空融合特征中表征视[0133]在模型的解码过程中，将视频时空融合特征序列的加权和作为Bi-GRU网络的输[0135]其中，a;表示t时刻第i帧视频帧在网络模型注意力分配中待学习的权重，且有时刻t输入的时空融合特征qi以及Bi-GRU网络上一h+B.)(10)