CN115100588B 一种基于深度学习的违规投递垃圾行为检测方法 （中国计量大学）

一种基于深度学习的违规投递垃圾行为检一种基于深度学习的违规投递垃圾行为检用基于深度学习的目标检测算法对视频画面中中所有垃圾袋和行人检测框图像；将第t帧中检测到的行人检测框图像输入到人体关键点检测第t帧中的所有垃圾袋与所有行人的交并比，判断行人是否携带垃圾袋进入监控区域，计算第t帧中每个垃圾袋与垃圾桶的距离和行人是否做出投递动作来判断行人是否存在违规投递垃圾2步骤（1在非垃圾投递时间段内获取安装在垃圾投递亭外侧的监控摄像头拍摄的画步骤（3若检测到第t帧画面中存在行人p，则截取第t帧画面中步骤（6更新完数据表后计算第帧中每个被行人携带着的垃圾袋与垃圾桶的距离和行人是否做出投递动作来判断行人是否存在违规投递垃更新完数据表后计算第帧中每个行人左右手腕与其携带的垃圾袋的距离，用以判断2.根据权利要求1所述的一种基于深度学习的违规投递垃圾行为检测方法，其特征在3.根据权利要求1或2所述的一种基于深度像，人工对图像进行标注，标注信息为行人、垃圾袋和垃圾桶的检测框信息即34.根据权利要求3所述的一种基于深度学习的违规投递垃圾行为检测方法，其特征在;;;;;5.根据权利要求1所述的一种基于深度学习的违规投递垃圾行为检测方法，其特征在4;;;;中的行人为同一行人；其中表示第t帧中第i个预测目标框中的图像特征向量，即图像对应的特征向量；将前一帧中的剩余检测框通过卡尔曼滤波算法预测出其在下一6.根据权利要求5所述的一种基于深度学习的违规投递垃圾行为检测方法，其特征在层后将得到的特征图输入由1X1卷积和卷积核大小为3X3的DepthWise卷积组成的倒残差结7.根据权利要求5所述的一种基于深度学习的违规投递垃圾行为检测方法，其特征在8.根据权利要求1所述的一种基于深度学习的违规投递垃圾行为检测方法，其特征在后将得到的特征图输入由1X1卷积和卷积核大小为3X3的DepthWise卷积组成的倒残差结59.根据权利要求1所述的一种基于深度学习的违规投递垃圾行为检测方法，其特征在计算第t帧中的所有垃圾袋与所有行人的交并比iou，若垃圾袋r:与行人的交并比6[0003]解决上述问题的关键就是要实时检测垃圾投递亭附近是并判断是否存在违规投递垃圾行为的基于深度学习的违规投[0007]步骤(1)，在非垃圾投递时间段内获取安装在垃圾投递亭外侧的监控摄像头拍摄人检测框图像其中s,代表第t7离和行人是否做出投递动作来判断行人是否[0015]步骤(2.1)数据准备，通过安装在垃圾投性插值来进行对学习率的更新，学习率预热完毕后采用余弦退火算法来对学习率进行更[0025]其中ρ()为欧式距离，b和bgt分别表示预测目标框的中心点坐标和实际目标框的8预测检测框与下一帧中的实际检测框交并比大于阈值ε,则认为这两个检测框内目标为同据集来训练图像特征提取网络，数据集中每个行人和垃圾袋都有不同角度拍摄的多张图卷积层后将得到的特征图输入由1X1卷积和卷积核大小为3X3的DepthWise卷积组成的倒残标注信息为图中行人的坐标信息和关键点信息；分别将标注数据样本按照8:1:1划分为训积层后将得到的特征图输入由1X1卷积和卷积核大小为3X3的DepthWise卷积组成的倒残差9[0043]计算第t帧中的所有垃圾袋与所有行人的交并比iou，若垃圾袋ri[0045]更新完数据表后计算第t帧中每个行人左右手腕与其携带的垃圾袋的距离，用以时检测垃圾投递亭附近携带塑料袋的居民并判断其是[0051]图5是本发明的图像特征提取网络和人体关键点检测网络中的倒残差和注意力模[0054]步骤(1)，在非垃圾投递时间段内获取安装在垃圾投递亭外侧的监控摄像头拍摄圾袋r和垃圾桶e进行逐帧检测，得到行人、垃圾袋和垃圾桶的检测框坐标信息(中心点坐[0057]步骤(2.1)数据准备，通过安装在垃圾投性插值来进行对学习率的更新，学习率预热完毕后采用余弦退火算法来对学习率进行更[0065]其中ρ()为欧式距离，b和bgt分别表示预测目标框的中心点坐标和实际目标框的人检测框图像其中代表第t据集来训练图像特征提取网络，数据集中每个行人和垃圾袋都有不同角度拍摄的多张图卷积层后将得到的特征图输入由1X1卷积和卷积核大小为3X3的DepthWise卷积组成的倒残出行人图像特征提取模型和垃圾袋图像特征提取模型。网络设置学习速率为10-4，每一个框交并比大于阈值ε,则认为这两个检测框内目标为同一目标。只有连续k帧都匹配上的目积层后将得到的特征图输入由1X1卷积和卷积核大小为3X3的DepthWise卷积(DW卷积)组成[0086]计算第t帧中的所有垃圾袋与所有行人的交并比iou，若垃圾袋ri行人pj与垃圾袋ri的id、坐标信息和离和行人是否做出投递动作来判断行人是否[0089]更新完数据表后计算第t帧中每个行人左右手腕与其携带的垃圾袋的距离，用以已经离开视频监控范围，删除数据表中行人pj的信息(数据表中只含有画面中存在的行人[0091]本发明利用社区部分监控和深度学习算法实时检测垃圾投递