CN118711084B 一种基于视频的光伏组件精准检测与跟踪方法及系统 （南开大学）

一种基于视频的光伏组件精准检测与跟踪本发明公开了一种基于视频的光伏组件精发明设计了的光伏电站视频专用的eYOLO_PV模型，提高了检测的精准度，并且开发了轻量化2将所述图像目标检测数据集输入至训练好的目标检测模型，识别所述的各光伏组件的组件目标框；所述目标检测模型为eYOLO_PV目标检测算法构建的检测模根据所述光伏组件视频和所述光伏组件的组件目标框，基于轻量化的组件跟踪算法获取光伏电站中光伏组件的样本红外图像数据；所述样本红外图像基于所述标注后的样本红外图像数据，对eYOLO_PV目标YOLO系列目标检测算法的基础上，将改进的CSPDarket53作为骨干网络、将骨干网络中的根据所述光伏组件视频和所述光伏组件的组件目标框，基于轻量化的组件跟踪算法基于轻量化的组件跟踪算法SORT，预测当前视频帧中跟踪目标的运来预测组件在下一帧的位置，所述轻量化的组件跟踪算法SORT为在原始SORT模型的基础基于下一视频帧中的跟踪目标和当前视频帧中的跟踪目标，采采用MOTA，对轻量化SORT目标跟踪算法进行评估，得到所述轻量化S3t表示在时间帧t中误检的目标数量；误检是指误检测是算法错误地将背景或其5.一种基于权利要求1_4任一项所述的一种基于视频的光伏组件精准检测与跟踪方法检测模块，用于将所述图像目标检测数据集输入至训练好的目跟踪模块，用于根据所述光伏组件视频和所述光伏组件的组件标注子模块，用于对所述样本红外图像数据进行组件框标注，得到训练子模块，用于基于所述标注后的样本红外图像数据，对e4所述光伏组件视频中的各光伏组件的组件目5法进行训练，得到训练好的目标检测模型；其中，eYOLO_PV目标检测算法为在改进后的[0021]本发明提供了一种基于视频的光伏组件精准检测与[0023]图1为本发明实施例一提供的一种基于视频的光伏组件精准检测与跟踪方法流程[0028]图6为本发明实施例一提供的不同模型训练的三种损失曲线图；图6(a)为eYOLO_[0032]图10为本发明实施例一提供的四个电站的组件目标跟踪结果示意图；图10(a)为[0033]图11为本发明实施例二提供的一种基于视频的光伏组件精准检测与跟踪系统结6[0038]如图1所示，本实施例提供了一种基于视频的光伏组件精准检测与跟踪方法，包[0052]如图2(a)_图2(d)所示，本实施例使用了A地和B地的各两个光伏电站的热红外视频，包括2个集中式光伏电站和2个屋顶分布式光伏电站，四个电站的视频总时间长度约7入YOLOv8模型中。设计的网络不仅利用了EfficientViT的先进特征提取能力，也继承了是"CSPDarknet53to2_StageFPN"，它基于CSPDarknet53主干网络和两阶段特征金字塔8[0068](2)颈部结构。受路径聚合网络(PathAggregationNetwork，PANet)的启发，YOLOv8在颈部部分设计了路径聚合网络+特征金字塔结构(PANet+FeaturePyramid分配器(Task_AlignedAssigner)来动态分配样本，这有助于提高模型的检测精度和鲁棒这就对目标检测算法提出了更高的要求。由于视觉Transformer(VisionTransformer，[0072]EfficientViT模块主要通过夹层结构(SandwichLayout)和级联组注意力机制[0073]SandwichLayout模块。该结构减少了占用内存的自注意力机制(Self_的FFN层，以有效实现不同特征通道之间的通信。此外，每个FFN之前添加了令牌交互[0076]CascadedGroupAttention模块。在多头自注意力(Multi_HeadedSelf_9ij和由公式(2)计叠的图像块嵌入(OverlapPatchEmbedding)方法将图像下采样16倍，这增强了模型捕捉更[0084]面对光伏场景，尽管YOLOv8通过改进模型架构和优化损失函数等方式提升了性[0088]在此背景下，EfficientViT结合了视觉Transformer结构的深度表征学习能力和(EarlyStopping)。监控验证集上的损失，当连续几个epoch损失没有明显下降时停止训Loss和DFLLoss)在不同网络架构下随着训练周期eYOLO_PV、YOLOv8和YOLOv7模型的mAP平均精度，其中，eYOLO_PV模型表现最佳，达到了[0111]具体的，SORT跟踪算法是一种基于卡尔曼滤波(KalmanFilter)和匈牙利提取每个帧中的目标位置信息。然后利用卡尔曼滤波算法对目标的状态进行估计和预测，达式(4)和(5)分别为原始卡尔曼滤波器的状态向量x和观测[0115]匈牙利算法基于IoU交并比距离度量函数对检测目标Detections和预测目标Tracks进行关联匹配。使用匈牙利算法匹配会出现三种情况：无匹配轨迹(Unmatched检测框中新增目标，但跟踪框中不存在该新增目标。没有任意一个Tracks能匹配的移动速度基本匀速。原始SORT模型中利用卡尔曼滤波算法来预测组件在下一帧的位置，[0121]具体的，本实施例采用多目标追踪精度(MultipleObjectTrackinMOTA)评估轻量化SORT目标跟踪算法的整体切换(IDSwitches,IDS)这三种错误类型来计算，从而提供了一个量化的方式来衡量追踪[0137]检测模块1103，用于将所述图像目标检测数据集输入至法进行训练，得到训练好的目标检测模型；其中，eYOLO_PV目标检测算法为在改进后的