CN119399558A 一种基于改进fcos的道路边坡落石检测方法 （浙江数智交院科技股份有限公司）

一种基于改进FCOS的道路边坡落石检测方法本发明涉及一种基于改进FCOS的道路边坡利用PTQ量化方法将模型量化为计算精度int8类型的边缘端模型并部署到地平线RDKX3Module务器，降低了网络的地质量和无效数据的传输2步骤一：对FCOS算法进行改进，引入轻量级主干步骤二：利用PTQ量化方法将模型量化为计算精度int8类型的边缘端模型并部署到地验证集为评估对象，每1个epoch评估一次，训练改进FCOS模型得到计算精度为float32的pytorch权重文件fcos_512512.p512.pth导出为ONNX格式opset_version=11的权重文件fcos_512512.onnx,利用地平线段50份标定样本图像输入，每一份样本都是一个独立的数据文件,使用hb_mappermakertbin工具将模型量化为计算精度int8类型的边缘端模型fcos_512512.bin,将fcos_512512.bin文件拷贝到地平线RDKX3Module模makertbin工具将验证后的模型量化为计算精度int8类型的边缘端模型fcos_512512.bin，并将fcos_512512.bin文件拷贝到地平线RDKX3Module所述步骤三中使用网线连接地平线RDKX3Module模块有线网口和网络摄像头有线网口，配置网络IP地址和摄像头IP处于同一网段，地平线RDKX3Module模块IP地址配置为;3。所述步骤四中将每个特征像素点的类别值cls乘以中心度值centerness后开平方得到的素点检测到落石，将对应特征点的检测边框绘制在原图后通过HTTPS协议将图片上传到后。4这种做法受限于通信链路带宽，可能导致目标检测和识别过程中的高延迟和实时性不足，[0005]在现有技术中心也存在以下技术方案解决上难以实现长时间连续监测，这限制了监测系统在落石检测中的持续应用；2.通过改进具体大小和资源占用情况未明确量化，这使得评估模型是否适合边缘设备运行变得困难，技术中道路边坡落石检测实时性欠缺问题和网络数据量5步骤二：利用PTQ量化方法将模型量化为计算精度int8类型的边缘端模型并部署石框绘制在一帧图像上后将图片数据上传到后端服1个epoch评估一次，训练改进FCOS模型得到计算精度为float32的pytorch权重文件fcos_权重文件fcos_512512.pth导出为ONNX格式opset_version=11的权重文件fcos_512使用hb_mappermakertbin工具将模型量化为计算精度int8类型的边缘端模型fcos_512512.bin,将fcos_512512.bin文件拷贝到地平线RDKX3Module模块。[0011]优先的，在所述步骤三中使用网线连接地平线RDKX3Module模块有线网口和网。centerness后开平方得到的score值作为是否检测到落石的判断值，score为0~1之间的实。6图2为本发明一种基于改进FCOS的道路边坡落石检测方法中改进后FCOS网络架构在所述步骤一中改进后FCOS网络架构，将FCOS网络模型的主干特征提取网络epoch评估一次，训练改进FCOS模型得到计算精度为float32的pytorch权重文件fcos_512512.pth。[0018]步骤二：利用PTQ量化方法将模型量化为计算精度int8类型的边缘端模型并部署fcos_512512.pth导出为ONNX格式opset_version=11的权重文件fcos_512512.onnx,准备校准阶段50份标定样本图像输入，每一份样本都是一个独立的数据文件,使用hb_mappermakertbin工具将模型量化为计算精度int8类型的边缘端模型fcos_512512.bin,将fcos_512512.bin文件拷贝到地平线RDKX3Module模7在所述步骤三中使用网线连接地平线RDKX3Module模块有线网口和网络摄像头数据格式转换为nv12图像格式，将nv12格式图像数据进行模型前向推理得到目标类别值，。石框绘制在一帧图像上后将图片数据上传到后端服[0021]在所述步骤四中将每个特征像素点的类别值cls乘以中心度值centerness后开平则特征像素点检测到落石，将对应特征点的检测边框绘制在原图后通过HTTPS协议将图片。[0023]实验结果：经过200次迭代训练后，得到计算精度为float32的pytorch权重文件[0025]实验步骤：使用地平线提供的PTQ训练后量化方法，将pytorch格式的权重文件平线hb_mapperchecker工具对转换后的模型进行验证，确保其符合地平线处理器的支持8int8类型的边缘端模型fcos_512512.bin。将fcos_512512.bin文件拷贝