【《某目标跟踪系统整体算法的FPGA实现案例》5300字】

某目标跟踪系统整体算法的FPGA实现案例目录TOC\o"1-3"\h\u19856某目标跟踪系统整体算法的FPGA实现案例 1319431.1目标识别的算法流程 1104611.2图像采集模块 1244141.3图像处理部分设计流程 250541.3.1RGB与HSV色彩空间及转换 357331.3.2色彩提取与坐标变换模块 3309251.3.3膨胀与腐蚀模块（erodeip&dilateip） 4300641.4形态学处理 5110431.4.1腐蚀的硬件实现与仿真 54231.4.2膨胀的硬件实现与仿真 7266121.5颜色提取与识别 9177751.5.1目标颜色提取 9210051.5.2动态阈值与自适应匹配模板 101.1目标识别的算法流程系统采用的目标识别算法流程如图所示，首先通过摄像头从色彩灰度空间中采集图像数据，经过滤波预处理后作二值化色彩空间转换后，转换为标准灰度。然后进行颜色识别与提取，将颜色识别结果一部分送入VGA验证，另外一部分先经过形态学滤波处理滤除一部分噪声，然后进行中心点计算后输出到最终的跟踪模块，通过处理的结果确定是否为目标像素点，最后跟踪模块对识别出的目标像素点进行追踪。图1.1系统算法实现流程1.2图像采集模块该模块分为两部分设计，配置摄像头通讯的寄存器和相机CMOS查询表，该模块IP封装及连接如图：图1.2：图像采集模块IP核封装观察I2C模块IP封装可看出，该模块由8位设备地址，16位寄存器地址，8位寄存器数据组成，输出包括SCL和SDA（数据线和控制线，在I2C总线传输数据）和10位的查找表地址lut_index。首先看摄像头寄存器配置。实现过程：预先设置四个状态：S_IDLE，S_WR_I2C_CHECK，S_WR_I2C，S_WR_I2C_DONE。①S_IDLE为空闲状态，输出lut_index为0；②S_WR_I2C_CHECK：此时若写入设备地址为1，状态跳转为S_WR_I2C_DONE，否则状态为S_WR_I2C，并且写入请求赋值为1；③S_WR_I2C：由变量i2c_write_req_ack（写入请求反馈）决定，若反馈值为1，输出值lut_index加1，同时将写入请求值置0，状态跳转为check状态；④S_WR_I2C_DONE：表面计算结束，返回空闲状态S_IDLE。摄像头ov5640模块功能为根据输入的查找表地址，输出对应的查找表数据。其中数据由8位I2C地址，16位寄存器地址和8位寄存器数据组成，根据输入的值，输出共有302种情况，包括系统时钟，复位，网络控制、定时偏移等。1.3图像处理部分设计流程图像处理模块算法流程如图：图1.3图像处理模块框图1.3.1RGB与HSV色彩空间及转换摄像头采集到的图像数据为RGB格式。在实际环境中，光照强度变化时RGB三种颜色分量的值变化较大。但HSV受光照环境变化的影响相对较小。系统由于摄像头位置一直在随小球运动而变化，采集到的图像清晰度和亮度也会随之发生变化，为保证能够准确识别追踪单色小球，本系统选取HSV色彩空间，减低外部光照环境对目标检测的干扰。R、G、B分别表示一种颜色的红、绿、蓝分量值，其取值范围为0-1，设max为R、G、B中的最大值，min为R、G、B中的最小值，根据HSV到RGB的转换公式，由摄像头采取的图像HSV值计算得到对应的RGB值，并对RGB值进行后续处理。RGB到HSV的转换公式如下：H=0S=0V=max（3-3）Vivado中色彩空间转换模块的IP核如图。模块输入包括系统时钟和输入的RGB数据，输出为转换后的HSV图像数据。图1.4色彩空间转换模块IP封装1.3.2色彩提取与坐标变换模块小球追踪系统的原理主要应用了色彩方面的理论，寻找与单色小球颜色相近的区域，然后计算这个区域的中心点。首先需要人为提取一个小球的三种颜色分量H、S、V，扫描图像每一帧中的各个像素，对其中与目标物体颜色相近的像素点进行标注，去噪处理后再对此区域中心点进行计算，重复上述步骤直到所有像素点均被识别，最终将处理后图像的中心点坐标发送给跟踪模块，对标注的目标区域进行追踪。颜色检测模块IP的封装如下：图1.5颜色识别模块IP封装其中输入包括系统时钟（与VGA时钟同步），按键（控制颜色模板提取，为1时开始提取），滑动开关（用于清除之前提取的颜色），行计数值、列计数值等，模块输出为经过处理去噪所得的标注像素。该颜色检测模块内部并没有包含形态学处理相关部分，而是将输入图像数据传输到其他滤波模块——膨胀和腐蚀模块，进行形态学滤波处理。而权值降噪方面，在该颜色检测模块中有专门计算权值的模块，得到的权值与后续的中心点计算有关。在整个标注运算过程中，每一个标注像素都要计算其与上一帧中心点间的距离，根据该距离设置对应大小的权值，像素里两中心点距离越近，所得的权值越大，否则权值越小。通过此操作减少与目标物体距离较远噪点对检测的影响。1.3.3膨胀与腐蚀模块（erodeip&dilateip）本系统中形态学处理部分主要分为腐蚀和膨胀算法模块，具体设计思路如下：选取一定大小窗口对图像的各像素进行扫描，并设置缓存存储各像素以便后续使用，并对采集到的像素点做滤波处理。本次设计采用3*3大小的窗口，在FPGA中，可以设计3个独立的数据单口窗作缓存，借助状态机和列计数值实现这种窗口，采用流水线数据处理的方法，实现加速计算。得到窗口之后，就可以对其中的各个单元进行并行运算。窗口中输入的图像均为单像素1bit的二值化图像，腐蚀算法是窗口中所有元素值都为1时，输出为1，否则输出为0。膨胀算法与之相反，只有当窗口中所有元素值都为0时输出才为0，否则输出为1。本系统形态学处理部分设计了膨胀和腐蚀两个模块，先通过腐蚀模块去掉图像中较小的噪点，同时非噪声区域的边缘部分也被切除了一些；然后再通过膨胀模块，恢复之前腐蚀模块所切除的非噪声区域的边缘。腐蚀模块的IP封装如下：图1.6膨胀模块IP封装DilateIP封装如下：图1.7腐蚀模块IP封装两模块的输入输出代表含义大体相同，输入包括时钟，行计数值与列计数值，以及单比特的输入像素，输出为经过处理后的单比特像素。输出根据模块功能，膨胀模块输出标注区域为1，未标注区域为0，腐蚀模块输出值相反。1.4形态学处理1.4.1腐蚀的硬件实现与仿真腐蚀的作用，通俗来讲，是将图像变“瘦”处理，即图像的边界向内部收缩，可有效抑制边界噪声的影响。系统需要对每个像素点都作处理，所以采用完全腐蚀。硬件实现过程大体如下：通过预先设定的3*3窗口扫描图像后采集到9个二值化像素点，如果全部都是有效像素，则认为当前像素为有效，将其标定为1；若窗口空间中存在一个无效像素（二值化的值为0），则认为该像素无效。简单来说，腐蚀就是将提取到的两个二值化像素值进行相与运算，以计算的结果作为当前的二值化像素值p，计算公式如下：P=p11&p12&p13&p21&p22&p23&p31&p32&p33(3-4)将每一行数据先做乘积，然后将三个结果p1，p2，p3再做乘法运算，从而提高系统的运行频率。运算公式如下：（3-5（3-5）腐蚀模块算法的验证平台如图，通过and模块实验位与运算：图1.9完全腐蚀算法模块为验证腐蚀算法，借助vivado中自带的仿真平台，读取计算机中的一张以经过二值化处理后的图片，对该图片进行多次腐蚀处理，观察图片随腐蚀处理次数增加发生的变化，腐蚀一次、二次、三次后图片效果如图：图1.10SystemGenerator中腐蚀仿真平台图1.11多次腐蚀的显示结果图分析：腐蚀的对象为值为1的像素点，也就是对白色区域，观察腐蚀处理的图片效果可以看出，黑色部分变黑变肥，因为原本白色的部分变细变瘦。由此得出，腐蚀会使像素值为1的区域向内收缩。1.4.2膨胀的硬件实现与仿真膨胀处理就是将与目标物体接触的全部像素点都合并到该目标中，是一种向目标物体周围扩张的操作，可以有效填补留在目标周围物体上的一些空洞。本系统中膨胀模块的设计思路如下：通过预先设定的3*3窗口采取9个像素点，其中如果有一个是有效像素，则认定当前像素值为有效；如果其中9个像素值均为为0，则认定改像素无效，标定为0。膨胀运算实际上就是相或运算，与腐蚀模块相同，因为要所有像素点均要作运算，所以采用完全膨胀。完全膨胀的公式如下：P=p11|p12|p13|p21|p22|p23|p31|p32|p33（3-3）运算流程采用流水线操作，将每一行先做或运算，然后将p1，p2，p3再做或运算。运算公式如下：QUOTEp1=p11p12p13p膨胀模块的算法验证平台如图，通过or模块实现位或运算：图1.12部分膨胀算法模块读取计算机中的一张已经过二值化处理后的图片，经过搭建的算法模型对其进行膨胀处理，观察图片经多次膨胀处理后的效果，经过一次、二次、三次膨胀处理后的效果如图：图1.13SystemGenerator中膨胀仿真平台图1.14多次膨胀处理结果1.5颜色提取与识别该目标追踪系统的主要难点集中在颜色提取与识别部分，整体设计流程如下，首先提取目标颜色，将提取颜色值与HSV值做差，所得差值再与阈值作比较，若小于阈值，则认定该点为目标物体像素点，经过膨胀腐蚀等形态学滤波处理后，最终认定为目标物体的像素。颜色提取与识别的算法如图：图1.15颜色提取与识别的算法1.5.1目标颜色提取作为颜色识别的关键一步，首先需要提取目标颜色作为颜色模板，本系统通过按键控制获取目标颜色，过程如下：首先通过行场同步信号构建一个32*32的矩形框，利用矩形框对待检测物体进行逐帧扫描，将像素点的HSV值分别累加，到下一帧时，将累加和清零并重新作累加，重复这两个步骤直到目标区域中的最后一个像素点，对三种颜色分量的累加和分别求取平均值并分别保存为H、S、V，之后通过按键来获取目标颜色，作为目标识别的颜色模板。当外部环境发生变化需重新提取模板时，可通过滑动开关来清除已提取的颜色，确定新的颜色模板，颜色提取的流程如下：图1.16颜色提取流程图1.5.2动态阈值与自适应匹配模板颜色特征是一个物体最鲜明的特征，可以作为目标识别的主要依据，与其他跟踪算法相比，基于颜色识别的目标追踪算法实现相对简单，运行效率比较高。本系统采用的颜色识别模块针对单色物体，即使在外部环境中出现些许干扰的情况下，也能保证识别的准确性。现实情况中，经常会存在光照环境发生巨大变化的情况，从而直接导致目标颜色分量值变化过大，使得跟踪系统中目标像素与颜色模板匹配功能失效，并且在一些现实场景中可能存在与目标颜色相近的物体同时出现，使跟踪系统很难区分，导致跟踪精度的下降，甚至导致目标检测失效。针对光照环境发生变化的情况，本系统设计了动态阈值与自适应的颜色匹配模板，使得设定的颜色模板和阈值能够随光照变化而实时更新，从而有效保证了识别精度和系统对光照的鲁棒性。在目标周围存在颜色相近的微小干扰物体或目标受到微波干扰时，可将所有该颜色的物体都进行识别与标记，随后通过形态学滤波对误标记的像素点进行过滤与剔除，并且使系统可以根据不同程度的干扰自主选择滤波程度与次数。本系统通过设定动态阈值和自适应颜色模板来适应外部光照环境的变化，优先选择目标物体，并采用改进的形态学滤波来滤除干扰噪声，其实现原理如下：（1）在第k-1帧图像时，按下按键进行图像提取，将提取到的三种目标颜色分量分别求取平均值QUOTEHk-1,Sk-1,V（2）在第k帧时，将QUOTEHk，Sk，VkHk，Sk，Vk值与上一帧提取到的QUOTEHk-1，Sk-1，Vk-1Hk-1，Sk-1，Vk-1分别求绝对差值，比较差值与预先设定好的阈值QUOTEHT，ST和VTHT，ST和VT，将三个差值加权后相加（本系统在这里对H分量加大权重，其余两个分量权重小一些），得到a|QUOTE-QUOTEHkHk|+b|QUOTE-QUOTESkSk|+c|QUOTE-QUOTEVkVk|的和，将权重和与预先设定的阈值QUOTEHSVTHSVT作比较，如果四者都小于设定阈值，初步认定该像素为目标像素，将其灰度值标定为1（白）；如果其中有一项的值大于目标阈值，则认定其为非目标像素，将其灰度值标定为0（黑），经过比较之后即可将图像分为目标物体部分和背景部分。再对该二值图像作形态学滤波处理：先经过腐蚀模块滤除一部分噪声，然后进行膨胀处理，将之前被部分切割边缘部分进行还原，计算中心点距离，对二次滤波后的图像中标定为1的像素进行计数并对其中的颜色分量作累加，求得标定为1的数（3）在第k+1帧时，将前一帧求得的三种颜色分量均值QUOTEHk，Sk和VkHk，Sk和Vk分别替换之前帧的均值QUOTEHk-1，Sk-1（4）在第k+2帧时，将第k帧识别到的目标像素数QUOTECntkCntk减去第k+1帧识别到的目