FPGA应用与开发实践教程 课件 项目10 基于图像处理的实时边缘特征提取技术

基于图像处理的实时边缘特征提取技术项目10Real-TimeEdgeFeatureExtractionTechnologyBasedonImageProcessing学习目标Learninggoal01GRADUATIONTHESIS课程导引CourseGuide应用场景Application02任务描述Taskdescription03任务实施Implementation04问题探究Qexploration05巩固练习Practice06挑战进阶Advanced073学习目标LearninggoalC了解边缘特征提取工作原理：包含摄像头控制原理、SDRAM工作原理、图像处理原理和VGA驱动原理；目标1能正确使用状态机实现摄像头SCCB协议驱动、SDRAMIP核的读写；目标3能熟练使用计数器实现SCCB协议时序、SDRAM的突发读写、VGA的行场时序；目标2能熟练使用计数器实现SCCB协议时序、SDRAM的突发读写、VGA的行场时序……目标44应用场景Application应用场景采用FPGA实现的边缘提取在多个应用场景中发挥着重要作用，其高速处理能力和可定制性使其成为边缘提取任务的理想选择。在工业自动化和生产线中，边缘提取用于识别和定位工件、零件或产品。通过检测物体的边缘，确保产品的正确组装、定位和分类，从而提高生产效率和准确性。在自动驾驶和智能交通系统中，边缘提取用于识别和跟踪车辆。通过检测车辆的边缘，系统可以实时获取车辆的位置、速度和方向等信息，从而实现安全驾驶和交通管理。在图像监控系统中，边缘提取用于检测异常事件和潜在威胁。例如，通过检测监控视频中的人物边缘，可以识别出入侵者、徘徊者等异常行为，从而及时发出警报。……5任务描述Taskdescription任务要求2：将摄像头采集的数据，逐一进行处理：A.灰度处理：将原始图像数据，通过算法转变为灰度图像。B.高斯滤波处理：对灰度图像进行滤波，意在消除图像噪点C.二值化处理：将滤波后的灰度图像转变为黑白图像。D.Sobel处理：将黑白图像通过算法转变为边缘特征提取图像。任务要求3：将Sobel处理后的数据缓存到SDRAM中任务要求4：将SDRAM存储的数据，根据VGA的操作时序进行显示任务要求1：根据SCCB协议，驱动OV5640摄像头；6任务实施TaskImplementation1.本项目使用的软硬件资源软件：QuartusPrimemodelsim硬件描述语言：VerilogHDL硬件：AWC_C4开发板、OV5640摄像头、VGA连接线、笔记本电脑7任务实施TaskImplementation2.技术分析摄像头驱动技术的状态机时序控制主要包括有限状态机的设计，用于管理SCCB协议的各个阶段，包括起始、数据发送/接收、响应以及停止条件，并且包含采用计数器设计时钟信号，在对应的状态进行计数，产生SCCB协议所需时序。图像处理包括设计移位寄存器将完整的RGB565格式的数据分两次发送，每次8比特，对拼接后的RGB565颜色分量进行扩展，根据转换后的RGB888数据计算每个像素的亮度值，实现图像从彩色到灰度的转换。SDRAM读写数据包括设计状态机来控制SDRAMIP核，包括初始状态、写数据状态、读数据状态和完成状态，并使用计数器实现突发读写操作。VGA图像显示包括设计行计数器和场计数器，分别用于对VGA图像的行数据和场数据进行计数，以满足VGA显示时序的要求。8任务实施TaskImplementation3.设计框架边缘提取顶层模块工程模块框图9任务实施TaskImplementation4.技术设计4.1摄像头驱动配置寄存器波形图摄像头驱动框图如图10-7所示，包含两个部分：I2C驱动模块（i2c_master）和I2C配置模块（cmos_config）。摄像头驱动框图10任务实施TaskImplementation4.技术设计4.2摄像头数据采集摄像头数据采集框图图像采集波形图技术要求：实现摄像头的数据采集。根据技术要求需要设计两个计数器，行时序计数器用于对一帧内的每一行进行计数，场时序计数器用于对连续帧（即整场图像）进行计数，同时设计一个16位宽的寄存器用于寄存转换后的16位数据，以及设计三个标志信号：行时序开始信号、场时序结束信号、数据有效信号。11任务实施TaskImplementation4.技术设计4.3图像处理图像处理单元框图图像处理单元如图10-11所示，包含四个部分：（1）灰度化处理（rgb2gray）、（2）高斯滤波（gauss_filter）、（3）二值化处理（gray2bin）、（4）Sobel处理（sobel）。将输入的原始图像数据，经过多级处理得到边缘特征图像。将四个图像处理模块合为一个整体，原始图像经过一层一层的处理，得到边缘提取图像。12任务实施TaskImplementation4.技术设计4.3图像处理原图转灰度波形图原图转灰度波形结果，输入的16位原始图像数据经过灰度算法处理后输出8位的灰度图像数据，波形与程序一致。13任务实施TaskImplementation4.技术设计4.3图像处理灰度转高斯滤波波形图灰度转高斯滤波波形结果，输入的灰度图像经过高斯滤波算法处理后输出8位灰度图像，波形与程序一致。14任务实施TaskImplementation4.技术设计4.3图像处理高斯滤波转二值化波形图高斯滤波转二值化波形结果如图10-19所示，输入滤波后的灰度图像数据，判断是否大于100阈值，大于就输出1，否则就输出0，波形与程序一致。15任务实施TaskImplementation4.技术设计4.3图像处理二值化转sobel波形图二值化转Sobel波形结果，根据输入的二值化数据，配合Sobel算法得出的数据，如果大于等于阈值3，就输出1，否则就输出0，波形和程序一致。16任务实施TaskImplementation4.技术设计4.3图像处理二值化转sobel波形图顶层模块输出波形结果，图像处理模块能正常工作，这里需要注意一下，图像采集模块例化到测试文件时，是无法调用全局参数的，需要手动在模块内部编写参数。17任务实施TaskImplementation4.技术设计4.4SDRAM控制器SDRAM控制器框图SDRAM控制模块包含两个部分：（1）SDRAM控制器（sdram_ctrl）、（2）SDRAMIP核（sdram_interface）。18任务实施TaskImplementation4.技术设计4.4SDRAM控制器（1）SDRAM驱动（sdram_ctrl）通过FIFO核的调用进行数据缓存，再控制SDRAMIP核。第一步搜索FIFOIP核第二步在quartus工程所在的“prj”的同级目录下创建新目录“ip”文件夹，在该目录下创建“wrfifo”文件夹，设置fifo的名称为“wrfifo.v”；第三步配置IP核；第四步勾选例化文件。19任务实施TaskImplementation4.技术设计4.4SDRAM控制器SDRAM读写波形图（2）SDRAMIP核调用（sdram_interface）第一步在quartus主页面点击“PlatformDesigner”按钮；第二步在弹出的页面左上角处，“IPCatalog”中搜索“sdram”；第三步配置IP核。20任务实施TaskImplementation4.技术设计4.5VGA显示驱动VGA显示驱动框图该模块用于发送请求信号给SDRAM控制器，将存进SDRAM芯片的数据传输给VAG内部的FIFOIP核进行缓存，然后按照VGA时序输出给显示设备，完成边缘特征提取图像显示。21任务实施TaskImplementation4.技术设计4.5VGA显示驱动VGA显示驱动波形图VGA显示驱动波形，数据直接通过VGA模块输出，在源码中注释了fifo以及fifo相关的信号，同时没有与SDRAM模块联动，去掉与SDRAM模块相关的信号，只保留与VGA相关的信号。可以观察到输入进来的数据能够按照正常的VGA时序输出给显示器。22任务实施TaskImplementation4.技术设计4.6边缘特征提取工程模块整合将上述5个模块连接，组成边缘特征提取工程。为使得各个模块正常工作，需要调用PLL时钟IP核生成特定的工作时钟。第一步搜索IP核，然后在quartus工程所在的“prj”的同级目录下创建新目录“ip”文件夹，在该目录下创建“pll0”文件夹，设置PLLIP的名称为“pll0.v。第二步配置IP核；第三步勾选例化文件。23任务实施TaskImplementation4.技术设计4.6边缘特征提取工程模块整合进行sdram控制器时钟和sdram外设同步时钟调用：第一步搜索PLLIP核，然后在quartus工程所在的“prj”的同级目录下创建新目录“ip”文件夹，在该目录下创建“pll1”文件夹，设置PLLIP的名称为“pll1.v”。第二步配置IP核；第三步勾选例化文件。24任务实施TaskImplementation4.技术设计4.6边缘特征提取工程模块整合增强摄像头输出像素时钟的扇出能力IP核调用步骤如下：第一步搜索iobufIP核，然后在quartus工程所在的“prj”的同级目录下创建新目录“ip”文件夹，在该目录下创建“iobuf”文件夹，设置iobuf的名称为“iobuf.v”。第二步配置IP核；第三步勾选例化文件。25任务实施TaskImplementation5.板级验证级验证的流程：创建项目并输入工程名，选择器件，请选定C4MB板上的FPGA型号“EP4CE6F17C8”，设置仿真工具为ModelSim-Altera，格式为VerilogHDL，最后点击完成，依次将所有设计好的程序文件添加到工程中；设计处理：将top.v文件设为顶层进行编译处理；引脚约束：根据项目进行引脚约束；器件编程：并将开发板通过USB-Blaster连接至电脑，利用JTAG接口编程串行配置器件（掉电后配置不丢失）；板级验证：察显示器实际显示的效果，与理论效果是否有明显差异，如果没有明显差异，则工程实验成功。26问题探究Qexploration问题1边缘提取的阈值选取有什么要注意的吗？

问题3如何配置OV5640摄像头的颜色矩阵？问题3在基于FPGA的图像边缘提取系统中，如何实现多尺度边缘提取以提高检测精度和鲁棒性？27巩固练习Qexploration2根据对应的寄存器地址以及参数，设计摄像头输出水平镜像图像的