《鸿蒙机器人编程》课件-16-实践课-图像采集与目标识别

实践课-图像采集与目标识别课程介绍课程安排：介绍开源视觉库OpenCV以及如何将OpenCV在ROS中使用，并完成一个小小的视觉应用。课程目的：掌握使用ROS和OpenCV进行机器视觉应用开发所需基础：了解摄像头基本原理，掌握ROS、OpenCV编程基础。©NXROBO20222OpenCVOpenCV的全称是：OpenSourceComputerVisionLibrary。OpenCV是一个基于BSD许可（开源）发行的跨平台计算器视觉库。实现了图像处理和计算器视觉方面的很多通用算法，轻量而高效在OpenCV2.4之后，其架构改为以C++为主(之前为C)，同时提供了Python、Java等语言的接口。OpenCV的官方网站是/。©NXROBO20223ROSperception一般来说，ROS中已经集成了OpenCV，所以不需要进行额外的安装操作。如果没有安装，推荐安装ROSperception包，perception集成了OpenCV和开源点云处理库PCL以及其他机器人感知相关的包，输入如果想要使用GPU加速等高级功能，那可能就需要自行编译OpenCV库了，ROS集成的OpenCV并不包含这些拓展模块©NXROBO20224$sudoaptinstallros-<你的ROS版本>-perception

首先构建包空间：然后进入功能包的src文件夹，新建一个文件并命名为cv_tutorial.cpp在此文件中，定义了两个类ImageConverter、ImageProcessorImageConverter：负责订阅ROS的topic，并将图像格式进行转换。ImageProcessor：处理目标识别©NXROBO20225$cd~/spark/src$catkin_create_pkgcv_tutorialcv_bridgeimage_transportroscppsensor_msgstd_msg编写一个目标识别的程序ImageConverter类©NXROBO20226ImageConverter类在ROS中图像数据是以Image消息的格式进行传输的，然而OpenCV的图像格式是cv::Mat，所以我们需要使用cv_bridge将消息转换成Mat。这就是ImageConverter类要实现的功能，具体使用Subscriber获取图像，用cv_bridge进行图像格式的转换。其具体实现如下：其中，_it是image_transport::ImageTransport类型，订阅一个Topic，并注册了一个回调函数imageCb，指定其在Topic有信息来到时如何处理消息，其中SUBSCRIBLE_TOPIC可以修改为其他用户需要订阅的Topic名。©NXROBO20227_image_sub=_it.subscribe(SUBSCRIBLE_TOPIC,1,&ImageConverter::imageCb,this);回调函数：©NXROBO20228在回调函数中，首先使用cv_bridge将ROS的image消息转换到OpenCV所能处理的Mat格式sensor_msgs::image_encodings::BGR8说明当前数据我们规定以8位BGR格式转换。voidimageCb(constsensor_msgs::ImageConstPtr&msg){cv_bridge::CvImagePtrcv_ptr;try{

cv_ptr=cv_bridge::toCvCopy(msg,sensor_msgs::image_encodings::BGR8);}catch(cv_bridge::Exception&e){

ROS_ERROR("cv_bridgeexception:%s",e.what());

return;}cess(cv_ptr->image);}ImageProcessor类ImageProcessor主要工作：提取当前获取图像的边缘和预存的模板图像（在这里我们提供的是一个圆）进行模板匹配在匹配度大于阈值的时候认为当前图像中存在与预存模板相同的图像，并将其在窗口中绘出。©NXROBO20229ImageProcessor类©NXROBO202210初始化首先创建了一个120×120的3通道8位图像，并使用cv::circle在其中心画了一个圆作为范本

cv::cvtColor(templateImg,this->_template,CV_BGR2GRAY)转换模板为灰度图像。©NXROBO202211voidinital(){cv::MattemplateImg(120,120,CV_8UC3);cv::circle(templateImg,cv::Point(60,60),50,cv::Scalar(255,255,255));cv::cvtColor(templateImg,this->_template,CV_BGR2GRAY);}主处理函数函数将当前获取的图像转换为灰度图，并进行边缘检测，之后进行模板匹配并输出匹配结果。©NXROBO202212voidprocess(cv::Mat_img){cv::Matgray_img,edges,result;cv::cvtColor(_img,gray_img,CV_BGR2GRAY);cv::Canny(gray_img,edges,30,90);cv::matchTemplate(edges,this->_template,result,CV_TM_CCORR);doubleminValue,maxValue;cv::PointminLoc,maxLoc;cv::minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);}主处理函数cv::cvtColor(_img,gray_img,CV_BGR2GRAY)将当前图像转换为灰度图，便以进行边缘检测。cv::Canny(gray_img,edges,30,90)使用canny操作数对图像进行边缘检测。cv::matchTemplate(edges,this->_template,result,CV_TM_CCORR)进行模板匹配，在本文中我们使用CV_TM_CCORR，即自相关匹配的方式进行匹配，其输出的值越大表示匹配度越高。cv::minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);在图像中寻找匹配结果最小和最大的位置。©NXROBO202213打印结果©NXROBO202214if(maxValue>THRESHOLD){std::cout<<"findacircleatx="<<maxLoc.x<<"y="<<maxLoc.y<<"Valueis:"<<maxValue<<std::endl;cv::rectangle(_img,maxLoc,cvPoint(maxLoc.x+this->_template.cols,maxLoc.y+this->_template.rows),cvScalar(0,0,255),5);}elsestd::cout<<"cannotfindacircle"<<std::endl;图形显示输出当最大匹配结果大于阈值时候，将其位置用方框表示出，并输出其在图像中的位置。方框的原点为范本匹配的最大值点，大小为范本的大小。©NXROBO202215cv::imshow(OPENCV_WINDOW,_img) //将当前处理的图像显示。cv::imshow(TEMPLATE_WINDOW,this->_template)//将当前模板显示。cv::imshow(MATCH_WINDOW,_img);cv::imshow(TEMPLATE_WINDOW,this->_template);if('q'==cv::waitKey(3))exit(0);}编写CmakeLists.txt文件©NXROBO202216cmake_minimum_required(VERSION2.8.3)project(cv_tutorial)

find_package(catkinREQUIREDCOMPONENTSOpenCVREQUIREDcv_bridgeimage_transportroscppsensor_msgs)catkin_package()include_directories(${catkin_INCLUDE_DIRS}${OpenCV_INCLUDE_DIRS})add_executable(cv_tutorialsrc/cv_tutorial.cpp)target_link_libraries(cv_tutorial${catkin_LIBRARIES}${OpenCV_LIBRARIES})${OpenCV_LIBRARIES})编译并运行©NXROBO202217$catkin_make$roslaunchastra_launchastra.launch$rosruncv_tutorialcv_tutorial进阶应用：不同主题的时间同步如果我们想同时使用图像和相机信息怎么办？如何保证时间同步？在/message_filtersmessage_filters是一个用于roscpp和rospy的实用功能库。它包含有常用的消息“过滤”算法。消息过滤器收到一个消息，根据特定条件决定在稍后的时间里是否再将其吐出来。其中一个例子是时间同步器，它接收来自多个源的不同类型的消息，并且仅当在每个源上接收到消息具有相同时间戳的时才输出它们。TimeSynchronizer滤波器通过包含在其报头中的时间戳来同步输入通道，并将它们输出到一个单一的回调中，回调中采用相同数量的通道。C++的实现最多可以9个通道的同步。©NXROBO202218示例代码#include<sensor_msgs/Image.h>#include<sensor_msgs/CameraInfo.h>usingnamespacesensor_msgs;usingnamespacemessage_filters;voidcallback(constImageConstPtr&image,constCameraInfoConstPtr&cam_info){//Solveallofperceptionhere...}intmain(intargc,char**argv){ros::init(argc,argv,"vision_node");ros::NodeHandlenh;message_filters::Subscriber<Image>image_sub(nh,"image",1);message_filters::Subscriber<CameraInfo>info_sub(nh,"camera_info",1);TimeSynchronizer<Image,CameraInfo>sync(image_sub,info_sub,10);sync.registerCallback(boost::bind(&callback,_1,_2));ros::spin();return0;}©NXROBO202219进阶应用：图像平面到三维世界的坐标转换使用image_geometry完成这一功能/image_geometry