机器人视觉技术及应用章节练习题及答案12

1、机器视觉是一项综合技术包括_图像处理_、机械工程技术、_控制__、电光源照明、光学成像、传感器、_模拟与数字视频技术_、__计算机软硬件技术_等。2、相对人类视觉，机器视觉在_速度_、感光范围_、观测精度_、环境要求等方面都存在显著优势，特别在有害环境下或_重复性工作_下。3、机器视觉是机器人_自主行动_的前提，能够实现计算机系统对于外界环境的观察_、_识别_以及_判断_等功能，对于_人工智能_的发展具有极其重要的作用。4、从原理上机器视觉系统主要由三部分组成：_图像的采集_、_图像的处理和分析_、_输出或显示_。5、—个典型的机器视觉系统应该包括_光源__、_光学系统_、_图像捕捉系统_、图像数字化模块、_数字图像处理模块_、智能判断决策模块和机械控制执行模块。6、机器视觉是一项综合技术。其中包括_数字图像处理技术_、机械工程技术、控制技术、_光源照明技术_、光学成像技术、__传感器技术_、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。

1.数字图像处理的主要研究内容包含很多方面，请列出并简述其中的4种。答：①像数字化:将一幅图像以数字的形式表示。主要包括采样和量化两个过程。②图像增强:将一幅图像中的有用信息进行增强，同时对其无用信息进行抑制，提高图像的可观察性。③图像的几何变换:改变图像的大小或形状。④图像变换:通过数学映射的方法，将空域的图像信息.转换到频域、时频域等空间上进行分析。⑤图像识别与理解:通过对图像中各种不同的物体特征进行定量化描述后，将其所期望获得的目标物进行提取，并且对所提取的目标物进行一定的定量分析。2.什么是图像识别与理解?答：图像识别与理解是指通过对图像中各种不同的物体特征进行定量化描述后，将其所期望获得的目标物进行提取，并且对所提取的目标物进行一定的定量分析。比如要从一幅照片上确定是否包含某个犯罪分子的人脸信息，就需要先将照片上的人脸检测出来，进而将检测出来的人脸区域进行分析，确定其是否是该犯罪分子。3简述数字图像处理的至少3种主要研究内容。答：①图像数字化:将一幅图像以数字的形式表示。主要包括采样和量化两个过程。②图像增强:将一幅图像中的有用信息进行增强，同时对其无用信息进行抑制，提高图像的可观察性。③图像的几何变换:改变图像的大小或形状。④图像变换:通过数学映射的方法，将空域的图像信息转换到频域、时频域等空间上进行分析。4简述图像几何变换与图像变换的区别。答：①图像的几何变换:改变图像的大小或形状。比如图像的平移、旋转、放大、缩小等，这些方法在图像配准中使用较多。②图像变换:通过数学映射的方法，将空域的图像信息转换到频域、时频域等空间上进行分析。比如傅里叶变换、小波变换等。

工业相机一般由哪几部分组成？各有什么作用答：一般来说，工业相机主要由图像传感器、内部处理电路、数据接口、IO接口、光学接口等几个基本模块组成。当相机在进行拍摄时，光信号首先通过镜头到达图像传感器，然后被转化为电信号，再由内部处理电路对图像信号进行算法处理，最终按照相关标准协议通过数据接口向上位机传输数据。IO接口则提供相机与上下游设备的信号交互，如可以使用输入信号触发相机拍照，相机输出频闪信号控制光源亮起等。请简述色温的概念答：色温是指绝对黑体从绝对零度(一273℃)开始加温后所呈现的颜色。黑体在受热后．逐渐由黑变红，转黄，发白，最后发出蓝色光。当加热到某个温度，黑体发出的光所含的光谱成分，就称为这一温度下的色温，计量单位为“K”(开尔文)。K越低，颜色就越红，请简述全局快门（GloblalShutter）和卷帘快门（RollingShutter）的含义答：全局快门是指整个芯片的每行像素全部同时进行曝光，每一行像元的曝光开始和结束时间相同。曝光完成后，数据开始逐行读出。相机传感器曝光、数据读出的时间长度一致，但结束数据读出的时刻不一致。卷帘快门是指芯片开始曝光的时候，每行均按照顺序依次开始曝光。第一行曝光结束后，便立即开始读出数据，数据完全读出后，下一行再开始读出数据，如此循环。不同行的像元曝光开始和结束时间不同.请简述镜头景深参数的含义答：景深（DOF）定义为在传感器上获得清晰像的物空间深度。在光学系统中，物平面（对焦平面）上的点在与之共轭的像平面（感光平面）上成点像，在其他平面上在像平面所成的像均为一定直径的弥散斑。而传感器的像素都是有一定尺寸的，只要弥散斑的直径足够小，弥散斑可以落在一个像素内，传感器就会将弥散斑误认为是一个点，则认为弥散斑对应的物方平面成像也是清晰的。5、请进行相机选型：现有视野大小为16mmx12mm，单像素精度为0.005mm；；被测物为中速流水线传送状态；客户要求检测区域内方块面上有无脏污，无色彩要求；最高需要在一秒内拍10张图片 答：该用户需要测试固定视野大小的产品，因此选用面阵相机，排除CL系列；检测脏污有无，无色彩要求，选择黑白相机；被测物为中速流水线传送状态，需要选择全局曝光相机，无需具备超短曝光功能；实际视野范围为16mm*12mm，单像素精度为0.005mm，则此时所需相机最小分辨率为16/0.005×12/0.005=3200×2400 确定帧率/行频。用户要求最高需要一秒内拍摄10张图片，即在满分辨率下，帧率需≥10fps；在600万以上，在保证帧率的前提下，为了节省成本和降低方案复杂度，选用千兆网以太网接口； 确定工业相机产品系列。另用户无嵌入式相机需求，排除CB，无其他特殊要求，可锁定CA系列分辨率为

1、请简述特征匹配的基本原理和功能答：特征匹配工具建立模型时提取目标的基本特征（边缘特征或灰度特征），搜索目标阶段以提取出的模型特征为基础，在多种自由度（平移、旋转、一致性缩放、非一致性缩放）混合空间下找到目标，并输出目标位姿状态（各自由度值）。2、请简述BLOB的基本原理和功能答：Blob分析对输入的灰度图像进行二值分割，通过连通域分析方法在二值图中对blob块进行提取、筛选、排序与特征计算，获取目标物体blob的特征，如存在性、数量、位置、形状、方向等3、请简述模块禁用的功能答：模块禁用不改变订阅关系，运行时会跳过相关禁用模块，再复杂方案中可以便捷的测试效率和功能，提升方案搭建功能测试效率。使用时，框选需要禁用的模块，右键选择禁用即可4、 请简述深度学习字符识别工具的功能答：深度学习字符识别采用深度学习算法主要应用于字符的识别，具有一定的泛性，对于字符形态变化、倾斜、大小变化及背景亮暗变化等有较好的适应能力。对点阵、粘连、变形、低对比度、复杂背景等均有较高识别率。5、对于如下的一组图片，如何设计检测流程，以便在图中能够检测出不同方向的字符内容答：根据一般规则，对于有偏移的特征进行检测可以使用特征匹配的方式寻找目标检测物的偏移。从图中可以发现，字符位置和方向会发生变换，但上面一行字符内容基本一致，因此可以选用上面一行的“T9128”字样建立模板，后续字符识别的检测框跟随特征匹配的位置进行偏移1、请简述应用于手机孔加工定位的检测案例中，使用此种方式打光照明的好处答：手机壳种类共有5种五类铝合金材质表面，为了兼容手机壳不同材质、颜色、形状，采用环形光正面照射形成明视场，针对镜面反射材质样品，采用同轴光源照射，凸显表面的不平整。2、请简述应用于牛奶包装袋OCR的检测案例中，使用此种方式打光照明的好处，并试举另一种可以产生类似效果的光源。答： 牛奶包装袋表面不平整，有高低和凹凸部分，采用圆顶光源使成像更均匀，由于其漫反射特性可在成像时消除包装褶皱。相同功能的光源可以选用同轴光进行照明。3、在圆查找工具中，边缘极性的方向为从圆心点向圆外侧，直线边缘缺陷检测中，边缘机型的方向为与ROI放置方向相同4、请计算：在200mm×150mm的视野下读取32×32、8mm×8mm的二维码需要多少分辨率的相机答： 每个QR码模块大小为8/32=0.25mm，根据二维码分辨率计算公式，横向分辨率为200/(0.25/4)=3200pixel，纵向分辨率为150/(0.25/4)=2400pixel，因此相机分辨率至少要3200×2400像素5、请简述在手机后盖尺寸测量案例中算法检测流程的关键步骤答： 标定：将两台相机标定在同一个坐标系内 交点查找：通过灰度值变化找到边缘，并计算出两个边缘的交点 标定转换与测量：将上述查找到的交点转换为标定后的坐标系内点并进行测量

1、请简述二次开发接口提供的功能答：VisionMaster算法平台集成机器视觉多种算法组件，适用多种应用场景，可快速组合算法，实现对工件或被测物的查找、测量、缺陷检测等。算法平台SDK提供了基础接口、展现接口、平台数据接口、平台控制接口，使用该SDK可以对接VisionMaster算法平台，灵活地开发和扩展机器视觉应用。2、请简述调用二次开发接口进行方案操作的相关流程答：创建句柄->册数据回调函数->（打开算法平台、显示算法平台界面、创建方案）->加载方案（获取方案加载进度）->保存方案->执行方案->停止执行->关闭方案->销毁句柄3、请简述调用二次开发接口进行参数设置的相关流程答： 创建句柄->注册数据回调函数->加载方案->保存方案->设置参数值->获取参数值->获取参数列表->关闭方案->销毁句柄4、方案操作接口能够对方案进行的操作有：保存、加载和关闭以及加载进度和保存进度的获取，平台控制接口能够进行的操作有：控制算法平台所有流程以及特定流程是否启用、运行、连续执行时间间隔5、请设计一个简单的demo，界面提供方案加载、流程持续运行和停止、显示运行界面的功能答： 关键代码如下：句柄创建void*handle=IMVS_NULL；intiRet=IMVS_EC_UNKNOWN；iRet=IMVS_PF_CreateHandle(&handle)；方案加载std::stringstrPlatformPath="C:\\ProgramFiles\\VisionMaster\\Applications\\VisionMaster.exe"；iRet=IMVS_PF_StartVisionMaster(handle，strPlatformPath.c_str()，IMVS_PF_DEFAULT_WAITTIME)；std::stringstrPath="C:\\1.sol"；iRet=IMVS_PF_LoadSolution(handle，strPath.c_str()，strPassWord.c_str())；}流程持续运行iRet=IMVS_PF_ContinousExecute(handle)；流程停止 unsignedintnWaitTime=5000;iRet=IMVS_PF_StopExecute(handle,nWaitTime)；载入前端运行界面iRet=IMVS_PF_AttachFrontedWnd(handle，hwnd)；if(IMVS_EC_OK!=iRet){returniRet；}iRet=IMVS_PF_ExecuteOnce(handle，NULL)；

1、请简述不同3D测量方式的技术对比答： 双目视觉法（主动式）结构光测量法激光三角法TOF测量法精度水平cm~mmcm~umcm~umcm~mm算法复杂度高高低低扫描速度中慢快快低照度性能好好好好抗干扰能力中差高中成熟度高中高高硬件成本中高中低2、什么是损失函数，损失函数在深度学习网络中有什么作用答： 损失函数的输入是网络预测值与真实目标值，然后计算出一个距离值，衡量该网络在这个示例上的效果好坏，即损失函数用来衡量网络输出结果的质量。深度学习的基本技巧是利用这个距离值作为反馈信号来对权重值进行微调，以降低当前示例对应的损失值。这种调节由优化器来完成，它实现了所谓的反向传播算法，这是深度学习的核心算法。一开始对神经网络的权重随机赋值，因此网络只是实现了一系列随机变换。其输出结果自然也和理想值相去甚远，相应地，损失值也很高。但随着网络处理的示例越来越多，权重值也在向正确的方向逐步微调，损失值也逐渐降低。这就是训练循环(trainingloop)，将这种循环重复足够多的次数，得到的权重值可以使损失函数最小。具有最小损失的网络，其输出值与目标值尽可能地接近，这就是训练好的网络。3、3D相机的X，Y，Z方向分辨率是什么含义答： 双目/结构光/TOF立体相机的X/Y方向分辨率是指位于视野范围中某一确定高度位置，各数据点沿X/Y方向的水平间距，即在X-Y平面的最小横向/纵向测量精度。此规格取决于位于该高度位置的FOV大小和所使用的摄像机Sensor像素数。线激光立体相机的X轴分辨率是沿激光线方向的单像素精度，Y轴分辨率定义为运行方向的轮廓间隔，取决于被测物与相机的相对速度和扫描帧率。Z方向分辨率指示各点处可检测的最小高度差。该精度由相机架构（基线距或视野范围）和图像处理算法（是否采用亚像素）决定。视野范围内离传感器越近的位置，Z方向分辨率越高。4、请进行3D相机选型：快递分拣传送线，要求在传送带不停止的情况下对经过的包裹进行体积测量，根据体积进行包裹分拣，要求如下：1. 适应2m/s的传送带速度2. 预期架设距离＜2m3. 最小包裹体积150mm*150mm*70mm4. 最大包裹体积1000mm*1000mm*1000mm答：由传送带动态运行可知，设备需要能够在动态中检测，线激光相机、3D轮廓仪都能够用在动态环境，双目立体相机为静态拍摄，因此排除；轮廓仪检测精度为微米级别，测量范围较小，在包裹测量应用中较不适合，所以应该选择视野更大的线激光立体相机类型，即为MV-DL2040-04B-H。5、深度学习目标检测工具中，最大重叠率的含义为目标图像允许被遮挡的最大比例，目标排序方式有按中心点X/Y坐标排序