第2章视觉感知

Part1第2章视觉感知目录01

视觉感知的基本概念和原理02视觉传感器器03机器视觉的光源源06视觉感知应用举例05数字图像处理基础04镜头基础知识第2章视觉感知2.1视觉感知的基本概念和原理视觉感知是指生物或机器系统通过接收、处理、解释和理解来自外部世界的光学信息，从而形成对环境中物体、场景、事件和其空间关系的认知和理解的过程。它最终目的远不止“看见”“拍照”，而是“看懂”。这意味着要从二维的光信号中，提取出三维世界的深度、结构、意义和动态变化。比如当我们走进一个房间，我们不仅能看到颜色和形状，还能立刻知道“这是一把椅子”、“那扇门是开着的”、“朋友在对我微笑”。这个“知道”的过程，就是视觉感知。一个完整的视觉感知系统通常由四个核心部分构成，分别是传感器、处理器、解释器，执行器，并遵循“分层处理”的工作原理。传感器可以类比于人眼的视网膜或机器的摄像头；处理器类比于大脑的初级视觉皮层或计算机的图像处理算法；解释器如大脑的高级皮层或人工智能模型；而执行器类比于人体的运动系统或机器的控制系统。传感器首先捕获外界光信号并将其转换为神经或数字信号。随后，处理器对这些原始信号进行预处理，提取出边缘、纹理、颜色等基本特征。接下来，解释器对这些特征进行深度分析和模式匹配

实现物体识别、场景理解等高级认知功能。最终，执行器根据理解结果做出决策并执行相应动作，从而与环境互动。整个过程是一个从物理信号到抽象信息的转换闭环，例如，从看到一团红色圆形轮廓，到识别出其边缘和颜色，再到理解“这是一个苹果”，最终完成伸手拿取的完整流程。第2章视觉感知2.2视觉传感器2.2.1CCD图像传感器三层结构：微型镜头：扩展感光面积，提升采光率，避免画质下降；分色滤色片：RGB原色法，CMYG补色法；感光层：将穿过滤色层的光源转为电子信号，传至影像处理芯片还原图像。

分类依据类型特点与应用结构平面CCD感光元件呈平面阵列，同时接收光线，用于图像传感器（如相机）结构线性CCD感光元件线性排列，逐行扫描，用于扫描仪、条形码读取器工作方式逐行传输CCD像素旁设存储电荷行，曝光时快速传电荷，减少模糊，适用于实时成像工作方式全帧传输CCD曝光后整幅图像传至存储区等待读取，图像质量高，对曝光时间要求高2.2.2CMOS图像传感器基本结构：像敏单元阵列、行/列驱动器、时序控制逻辑、AD转换器、数据总线输出接口、控制接口（集成于同一块硅片）。工作流程：复位→光电转换（光照射像素阵列产生电荷）→积分→读出（行选择逻辑选通像素，信号经列总线传至模拟处理单元放大，再经AD转换输出数字信号）。特性CMOSCCD信号处理每像素独立处理电荷统一转移处理功耗较低较高成本低高集成度高（内建信号处理）低（需外部电路）应用场景消费电子（手机、监控）高端成像（医疗、天文第2章视觉感知。2.3机器视觉的光源2.3.1条形与环形光源光源核心作用：决定图像质量，是机器视觉系统精度与稳定性的关键。条形光源：特点：可控照明（红/绿/蓝单色），侧面45°打光（可调整），线性光带，局部照明精准。应用：印刷质量检测、制造物裂纹检测、电子部件形状识别与尺寸测量、线阵检测。环形光源：特点：圆环状结构，均匀照射物体表面，消除阴影与反射不均，低成本易集成。应用：集成电路料带/管脚字符检测、金属表面划伤检测、连接件管脚间距及偏移检测。

2.3.2同轴、穹顶与背光源同轴光源：特点：半透半反射镜使光线沿相机光轴垂直照射，均匀漫射照明，减少反射干扰。应用：金属/玻璃光泽表面缺陷检测、线路板焊点检测、芯片破损检测。穹顶光源：特点：半球形内壁多次反射实现大张角照明，消除阴影，适合弯曲/光亮/不平表面。应用：曲面缺陷检测、不平坦光滑表面字符检测、金属/镜面表面检测。背光源：特点：超薄紧凑，背面照射，勾勒物体黑白对比轮廓。应用：外形尺寸测量、开口观察（如钻孔）、透明率测试、安装孔定位。

2.3.3光源选择方法

三大选择维度：光源类型：线性结构选条形光源，均匀表面检测选环形光源，反光表面选同轴光源，曲面选穹顶光源，轮廓提取选背光源.光源颜色：蓝光（细微纹理检测）、红光（提高对比度）、绿光（高反射金属表面）照明方式：照射角度：低角度（凸显表面缺陷）、高角度（减少阴影，清晰纹理）；光线类型：直射光（高对比度，捕边缘细节，易受反射影响）、漫射光（均匀照明，减少反光，适合复杂表面）；光照强度：避免过曝（掩盖细节）或过弱（图像变暗），匹配物体材质与反射特性第2章视觉感知2.4镜头2.4.1

镜头的基本常识

镜头的基本构成

透镜：单个透镜是进行光束变换的基本单元。常见的有凸透镜和凹透镜两种，凸透镜对光线具有会聚作用，也称为会聚透镜或正透镜；凹透镜对光线具有发散作用，也称为发散透镜或负透镜。镜头设计中常常将这两类镜头结合使用，校正各种像差和失真，以达到满意的成像效果。

光阑：光阑的作用就是约束进入镜头的光束部分。使需要的光束进人镜头成像，而无用的光束不能进人镜头。根据光阑设置的目的不同，光阑又进一步细分为孔径光阑、视场光阑、消杂光光阑。总而言之，透镜和光阑都是镜头的重要光学功能单元，透镜侧重于光束的变换（例如实现一定的组合焦

距、减少像差等），光阑侧重于光束的取舍约束。

2.4.3镜头的类型

分类依据类型特点接口C/CS接口C口后截距17.5mm，CS口12.5mm；CS相机可接C/CS镜头（C镜头需加5mm接圈）变焦与否定焦镜头单焦距，对焦快、成像稳（如鱼眼6-16mm、标准45-75mm）变焦与否变焦镜头可变换焦距，手动/电动变焦，便于构图CCD匹配1/2/1/3/1/4英寸与相机CCD靶面尺寸一致，否则影响视场角与对焦光圈控制手动光圈适合亮度不变场景光圈控制自动光圈亮度变化场景，分视频输入型、DG输入型第2章视觉感知2.5数字图像处理基础层级特点示例低级处理输入输出均为图像，初级操作去噪、对比度增强、图像尖锐化中级处理输入为图像，输出为特征图像分割（分区域）、目标描述、分类识别高级处理理解目标，认知功能文本内容理解、场景语义分析2.5.1

数字图像处理基本定义：数字图像是二维离散函数f(x,y)（x,y为空间坐标，f为灰度/强度），数字图像处理是用计算机处理数字图像的过程（像素为基本单位）核心应用领域：医学影像增强、卫星/航空图像分析（污染模式）、考古图像复原、高能物理实验图像处理、天文学/生物学成像

2.5.2数字图像处理的步骤

1.图像获取：获取数字图像，含预处理（如缩放）2.图像增强：主观优化图像（如X射线图像增强）3.图像复原：客观改进（基于退化模型，如去模糊）4.压缩：减少存储/传输带宽（如JPEG标准）5.分割：划分图像为目标/区域（关键且困难步骤）6.表示与描述：转换数据形式（边界/区域表示），提取特征（如角点、纹理）7.识别：为目标赋值标志（如“车辆”）第2章视觉感知2.6视觉感知应用举例三大核心识别功能：交通信号灯识别：摄像头获RGB图像→预处理（去噪、增强）→RGB转HSV→颜色阈值判断（红：H0-10/170-180；绿：H60-120）→形状位置验证→输出状态车道线识别：摄像头获道路图像→预处理→边缘检测（如Canny算法）→车道线拟合（如霍夫变换）→判断车道偏移→输出预警车辆/行人识别：摄像头获图像→输入YOLO/FasterR-CNN网络→卷积层提特征→区域提议（FasterR-CNN）→分类