计算机视觉 课件 第2章视觉信息获取

1第二章视觉信息获取§2.1射影几何与变换§2.3光度测定学的图像生成§2.2摄像机模型§2.4深度图像与点云的获取2本章脉络摄像机摄像机模型射影几何视觉信息获取有限摄像机射影摄像机无穷远摄像机其他摄像机2D射影3D射影图像形成照明成像反射和阴影色象差彩色图像深度图像点云数据集深度相机激光雷达光学相机3§2.1射影几何与变换一、2D射影几何与变换二、3D射影几何与变换4射影几何与变换引言

获取视觉信息依赖摄像机，摄像机是3D到2D的空间映射，成像过程包含2D、3D射影变换射影变换：有限次中心射影的积定义的两条直线/平面/空间之间的一一对应变换，分别为1D/2D/3D射影变换射影几何：研究图形射影性质的几何学分支学科52D射影几何与变换

关系公式点在直线上过直线的交点过两点的直线62D射影几何与变换

点过原点的射线直线过原点的平面理想点无穷远平面72D射影几何与变换

82D射影几何与变换

92D射影几何与变换

103D射影几何与变换

直线的4个自由度Plucker坐标113D射影几何与变换

123D射影几何与变换

13§2.2摄像机模型一、有限摄像机二、射影摄像机三、无穷远摄像机14摄像机模型引言

摄像机是3D到2D的空间映射，适合用射影几何工具研究实际摄像机多为中心投影，中心投影将是讨论重点摄像机投影可表示为齐次坐标下的映射矩阵，摄像机的几何元素可用映射矩阵计算得到，摄像机内在性质可用代数表达式计算15摄像机模型摄像机的分类

根据透视：摄像机分为有限摄像机、无穷远摄像机和其他摄像机有限摄像机相机中心在有限距离，无穷远摄像机中心在无穷远平面上CCD摄像机和仿射摄像机是讨论重点摄像机分类透视关系16有限摄像机

17有限摄像机

18有限摄像机

19有限摄像机

20有限摄像机

21射影摄像机

22射影摄像机

23无穷远摄像机

仿射摄像机无透视透视逐渐减弱的效果卫星地图是弱透视图像24无穷远摄像机

仿射摄像机非仿射摄像机是是是不是是是是不是是一般不是25§2.3光度测定学的图像形成一、照明二、反射与阴影三、光学26光度测定学的图像形成阴影反射现实物体与摄影图像影调模型：现实世界中描述表面光亮度产生的机理图形图像：通过摄像机等设备将3D几何特征投影到图像中的2D特征照明影调模型现实物体图形图像透镜成像景深渐晕色像差建立模型来描述它们的相互关系并形式化图像形成的一般过程27光度测定学的图像形成影调模型现实世界物体亮度的影响因素：接受光总量、反射率图像构成：离散的色彩、亮度数值图像物体色彩亮度的影响因素：光强、表面特性、摄像机传感器等28照明照明定义在物理学中，光源指能发出一定波长范围的电磁波的物体光通量是表示光源整体亮度的指标，是一种表示光功率的物理量光通量每单位时间内由光源所发出或由被照体所吸收的光能

点光源线光源面光源29照明具体分类点光源：光源的尺寸相比于被照射物体的距离非常小（地球观察恒星）线光源的几何形状呈线性（单根日光灯管）面光源是指面型发光区域（办公室发光灯板）点光源模型光源所对应的立体角与距离的平方的倒数成正比线光源模型面光源模型30反射与阴影光线反射当光线照射在物体表面上，光线散开并反射了解反射模型最一般形式（BRDF）介绍特殊模型的表达形式模型考虑因素适用范围Lambertian假设表面完全粗糙粗糙表面Phong入射角与观察角对反射光的强度影响部分粗糙表面Blinn-Phong使用了Blinn-Phong法线来计算反射光的方向部分粗糙表面（计算效率更高）Cook-Torrance表面微观结构对光线反射的影响适用于描述金属等光泽表面的反射特性31反射与阴影

2d双向反射分布函数3d双向反射分布函数32反射与阴影

漫反射模型镜面反射模型33反射与阴影

34反射与阴影

光线追踪法辐射度方法35光学

凸透镜成像景深定义36光学色像差透镜或镜头在将不同波长的光聚焦到一个点时，导致不同颜色的光产生不同的聚焦位置像中产生颜色偏差，表现为彩色边缘或色彩分离分类：蓝光散焦、红绿光散焦37光学渐晕图像或场景的亮度逐渐减弱，呈现出由中心向外逐渐变暗自然虚影：源于物体表面、投影的像素和镜头光圈的透视收缩效应机械虚影：由复合镜头中邻近镜头组件边缘处的光线的内部遮挡引起的渐晕效果示意图38§2.4深度图像与点云的获取一、深度相机二、激光雷达39深度图像与点云获取深度图像与点云图像深度图像的每个像素值代表了相应场景点到相机的距离点云图像是由大量点组成，每个点都包含了空间中某个位置的坐标信息深度图像点云图像40深度相机深度相机定义：能够捕捉场景中物体距离信息的先进传感器分类：基于结构光技术，基于飞行时间原理任务场景：人体姿态识别、手势控制、三维重建等未来发展：分辨率提升、多模态融合、实时性能提高基于结构光技术基于飞行时间原理41深度相机AzureKinectDK深度相机调幅连续波(AMCW)时差测距(ToF)原理将近红外(NIR)频谱中的调制光投射到场景中窄视场(FoV)模式非常适合X、Y维度范围较小，但Z维度范围较大的场景宽FoV模式适合场景中的X、Y范围较大，但Z范围较小深度相机深度图像42激光雷达激光雷达定义：一种用于获取精确位置信息的传感器工作原理：目标探测物发送探测信号，并与目标反射信号进行比较特点：分辨率高、抗干扰能力强、不受光线影响、体积小、质量轻自动泊车技术驾驶中的环境感知43应用举例：自动驾驶感知系统雷达传感器惯性传感器GPS定位激光雷达红外传感器中控电脑图像数据点云数据运动数据不同模态数据44视觉传感器：RGB相机自动驾驶感知的数据形态单目相机特性：透镜成像原理优点：结构简单，成本低缺点：无法确定物体尺度双目相机环视相机特性：双目视差测距优点：可确定像素的空间位置缺点：量程和精度受到基线与分辨率限制特性：多个广角相机优点：消除盲区，360度感知缺点：远处物体的分辨率下降双目立体视觉目前性能自动驾驶系统传感器45150m内物体测距误差小于5%纵向距离真值（m）纵向距离测量值（m）物体高度真值（m）物体高度测量值（m）44.110.090.10488.240.090.096纵向距离真值（m）纵向距离测量值（m）物体高度真值（m）物体高度测量值（m）43.970.0180.023388.010.0180.0232微型物体测高误差毫米级46车载相机传感器的最新升级：环视广角相机自动驾驶系统传感器47距离传感器：雷达自动驾驶感知的数据形态特性：光成像探测和测距，探测物体表面以及它们的大小和精确位置优点：分辨率高缺点：难以在夜间以及大雨大雾等天气下使用特性：利用超声波测算距离，已经广泛使用于倒车雷达优点：利于短距离测量缺点：易受温度影响，分辨率低激光雷达（LiDAR）超声波雷达（Radar）48激光雷达主要类型自动驾驶系统传感器类型机械式激光雷达半固态激光雷达全固态激光雷达简介过旋转实现横向360度的覆盖面，通过内部镜片实现垂直角度的覆盖面融合机械式和全固态式激光雷达的特点，没有任何机械摆动结构，自然也没有旋转，将机械化的激光雷达芯片化优势耐用、稳定体积较小、性能较好、且具有量产的条件体型更小、性能更好、寿命更可靠、是未来的发展方向缺点体积大、成本较高、装配较难仍未到达完全固态化太过理想化、成本太高、难以量产应用自动驾驶路试车大多采用这种类型目前的量产自动驾驶汽车大部分采用半固态激光雷达结构在自动驾驶领域暂无广泛应用49激光雷达主流产品自动驾驶系统传感器50雷达在自动驾驶汽车上的部署激光雷达、远程雷达、近/中程雷达自动驾驶系统传感器51激光雷达为基础的自动驾驶感知流程激光雷达数据表征、特征提取模块、目标检测算法自动驾驶系统传感器52自动驾驶感知的发展趋势自动驾驶综合能力/体验时间202020212022202320242025FSD纯视觉方案辅助驾驶智能驾驶自动驾驶20182019以Tier1的系统解决方案为主2D单向视觉感知+多个毫米波+后融合2D/3D多向视觉感知+毫米波+激光雷达+HD-Map+后融合以视觉为主端到端4D感知+导航地图以头部自研OEM及自动驾驶解决方案公司为主2D多向视觉感知+毫米波+HD-Map+后融合*业内主流方案的演进，伴随着一次次“阶跃式”的升级迭代，然而以视觉为主的趋势逐渐明朗，特斯拉在视觉方案上一路平稳快速迭代，实现全场景的能力L1->L2L2->L3L3->L4……………TODAY以头部自研OEM及自动驾驶解决方案公司为主53百度Apollo：雷达、RGB相机、高精地图融合策略多传感器融合感知方案54特斯拉：纯视觉策略纯视觉感知方案视觉图像

●Multi-task(stillnew?)

●Transformer-nVfusion

○

解决遮挡和不同视角

投影变换

○smartsummon●Spatial-temporal

○

增加视频前后信息，

更好的帮助感知

○

有助于后续规控

○

c.f.HDMap工作决策/控制数据标注场景仿真硬件基础●

手工标注/第三方标注

○

早期使用；但效率很低

○

现在：in-house,1k标注员

工（非外包）●

自动标注

○scalable

○

GT真值：借鉴NeRF思想，self-supervised方式●

数据规模

○60亿label(含vel/depth)

○250wvideoclip

○1.5PB存储

○

高质量数据(diverse,clean,large)

○

Ref:waymo

■20wframe,5hours

■12Mlabels

●MCTS+policynet节

省搜索空间

●

仿真提供了大量

cornercase数据，帮助算

法性能迭代

●

为了仿真和现实场景逼真

，做了五方面工作：其中

场景复原：neural

rendering

●

硬件3.0做AI评估

●

每周运行100万次

●3个数据中心

●

超过3000块HW3.0主板组成

●

芯片D1(DPU)

●

系统

●

计算集群

●

软件架构55纯视觉感知与多传感器融合感知的对比不同感知方案的比较信息丰富度仅有图像语义包含图像语义+三维点云三维深度无有稀疏的点云深度信息测距精度低高相对场景可靠性低可视场景下性能下降抗干扰能力强相对成本低高多模态数据融合无需数据融合复杂可能存在冲突通用模型开发视觉通用大模型不同模态数据的模型算法尚未统一技术难点从2D图