《智能传感器装调与测试（双语）》课件-15.多传感器融合

多传感器融合Multi-sensorintegration多传感器融合Multi-sensorintegrationPART01运动补偿MotionCompensation运动补偿MotionCompensation多传感器深度融合为什么要做运动补偿呢？Whydoesmulti-sensordeepfusionrequiremotioncompensation?因为在自动驾驶的感知过程中，传感器的采集数据一般都不是瞬时发生的。

Becausethedatacollectedbysensorsisgenerallynotinstantaneousintheperceptionprocessofautonomousdriving.车辆发生位移

Vehicledisplacement运动补偿主要分为如下两种

Motioncompensationismainlydividedintothefollowingtwotypes车自身的位移（Egomotion）

Egomotion.1）自我运动的运动补偿

1)Motioncompensationforself-motion▶运动补偿MotionCompensation2）被检测物体的运动补偿

2)Motioncompensationofthedetectedobject▶障碍物发生位移

Obstacledisplacement第二种要考虑的是被检测的运动物体在传感器采集的时间段内发生的位移，相对于自身运动补偿，这是一个更难的case（情况）。因为，快速移动的物体很可能会被激光雷达扫到两次。Thesecondconsiderationisthedisplacementofthedetectedmovingobjectduringthetimeperiodcollectedbythesensor,whichisamoredifficultcase(situation)relativetoitsownmotioncompensation.Becausefast-movingobjectsarelikelytobescannedtwicebyLiDAR.PART02时间同步TimeSynchronization时间同步TimeSynchronizationGPS时间戳的时间同步方法TimesynchronizationmethodofGPStimestamp时间同步TimeSynchronization主动数据同步方法Activedatasynchronizationmethod-数据同步-Datasynchronization激光雷达检测道德障碍物与相机检测到的障碍物进行匹配LiDARdetectsmoralobstaclesandmatchestheobstaclesdetectedbythecameraPART03传感器联合标定SensorJointCalibration传感器标定Sensorcalibration1）传感器外参标定1)Sensorexternalparametercalibration外参标定的核心是刚体旋转。刚体旋转即物体上的两个点，经过旋转和平移之后，两个点之间的3D位置是不会变的，所以叫刚体旋转。在自动驾驶和机器人上，刚体旋转还是比较常见的。Thecoreofexternalparametercalibrationisrigidbodyrotation.Rigidbodyrotationreferstotwopointsonanobject.Afterrotationandtranslation,the3Dpositionbetweenthetwopointswillnotchange,soitiscalledrigidbodyrotation.Inautonomousdrivingandrobotics,rigidbodyrotationisstillrelativelycommon.传感器外参的标定就是要找到这样的一个刚体旋转，可以把一个传感器的数据和另一个传感器对齐。相当于把一个传感器测量的数据从其本身的坐标系，通过刚体旋转，转到另一个传感器坐标系，这样就可以进行后续的数据融合。Thecalibrationofthesensor'sexternalparametersistofindsucharigidbodyrotationthatcanalignthedataofonesensorwithanother.Itisequivalenttotransferringthedatameasuredbyasensorfromitsowncoordinatesystemtoanothersensorcoordinatesystemthroughrigidbodyrotation,sothatsubsequentdatafusioncanbecarriedout.找到传感器坐标系刚体转换平移和旋转矩阵

FindtherigidbodytransformationtranslationandrotationmatrixofthesensorcoordinatesystemPART04多传感融合Multi-sensorFusion一、如何实现多传感器深度融合I.Howtoachievedeepfusionofmultiplesensors1）照相机和激光雷达融合：

1)CameraandLiDARfusion:▶二、如何实现多传感器深度融合II.Howtoachievemulti-sensordeepfusion将2D检测出来的障碍物直接投影到3D数据上，生成上图中类似的3D障碍物。

Theobstaclesdetectedin2Daredirectlyprojectedontothe3Ddatatogeneratea3Dobstaclesimilartotheabovefigure