CN113034563B 基于特征共享的自监督式单目深度估计方法 （苏州易航远智智能科技有限公司）

基于特征共享的自监督式单目深度估计方法一种基于特征共享的自监督式单目深度估态估计单元的输出，从原始图片中提出监督信了无人驾驶中实时获取高精度单目深度信息的2采用单一网络结构，将姿态估计单元融入深度估计单元中，实现步骤四、损失计算，将深度估计单元输出的深度图3.根据权利要求1或2所述的基于特征共享的自监督式单目深度估计方法，其特征在所述单目相机部署在无人驾驶车辆的前挡风4.根据权利要求1或2所述的基于特征共享的自监督式单目深度估计方法，其特征在5.根据权利要求1或2所述的基于特征共享的自监督式单目深度估计方法，其特征在6.根据权利要求1或2所述的基于特征共享的自监督式单目深度估计方法，其特征在所述单目相机是单目采集系统中的单目相机，或者，是包含多台单目相机7.根据权利要求1或2所述的基于特征共享的自监督式单目深度估计方法，其特征在8.根据权利要求1或2所述的基于特征共享的自监督式单目深度估计方法，其特征在3采用深度神经网络对图像进行处理，并存储每次下采样的特征，生成多尺所述深度神经网络包括深度残差网络(ResNe所述深度可分离卷积的计算量Cal(DW)和参数量Parm(DWWout和Hout分别为输出的特征图的宽和采用所述SE模块学习特征图中通道之间的相关性，对每个通道均进15.根据权利要求1或2所述的基于特征共享的自监督式单目深度估计方法，其特征在16.根据权利要求1或2所述的基于特征共享的自监督式单目深度估计方法，其特征在4所述姿态估计单元，采用相关性计算进行特征的匹配，采用稠密卷积作为解码器对特征之间的相关性进行解码，最终通过一18.根据权利要求1或2所述的基于特征共享的自监督式单目深度估计方法，其特征在将源帧利用深度估计单元输出的深度图和姿态估计单元输出的源帧与目标帧的位姿坐标系转换步骤利用姿态估计单元输出的源帧与目标帧的位姿变换矩阵Tt→s将稀疏点投影模块接收源帧坐标系下的稀疏点云PCs后，利用内参K将点云重新投影到源帧的像′′5Dt所述L1损失采用原始目标帧和重建目标帧之间′结构相似性损失函数描述未经压缩的原始图片与γx=0.5c2；所述边缘平滑损失Lsmooth如公式(166t所述存储介质包括固定的内存或者显存，在所述存储介质中，用于所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实要求1-25中任一项所述的基于特征共享的自监督存储器，所述存储器存储执行如权利要求1-25中任一项所述车载处理器，所述车载处理器执行如权利要求1-2578该方法提供了一种嵌入式平台上进行深度估计网络部署的方法，但是该方法采用了RGB-D[0015]所述方法降低了网络计算量和显存占用，提升了姿态估9在逐通道卷积中引入空洞卷积来保证在特征提取过程out和Hout分别为输出的特征图的宽和高。度的全局信息交互，最后通过Sigmoid激活函数计算每个通道的得分，最终与原始特征相低的空洞率来保证骨架(backbone)网络提取到高感受野[0047]移除最大池化层，并在第六层(layer6)之后增加了两层普通卷积，即第七层xt[0099]附图示出了本公开的示例性实施方式，并与其说明一起它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏[0112]采用单一网络结构从原理上克服了现有技术中分别采用深度估计网络和姿态估计网络分别得到深度信息和姿态信息的网络结构复杂的问题，对显存和计算资源的占用从而快速准确地实时确定无人驾驶车辆前的物体的[0118]第一步是数据采集步骤，通过部署在无人驾驶车辆上的需依赖于合成数据的精度，仅仅通过单目相机实时采集的数据即可保证网络训练的精度，[0128]对于特征编码，采用图像分类任务中的深度神经网络作为编码器对图像进行处[0129]在ResNet系列网络中应用的残差网络模块的基础之上，又引入了深度可分离卷[0130]1)深度可分离卷积来自于MobileNet深度神经网络，该网络模块专门为车载设备用深度可分离卷积能够非常有效地减少了常规卷积的参数量和计算量，降低系统计算开[0142]3)为了解决下采样造成的细节丢失问题，本公开提出的的相关性进行解码。最终通过一层稠密卷积和三层卷积实现两帧之间姿态变换矩阵的输[0162]1)本公开将源帧利用深度估计单元输出的深度图和姿态估计单元输出的源帧与[0163]图5中的逆投影部分是指利用网络输出的目标帧的深度图Dt和预先标定好的内参[0175]2)本公开采用的损失函数包括三部分：L1损失、结构相似性(Structural[0179]结构相似性损失函数是用于描述未经压缩的原始图片与压缩后失真的图片的相x度图不光滑，为了使得深度图中物体表面深度值更光