rgbd direct方法原理介绍

闫志鑫博世（BOSCH）北美研发中心7/31/20211RGBD

Direct

方法简述前端：RGBD视觉里程计基础Direct方法基于贝叶斯的Direct方法基于相机噪声的Direct方法后端：优化与相机重定位Pose

Graph与Photometric

Bundle

Adjustment摄像机重定位RGBD

Direct方法展望27/31/2021RGBD

相机Kinect，Intel

RealSense，Xtion

etc.Structure

light，time

of

flight（ToF）Direct方法利用所有像素最小化Photometric

ErrorDirect方法常见问题与误会缺乏全局约束？没有摄像机重定位方法？37/31/2021Reprojection

Error

（Sparse/Indirect方法）𝐫௜

=

𝐱௜

−

𝜋

𝑇

𝐩௜,G

𝜉Photometric

Error

&

Geometric

Error

（Direct方法）𝐫௜

=௜𝐫ூ௜𝐫௓=𝐼ଶ

𝑤

𝐱௜,

𝜉 −

𝐼ଵ

𝐱௜ିଵ𝑍ଶ

𝑤

𝐱௜,

𝜉

− 𝑇

𝜋

𝐱௜,

𝑍ଵ

𝐱௜

,G

𝜉௓𝑤

𝐱௜,

𝜉 =

𝜋 𝑇

𝜋ିଵ

𝐱௜,

𝑍ଵ

𝐱௜,G

𝜉𝐸

=

∑௜∈ஐ

𝜔ூ

∗𝑟ூଶ

+𝜔௓

∗𝑟௓ଶ௜

௜

௜

௜47/31/2021=

∑𝐫୘𝐖௜𝐫௜௜∈ஐ

௜Linearization

线性化求解Photometric

error是非线性的，需要线性化后迭代求解例如泰勒展开逼近等数值求解常用方法常见线性化方式非常接近image

alignment௜Forward

Additive：𝐫ூ

𝜉௞ାଵ

=

𝐼ଶ

𝑤𝐱௜,

𝜉௞

⊞Δ𝜉−

𝐼ଵ

𝐱௜求导时需要考虑𝜉௞，相对复杂௜Forward

Compositional：

𝐫ூ

𝜉௞ାଵ

=

𝐼ଶ

𝑤𝑤

𝐱௜,

Δ𝜉

,

𝜉௞−

𝐼ଵ

𝐱௜57/31/2021𝜉௞作为常量，不需要考虑在求导过程中。取Δ𝜉=0的位置线性化，相对简单。具体求导过程请参见之前的公开课以贝叶斯形式表达image

alignment误差与相机姿态间的关系𝑝

𝜉|𝐫 =௣

𝐫|క

௣(క)=∏௜∈ஐ

𝑝

𝐫𝐢|𝜉

௣(క)，假定每个像素误差独立௣(𝐫)≡

argmin

−

∑௜∈ஐ

log

𝑝

𝐫𝐢|𝜉

−௣(𝐫)𝜉ெ஺௉

=

argmax

∏௜∈ஐ

𝑝

𝐫𝐢|𝜉 𝑝

𝜉log

𝑝

𝜉线性化与求导డ

ି

∑೔∈ಈ

୪୭୥

௣

𝐫𝐢|క

ି୪୭୥

௣

కడక=

−

∑௜∈ஐడ𝐫೔

డక

ஊ഍డ

୪୭୥

௣

𝐫𝐢|క

డ𝐫೔

−

కିకത

=

−

∑௜

௜

௜௜∈ஐ𝐉

𝐖

𝐫

−

కିకതஊ഍డ୪୭୥

௣𝐫𝐢|కడ𝐫೔𝐫೅𝐫೔೔మ𝐖௜

=

∑௜∈ஐ67/31/2021Student-t

distribution

（经验模型[1,2]）௜𝑝

𝐫

|

𝜉

=୻

௩ାଶ

/ଶ୻

௩/ଶ

௩గ

ஊ೟௩1+ଵ𝐫୘Σି𝟏𝐫௜

௧

௜ି

௩ାଶ

/ଶ௜𝑤ூ

=௩ାଶ௩ା𝐫౐ஊష𝟏𝐫೔೔

೟௧Σି𝟏Gaussian

distribution

（常用假设）𝑝

𝐫𝐢|𝜉 ∼

𝒩

𝟎,

Σ𝐫𝐖௜

=೔௥಺ି𝟎ఙమ∗௥಺

೔಺00೔௥ೋି𝟎ఙమ∗௥ೋ ೔ೋ𝐫=

Σିଵ77/31/2021计算

photometric

error

分布

𝑝

𝜉|𝐫

时，student-tdistribution只是一个经验模型，缺乏理论基础引入相机噪声模型，进一步逼近

𝑝

𝜉|𝐫

的真实分布Structure

Light

RGBD：𝜎-DVO[3]Time

of

flight

RGBD：DNA-SLAM[4]87/31/2021𝜎-DVOStructure

light

深度相机在深度图的误差满足高斯分布三维空间的高斯分布可以投影到二维空间（UnscentedTransform或简单线性化）Geometric

error的分布满足引入相机噪声的高斯分布97/31/2021𝜎-DVOPhotometric

error采用t

distributionGeometric

error采用由相机噪声得到的高斯分布（距离敏感）假设photometric

error和geometricerror相互独立DNA-SLAM将ToF相机噪声标示为灰度图、深度图以及深度图上一阶导上的误差的函数（边缘敏感）107/31/2021误会：Direct方法无法建立全局约束？原因1：Direct方法不提取特征点，无法建立帧与帧之间的共视约束原因2：Direct方法通常使用pose-graph做全局优化，场景信息无法在优化中利用起来解：利用Loop

Closure提供非连续/邻近帧之间的关系在关键帧中提取少量RGBD像素建立共视约束如何选取像素？117/31/2021Pose

Graph𝐸

=

∑

𝜉෡

⊟

𝜉෡

⊟Δ௜

௝

௜௝ଶ௜,௝

∈ஐ速度快，非基于图像约束Photometric

Bundle

Adjustment𝐸

=

∑

𝐫୘𝐖௜𝐫௜௜∈ஐ

௜𝐫௜

=௜𝐫ூ௜𝐫௓=𝐼௢௕௦𝑍௢௕௦𝜋

𝑇

𝐩௜,

𝜉𝜋

𝑇

𝐩௜,

𝜉 −

𝐼

𝐩௜− 𝑇

𝐩௜,

𝜉௓速度慢，难以建立约束关系，基于图像的约束127/31/2021Dense

VisualSLAM

with

PSM[5]不断收集可靠的RGBD点并添加到Map中(probabilistic

surfels)利用全局和局部信息计算每一帧的相机姿态在最后优化时同时优化pose-graph和photometric

BA共视约束来源于probabilisticsurfels在关键帧中的有效投影137/31/2021误会：Direct没有摄像机重定位方法？Indirect/sparse方法可以将每一帧的特征描述子组织成kd树或语义树的形式，在重定位时进行检索解：利用RGBD像素建立Fern或Random

Forest进行关键帧检索基于深度学习的相机姿态估计147/31/2021Fern或Random

Forest摄像机重定位[6]在图片中均匀随机筛选出m个点，每个点通过对比n=4个通道（RGBD）的阈值𝜏得到二进制编码（mx4）只在构建Fern的时候随机筛选m个点，随后使用相同的点集阈值𝜏在颜色和深度范围内随机得出每一个点在经过Fern编码后会记录符合编码的一系列关键帧用Hamming

Distance计算关键帧之间的距离157/31/2021PoseNet:基于深度学习的摄像机重定位[7]22层GoogLeNet提取图片中的特征并转化为7维相机姿态3维位置信息，四元数旋转表示（Inference结果需要归一化）第一篇用深度学习方法计算相机姿态的工作，重定位精度有限167/31/2021依然存在的问题和解决方法需要好的相机姿态初值（高度非线性）图像金字塔等计算量大，在缺少并行计算资源时难以实时累计误差问题基于语义的SLAM技术（平面等基本几何体或Instance

recognition）摄像机重定位技术还不够完善Ferns等方法对内存要求较大基于深度学习的方法还不够完善177/31/2021[1]

Kerl,

Christian,

Jürgen

Sturm,

and

Daniel

Cremers.

"Robust

odometry

estimation

for

RGB-D

cameras."

Robotics

andAutomation

(ICRA),

2013

IEEE

International

Conference

on.

IEEE,

2013.[2]

Kerl,

Christian,

Jurgen

Sturm,

and

Daniel

Cremers.

"Dense

visual

SLAM

for

RGB-D

cameras."

Intelligent

Robots

andSystems

(IROS),

2013

IEEE/RSJ

International

Conference

on.

IEEE,

2013.[3]

Babu,

Benzun

Wisely,

et

al.

"σ-dvo:

Sensor

noise

modelmeetsdensevisual

odometry."

Mixed

and

AugmentedReality

(ISMAR),

2016

IEEE

International

Symposium

on.

IEEE,

2016.[4]

Wasenmüller,

Oliver,

Mohammad

Dawud

Ansari,

and

Didier

Stricker.

"Dna-slam:

Dense

noise

aware

slam

for

tof

rgb-d

cameras."Asian

Conference

on

Computer

Vision.

Springer,

Cham,

2016.[5]

Yan,Zhixin,

Mao

Ye,

and

Liu

Ren.

"Dense

Visual

SLAM

with

Probabilistic

Surfel

Map."

IEEE

Trans