【《Attention-LSTM行人轨迹预测模型分析案例》7000字】

Attention-LSTM行人轨迹预测模型分析案例目录TOC\o"1-3"\h\u28340Attention-LSTM行人轨迹预测模型分析案例 152681.1引言 184091.2行人行为模块 2261221.2.1行人的外表特征 2280061.2.2行人的活动特征 3214311.3行人与对象交互模块 4266301.3.1行人与周围场景的交互 4245761.3.2行人与周围对象的交互 6310541.4轨迹生成模块和注意力机制 825341.4.1轨迹特征模块 8250981.4.2Attention模块 975611.5行为预测模块 11149091.5.1行为标签预测 12260421.6损失函数 13引言在真实场景中，行人的运动受自己本身的意图支配，同时也会受到周围其他因素的影响。这些影响因素大致可以分为两大类，一类是静态因素，即包括周围场景在内的静态物体，例如桥梁、禁止通行区域、允许通行区域、人行横道、机动车道等，另一类是动态因素，即行人周围的运动物体，如人行横道上的其他行人、机动车道上的车辆、草坪上的小动物等。静态因素和动态因素都会给行人的轨迹带来影响，通常表现为行人会与其他物体之间保持一定的安全距离以免发生碰撞等事故。因此，在行人的轨迹预测任务中如何对这些不同的影响因素进行建模并综合考虑这些因素对行人轨迹的影响程度是模型能否具有优良性能的关键。基于此，本文提出了Attention-LSTM行人轨迹预测模型。如图3-1所示为Attention-LSTM模型的整体结构。图3-1Attention-LSTM模型整体结构行人行为模块行人的外表特征在行人的外表特征这一部分，本文采用MaskR-CNN[21]中RoIAlign的目标检测方法来提取每个时间步中行人的外表特征。RoIAlign的思路如下，通过双线性内插方法得到坐标是浮点数的像素点上的图像数值，然后将整个特征聚集过程转换为一个连续的操作。在算法流程上，RoIAlign的流程如下。遍历所有的候选区域，保证边界的浮点数不做量化处理。把候选区域切割成y×y个单元，每一个单元的边界仍然不做量化处理。计算每一个单元中固定的四个位置坐标，使用双线性内插的方法计算得到这四个位置的值，之后进行最大池化操作。对上述步骤中的第三点做一些说明，固定位置指的是在每个矩形单中按照固定的规则确定的位置。例如，假设采样点数是1，那么这个单元的中心点就是固定位置；假设采样点数是4，那么将这个单元平均切割成4个正方形以后它们分别的中心点就是固定位置。显然，这些采样点的坐标值通常是浮点数，因此其像素值需要使用插值的方法来获得。 提取了场景中每个人的外表特征后，沿着空间维度平均特征将它们送入LSTM编码器，然后得到一个Tobs图3-2提取特征并送入LSTM编码过程示意图行人的活动特征本文使用在MSCOCO[22]数据集上训练得到的人物关键点检测模型来进行人物关键点特征的提取，然后使用线性变换来进行关键点特征地嵌入，通过使用embedding的方法将关键点特征的维度转换为Tobs本文在embedding操作中使用one-hot编码。one-hot编码方式中只有0和1，有多少种状态需要编码表达，one-hot编码的每一行的长度便会是多长，假设字典中一共有5个字“车”“辆”“工”“程”“系”被0-4进行了编码，那么one-hot编码的每一行就会有5个用0或1表示的位置，即使需要表示的语句是一个很短的句子，例如：[1,0,0,0,0]车——0[0,1,0,0,0]辆——1[0,0,0,0,1]系——4在每一行相对应的编码位置会设置为1，其他位置都是0，即每一行只会有一个1。one-hot编码的优势体现在表达能力强和计算快捷方便。对于这样比较稀疏的矩阵做矩阵计算的时候，只需要将位置1对应的数相乘求和即可，但这么做的问题也很明显，比较稀疏的矩阵占用的计算资源巨大，尤其体现在长篇编码的处理中。例如常用3000个简体汉字被0-2999编码，意味着这套系统中每一个字的one-hot编码是3000位，假设现在有一篇20000字的文章，那么用one-hot编码的方式编码之后其大小为3000×20000=60000000，占用的资源极大，并且这篇文章中有一部分字是重复使用的，只是位于文章的不同位置而已，这样便会浪费大量存储空间。而embedding可以很好地解决浪费存储空间的问题，embedding的本质是使用矩阵乘法来进行降维，假设有一个2×7的矩阵，这个2×7的矩阵乘上一个7×3的矩阵之后就变成了一个2×3的矩阵。在这个过程中，我们将一个14个元素的矩阵变成了一个只有6个元素的矩阵，相比之前，在矩阵规模上缩小了很多，并且尽管直观上矩阵的大小改变了，但实际上原矩阵包含的信息并没有改变，只是原矩阵包含的信息被按照某种映射关系转换到了另一个新的维度的矩阵里面，只需要按照逆向映射关系对变换后的矩阵进行相乘，便会回到原始矩阵的状态。embedding是在保证不造成信息的损失的前提下把数据用另外一个维度的张量来表示。embedding不仅能实现数据的降维，还有一个相对应的逆向功能——升维。在对低维的数据升维的过程中，可能放大了一些其他特征，或者分开了笼统的特征，但是，embedding是一直在进行学习和优化的，这使得整个过程可以缓慢地形成一个良好的观察点。通过使用embedding进行嵌入关键点特征处理后，行人的活动特征和外表特征就变成了具有相同维度的张量，方便后续对它们进行一致的处理。图3-3人类行为模块结构图行人与对象交互模块行人与周围场景的交互行人与周围场景的交互里的场景指的是行人是站在草坪上，还是站在路边，或是靠近一幢办公楼、一处水池……为了编码行人周围的场景，本文使用经过预训练的场景分割模型来提取像素级场景语义类的每一帧。总共使用Ns=10个常见场景类，如人行道、机动车道等，经过了Tobs个时间步后，得到尺寸为Tobs×h×w的场景语义特征图，其中h、w表示分辨率。对最后的场景语义特征图，应用两个卷积层（步长为2）对一张已经进行语义分割后的场景特征图进行CNN特征提取，如图3-4所示。最终得到两种尺度下的场景CNN特征。之后，给定一个行人i的（x,y）坐标，从卷积特征图中汇集行人i当前位置（x,y）的场景特征。简单来说，就是首先给定行人i所在位置的（x,y）坐标，之后将特征图的场景信息和行人图3-4场景语义分割特征图的卷积特征提取如图3-4底部所示，卷积特征的红色部分是人在当前时刻的离散位置。特征在每个时刻的感受域，即模型所观察的人周围的空间窗口的大小，取决于从哪个尺度集合和卷积核大小。本文将比例设置为1，核大小设置为3，这意味着Attention-LSTM模型在每个瞬间都会观察这个人周围3×3的区域。一个行人的人——场景交互表示为RTobs×C，其中C是卷积层中的通道数，即每个卷积层中卷积核的数目。简单来说这个集合如此表示的意义，共有Tobs个时间步，每一个时间步都会把行人的位置坐标在相对应的场景特征图中标注出来以建立联系，也就等同于将场景中的位置特征嵌入到场景特征图，融合这两个特征，因此当Tobs个时间步结束之时，总共有Tobs张图将场景特征图与行人的特征建立了联系。对每一张场景特征图使用2层卷积层来做卷积运算，每一个卷积层的通道数为C。因此，RTobs×C图3-5行人与周围场景交互模块结构图行人与周围对象的交互行人与周围对象的交互，这里的对象指的是除了目标行人以外其他的人或物体，例如目标行人周围是否有车辆、其他的人或者小动物经过。行人与对象的交互分为两部分，一部分是目标行人与周围对象之间的几何特征，另一部分是周围对象的类型特征。目标行人与周围对象之间的几何特征。在任意时刻，给定场景{(xk,yk,wk,Gk(3–1)该编码方式根据分式和几何距离来计算几何关系，使用对数函数来反映观测的结果，也就是行人的轨迹更有可能受到附近对象的影响，此编码方式已被证明在检测中有效。单时间步下目标行人与周围对象交互的几何特征张量如图3-6所示。在式3-1中，将|xb−xk|和而使用对数函数的原因是对数函数可以反映目标行人受其与周围对象之间的距离影响程度，距离越近时，目标行人受周围行人的影响越大，距离越远时，目标行人受周围行人的影响越小。 图3-6单个时间步目标行人与周围对象交互中几何特征的张量展示示意图目标行人周围对象的类型特征。针对周围对象的类型，本文通过独热编码（one-hotencoding）来获得ℝK×N0的类型特征，N0是周围对象的类型总数。一共有Tobs目标行人与周围对象之间的几何特征的张量规模为Tobs×K×4，目标行人周围对象的类型特征的张量规模为Tobs×K×N0，将这两个张量的规模进行整合后的规模为Tobs×K×之后我们将几何特征与类型特征嵌入de（d维的embedding向量）维向量中来完成独热编码矩阵的维度调整，然后将其输入到LSTM编码器，最终得到的输出为规模是T从整体来看，同行人与周围场景中的信息整合一样，行人与周围对象交互部分也是将类型特征与几何特征整合到一个张量里，整合后的张量表示目标行人与周围K个类型的对象在各个时刻空间上的关系。行人与对象交互模块的示意图如图3-7所示。图3-7行人与对象交互模块示意图轨迹生成模块和注意力机制轨迹特征模块前面提到的四种视觉特征，即行人的外观特征、行人的活动特征、行人与周围场景的交互、行人与周围对象的交互，通过独立的LSTM编码器编码到同一维度。此外，给定目标行人最后一个时刻的输出轨迹，即最后一个时刻的坐标，我们可以通过式3-2给出轨迹预测：e(3–2)式3-2从本质上来说就是一个全连接层的公式，式3-2的输入是一个坐标的矩阵[xt−1,yt−1]，与权重We做乘法运算后加偏置be，然后经过激活函数tanh，最终得到特征向量et−1，表示输出的轨迹预测特征。[将前文提到的5个LSTM单独特征编码器的隐藏状态全部集中在一起并压缩为一个张量Q，Q∈ℝAttention模块本文使用LSTM编码器直接预测行人的未来轨迹，表示为（x,y）坐标形式。使用目标行人轨迹特征LSTM编码器的最后一个时间步的状态来对这个编码器的隐藏状态进行初始化。在每一时刻，系统将根据解码器状态：h(3–3)以及一个全连接层共同计算坐标（x,y）的值。式3-3是一个典型的LSTM解码公式，其中q~图3-8解码端依据轨迹特征向量和注意力机制特征向量进行坐标预测每个特征向量Q都是由相同时间步的5个不同特征叠加的，若将全部的隐藏层特征向量hij（i表示行，j表示列）放到一个图里，那么这个图的每个部分都是Q的一个切片。而包含了所有特征的向量Q之所以可以发挥作用的关键点在于其将多个特征投射到一个相关的空间中去，之后通过注意力机制使得“具有识别性”的特征更容易被注意力机制捕获。在每个时间步t计算一个相似度矩阵St，以此来比较ht−1St∈S(3–4)式3-4衡量相似度采用的方法是把两个矩阵进行“点积”。将St每个单独的LSTM形成的h1，h1`，h1``……都进行相似度计算，最后Sijt的值表示每一个特征向量hn的注意力得分，也就是说，分配给Q之后用式3-5和式3-6计算两个注意力权重分配矩阵：A(3–5)B(3–6)式3-5计算的是纵向的权重分配w，即不同特征被赋予的注意力系数，简单来说就是相同时间步的不同特征里哪一个更重要一些。式3-6里的每一项表示的是一行之中注意力分配情况，简单来说就是同一个特征在不同时间步的注意力分配情况。直观表示为图3-8所示。图3-9注意力权重分配示意图从图中可以看出，At负责在不同的特征之间分辨出M=1到M=5这些不同的特征中哪一个对当前时间步影响最大，Bq(3–7)通过以上计算步骤，注意模型可以建立对不同特征、不同时间步特征向量的不同关注度，并把它们综合为一个添加注意的特征向量q~t。并且，从公式中可以看出，q~行为预测模块前文提到，轨迹生成模块在每个时间步产生一个位置坐标（x,y），但是产生的误差可能会随着时间累积，从而导致最后的预测位置产生较大的偏差。而使用误差较大的预测位置进行活动预测则可能无法保证准确性，因此，为了克服这个缺点，在这个模块除了实现预测目标行人未来的活动之外，还引入了一个辅助的任务——预测行人活动发生的位置。为了弥补轨迹预测和活动预测之间可能出现的偏差甚至错误我们使用曼哈顿网格进行行人活动位置的预测，从而帮助轨迹预测在出现偏差时进行修正。曼哈顿网格主要完成以下任务：分类任务：预测轨迹预测的最终位置坐标位于哪一个网格块。回归任务：预测网格块中心（图中绿点）到最终预测位置坐标（绿箭头末端）的偏差。图3-10分类任务与回归任务示意图添加回归任务的原因是相比于只提供区域范围，这种方式会更加准确。通常来讲，预测的行人轨迹的位置和行人活动发生的位置应该是相近的，因此为了达到最佳预测轨迹位置的目的，我们可以利用这两个位置来进行结果的修正。轨迹预测和预测活动发生的位置这两种方法是互补的。在不同尺寸的曼哈顿网格上重复上述过程，同时使用不同的预测前端对它们建模。模型的其余部分与这些预测前端进行端对端的训练。在这里需要一种经济高效的方式使用多尺度特征进行精准定位。将最后一个时刻的编码器的隐藏状态QTobs（包含了Q图3-10QTobsQTobs的张量维度是M×d，但为了保证与图像特征的兼容性，我们将这个特征