CN111414852B 图像预测及车辆行为规划方法、装置和系统及存储介质 （驭势科技（浙江）有限公司）

时刻T1采集的当前图像I10；通过第一编码器EN0提取当前图像I10的特征F10；对于第T重建以获得第T1+i*Δt时刻的预测图像I1i'，i2通过第一编码器EN0提取所述当前图像I10的特对于所述特征F10至所述特征F1i-1中的每个参与预测的特征F1j，基于将所述注意力特征FS1ij输入全连接层或卷积层进行特征加权求和，以获得加权特征将所述特征F1j输入所述预测网络Ni中的遮罩卷积网络CSij中进行卷积，以获得所述注注意力遮罩S1ij中的每个元素代表车辆将要驶向i0的参数各自独立。获取第一样本车辆分别在T2,T2+Δt……T2+mΔt时刻采集的(m+1)个样本图像I20,3基于所述样本图像I20和所述重建图像I20'对所述第一编码器E获取第二样本车辆分别在T3,T3+Δt……T3+mΔt时刻采集的(m+1)个样本图像I30,将所述第一编码器EN0和所述第一解码器DE0作为生成器，与第一判别器一起进行对抗获取如权利要求1至8任一项所述的图像预测方法中涉及的所述当前图像I10以及所述基于所述变换卷积网络CTi-1输出的变换矩阵M1i-1确定所述目标车辆在第T1+(i-1)*Δt将所述变换矩阵Mi-1输入行为卷积网络CA中进行卷积，以将所述变换矩阵Mi-1由2*H*W大小转变为2*1*1大小，其中转变后的矩阵中的两个数值分别表示所述目标车辆的期望加速度和期望转角。4通过所述第二编码器EN0'提取所述样本图像I4的特征F4，并通过所述第二解码器DE0'基于所述样本图像I4和所述重建图像I4'对所述第二编码器EN0'和所述第二解码器定所述第三样本车辆在第T4时刻的期望加速度和基于所述第三样本车辆的期望加速度和期望转角与所述实际加速度和所述实际转角通过所述第二编码器EN0'提取所述样本图像I5的特征F5得重建图像I5'；5向所述变换卷积网络CT输出的变换矩阵M50添加随机高斯变量以获得新的变换矩阵车辆在第T5时刻的期望加速度和期望转角；的一个或多个来预测特征F1i，并对所述特征F1i进行重建以获得第T1+i*Δt时刻的预测图对于所述特征F10至所述特征F1i-1中的每个参与预测的特征F1j，基于将所述注意力特征FS1ij输入全连接层或卷积层进行特征加权求和，以获得加权特征获取模块，用于获取如权利要求1至8任一项所述的图像预测方法6程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求9至15任一项所行如权利要求9至15任一项所述的车辆行7中的一个或多个来预测特征F1i，并对特征F1i进行重建以获得第T1+i*Δt时刻的预测图像8网络CTi-1输出的变换矩阵M1i-1确定目标车辆在第T1+(i-1)*Δt时刻的期望加速度和期望器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述图像预测方[0013]通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、[0015]图2示出根据本发明一个实施例的图像预测方法所涉及的图像预测模型的示意[0018]图5示出根据本发明一个实施例的车辆行为规划方法所涉及的行为规划模型的示9本发明实施例，可以根据车辆当前感知到的环境信息(即当前图像)预测未来的环境信息需注意，本发明实施例提供的图像预测方法可以应用于多种需要预测车辆未来状态的场[0030]图像预测方法100可以运行于任一车辆(称为目标车辆)的控制装置中，该车辆可[0033]图像预测方法100所涉及的算法模型(本文称为图像预测模型)可以在训练阶段进码器EN0和第一解码器DE0作为一个整体进行训练。而在应用阶段可以使用训练好的第一编[0034]第一编码器EN0和第一解码器DE0均可以采用任何合适的网络结构实卷积网络结构实现。例如，第一编码器EN0和第一解码器DE0可以各自包括一个或多个卷积或变分自编码器(VariationalAuto-enco图像进行特征提取，第一解码器DE0用于对第一编码器提取的特征进行重建，以还原成图[0036]图2示出根据本发明一个实施例的图像预测方法100所涉及的图像预测模型的示来预测。虽然图2示出各预测网络Ni接收征F1i-2[0050]根据本发明实施例，基于特征F10至特征F1i-1中的一个或多[0051]注意力遮罩(mask)可以反映在当前状态下车辆或驾驶员(agent)注视的位置，即分别输入遮罩卷积网络CS20和CS21可以获得这些网络分别输出的注意力遮罩S120和S121。在注意力遮罩S120计算获得注意力特征FSFA110[0060]根据本发明实施例，基于特征F10至特征F1i-1中的一个或多至少基于特征F1i-1预测特征F1i；积网络CSi(i-1)来计算特征Fi-1的注意力遮罩。这种方案可以减小图像预测模型在训练和应测网络Ni中，基于特征F20至特征F2iNi的特征F20至特征F2i-1的特征组合与输入预测网络Ni的F10至特征F1i-1的特征组合一致。的特征F30'进行重建，以获得重建图像I30'；将第一编码器EN0和第络Ni中，基于特征F30至特征F3i-[0075]第二样本车辆与第一样本车辆可以相同或不同，样F30大小相等的随机高斯变量z。随后，将新的特征F30'输入第一解码器DE0获得重建图像Ni的特征F30至特征F3i-1的特征组合与输入预测网络Ni的F10至特征F1i-1的特征组合一致。当下状态的变换，从该变换矩阵中可以获得第T1+(i-1)*Δt时刻的期望加速度和期望转行为规划模型)可以在训练阶段进行训练，并随后在应用阶段利用训练好的行为规划模型采样层。在一个示例中，第二编码器EN0'和第二解码器DE0'可以采用自编码器(Auto-encoder,AE)或变分自编码器(VariationalAuto-encoder,VA[0090]图5示出根据本发明一个实施例的车辆行为规划方法400所涉及的行为规划模型提取特征F1i-11)*Δt时刻的期望加速度和期望转角(步骤S480)可以包括：将变换矩阵Mi-1输入行为卷积述基于第一重建损失函数对第一编码器EN0和第一解码器DE0进行训练的方式类似，可以参的对抗损失函数可以是PatchGAN通过对抗训练的方式提高行为卷积网络CA生成加速度和[0128]如图6所示，根据本发明实施例的图像预测装置600包括获取模块610、提取模块620和预测模块630。所述各个模块可分别执行上文中结合图1-3描述的图像预测方法的各F1i-1中的一个或多个来预测特征F1i，并对所述特征F1i进行重建以获得第T1+i*Δt时刻的[0134]获取模块710用于获取上述图像预测方法100中涉及的所述当前图像I10以及所述[0135]第一提取模块720用于基于i＝1，通过第二编码器EN0'提取图像I1i-1的特征[0144]所述存储器810存储用于实现根据本发明实施例的图像预测方法中的相应步骤的[0148]所述存储器910存储用于实现根据本发明实施例的车辆行为规划方法中的相应步积网络CT中进行卷积，以获得变换矩阵M1i-1；采用变换矩阵M1i-1对特征F1i-1'进行矩阵变的变换矩阵M1i-1确定目标车辆在第T理器实现根据本发明实施例的图像预测装置的各个功能模块，并和/或者可以执行根据本理器实现根据本发明实施例的车辆行为规划装置的各个功能模块，并和/或者可以执行根EN0'提取图像I1i-1的特征F1i-1'；基于i＝2,3……m，通过第二编码器EN0'提取预测图像域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来