CN119404231A 信息处理装置、信息处理方法和程序 （索尼集团公司）

2024.12.12PCT/JP2023/0165642023.04.27WO2023/248613JA2023.12.28根据本技术的信息处理装置设置有处理单元。该处理单元可以针对识别目标处理多个任处理的识别目标的识别结果来确定是否执行第2处理部，所述处理部能够针对识别目标处理多个任务，所述多个任务所述处理部使用来自所述第一任务的处理的所述识别目标的识别结果来决定是否执所述处理部使用来自所述第一任务的处理的所述识别目标的识别结果来生成所述第所述处理部使用所生成的参数来配置所述第二任所述处理部从所述识别目标中提取多个特征，并且使用所述参数包括所述第二任务的要处理的区域和选自所述多个特征的一个或更多个特所述处理部使用从来自所述第一任务的处理的所述识别对象的识别结果获得的场景所述识别目标是由安装在移动对象上的图像捕获部获取的图像，所述所述场景特征是所述移动对象的移动场景特征，所述移动场景特征是指如果所述图像中存在关注对象且所述关注对象不是可移如果所述图像中存在关注对象且所述关注对象是可所述参数包括所述第二任务的要处理的区域和选自所述多个特征的一个或更多个特如果所述图像中不存在关注对象，则所述处理部生成所述3如果所述图像中存在关注对象，则所述处理部生成所述参在所述距离检测中，使用对从所述图像中提取的所述特征所述距离测量部包括选自光检测和测距LiDAR、立体摄像装置和毫米波雷达中的一个所述处理部针对每个图像使用来自所述第一任务的处理的图像识别结果来决定是否所述处理部使用通过使用所生成的参数配置的所述第二任务的神经网络对所述图像所述信息处理装置还包括呈现控制部，所述呈现控制部基于所述第二任将选自显示部、发光部和声音输出部中的一个或更多个作所述呈现控制部控制所述显示部的显示控制、所述发光部的点亮控制所述处理部使用通过使用所生成的参数配置的所述第二任务的神经网络对所述图像所述信息处理装置还包括计划部，所述计划部基于所述第二任务的识4使用来自第一任务的处理的所述识别目标的识别结果来决定是否执行与所述第一任使用来自第一任务的处理的所述识别目标的识别结果来决定是否执行与所述第一任5[0013]处理部使用来自第一任务的处理的识别目标的识别结果来决定是否执行第二任[0015]处理部可以使用来自第一任务的处理的识别目标的识别结果来生成第二任务的任务的处理的识别目标的识别结果来决定是否执行第二任[0019]处理部可以使用从来自第一任务的处理的识别对象的识别结果获得的场景特征6及[0029]距离测量部可以包括选自LiDAR(光检测和测距)、立体摄像装置和毫米波雷达中[0031]处理部可以针对每个图像使用来自第一任务的处理的图像识别结果来决定是否[0033]处理部可以使用通过使用生成的参数配置的第二任务的神经网络对图像执行第[0037]处理部可以使用通过使用生成的参数配置的第二任务的神经网络来对图像执行7对识别目标处理第一任务以及使用来自第一任务的处理的识别目标的识别结果来决定是[0044]使用来自第一任务的处理的识别目标的识别结果来决定是否执行与第一任务共[0045][图1]是示出根据本技术的每个实施方式的信息处理装置的处理部的配置示例的[0049][图5]是示出第二实施方式和第三实施方式中的图像识别处理方法(信息处理方[0062][图18]是以距离检测作为示例示出可以通过重新配置神经网络减少解码器侧的8取的图像的图像识别处理。将在第二实施方式中更详细地描述应用本技术的图像识别处[0073]图1是示出根据第一实施方式的信息处理装置10的处理部3的配置示例的示意第二实施方式的信息处理装置10a的处理部3和根据第三实施方式的信息处理装置10b的处理部3具有与信息处理装置10的处理部3相同特征提取的多个任务。换言之，信息处理装置10可以使用由同一特征提取器(Feature[0078]可以由信息处理装置10执行的多个任务(本实施方式中为四个任务)被分类为第9量部(如下所述)的LiDAR(光检测和测距)获取的[0088]特征提取部31从输入图像中提取多个任务(第一任务和第二任务)的多个共同特[0090]可以根据语义分割结果(来自第一任务处理的输入图像识别结果)来估计输入图[0093]阻碍驾驶的对象可以进一步分类为可移动对象和不可移动对象(所谓的静止对[0094]第二任务决定部33基于语义分割结果来决定是否执行第二任务(即，分别为对象[0105]第二任务神经网络配置部35使用由参数生成部34生成的参数来为以下第二任务[0107]第二任务估计部36使用经配置的对象检测的神经网络来执行对象检测(实例分[0108]第二任务估计部36使用经配置的距离检测的神经网络来执行距离检测并估计距[0109]第二任务估计部36使用经配置的运动检测的神经网络来执行运动检测(光流)并[0112]图2用于描述在本实施方式的信息处理装置10的处理部3中执行的信息处理方法[0114]接下来，由第一任务估计部32使用在S2中提取的多个特征来执行第一任务(本实第二任务b(运动检测)的参数的参数生成的步骤被表示为S5b。生成第二任务c(距离检测)[0118]在本实施方式中，如图2中所示，使用语义分割结果来生成第二任务a的参数[0120]此处配置的神经网络是标准神经网络或重新配置成使得仅使用特征的一部分的经配置的第二任务b的神经网络进行估计的步骤被表示为S7b。使用经配置的第二任务c的离检测结果)，可以在降低功耗的同时使驾驶支持[0142]图3是车辆的俯视图，并且示出了安装在车辆上的多个传感器部2的位置的示[0146]右前传感器部2FR位于车辆的右侧前方，并且获取车辆右斜前方的车辆周围环境[0147]左前传感器部2FL位于车辆的左侧前方，并且获取车辆左斜前方的车辆周围环境安装在车辆1上的多个图像捕获部20的获取图像的图像识别处理结果来执行驾驶支持处[0159]距离测量部21被配置成能够测量其上安装有图像捕获部20的车辆1与车辆1周围[0160]由传感器部2的图像捕获部20获取的图像和由作为距离测量部21的LiDAR获取的[0161]在传感器部2中的每一个中，图像捕获部20和距离测量部21通常被定位成彼此靠得并存储以摄像装置位置作为原点的摄像装置坐标系与以LiDAR位置作为原点的LiDAR坐的3D点云相关联来执行与距离检测有关的图像识[0163]呈现部6包括能够向车辆1的驾驶员输出和呈现视觉或听觉信息的装置。呈现部6在下面描述的呈现控制部4的控制下导通或使光闪烁，用于向驾驶员通知或警告各种信息马达转速或车辆转速的传感器。由车辆状态检测部5检测到的车辆信息(例如车辆1的速度[0177]图像获取部30获取由每个传感器部2的图像捕获部20获取的图像。将该图像输出施方式中所述，处理部3使用针对输入图像执行第一任务的结果来决定是否执行第二任务[0187]第二任务神经网络配置部35从存储部7中读取由参数生成部34生成的参数，并使[0189]第二任务估计部36具有第二任务a估计部361、第二任务b估计部362和第二任务c[0190]图5是示出由处理部3执行的由在第二实施方式和第三实施方式中安装在车辆1上每一个执行在第一实施方式中描述的过程S1[0192]在针对由多个传感器部2获取的图像中的每一个的图像识别处理中，基于第一任[0194]情况分析部8基于第一任务的识别处理结果(语义分割结果)和第二任务的识别处[0196]呈现控制部4使用从情况分析部8输出的分析结果和由车辆状态检测部5检测到的[0201]上述的情况分析部8的分析结果是使用处理部3中的图像识别处理结果来生成因此使用高度准确的图像识别处理结果执行的车辆的周围环境情况的分析结果是高度准储部7存储在根据图像识别处理的处理中使用的各种参数以及与车辆行驶等有关的日志。[0208]图6是示出由信息处理装置10a的处理部3进行的图像识别处理的配置的示意图，[0210]通过特征提取器37，使用对多个相互不同的卷积运算和激活函数的组合层的处[0222]图7是示出语义分割的神经网络101的示意图。第一任务估计部32使用语义分割[0223]第一任务估计部32执行语义分割并将输入图像9在逐像素的基础上划分成诸如路至对应的解码器。换言之，特征f1被输出至第一解码器111。特征f2被输出至第二解码器对象解码器122。特征f3被输出至第三对象解码器123。特征f4被输出至第四对象解码器个)相对应的特征中剪切出边界框区域中的特征，并将剪切出的特征输出至掩码估计个输入图像9a和9b是在同一传感器部2处获取的图像，并且是例如当前帧的图像和一帧前[0242]接下来，由特征匹配部136将从输入图像9a中提取的特征f5与从输入图像9b中提[0243]接下来，由特征匹配部136将从输入图像9a中提取的特征f4与从输入图像9b中提取的特征f4进行匹配。匹配结果被输出至第四光流解码器(opticalflowcoder)134。此[0244]接下来，由特征匹配部136将从输入图像9a中提取的特征f3与从输入图像9b中提134计算之后，由上采样部137对光流进行上采样和放大，并将其输出至第三光流解码器[0245]接下来，由特征匹配部136将从输入图像9a中提取的特征f2与从输入图像9b中提133计算之后，由上采样部137对光流进行上采样和放大，并将其输出至第二光流解码器[0246]接下来，由特征匹配部136将从输入图像9a中提取的特征f1与从输入图像9b中提132计算之后，由上采样部137对光流进行上采样和放大，并将其输出至第一光流解码器[0249]图10是示出距离检测的神经网络104的示意图。第二任务c估计部363使用距离检有不同分辨率的多个特征f1至f5与从由距离测量部21获取的LiDAR点云15中提取的特征进行聚合之后，作为用于距离估计的解码器的深度解码[0252]接下来，由特征聚合(FeatureAggregation)部146对从输入图像9中提取的特征[0253]接下来，由特征聚合部146对从输入图像9中提取的特征f4和从LiDAR点云15中提[0254]接下来，由特征聚合部146对从输入图像9中提取的特征f3和从LiDAR点云15中提器144计算之后，由上采样部147上采样和放大的距离检测结果被输出至第三深度解码器[0255]接下来，由特征聚合部146对从输入图像9中提取的特征f2和从LiDAR点云15中提器143计算之后，由上采样部147上采样和放大的距离检测结果被输出至第二深度解码器[0256]接下来，由特征聚合部146对从输入图像9中提取的特征f1和从LiDAR点云15中提[0260]参照图11描述了信息处理装置10a中的信息处理方法(图像识别处理方法)。针对[0263]接下来，由第一任务估计部32使用在S2中提取的多个特征来执行第一任务(语义[0264]接下来，第二任务决定部33基于第一任务的结果来决定是否执行第二任务(S4[0267]接下来，由第二任务估计部36使用在S6中配置的神经网络来执行第二任务(在本[0269]图12是图11的步骤4(S4)中的第二任务决定处理的流程图，该第二任务决定处理对应于由安装在车辆上的多个传感器部2中的每一个的图像捕获部20获取的图像9的第一前传感器部2FL的图像捕获部20获取的图像9FL均是其中[0283]因此，由于从语义分割结果11SL和11FL(分别是图像9SL和9FL的第一任务估计结[0289]因此，由于从作为图像9SR的第一任务估计结果的语义分割结果11SR获得的ID列[0294]图14是图11的步骤5(S5)中的第二任务参数生成处理的流程图，该第二任务参数上角的坐标(x1,y1)以及指示矩形的水平像素和垂直像素的数目的(w,h)来表示参数(x1,[0314]图16的(A)是示出由安装在车辆1上的多个传感器部2中的每一个的图像捕获部获分割结果生成的参数被重新配置和优化)或标准神经网[0315]图16的(B)是示出基于图16的(A)中所示的语义分割结果来决定要执行的第二任[0316]在图16的(A)所示的示例中，由左侧传感器部2SL的图像捕获部20获取的图像9SL[0318]在图16的(A)所示的示例中，由左前传感器部2FL的图像捕获部20获取的图像9FL[0320]在图16的(A)所示的示例中，由前传感器部2F的图像捕获部20获取的图像9F是其处理的图像的参数，生成指示区域B的坐标的参数[xb,yb,wb,hb]和指示区域C的坐标的参[0322]在图16的(A)所示的示例中，由右前传感器部2FR的图像捕获部20获取的图像9FR[0324]在图16的(A)所示的示例中，由右侧传感器部2SR的图像捕获部20获取的图像9SR[0327]图17示出了示出在处理部3的第二任务神经网络配置部35中执行的神经网络配置[0328]图17示出了在针对图16的(A)中所示的每个输入图像的识别任务中使用图16的[0335]如图17中所示，在执行这三个第二任务中，要处理的图像仅为区域B[xb,yb,wb,f2和f3相对应的解码器来配置在第二任务中[0338]详细地，对象检测被重新配置成在区域B中仅使用第一、第二和第三对象解码器f2和f3相对应的解码器来配置在第二任务中[0345]详细地，对象检测被重新配置成在区域E中仅使用第一、第二和第三对象解码器[0348]此处为针对由图16中所示的左侧传感器部2SL获取的图像9SL执行的距离检测的[0349]图18的(A)是示出标准神经网络104的图，该标准神经网络104与上面图10中所示[0350]图18的(B)是示出使用基于语义分割结果决定仅执行距离检测且作为参数生成的度准确的图像识别处理结果适当且实时呈现驾驶支持信息用安装在车辆1上的多个图像捕获部的图像识别处理结果来执行自动驾驶处理。本实施方选自这些中的一个或更多个。在本实施方式中，给出了使用LiDAR作为距离测量部21的示[0364]由传感器部2的图像捕获部20获取的图像和由作为距离测量部21的LiDAR获取的马达转速或车辆转速的传感器。由车辆状态检测部5检测到的车辆信息(例如车辆1的速度[0375]图像获取部30获取由每个传感器部2的图像捕获部20获取的图像。将该图像输出施方式和第二实施方式中所述，处理部3使用针对输入图像执行第一任务的结果来决定是[0379]情况分析部8基于第一任务的识别处理结果(语义分割结果)和第二任务的识别处[0384]路线计划部240使用地图信息和由车辆状态检测部5检测到的车辆1的状态信息来计划到目的地的路线。路线计划部240还使用情况分析部8的分析结果来适当地改变路线。路线计划部240将指示计划路线的数据输出至[0385]动作计划部241计划车辆1的动作，以在计划时间内安全地行驶由路线计划部240动作计划。[0389]使用处理部3中的图像识别处理结果来生成由上述情况分析部8对车辆的周围环[0390]此外，本技术的信息处理装置10b的处理部3可以减少图[0392]驱动系统控制部25基于指示由动作计划部241计划的车辆1的动作的数据来生成存储部27存储在根据图像识别处理的处理中使用的各种参数以及与车辆行驶等有关的日立体摄像装置来代替LiDAR，并且可以使用从用立体摄像装置获取的立体图像获得的3D点[0409]所述处理部使用来自所述第一任务的处理的所述识别目标的识别结果来决定是[0412]所述处理部使用来自所述第一任务的处理的所述识别目标的识别结果来生成所[0421]所述参数包括所述第二任务的要处理的区域和选自所述多个特征的一个或更多[0424]所述处理部使用从来自所述第一任务的处理的所述识别对象的识别结果获得的[0441]所述参数包括所述第二任务的要处理的区域和选自所述多个特征的一个或更多[0450]所述距离测量部包括选自光检测和测距LiDAR、立体摄像装置和毫米波雷达中的[0454]所述处理部针对每个图像使用来自所述第一任务的处理的图像识别结果来决定[0460]所述处理部使用通过使用所生成的参数配置的所述第二任务的神经网络对所述[