CN114787886B 信息处理装置、信息处理方法、程序和可移动对象 （索尼集团公司）

2022.06.10PCT/JP2020/0461632020.12.10WO2021/125063JA2021.06.24JP2019164611A,2019.09.26JP2018195237A,2018.12.06US2019294934A1,2019.09.26本发明提高了识别移动体的外部环境的精据中获取用于识别移动体的外部环境的推断用借助于在其中设置了推断用DNN的系数的推断用DNN，可以从移动场景的图像数据中准确地识别2学习用深度神经网络单元，其被配置成：利用由所述图像数系数发送单元，其被配置成向所述可移动对象发其中，所述系数发送单元在所述可移动对象在第一动对象发送与所述可移动对象接下来移动至的第二地区对应的所述推断用深度神经网络其中，所述学习用深度神经网络单元基于第一时间区中的其中，以预定的时间间隔或根据学习的计算速度来定义所其中，当由所述学习用深度神经网络单元获取的所述推断用的所述推断用深度神经网络的系数发送至所获取具有与可移动对象的移动场景对应的图像特其中，在所述可移动对象在第一地区中移动的情况下，可移动对象接下来移动至的第二地区对应的所述推断用其中，基于第一时间区中的所述推断用深度神经网络的系3其中，以预定的时间间隔或根据学习的计算速度来定义所学习用深度神经网络装置，其被配置成：利用由所述图像数系数发送装置，其被配置成向所述可移动对象发其中，所述系数发送装置在所述可移动对象在第一动对象发送与所述可移动对象接下来移动至的第二地区对应的所述推断用深度神经网络其中，所述学习用深度神经网络装置基于第一时间区中的其中，以预定的时间间隔或根据学习的计算速度来定义所控制单元，其被配置成基于来自所述推断用深度神经网络单元的识别结果来控制移系数接收单元，其被配置成从云服务器接收其中，所述推断用深度神经网络的系数是通过利用具有在所述可移动对象在第一地区与第二地区之间的重叠区域中朝向所述第二地区侧移用深度神经网络的系数切换至与所述第二地区对应的所述推断用深度神其中，所述推断用深度神经网络的系数通过以下方式得其中，以预定的时间间隔或根据学习的计算速度来定义所控制单元，其被配置成基于来自所述推断用深度神经网络单元的识别结果来控制移4系数接收单元，其被配置成从云服务器接收其中，所述推断用深度神经网络的系数是通过利用具有所述推断用深度神经网络单元包括第一推断用深度神经网络和第二推断用深度神经所述系数接收单元在所述可移动对象在第一地区中移动的情况下，接对象接下来移动至的第二地区对应的所述推断用深度神与所述第一地区对应的所述推断用深度神经网络的系数被设置到所述第一推断用深单元从使用中的所述第一推断用深度神经网络切换至要使用的所述第二推断用深度神经其中，所述推断用深度神经网络的系数通过以下方式得其中，以预定的时间间隔或根据学习的计算速度来定义所系数发送单元，其被配置成向所述云服务器发送13.一种其上记录有程序的计算机可读介质，所述程序在被计算机执行时使得所述计获取具有与可移动对象的移动场景对应的图像特其中，在所述可移动对象在第一地区中移动的情况下，可移动对象接下来移动至的第二地区对应的所述推断用其中，基于第一时间区中的所述推断用深度神经网络的系其中，以预定的时间间隔或根据学习的计算速度来定义所56[0004]在使用DNN基于行驶场景的图像数据识别外部环境时，行驶场景的图像数据与用[0014]学习用DNN单元，其被配置成：利用由图像数据获取单元获取的图像数据执行学[0016]学习用DNN单元利用由图像数据获取单元获取的图像数据执行学习，以获取用于7断用DNN的系数。设定了推断用DNN的系数的推断用DNN能够从移动场景的图像数据中准确景对应的图像特征的图像数据执行学习来获得行学习来获得推断用DNN的系数，并且从云服务器接收要由推断用DNN单元使用的推断用8DNN的系数时，推断用DNN单元可以从与第一地区对应的推断用DNN的系数切换成与第二地成第一推断用DNN并且将与第二地区对应的推断用DNN的系数设置成第二推断用DNN，并且当可移动对象从第一地区移动到第二地区中时，推断用DNN单元可以从使用中的第一推断发生变化的情况下，它也能够使设置了适当系数的推断用DNN在不受传输延迟影响的情况象正在移动的地区对应的推断用DNN的系数和与该地区周围的另一地区对应的推断用DNN第二地区中时，推断用DNN单元可以从存储装置中提取与第二地区对应的推断用DNN的系地区发生变化的情况下，它也能够使设置了适当系数的推断用DNN在不受传输延迟影响的[0033]图3示出了行驶场景的示例性图像数据和基于行驶场景的图像数据的语义分割的9[0048]图1示出了作为实施方式的自动驾驶系统10的配置示例。自动驾驶系统10包括具有多个自动驾驶功能并且通过因特网300连接至云服务器200的汽车(在下文中适当地称为[0050]每个自动驾驶车辆100包括推断深度神经网络(DNN)单元101，其从行驶场景的图像数据中识别外部环境。由推断用DNN单元101识别的外部环境基于例如语义分割或深度。在每个自动驾驶车辆100中，由推断用DNN单元101基于外部环境的识别结果来控制自动驾据，学习用DNN单元201基于地区与天气定期地获取要设置到上述自动驾驶车辆100的推断[0052]以这种方式，从云服务器200向自动驾驶车辆100发送与每个自动驾驶车辆100正在行驶的地区对应并且与当时的天气对应的DNN的系数。该布置使得能够通过每个自动驾[0053]“自动驾驶车辆和云服务器的配置示例”[0056]在将由位置/日期与时间获取单元103获取的位置信息以及日期与时间信息添加[0057]数据接收单元106接收通过因特网300从云服务器200发送的DNN的系数。DNN的系107中的DNN的系数并且将其设置到推断用[0058]然后，推断用DNN单元101从由捕获单元102获取的行驶场景的图像数据中识别外[0059]例如，在由于没有通信网络而无法建立与云服务器200的通信的情况下，学习用DNN单元109利用存储在图像数据存储器104中的图像数据作为学习数据执行学习，并且然间区)中使用的DNN的系数。该DNN的系数是与行驶场景的地区(位置)和天气对应的专用系取的DNN的系数被设置到推断用DNN单元101并由其在下一时间区[0062]“云服务器的详细配置示例”[0063]图4示出了云服务器200的详细配置示例。数据接收单元202通过诸如5G的通信接收通过因特网300从自动驾驶车辆100发送的行驶场景的图像数据(在将位置信息以及日期[0064]“图像数据库单元的描述”[0065]图像数据库单元203基于被添加到图像数据的位置信息、日期与时间信息以及天[0066]此外，图像数据库单元203在某个时间区中配置并获取基于地区和天气的学习数据集，以获取要由自动驾驶车辆100的推断用DNN单元101在下一时间区中使用的DNN的系[0067]图5示出了在00:30到01:00的时间区(行驶中的时间区)中要用于学习与在要在下一个01:00到01:30的时间区中使用的某个地区中的晴朗天气对应的DNN的系数的学习数据例如，可以有效地配置用于学习与很少下雪的地区当天(下雪)天气对应的DNN的系数的学[0070]“学习用DNN单元的描述”[0071]返回参照图4，基于由图像数据库单元203获取的基于地学习用DNN单元201在某个时间区中利用基于地区和天气的学习DNN来执行学习，并且然后获取要在下一时间区中设置到自动驾驶车辆100的推断用DNN单元101并由其使用的DNN的取要在下一时间区中使用的DNN的系数。某个时间区中的行驶场景与下一时间区中的行驶[0073]图6示出了学习用DNN单元201的详细配置示例。学习用DNN单元201包括基于地区与天气的学习DNN，并且执行分布式学习，在分布式学习中并行执行基于地区与天气的学[0075]“系数数据库单元的描述”[0076]返回参照图4，系数数据库单元204临时存储在某个时间区中由学习DNN学习单元[0077]此外，系数数据库单元204确定并发送要发送至每个自动驾驶车辆100的DNN的系[0078]图7示出了系数数据库单元204的详细配置示例。系数数据库单元204包括存储这储由数据接收单元202接收的基于地区与天[0079]此外，DNN的系数确定单元242基本上将基于地区与天气的DNN的系数确定为要发[0080]注意，在存储单元241a和存储单元241b两者中都存在所确定的DNN的系数的情况储单元241b)中不存在所确定的DNN的系数的情况下，输出通用系数作为要发送的DNN的系[0084]返回参照图4，数据发送单元205通过因特网300将由系数数据库单元204确定的时间区中使用的DNN的系数在某个时间区中被发送至每个自动[0086]还可以设想，系数数据库单元204被配置成在不将专用系数的评价值与通用系数的评价值进行比较的情况下持续输出专用系数，数据发送单元205被配置成将专用系数发据库单元203从数据接收单元202获取每个自动驾驶车辆100的行驶场景的图像数据(在将库单元203将天气信息添加到每个自动驾驶车辆100的行驶场景的获取的图像数据(在将位像数据库单元203基于图像特征(地区和天气)确定用于学习下一时间区中的DNN的系数的[0096]“DNN的系数的传输延迟的处理方法”[0097]在从云服务器200向自动驾驶车辆100发送DNN的系数时发生延迟的情况下，存在100行驶的地区发生改变的情况下，也能够使设置了适当DNN的系数的推断用DNN在不受传[0098](1)在该方法中，在一个地区与另一地区之间设置重叠区域，并且在该区域中的[0099](2)在该方法中，基于自动驾驶车辆100的行驶方向预测作为移动目的地的地区且当自动驾驶车辆100穿过该地区或在重叠区域中行驶时，对要使用的推断用DNN进行切驶车辆100在第一地区中移动的情况下，数据接收单元106接收与自动驾驶车辆100接下来移动到的第二地区对应的DNN的系数。然后，将第一地区的DNN的系数设置为第一推断用移动至第二地区中时，推断用DNN单元101从使用中的第一推断用DNN切换至要使用的第二动驾驶车辆100正在移动的地区对应的DNN的系数和与该地区周围的另一地区对应的DNN的自动驾驶车辆100行驶的第一地区移动到第二地区中时，推断用DNN单元101从存储装置中每个椭圆指示DNN的系数预先保存在存储装置中的地区周围的地区。注意，在所示的示例[0102]“云服务器的硬件配置示例”元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504相互连接。此[0105]在具有上述配置的云服务器200中，CPU501例如通过输入/输出接口505和总线504将存储在存储单元508中的程序加载到RAM503中以执行该程序，从而执行上述的一系[0106]由CPU501执行的程序可以通过记录在例如作为封装介质等的可移除介质511上[0108]注意，由CPU501执行的程序可以是根据本说明书中描述的顺序用于按时间顺序送与每个自动驾驶车辆100正在行驶的地区对应且与当时的天气对应的DNN的系数(专用系[0114]此外，在本说明书中描述的效果仅是解释性的或示例性的，因此不是限制性[0129]系数发送单元，其被配置成向所述可移动对象发送由所述学习用DNN单元获取的[0141]系数接收单元，其被配置成从云服务器接收要由所述推断用DNN单元使用的推断[0142]其中，所述推断用DNN的系数是通过利用具有与所述移动场景对应的图像特征的[0147]系数发送单元，其被配置成向所述云服务器发送由所述学习用DNN单元获取的所述推断用DNN的系数时，所述推断用DNN单元从与所述第一地区对应的所述推断用DNN的系数切换至与所述第二地区对应的所述推断用移动对象接下来移动至的第二地区对应的所述推[0154]当所述可移动对象从所述第一地区移动至所述第二地区时，所述推断用DNN单元从使用中的所述第一推断用DNN切换至要使用的所述第二推断用移动的区域对应的所述推断用DNN的系数以及与所述区域周围的其他区域对应的所述推断述存储器中提取与所述第二地区对应的所述推断用DNN的系数并且使用所提取的推断用