CN112672943A 信息处理设备、移动装置、方法和程序 （索尼半导体解决方案公司）

PCT/JP2019/03407820WO2020/054458JA2020.03.数据处理单元根据驾驶员的警觉水平来控制对于驾驶员的从自动驾驶恢复手动驾驶的手动驾观测信息包括驾驶员在上车之前和之后的观测2数据处理单元，所述数据处理单元判定警觉水平数据处理单元执行如下观测信息记录处理：获手动驾驶转变到自动驾驶时中的至少一个转变时驾驶员的一系列动作的一部分或主要的获取在从自动驾驶转变到手动驾驶时和从手动驾驶转变到自动驾驶时中的至少一个还执行如下观测信息记录处理：分析驾驶员相对于系根据驾驶员的警觉水平，数据处理单元控制手动驾驶手动驾驶恢复请求通知是对于驾驶员的从自动驾驶恢复手3(驾驶员状态3)驾驶员在驾驶员座位上并维持能够驾驶姿势但不能立即恢复驾驶的状(驾驶员状态4)驾驶员在驾驶员座位上、维持能够驾驶姿势并能够立即恢复驾驶的状数据处理单元获取驾驶员响应于通知而踩下响应踏板的模式作为关于驾驶员的响应数据处理单元获取驾驶员确认通知的显示数据时的数据处理单元，所述数据处理单元判定警觉水平数据处理单元执行获取关于驾驶员的观测信息并将观测信息存储到存储单元中的观4所述信息处理设备包括数据处理单元，所述数据处数据处理单元执行获取关于驾驶员的观测信息并将观测信息存储到存储单元中的观所述移动装置包括数据处理单元，所述数据处理单元数据处理单元执行获取关于驾驶员的观测信息并将观测信息存储到存储单元中的观所述信息处理设备包括数据处理单元，所述数据处所述程序使数据处理单元执行获取关于驾驶员的观测信息并将观测信息存储到存储5[0003]自主驾驶技术是一种通过使用设置在车辆(汽车)中的各种传感器(诸如位置检测[0012]但是，包括专利文献1在内的常规技术没有公开用于控制从自动驾驶到手动驾驶[0013]在变得有必要从自动驾驶模式切换到手动驾驶模式的情况下，需要通知操作者6[0029]其中数据处理单元执行获取关于驾驶员的观测信息并将观测信息存储到存储单[0034]数据处理单元执行获取关于驾驶员的观测信息并将观测信息存储到存储单元中[0039]数据处理单元执行获取关于驾驶员的观测信息并将观测信息存储到存储单元中7[0044]该程序使数据处理单元执行获取关于驾驶员的观测信息并将观测信息存储到存[0046]通过下面描述的本公开的实施例以及参考附图的详细描述，本公开的其它目的、8[0070]图19是示出其中警示行驶区Sd新出现在第二区中并且以闪烁方式显示以警告驾[0076]图25是示出用于解释从自动驾驶模式切换到手动驾驶模式时要执行的处理的示[0077]图26是用于解释关于与观测值对应的可观测评估值和恢复延迟时间(＝手动驾驶[0079]图28是示出用于解释从自动驾驶到手动驾驶的转变完成之前的剩余允许时间的[0080]图29是用于解释与驾驶员的不同初始状态对应的状态改变的转变和转变定时的[0082]图31是用于解释当向驾驶员呈现视觉任务以使驾驶员观看某些信息时驾驶员的[0083]图32是用于解释通过基于由车辆的系统(信息处理设备)发布给驾驶员的信息通知观测驾驶员的眼球移动的处理来判定驾驶员的意识水平(警觉水平)的处理的序列的流[0084]图33是用于解释用于确认驾驶员的意识水平或驾驶员的警觉水平的呈现信息的[0085]图34是用于解释使用车辆中的抬头显示器(HUD)或仪表板向驾驶员发布由消息或9[0088]1.移动装置和信息处理设备的配置和要由移动装置和信息处理设备执行的处理[0094]7.在执行从系统到驾驶员的通知处理之前和之后对驾驶员的状态的观测以及记[0099]8.在从自动驾驶到手动驾驶的转变时驾驶员状态改变和观测信息以及恢复质量[0103][1.移动装置和信息处理设备的配[0104]首先，参考图1和随后的附图来粗略地描述移动装置和信息处理设备的配置以及[0105]本公开的移动装置是例如能够在自动驾驶和手动驾驶之间切换的同时行驶的汽[0106]在这样的汽车中，在变得有必要从自动驾驶模式切换到手动[0108]例如，存在驾驶员只是将他/她的手从方向盘上移开但在以类似于在驾驶期间的[0124]现在参考图1和随后的附图描述本公开的移动装置和可以安装在移动装置中的信[0127]图1中所示的汽车10是能够以以下两种驾驶模式驾驶的汽车：手动驾驶模式和自[0128]在手动驾驶模式下，基于操作者(驾驶员)20的操作(诸如方向盘的操作以及加速于来自位置传感器以及诸如环境信息检测传感器之类的其它传感器的传感器信息来执行例如关于汽车的前、后、右和左的信息，通过GPS、光检测和测距或激光成像检测和测距[0135]数据处理单元11接收由驾驶员信息获取单元12获取的驾驶员信息和由环境信息能够安全地执行手动驾驶的以及进一步执行手动驾驶的驾驶员是否正在执行安全驾驶等[0137]这个通知处理的定时例如是通过从驾驶员信息获取单元12和环境信息获取单元驾驶开始时间之前20秒发布通知以留出时间。稍后将描述针对具体通知的最佳定时的计[0140]通知单元15由发布这个通知的显示单元或声音输出单元或方向盘或座位的振动[0146]警告显示信息显示区域是在自动驾驶模式下在执行自动驾驶时显示以下消息的[0153]图3是示出在自动驾驶模式下的自动驾驶期间做出切换到手动驾驶的请求的通知[0156](a)中的示例是其中驾驶员在自动驾驶期间看着道路的同时向前看的示例。在这[0164](a)中的示例是其中驾驶员在自动驾驶期间看着道路的同时向前看的示例。在这[0166](b)中的示例是其中驾驶员在自动驾驶期间在打盹的示例情况，并且在这种情况[0168](c)中的示例是其中在自动驾驶期间驾驶员离开驾驶员座位工作的示例情况，并注意到驾驶员座位的通知单元(显示单元)15上参考参述的显示数据的处理，并且还显示关于汽车10正在其中行驶的道路区(自动驾驶区或手动面参考图2所述的通知单元(显示单元)15上的示例显示类似的示例显示。以下每个显示在装置100的相应部件可以在没有通信网络121112经由通信网络121执行通信的情况下，该通信将被简单地描述为在输入单元101和自动是使用红外线或其它无线电波的远程控制设备或与移动装置100的操作兼容的诸如移动设[0187]数据获取单元102还例如包括用于检测关于本车辆的外部的信息的各种传感器。[0189]设在车辆内部的前端边缘处的成像设备7910和设在车辆前挡风玻璃的上部处的相应侧视镜上的成像设备7912和7914的成像范围，并且成像范围d指示设在后保险杠或后前端边缘、后保险杠和后门以及车辆内部的前挡风玻璃的上部处的传感器7920、7926和[0193]数据获取单元102还例如包括用于检测关于车辆内部的信息的各种传感器。具体向盘等上，并检测与坐在座位上的乘客的就座状态或握住方向盘的驾驶员相关的生物信后描述的安全性判定单元155用于根据与评估值的日志相关联的恢复延迟时间特点计算恢[0194]图10示出了数据获取单元102中包括的用于获得关于车辆中的驾驶员的信息的各检测驾驶员的位置和姿势的检测器。数据获取单元102还包括面部识别器(面部(头部)识别)、驾驶员眼球跟踪器(DriverEyeTracker)、驾驶员头部跟踪器(DriverHead[0195]数据获取单元102还包括生物信号(生命信号)检测器，作为用于获得关于驾驶员[0196]通信单元103与车载设备104和车辆外部的各种设备(诸如服务器和基站)进行通[0197]例如，通信单元103通过无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB获取单元获取的信息作为行驶前信息并将其用作对由本车辆的数据获取单元102获取的数[0200]车载设备104例如包括乘客拥有的移动设备(平板电脑、智能电话等)或可穿戴设来也可以将自动驾驶用于可以从另一个车辆上拆卸下来并可以使用的设备(诸如视频播放[0202]输出单元106包括能够向本车辆的乘客或向车辆外部输出视觉信息或音频信息的规显示器的设备，而是例如可以是在驾驶员的视场中显示视觉信息的显示器(诸如抬头显控制传动系系统108。传动系控制单元107还根据需要将控制信号供应给除了传动系系统[0210]外部信息检测单元141基于来自移动装置100的相应部件的数据或信号来执行检[0212]如果行驶区是作为其中有可能进行自动驾驶的区的由基础设施供应的时常更新行自动驾驶取决于基础设施提供的提前信息的存在/不存在。在基础设施提供的路线中形[0213]内部信息检测单元142基于来自移动装置100的相应部件的数据或信号来执行检测关于车辆内部的信息的处理。例如，内部信息检测单元142执行认证和识别驾驶员的处指示检测处理的结果的数据供应给情况分析单元133的情况识别单元153以及操作控制单限制内开始手动驾驶并且判定在延长的自动驾驶期间即使执行减速控制以留出更多的时[0217]车辆状态检测单元143基于来自移动装置100的相应部件的数据或信号来执行检[0218]自身位置估计单元132基于来自移动装置100的相应部件(诸如外部信息检测单元要使用来自移动装置100的相应部件(诸如自身位置估计单元132和外部信息检测单元141)[0222]交通规则识别单元152基于来自移动装置100的相应部件(诸如自身位置估计单元[0223]情况识别单元153基于来自移动装置100的相应部件(诸如自身位置估计单元132、[0226]情况识别单元153将指示识别处理的结果的数据(必要时包括情况识别地图)供应规则识别单元152和情况识别单元153)的数据或信号来执行预测与本车辆相关的情况的处[0229]情况预测单元154将指示预测处理结果的数据与来自交通规则识别单元152和情预定比率或更高比率从自动驾驶适当地恢复手动[0231]路线计划单元161基于来自移动装置100的相应部件(诸如地图分析单元151和情[0232]基于来自移动装置100的相应部件(诸如地图分析单元151和情况预测单元154)的数据或信号，动作计划单元162计划本车辆的动作以在计划的时间段内安全地行驶由路线[0233]基于来自移动装置100的相应部件(诸如地图分析单元151和情况预测单元154)的数据或信号，操作计划单元163计划本车辆的操作以实现由动作计划单元162计划的动作。本车辆的计划操作的数据供应给操作控制单元135的加速/减速控制单元172、方向控制单[0234]操作控制单元135控制本车辆的操作。操作控制单元135包括紧急情况避免单元[0235]紧急情况避免单元171基于由外部信息检测单元141、内部信息检测单元142和车元171计划本车辆的操作以避免紧急情况，诸如突然停止或突然转弯。紧急情况避免单元的控制命令供应给传动系控制单元107。注意的是，在两种典型情况下可能会发生紧急情[0237]方向控制单元173执行用于实现由操作计划单元163或紧急情况避免单元171计划情况避免单元171计划的转向机构按行驶轨道行驶或执行突然转弯的控制目标值，并将指[0240]图11示意性地示出了在自动驾驶控制单元112处从自动驾驶模式到手动驾驶模式[0243]步骤S2是如上所述参考图2描述的手动驾驶恢复请求通知的定时。通过诸如振动以预定特定比率或更高比率从自动驾驶恢复到手动驾驶所需的统计上计算出的最优定时[0248]图12所示的流程图是用于解释将由移动装置100执行的自动驾驶操作序列的流程用户可以在上车之前从智能电话或在离开家之前从个人计算机设置远程提前预订常更新关于道路环境的LDM信息或关于车辆在其上行驶的道路的行驶地图信息来更新和获过工作窗口工作的驾驶员可以容易地识别从当前位置预测的到达时间轴上的行驶路线中[0255]用于呈现信息(诸如随着车辆保持行驶而接近的向前行驶环境、本车辆的转变所必需的定时等)的手段不一定是滚动手段，并且另一种优选方法涉及驾驶员可以通过其以直观和明确的方式知道即将到来的时间间隔以及以较少的错误识别知道何时开始恢复驾[0258]图13示出了通过驾驶员设置目的地来判定的示例行驶路线。在[0261]图14(a)在距当前位置的行驶距离轴上以恒定比例示出了行驶路线的相应区。图14(b)示出了每个点处的平均道路交通流速v(t)。图14(c)示出了通过行驶距离轴以速度v驾驶员提供长期的道路状况，因为如果第二区以与上述第一区相等的比例放大倍数显示，第三区中的第二手动驾驶区Sb的显示处于其中短手动驾驶区Sb被接合的状态。如图15(c)[0274]基于关于本车辆的位置信息和获取的LDM更新信息来更新行驶路线的上述行驶区[0276]图17(a)和17(b)各自示出了在平板电脑182的屏幕上显示的行驶路线中的行驶区[0277]图18示出了其中驾驶员实际上正在使用平板电脑182执行次级任务的示例状态。段内进入驾驶员干预要求区以向驾驶员发布通知的情况下，行驶区显示181可以自动显示[0278]在平板电脑182的屏幕上显示行驶区显示181的同时出现新的驾驶员干预要求区[0279]图19示出了警示行驶区Sd新出现在第二区中并且以闪烁的方式显示以警告驾驶[0283]这些处理主要利用在上面参考图8描述的移动装置100的自动驾驶控制单元112中现例如以预定比率或更高比率驾驶员正确地从自动驾驶恢复到手动驾驶所需的统计学上[0288]注意的是，安全性判定单元210与图8所示的情况分析单元133中形成的安全性判[0289]安全性判定单元210包括学习处理单元211、安全性判定处理执行单元(手动驾驶[0293]例如，要由驾驶员信息获取单元201获取的驾驶员信息是从包括眼球区域的图像[0294]例如，由驾驶员信息获取单元201获取的这些条信息被用作用于判定驾驶员的警[0296]通过观测大脑中的活动区域来观测作为认知目标或判定目标的活动状态的驾驶术安装在车辆中以供通常使用的设备复杂得多，并且基于与其它生物体和生物信息(诸如心跳波形和EOG)的相关性的离线学习的使用在实验[0298]驾驶员信息获取单元201要获取的驾驶员信息是通过根据驾驶员的状态执行日志期日志观测可以包括在驾驶员穿戴并使用诸如手表之类的可观测设备的情况下驾驶员进并且车辆中安装的各种传感器可以根据例如对心电图的洛伦兹曲线评估得出的分散程度，期变化的日志来估计紧张和疲劳的状态。还有可能通过分析与系统进行口头交流(问题和[0299]也有可能通过基于在指令响应特点中观测到的手势评估敏捷性或通过基于活动[0300]驾驶员信息获取单元201要获取的驾驶员信息需要包括高度准确的内部警觉判定，以在通过提前日志观测执行警觉恢复影响因素的提前监视的同时执行最终的转变判知后最终恢复到恢复姿势的驾驶员通常在了解情况并执行恢复手动驾驶所需的确认处理到系统可以确认驾驶员在肌肉力量方面处于适[0306]驾驶员信息获取单元201要获取的驾驶员信息包括在这一系列处理中执行观测的行为是从驾驶员已经通过参考他/她自己的视觉记忆而开始视觉捕捉的信息开始风险判[0309]另外，驾驶员信息获取单元201还包括获取关于驾驶员的操作信息的操作信息获[0311]环境信息获取单元202要获取的环境信息是由安装在移动装置200中的成像单元个人标识信息获取单元203的配置与图8所示的配置中的数据获取单元102和检测单元131[0314]安全性判定单元210包括学习处理单元211、安全性判定处理执行单元(手动驾驶可以使用在服务器300中注册的信息在服务获取单元202获取的环境信息等的输入，并且使用这些信息输入来执行用于安全性判定的[0322]安全性判定处理执行单元212接收由驾驶员信息获取单元201获取的驾驶员信息、习的结果的学习器或从服务器300获取的学习器，进一步基于当前驾驶员信息和环境信息[0323]安全性判定处理执行单元212还估计安全恢复手动驾驶所需的时间(＝手动驾驶[0330]学习数据获取/生成单元301获取或生成构造学习器所必需的学习器输入/输出数[0332]学习处理单元303使用已由学习输入/输出数据获取/生成单元301获取或生成并且已经存储在存储单元304中的学习器输入[0335]安全性判定单元210包括学习处理单元211、安全性判定处理执行单元(手动驾驶[0336]学习处理单元211接收由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息的输入，并且使用这些信息输入执行用于安全性判定的学[0337]安全性判定处理执行单元(手动驾驶恢复时间估计单元)212接收由驾驶员信息获步使用作为在学习处理单元211处学习的结果的学习器或从服务器300获取的学习器基于[0338]安全性判定处理执行单元212还估计安全恢复手动驾驶所需的时间(＝手动驾驶元)212从存储单元240获取已经使用提前通过实验获取的大量未指定数据学习的学习器，并且使用这个学习器执行安全性指标值计算处理和[0341]注意的是，也可以从服务器300获取通过使用大量未指定数据的学习处理生成的[0342]在学习处理单元211处的学习处理完成之后，在基于输入的驾驶员信息和环境信[0343]例如，学习处理单元211执行用于构造信息(a)和信息(b)之间的对应关系的学习[0344](a)由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取[0345](b)指示在从自动驾驶模式切换到手动驾驶模式的通知之后驾驶员是否能够以安[0350]在学习处理单元211处的学习处理中，构造用于判定这种手动驾驶恢复请求通知[0352]学习器特征性地获取教师数据，该教师数据是(b)指示驾驶员是否可以在安全状元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息相关联的安全性指标[0354]另外，可以计算与由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息对应的手动驾驶可恢复时间(恢复安全手动驾驶之前所需的时[0357]存储在存储单元240中的数据(学习器和/或学习器输入/输出数据)例如包括以下[0359]与驾驶员信息和环境信息相关联的手动驾驶可恢复时间(恢复安全手动驾驶之前所需的时间＝手动驾驶开始请求的最优提前通知时间)；[0364]服务器300将从移动装置200接收到的数据存储到存储单元304中，并且学习数据[0365]服务器300从大量的移动装置(汽车)接收大量的数据，并且变得能够基于大量的[0366]服务器300基于大量的数据通过学习处理来更新学习器，并将学习器存储到服务[0367]存储在服务器300的存储单元304中的学习器包括与存储在上述移动装置200的存[0370]与驾驶员信息和环境信息相关联的手动驾驶可恢复时间(恢复安全手动驾驶之前[0372]存储在服务器300的存储单元304中的学习器根据需要被供应给移动装置200，并且由移动装置200的安全性判定单元210的安全性判定处理单元212使用以基于由驾驶员信[0376]安全性判定处理执行单元(手动驾驶恢复时间估计单元)212通过使用作为在学习处理单元211处的学习处理的结果而计算出的学习器来获取手动驾驶可恢复时间，并基于[0379]接下来，描述将在移动装置200的安全性判定单元210的安全性判定处理单元212[0383]因此，为了使得能够在安全性判定处理单元212处进行手动驾驶可恢复时间估计处理，驾驶员信息获取单元201优选地获取允许确认驾驶员在自动驾驶期间的次级任务执以估计手动驾驶可恢复时间的数据时，那么有必要在能够可靠恢复的时间发布恢复通知。[0390]在已经收集了足够的数据来估计安全性指标值和手动驾驶可恢可以使用例如以下输入/输出数据通过机器学习处理来构造预测安全性指标值和最优可恢器300的学习处理单元302执行的学习驶员的操作信息而且使用具体事件处置信息和事故信息来执行计算安全性指标值的处理。被认为可期望的系统理想速度驾驶控制与驾驶员执行的控制之间的差异。因而，变得有可能根据驾驶员的转向有效性来量化评估驾驶员的警觉水平。当系统控制被交给驾驶员时，移所需的实际延迟时间和转移时的转向的质量评估日志，以及指示完全恢复所需的恢复行为的特点改变的曲线。[0403]步骤S24中的处理是在服务器300的学习处理单元302处构造学习器的情况下的处[0407]接下来，在步骤S32中，测量从手动驾驶开始请求通知时间到手动驾驶开始的时安全性指标值。驶可恢复时间)。为了将手动驾驶开始后基于操作信息的安全性指标值保持在某个值或更[0413]步骤S36中的处理是在服务器300的学习处理单元302处构造学习器的情况下的处[0417]注意的是，驾驶员信息和环境信息包括由多个不同的传感器获取的多个观测值[0419]图24所示示例中的安全性指标值是设置有从0到1(0(危险)到1(安全))的值的示[0421]估计的手动驾驶可恢复时间值是在上述图23所示的流程中的步骤S34的处理中计时间)的计算出值。为了将手动驾驶开始后基于操作信息的安全性指标值保持在一定值或[0422]图21中所示的安全性判定单元210的安全性判定处理执行单元(手动驾驶恢复时[0424]安全性判定处理执行单元(手动驾驶恢复时间估计单元)212接收由驾驶员信息获器(其是使用具有图24所示的数据配置的输入/输出数据进行学习的学习器)被用于基于当前驾驶员信息和环境信息来估计恢复安全手动驾驶之前所需的时间(＝手动驾驶可恢复时于每个车辆的输入信息中的对应关系以与上述相似的方式来估计手动驾驶恢复时间。但[0434]图25中所示的流程图是用于解释当作为本公开的移动装置的汽车从自动驾驶模[0435]在步骤S41中，移动装置观测从自动驾驶模式切换到手动驾驶模式的请求的事件于不允许自动驾驶的道路环境中。在基于LDM获取从高速公路开始进入普通道路的计划的有可能执行比诸如高速公路和普通道路之类的有限划分更为复杂意的是，这些部件与在图8所示的配置中的数据获取单元102和检测单元131的相应部件对获得的位置信息，以及从安装在包括道路在内的基础设施中的通信设备供应的信息(诸如[0443]这个处理是由图21中所示的安全性判定单元210的安全性判定处理执行单元(手[0444]安全性判定处理执行单元(手动驾驶恢复时间估计单元)212接收由驾驶员信息获为在学习处理单元211处学习的结果的学习器或者从服务器300获取的学习器被用于基于当前驾驶员信息和环境信息来估计恢复安全手动驾驶之前所需的时间(＝手动驾驶可恢复[0445]在此，要使用的学习器是例如上面参考图24描述的已使用输入/输出数据学习的[0447]图24示出了利用基于被假设为输入信息的组合的驾驶员信息和环境信息的组合形成的数据组通过学习来更新安全性鉴别器。一种可能的学习方法涉及例如支持向量机、[0449]使用已经使用图24中所示的数据进行学习的学习器，安全性判定处理执行单元(手动驾驶恢复时间估计单元)212通过将驾驶员信息和环境信息输出为输入来执行预测。取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息的每个参数最接信息是关于当前驾驶的驾驶员的个人标识信息以及关于正在执行的次级任务的类型的信[0452]图26(a)示出关于与观测值和恢复延迟时间(＝手动驾驶可恢复时间)对应的可观线图中的点线c表示在驾驶员的观测值不同的情况下观测到的后述图26(b)中的恢复成功向驾驶员发布从自动驾驶切换到手动驾驶的恢复通知或警告来保证驾驶员以0.95或更高[0455]图26(b)示出了从多条提取出的关系信息(观测图)获得的恢复延迟时间与恢复成用关于过去获得并存储在存储单元240中的与可观测评估值和恢复延迟时间相关的多条关者在他/她在自动驾驶模式下处于从驾驶/转向操作退出的状态时在执行的处理(次级任[0458]每个分布曲线与基于观测值或驾驶员状态预测的曲线a对应，如图26(b)中所曲线(图26(b)中的恢复成功率曲线)具有期望值，该期望值参考驾驶员恢复手动驾驶所需动监视的观测信息(诸如呼吸和脉搏波)估计睡眠水平并且在发布唤醒警报之后观测驾驶龄的驾驶员群体收集的信息而生成并已经存储在存储单元中的恢复特点信息用作预设的知定时发布用于促使驾驶员恢复驾驶的通知，该通知定时是转变事件(从自动驾驶到手动[0479][7.在执行从系统到驾驶员的通知处[0480]接下来，描述在执行从车辆的系统(信息处理设备)到驾驶员的各种通知(诸如手[0481]先前已经参考图11描述了从自动驾驶模式到手动驾驶模式的模式切换的示例序之前和之后驾驶员的状态并执行作为将观测信息存储到存储单元中的处理的观测信息记[0482]如上所述，自主驾驶技术是通过使用各种传感器(诸如设在车辆(汽车)中的位置这些条信息是作为由信息处理设备的数据处理单元获取的观测信息要被记录(存储)到存存储单元中的记录数据获取将导致校正驾驶员的行为的错误并改善系统的通知和警告的时间段内获取并分析包括人类行为特点的信息。以这种方式，与常规EDR和行车记录仪相[0507]a.在持续禁止驾驶员将他/她的注意力从驾驶移开的自动驾驶/行驶模式下的级[0520]5.响应于驾驶员返回驾驶员座位上的驾驶姿势的指令的姿势恢复行为的外观和[0527]c.操作响应踏板(诸如具有类似于安装在常规手动变速箱汽车中的离合器踏板的[0544](5)饮酒状态信息(前一天的饮酒状态、关于向商用车驾驶员报告的义务的信息[0549]自主驾驶车辆的系统(信息处理设备)将关于驾驶员的这些生物信息记录并保存[0558]预期的是驾驶员的状态和作为自动驾驶期间驾驶员要执行的操作的次级任务将[0562](驾驶模式2)在系统辅助一些功能(诸如车道保持辅助系统(LKAS)和安全驾驶支[0563](驾驶模式3)在警觉状态下的自动驾驶，包括仅在以低速驾驶时(诸如交通拥堵)[0564](驾驶模式4)在全速范围内在警觉和谨慎的状态下的自动驾驶，其限于在诸如高[0565](驾驶模式5)在对基础设施的硬件和软件方面进行持续管理的区中无需驾驶员干[0567](驾驶模式7)在设有车道的道路上自动驾驶，其虽然缺乏对基础设施的硬件和软眠的检测和注意力涣散的驾驶)被记录并保存在系统[0570]在可以进行常规的所谓的级别2自动驾驶的区中由驾驶员负责执行驾驶时，驾驶[0572]当使用启用在车辆控制中发挥作用的部分自动驾驶的高级驾驶辅助系统(ADAS)当驾驶员在无困倦的情况下以正常警觉状态驾驶时执行如下所述的控制作为用于降低驾且一些系统具有依赖防止功能。例如，执行控制以在较早的阶段开始自动紧急制动系统[0579]用于车辆的系统(信息处理设备)记录关于这些车辆中所提供的各种驾驶辅助系在上述(驾驶模式1至3)中使用的驾驶员监视系统获取的信息中进一步获取各种不同的驾[0590](驾驶员状态3)驾驶员在驾驶员座位上并维持能够驾驶姿势但不能立即恢复驾驶[0591](驾驶员状态4)驾驶员在驾驶员座位上、维持能够驾驶姿势并能够立即恢复驾驶[0597]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示从注意转向完全[0599]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示从注意转向很大[0600]注意的是，给驾驶员的信息通知包括除了手动驾驶恢复请求通知以外的各种通[0601]1c.其中驾驶员在车辆中从驾驶员座位延伸的办公空间中从事PC工作或电话会议[0602]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示从注意转向很大[0604]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示从注意转向很大[0609]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示从注意转向很大[0611]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示从注意转向很大[0613]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示从注意转向很大[0615]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示从注意转向很大[0616](驾驶员状态3)驾驶员在驾驶员座位上并维持能够驾驶姿势但不能立即恢复驾驶[0620]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示从注意转向很大[0622]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示从注意转向很大[0624]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示从注意转向很大[0626]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示从注意转向很大[0627](驾驶员状态4)驾驶员在驾驶员座位上、维持能够驾驶姿势并能够立即恢复驾驶[0631]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示其中对转向的注[0633]系统(信息处理设备)判定这个状态下的驾驶员的警觉状态指示对转向的注意部[0634]以这种方式，安装在车辆中的系统(信息处理设备)根据检测到的状态(驾驶员状驶方向的LDM信息的更新的改变而要发布的行驶允许模式改变通知、用于促使驾驶员注意[0638]在传输通知之后延迟来自驾驶员的响应的定时并且由于时间上空缺的滞后时间长的情况下，可以判定的是驾驶员已经打开他/她的终端但是实际的意识水平已经由于困[0640]上面参考图18和其它描述的平板终端可以执行诸如玩游戏和看电影之类的次级[0643]如上所述，在驾驶员进入车辆之后可以获取的驾驶员信息(其是可以在估计和评估驾驶员恢复手动驾驶的质量的处理中使用的驾驶员信息)利用大致分为以下两种类型的[0644](1)关于当在驾驶员无意识(诸如睡眠期间)时检测到次级任务时执行的被动监视[0645](2)关于当在驾驶员有意识时执行的次级任务检测时对用于确认对系统的响应的通知的响应的评估的所记录的信息、根据从LDM获得的更新信息对手动驾驶恢复请求的点意识退出并且从自动驾驶允许区到手动驾驶区的转变点即将到来的情况下，车辆的系统[0648]为此，车辆的系统(信息处理设备)在任何适当的时间审查周期[0650]该系统还根据从车辆的行程的LDM获得的驾驶员的干预的必要性、进入道路区的[0652]注意的是，车辆的系统(信息处理设备)根据判定的驾驶员状[0656]接下来，描述在向驾驶员发布手动驾驶恢复请求通知之后要获取的驾驶员[0657]在车辆的系统(信息处理设备)向驾驶员发布恢复通知或唤醒警告并且然后驾驶[0659]例如，在驾驶员从小睡唤醒并执行例如某种动作(诸如在唤醒之后站起来并恢复[0661]如果驾驶员正在使用可以对系统做出响应的终端(诸如平板终端)执行次级任务可以利用反应响应延迟量(诸如响应于通知的反应延迟时间[0670]系统(信息处理设备)需要判定驾驶员恢复手动驾驶所需的警觉恢复是否被[0671]恢复质量评估的评估准则包括参考量化的标准响应行为延迟量的方法该量化的[0675][8.在从自动驾驶到手动驾驶的转变时的驾驶员状态改变和观测信息以及恢复质[0677]图28是示出用于解释从自动驾驶到手动驾驶的转变完成之前的剩余允许时间的[0678]图28中的示例示出了在假定车辆从自动驾驶允许区平稳地移动到手动驾驶区并[0682]两者都是在转变限制点进行向手动驾驶的转变的情况下以预定的预期成功率[0685]由t表示从自动驾驶到手动驾驶的转变点处的到达时间(ToR_point：接管请求[0686]基于上述假设，有必要在到达ToR点的预测时间t(ToR_point)之前的{t(ToR_[0690]简而言之，为了实现由道路信息提供者提供的本地动态地图(LDM有必要将通知(手动驾驶切换请求通知)的定时设置在比最小转变延迟容限预算(时间)的[0691]图28中所示的监视状态(观测状态)之间的转变，或下面列出的监视状态(观测状过连接在系统在时间t0向驾驶员发布通知(手动驾驶恢复请求通知)之后的以上列出的(a)转向评估。当确认驾驶员的肢体麻木和要校正的转向设备实际上被控制在预期范围内时，基于关于道路环境的LDM信息来选择最优转变执行区，该LDM信息是所谓的本地动态地图驾驶员已进入REM睡眠之后的深度睡眠的区中进行清醒通知或警告，也有可能避免由不佳[0722]系统利用ToF传感器或相机来检测驾驶员的清醒，并且这个检测信息使得能够评[0723]时间t0与t1之间的长度是根据通过计算清醒和唤醒以达到预定的预期成功率的行驶方向上的前方场景生成语义显著性地图(场景中包括的每个物体的预测注意力分布当地执行校正性转向。在观测到校正性转向的延迟或未观测到适当的校正性转向的情况优选的是记录驾驶员的操作的执行/不执行，以确认手动驾驶期间驾驶员是否清楚地理解和质量记录，在以不同于在级别4或更高的全自动驾驶以外的模式下行驶期间记录和管理识别的任何确认，那么驾驶员可能不会注意到自动驾驶系统在一些情况下不在正常工作。换句话说，这种自动切换可能导致疏忽手动驾驶中所要求的注意前方和周围环境的责任，面方面，重要的是记录由驾驶员的系统状态识别并基于如本公开中所述的记录使用管理。[0757]系统(信息处理设备)可以基于从关于道路环境的LDM信息或从所谓的本地动态地图(LDM)信息获得的道路状况来执行处理，以便以高密度时常更新关于车辆在其上行驶的[0763]在驾驶员在小睡时系统在时间t0向驾驶员发布通知(手动驾驶恢复请求通知)的[0771]这些状态改变(a)至(g)是特定于驾驶员的初始状态是小睡状态的情况的状态改[0772]系统正在观测的驾驶员的观测状态和驾驶员状态的转变根据驾驶员的初始状态[0773]图29是示出与驾驶员的不同初始状态对应的状态改变的转变和转变定时的示例[0774]图29示出了与下面列出的驾驶员的四个不同初始状态对应的状态改变的转变的[0787]在(2)驾驶员不在驾驶员座位上但清醒(处于清醒状态)的情况下，系统正在观测[0788](h)驾驶员不在驾驶员座位上的状态(系统通过被动监视和主动监视观测到驾驶[0795](h)驾驶员不在驾驶员座位上的状态(系统通过被动监视和主动监视观测到驾驶[0798]在(3)驾驶员在驾驶员座位上但不处于能够驾驶姿势的情况下，系统正在观测的[0799](i)驾驶员在驾驶员座位上并且处于非常规姿势的状态(系统通过被动监视和主[0804]即，将在(1)初始状态为小睡状态的情况下的(a)被动监视至(c)返回驾驶员座位[0805](i)驾驶员在驾驶员座位上并且处于非常规姿势的状态(系统通过被动监视和主[0807]这是因为状态(i)是驾驶员已经在驾驶员座位上的状态，并且不需要返回驾驶员[0808]在(4)驾驶员处于能够驾驶姿势的同时正在执行次级任务的情况下，系统正在观测的驾驶员的观测状态和驾驶员状态如图29所示以[0809](j)驾驶员在驾驶员座位上正在执行次级任务的状态(系统通过被动监视和主动[0813]即，将在(1)初始状态为小睡状态的情况下的(a)被动监视至(d)恢复能够驾驶姿[0814](j)驾驶员在驾驶员座位正在执行次级任务的状态(系统通过被动监视和主动监由驾驶员携带的平板终端的显示单元的输出于改变到另一个档位比而不损坏变速箱中齿[0825]由于作为恢复通知或恢复警告中指定的处理的一部分使驾驶员以这种方式操作应踏板401误认为制动踏板时驾驶员感到危险并强烈地踩踏响应踏板(警觉判定踏板)401来踩踏踏板或者驾驶员是否在从睡眠清醒期间以意识[0835]还有可能使用根据涉及ToF传感器、3DFlash激光雷达、基于结构光方法的传感[0843]在人进行行动所必需的情况判断的情况下获取的大多数外部信息是从视觉信息[0844]这种眼球移动在人处于正常警觉状态的情况下以及在人处于意识/警觉状态降低[0845]图31示出了当向驾驶员呈现视觉任务以便驾驶员查看某些信息时驾驶员的眼球[0846]图31中的示例示出了当人首先注视区域a的附近并且然后注视区域b的附近时眼驶员的信息通知而通过观测驾驶员的眼球的移动的处理来判定驾驶员的意识水平(警觉水[0859]具有高意识水平(警觉水平)的驾驶员具有在上面参考图31描述的区域a和b中所[0866]如果在步骤S104的判定处理中判定的是驾驶员已在规定时间内完成对通知信息的识别，那么系统在步骤S105中通知驾驶员由系统进行的该确认(判定驾驶员是否已经识[0869]具有高意识水平(警觉水平)的驾驶员具有在上面参考图31描述的区域a和b中所[0873]为了在通知已发送给驾驶员时确认来自驾驶员的认知响应，系统将信息(＝警觉[0876]图33是用于确认驾驶员的意识水平(其为驾驶员的警觉水平)示的车辆中的抬头显示器(HUD)421、仪表板422等上向驾驶员显示利用消息或警告信息形[0885]要求驾驶员在这些区之间的每个边界处将车辆从自动驾驶平稳地切换到手动驾户经由高速公路从与一般道路相邻定位的他/她的家访问诸如位于城市地区的医院之类的为驾驶员的一系列动作的一部分或大部分的观测信息，并将观测信息存储到存储单元中。[0899]中央处理单元(CPU)501用作根据存储在只读存储器(ROM)502或存储单元508中的[0900]将由CPU501执行的程序、数据等存储在随机存取存储器(RAM)503中。CPU501、ROM502和RAM503通过总线5[0905]连接到输入/输出接口505的存储单元508例如由硬盘等形成，并且存储要由CPU和从手动驾驶转变到自动驾驶时中的至少一个转变时驾驶员的一系列动作的一部分或主[0919]获取在从自动驾驶转变到手动驾驶时和从手动驾驶转变到自动驾驶时中的至少[0925]根据驾驶员的警觉水平，数据处理单元控制手动驾驶恢复请该手动驾驶恢复请求通知是对于驾驶员的从自动驾驶恢[0947](驾驶员状态3)驾驶员在驾驶员座位上并维持能够驾驶姿势但不能立即恢复驾驶[0948](驾驶员状态4)驾驶员在驾驶员座位上、维持能