CN112888611A 用于检测和记录异常车辆事件的系统和方法 （莱夫特公司）

PCT/US2019/04520420WO2020/040975EN2020.02.用于检测和记录异常车辆事件的系统和方法通过至少基于与和许多车辆相关联的预记录情驾驶员进行的一个或更多个车辆操作与一个或2访问与由人类驾驶员操作的车辆相关联的情境数据通过至少基于与和多个车辆相关联的预记录情境数据相关联的信息来处理所述情境基于由所述人类驾驶员进行的所述一个或更多个车辆操作与所述一个或更多个预测述一个或更多个车辆操作相对所述一个或更多个预测的车辆操作偏离一预定阈值来确定基于先前检测到的感兴趣事件，使用事件分类器将所述感兴趣事件分类到一类别中；为所述感兴趣事件分配兴趣评分，其中，所述基于确定所述感兴趣事件与所述情境数据相关联，来选选择与所述人类驾驶员正在注意的区域相关联的情境数据集34及基于所述一个或更多个多通道图像来预测所述车辆的基于与所述车辆相关的特征的组合来预测所述车辆的使用所存储的所述车辆的与检测到的感兴趣事件相关的高分辨率情境数据来训练所519.一个或更多个非暂时性计算机可读存储介质，其包含在由计算系统执行时能操作访问与由人类驾驶员操作的车辆相关联的情境数据通过至少基于与和多个车辆相关联的预记录情境数据相关联的信息来处理所述情境基于由所述人类驾驶员进行的所述一个或更多个车辆操作与所述一个或更多个预测访问与由人类驾驶员操作的车辆相关联的情境数据通过至少基于与和多个车辆相关联的预记录情境数据相关联的信息来处理所述情境基于由所述人类驾驶员进行的所述一个或更多个车辆操作与所述一个或更多个预测6在一个权利要求类别例如方法中提到的任何特征也可以在另一权利要求类别例如系统中意回溯引用任何先前的权利要求(特别是多个从属关系)而产生的任何主题也可以被要求7方式和特征可以在单独的权利要求中要求保护，和/或在与本文描述或描绘的任何实施方式或特征的任何组合中或者与所附权利要求的任何特征的任何组式可以对收集到的数据进行预处理(如对象识别、压缩等)，并存储/上传经预处理的结果上传比其他情况下存储/上传的数据集丰富的对应数据集。感兴趣事件可以是偏离车辆系针对非异常事件存储/上传的数据(例如，预处理的经压缩数据)包括较多信息细节的高分效地收集包括与异常事件相关的边缘案例数据和正常操作数据在内的数据以用于机器学8个面向驾驶员的相机和麦克风(例如，带有麦克风的行车记录仪)或与车辆的计算系统(例[0019]在特定实施方式中，车辆的情境数据可以包括与车辆相关联的一个或更多个参以追踪车辆与一个或更多个道路线的相对位置以精确地确定车辆的位置。作为另一示例，[0021]图1例示了具有有限的存储空间和无线连接带宽的示例车辆系统100。车辆系统由人类驾驶员驾驶的车辆的情境数据，并且收集到的数据可以用于训练用于驾驶车辆(例云152耦接的训练系统190中进行。收集到的数据160可能超过存储空间120和传输带宽1529[0022]在特定实施方式中，车辆系统100可以在将收集到的数据保存到非易失性存储装基于一个或更多个机器学习模型(例如，神经网络)。车辆系统100可以使用对环境的二维(例如，为每个检测到的交通行为者放置3D边界框，用速度和移动方向标记每个交通行为对应的原始数据(例如，对象图像)小的大小。车辆系统100还可以生成包括检测到的对象辆系统100可以保存或/和上传比原始数据需要较小的存储空间和较少的传输带宽的经预低对存储空间和传输带宽的要求。车辆系统100可以实时地或在稍后的时间将经压缩的数择地收集车辆的情境数据。图2例示了用于基于人类驾驶员的预测操作来确定感兴趣事件储在车辆系统的易失性存储器中。存储在易失性存储器中的最新情境数据206可以包括在在易失性存储器中的情境数据206可以包括来自一个或更多个传感器的高分辨率数据，例如，来自一个或更多个相机的一系列全分辨率原始图像或其他非压缩的全分辨率原始数在时间TE212处)，并存储与该异常事件相关的高分辨率数据206(例如，全分辨率原始数系统可以将车辆的与感兴趣事件相关联的高分辨率情境数据(例如，情境数据206)存储到据可以比当对应的情境数据被确定与感兴趣事件无关联时通常存储的数据包括更多的信[0029]在特定实施方式中，通过车辆系统存储/上传的高分辨率数据可以比为非异常事施方式中，高分辨率数据可以是来自一个或更多个传感器的未经预处理或压缩的原始数高分辨率数据可以是由具有较大视野以捕获较大场景的传方向时，车辆系统可以配置指向该方向的相机捕获具有较高分辨率或/和较高采样率的图[0031]在特定实施方式中，车辆系统可以使用边缘计算来实时地检测和分类感兴趣事[0032]图3例示了用于检测和分类异常事件的示例边缘计算图300。测操作的阈值内)。训练数据库342和344可以包括由人类标记的正常和异常事件的初始数据集和/或由机器学习模型自动分类的正常和异常事件的另一数据集。训练数据可以通过驶员或/和环境相关的参数)可以通过比较器315与人类驾驶员的实际操作306进行比较以确定车辆与周围对象的相对位置。比较器315可以确定车辆位置与预测轨迹偏离的距离大异常事件后，车辆系统310可以将与识别到的异常事件相关的高分辨率情境数据存储在非异常事件的一个或更多个识别类别和当前检测到的感兴趣事件的一个或更多个特征来对分类器330A可以是可以通过云340被训练和获得的事件分类器330B的副本。事件分类器330B可以使用异常事件数据库344进行训练，该异常事件数据库可以包括以适当分类进行标记的异常事件的训练样本。训练结果可以通过有线或无线连接从云340同步到车辆系统器330A可以基于初始数据集和其他先前检测到的异常事件数据来确定新检测到的异常事[0037]在特定实施方式中，车辆系统310可以存储/上传与由比较器315识别的每个检测事件分类器330A确定的异常事件的兴趣评分来确定是否存储/上传与该事件相关的高分辨测到的异常事件与任何先前检测到的事件不相似(例如，由任何已知异常事件类别的低置[0039]在特定实施方式中，可以基于新搜集到的数据来更新预测模型320B和/或事件分辆系统310可以收集与异常事件317相关的高分辨率情境数据352，并将收集到的高分辨率情境数据上传到正常操作数据库342。包括预测模型320B和事件分类器330B两者在内的机系统310上本地运行的对应预测模型320A和事路线。预测模型可以基于导航路线的目标位置和车辆的转弯信号状态(例如，通过车辆的素(例如，其他交通行为者在遵守交通信号灯的情况下静止、没有行人等)来推断出车辆402A正停在交叉路口490处等待左转信号。计算系统可以使用预测模型来预测在交通信号检测到在交通信号已经变绿后，车辆402A仍然停在交叉路口490达比阈值时间段(例如，1算系统可以检测到人类驾驶员不寻常地用力踩制动踏板，并且可以将其识别为异常事件。基于规则的检测和基于模型的检测的混合方法来的右侧车道内并且非常接近路缘430。行为者建模器可以预测交通行为者402B很可能沿着为者建模器来检测到交通行为者402B(例如，汽车)正在以不寻常的高速接近停止线404B。行为者建模器可以预测，尽管交通行为者402B正在减速，但由于其高速以及交通行为者计算系统可以将其确定为异常事件，并存储/上传与识别出的异常事件相关的高分辨率数[0053]图5例示了检测感兴趣事件并存储与该事件相关联的高分辨率数据的示例方法。在步骤510，车辆系统可以基于与车辆系统相关联的一个或更多个传感器来收集车辆的情储器中的高分辨率数据可以被较新的数据重写，并且易失性存储器仅可以存储最新的5分失性存储器中的高分辨率数据可以包括感兴趣事件之前的预定时间段(例如5分钟)的较丰[0055]特定实施方式可以在适当的情况下重复图5的方法的一个或更多个步骤。尽管本检测感兴趣事件以及存储与该事件相关联的高分辨率数据的示例方法包括图5的方法的特中。数据收集设备660还可以使用通信模块624并通过有线或无线连接652将收集到的数据[0057]在特定实施方式中，数据收集设备660可以包括一个或更多个机器学习模型(例个或更多个GPU或被特别地配置为运行机器学习模型(例如，神经网络)的其他处理器的嵌测系统可以监测车辆的内部状态(例如，车辆本身以及车辆的被设计并意图用于驾驶员和克风，其捕获乘客厢中的对话和/或声音。数据收集设备还可以包括能够检测乘客的运动[0060]在特定实施方式中，通信模块624可以管理数据收集设备660控制器局域网络(CAN)总线接口或用于与车辆进行通信的任何其他合适的通信接口或协机发出指令(例如，通过图6C中的连接器616)并使其调整某些车辆配置。在特定实施方式的语音或会话的麦克风、用于检测乘客厢中的温度的热传感器以及任何其他合适的传感统、任何第三方系统、车辆以及提供者和/或请求者的计算设备接收到的信息来进行个性化。在特定实施方式中，显示数据可以存储在易失性存储器628(例如，随机存取存储器特定实施方式中，前置显示器604可以包括将显示器分成多个区域的盖。在特定实施方式器606可以被配置为显示与前置显示器604相同[0065]图6C例示了示例数据收集设备660的后视图608。后视图608可以包括后置显示器后置显示器610可以被配置为向提供者车辆外部的和后面的人提供信息。信息可以通过例备660可以包括电源按钮612或者可以用于打开或关闭设备660的任何其他合适的用户接或/和后置显示器610显示的颜色和/或其他照明。照明控制器可以包括用于控制显示器的[0067]图7例示了用于使搭乘请求者与自主车辆匹配的运输管理环境的示例框图。在特设备730可以是具有LTE连接的智能手机)来一起连接到互联网。另一方面，运输管理系统760和第三方系统770可以通过其相应的LAN/WLAN网络和互联网服务提供商(ISP)连接到互[0069]在特定实施方式中，运输管理系统760可以通过调度合适的车辆来满足一个或更多个用户701的搭乘请求。运输管理系统760可以从任意数量的搭乘请求者701接收任意数760相关联并可以被运输管理系统访问的一个或更多个数据存储区(例如，关系数据库系或类型，可以使搭乘请求者701与关于那些类别或类型的某些搭乘请求者的汇总信息相关[0070]运输管理系统760还可以存储和访问搭乘信息。搭乘信息可以包括与搭乘相关的尼亚州帕洛阿尔托的请求时，系统760可以访问或生成用于该特定搭乘请求的任何相关搭的情况下(例如，搭乘请求者可能是残疾人并且无法接近上车位置)或者上车位置因施工、交通拥堵、上车/下车规则的改变或任何其他原因而以其他方式不可用的情况下的备用上生成的汇总信息，其可以包括本文所述的任何搭乘信息和由自主车辆和/或用户设备中的760管理。自主车辆740的车队可以全部地或部分地由与运输管理系统760相关联的实体拥[0076]在特定实施方式中，自主车辆740可以从运输管理系统760和第三方系统770接收辆通信，常规的人类驾驶车辆包括由运输管理系统760管理的和不由该运输管理系统管理光纤中的一个中，光纤可以被布置成使光束可以被引导到自主车辆周围的许多离散位置。到目标的距离的有效传感器，并且因此可以用于生成自主车辆740的外部环境的三维(3D)来控制车辆740以规定的方式操作，并引导自主车辆740到达其目的地而不碰撞到其他对统746的示例位置包括自主车辆740的驾驶室或乘客室内、发动机/电池附近、前排座椅附计算设备可以是平板计算机或由运输管理系统760安装的任何其他合适的设备，以允许用了在自主车辆740中的特定位置处的单个搭乘服务计算设备748，但自主车辆740可以包括在车辆内的多个不同位置处的多个搭乘服务计算设备748。作为示例而非限制，自主车辆主车辆740的任何部件可拆卸。这可以允许用户以与其他平板计算机计算设备一致的方式其他合适的方式处理搭乘服务计算设备748。尽管本公开内容描述了以特定方式提供特定计算机系统800上运行的软件执行本文所述或例示的一个或更多个方法的一个或更多个步[0083]本公开内容考虑了任何合适数量的计算机系统800。本公开内容考虑了计算机系系统、片上系统(SOC)、单板计算机系统(SBC)(诸如模块上计算机(COM)或模块上系统下，一个或更多个计算机系统800可以在没有实质性空间或时间限制的情况下执行本文描算机系统800可以实时地或以批处理模式执行本文描述或例示的一个或更多个方法的一个的位置处执行本文描述或例示的一个或更多个方法[0085]在特定实施方式中，处理器802包括用于执行指令诸如构成计算机程序的指令的仅执行一个或更多个内部寄存器或内部缓存中的或者存储器804(相对于存储装置806或其它地方)中的指令，并且仅对一个或更多个内部寄存器或内部缓存中的或者存储器804(相对于存储装置806或其它地方)中的数据进行操作。一个或更多个存储器总线(其可以各自单元(MMU)居于处理器802和存储器804之间，并且促进由处理器802请求的对存储器804的在适当的情况下，该RAM可以是单端口的或多端口的RAM。本公开内容考虑了任何合适的