CN112989915B 用于检测自主载具中的异常乘客行为的系统和方法 （罗伯特·博世有限公司）

US2007165932A1,2007.07.19US2017032194A1,2017.02.02用于检测自主载具中的异常乘客行为的系提供了用于检测自主载具中的异常乘客行的乘客并且确定乘客是否正在从事异常行为的棒地并且用数值方式表示相应帧中的乘客的活该方法和系统利用高斯混合模型来在正常和异2括与第一图像帧内的所述至少一个乘客的相应关节或身体部位的位置相对应利用处理系统针对所述至少一个乘客中的每一个的相应多个关键点中的每个相应关利用处理系统、基于相应关键点的光流向量应单元中的每个相应关键点归类到所述至少一个乘客中的每一个的相应直方图的相应仓利用处理系统将针对所述至少一个乘客中的每一个的相应直方图的每个仓块的数值2.根据权利要求1所述的方法，确定所述至少一个乘客中的每一个的相应多个关键点利用处理系统将所述至少一个乘客中的每一个的相应多个关键点中的每个关键点的述多个图像帧包括第一图像帧和至少一个先利用处理系统来确定第一图像帧中的相应关键点的坐标对与先前图像帧中的相应关利用处理系统将第一图像帧分类为属于所述混合模型的所述多个集群组份中的具有3利用处理系统、基于第一数值向量以及所述9.根据权利要求1所述的方法，其中使用未经标记的训练数据来学习所述多个集群组处理系统，其可操作地连接到图像传感器并且包括至少一个处理器，从图像传感器接收载具的座舱中的至少一个乘客的第一基于第一图像帧来确定表示第一图像帧中的所述至少一个乘客的姿势和运动的第一基于第一数值向量使用具有表示正常乘客行为的多个集群组份的混合模型来检测第所述处理系统进一步被配置成在确定第一数确定所述至少一个乘客中的每一个的相应多个关键点，每个关针对所述至少一个乘客中的每一个的相应多个关键点中的每个相应关键点来确定光流向量，所述光流向量指示第一图像帧中的相应关键点相对于至少一个先前图像帧的运基于相应关键点的坐标对将所述至少一个乘客中的每一个的相应多个关键点中的每基于相应关键点的光流向量的光流角度将被归类到所述网格的每个相应单元中的每至少一个乘客中的每一个的相应直方图的每个仓块对应于光流将针对所述至少一个乘客中的每一个的相应直方图的每个仓块的数值确定为被归类4形成第一数值向量，所述第一数值向量具有针对所述至少一个乘客13.根据权利要求12所述的系统，所述处理系统进一步被配置成在检测异常乘客行为将第一图像帧分类为属于所述混合模型的所述多个集群组份中的具有最高后验概率基于第一数值向量以及所述混合模型的所述多个集群组份中的第一集群组份来确定14.根据权利要求13所述的系统，所述处理系统进一步被配置成在检测异常乘客行为其中所述处理系统被配置成：响应于检测到异常乘客行为而5将在交通运输中发挥重要作用。彼此为陌生人的乘客共享自主出租车将很快变成常见做供一种用于监视自主载具的座舱内的乘客并且智能地检测异常乘客行为的监视系统将是客行为的多个集群组份的混合模型来检测第一图像帧中的异常乘6统104有利地被配置成：监视载具100的座舱108内的乘客并且确定乘客是否正在从事异常[0019]在至少一个实施例中，载具100是共享的自主汽车，其被配置成提供自主运输服务，其中载具100自主地驾驶到乘客的位置，并且然后在乘客进入载具100时使用公共道路网络自主地将该乘客运输到期望的位置。乘客可以使用例如智能电话或智能设备应用（即100可以是乘员控制或远程控制的。[0020]座舱监视系统104包括载具计算机130，该载具计算机130可操作地连接到遍及该像传感器134、138被布置在载具100的顶蓬中或顶蓬上，并且朝向相应的一个或多个座椅7[0023]载具计算机130被配置成处理从图像传感器134、138中的一个或多个接收到的图[0026]在所图示的实施例中，载具计算机130进一步包括一个或多216相对应的程序指令。异常行为检测程序216包括程序指令以及与姿势检测模型220和活8[0029]座舱监视系统104有利地被配置成：监视载具100的座舱108内的乘客并且确定乘[0030]如下面将更详细地讨论的，座舱监视系统104使用新颖的向量来鲁棒地并且用数舱108中的乘客的视频形式的训练数据，高斯混合建模被用来学习表示与正常乘客行为相以使用乘坐在载具100的座舱108中的乘客的未经注释的视频来学习表示正常乘客行为的特征对于检测所述未来的异常行为而言可能9这两个RGB相机被配置成捕获可以从其中导出深度和/或距离信息的立体图像；和/或具有[0036]图4示出了用于导出针对图像帧的活动向量的方法400的逻辑流程图。在方法400步骤可以以任何可行的时间次序来执行，而与各图中所示的次序或描述步骤的次序无关。与图像帧中的每个乘客的特定关节或身体部位相对应的多个关键点。在至少一个实施例模型220的训练期间学习的一组所学习的参数、权重和/或内核值来执行姿势检测模型220两个乘客中的每一个标识多个关键点510。在所图示的示例中，姿势检测模型220被配置成可能在帧之外或者被遮挡。理器200被配置成将每个关键点的坐标值计算为来自姿势检测模型220的预测坐标值序列[0041]其中(x:,y:)是由姿势检测模型220在时间或帧序号t处提供的预测坐标值，并且计算为当前图像帧的预测坐标值和预定数量Posesmooth的先前图像帧的预测坐标值的平均处理器200根据以下等式来计算时间或帧序号t处的关键点[0045]图6示出了五个图像帧的示例性序列600，其中两个乘客正乘坐在载具100的后座处的帧中左耳关键点的坐标值与t=2处的帧中左耳关键点的坐标值进类到a×b网格的单元中，并且基于关键点的光流角度将关键点归类到每个单元的d-仓块格的每个单元表示图像帧内的水平坐标值的范围和垂直坐标值的范围。在至少一个实施例[0048]处理器200通过如下方式将每个单元中的每个乘客的关键点归类到针对a×b网格的相应单元针对相应乘客的相应d-仓块所计算的数值的量值与图像帧中由相应单元和直方图仓块所定义的相应区域和方向中的图像帧700左手侧的乘客的光流向量和关键点。每个直方图仓块的高度对应于活动向量Xii最有可能对应义了与正常乘客行为相对应的多个集群组份Ci。集群组份Ci各自包括在维度a×b×d×e集群中心和/或中值，并且EC是具有维度a×b×d×p维多元正态：[0055]基于特定图像帧的活动向量Xi，处理器200根据以下等式将图像帧分类到具有最。示活动向量Xi属于特定集群组份Ci的概率。处理器将活动向量Xi分类为属于具有最高后验于图4描述的方式从来自训练视频的图像帧中导出一大组训练活动向量。该一大组训练活大组训练活动向量Xi进行建模。使用期望最大化算法来估计每个集群乘坐的三个乘客、以此类推直到关于在座舱108处于图像传感器视野内的特定区域中预期[0066]其中f()是在给定活动向量Xi和所确定的集群组份ci的情况下被评至少一个实施例中，处理器200代替地基于若干帧上的平均后验密度仅仅每隔很多帧地检[0072]远程服务器可以例如可由自主出租车服务或其他类似的自主载具服务或共享载他实施例中，操作者可以经由网络门户来访问存储在远程服务器上的相关图像数据和/或count等于超参数detect_every_fr