CN119497828A 控制器、控制方法、座舱内监控系统、交通工具 （索尼半导体解决方案公司）

2024.12.30PCT/EP2023/0685902023.07.05WO2024/008812EN2024.01.11具一种用于交通工具的座舱内监测系统的控行飞行时间测量以获取飞行时间数据的飞行时间设备和被配置为执行雷达测量以获取雷达数据和雷达数据执行座舱中的物体/乘客监测；基及基于所检测的感兴趣区域调整座舱内监测系2基于所述飞行时间数据和所述雷达数据执行所述座舱中的物体基于所检测的感兴趣区域调整所述座舱内监测系模式和/或调整所述飞行时间设备和/或所述雷达设备的数测的感兴趣区域作为先验知识提取关于所述座舱中的乘客的存在和/或乘客的行为的信述雷达数据提取关于感兴趣的子区域中的所述座舱中的乘客的存在和/或乘客的行为的信乘客存在而将所述飞行时间设备置于正常功率模式以检测感12.一种用于交通工具的座舱内监测系统的控制方法，所述座舱内监测系统包括控制基于所述飞行时间数据和所述雷达数据执行所述座舱中的物体3基于所检测的感兴趣区域调整所述座舱内监测系处理模式和/或调整所述飞行时间设备和/或所述雷达设备的数达数据提取的信息作为先验知识来检测所述感兴趣区域中的至少一个感兴趣的提取关于感兴趣的子区域中的所述座舱中的乘客的存在和/或乘客的基于所述飞行时间数据和所述雷达数据执行所述座舱中的物体基于所述飞行时间数据来检测所述座舱中的感兴趣区域，以及基基于所述飞行时间数据和所述雷达数据执行所述座舱中的物体基于所述飞行时间数据来检测所述座舱中的感兴趣区域，以及基4[0002]目前，用于监测交通工具的座舱中的物体/乘客的座舱内监测系统通常基于直接仅一个单个传感器已用于驾驶员监测，并且另一个完全独立的感测系统已用于乘客检测，[0004]雷达技术例如用于监测例如儿童存在(无论是否被全部遮住)和用于计数占用者[0012]根据第二方面，本公开提供了一种用于交通工具的座舱5[0038]图4示意性地示出了用于交通工具的座舱内监测系统的控制方法的实施例的流程[0042]驾驶员监测目前主要涉及驾驶员面部监测，通常使用高空间分辨率2DIR相机来[0043]另一设置可能性包括具有较宽视野(FoV)的后镜定位相机，其潜在地降低面部特6[0046]这样的雷达传感器例如还用于监测例如儿童存在(无论是否被全部遮住)并且用彼此更靠近且因此可合并到一个斑点检测(bolbdetection)中的情况(因此由于有限的分能具有有限的SNR水平，这可能需要应用特定处理技术来提取例如关于儿童的微小呼吸或7物体/乘客的识别和活动监测以用于安全/碰[0075]飞行时间设备可以是直接飞行时间设备(其还可以被称为LiDAR(“光探测和测例中，间接飞行时间设备包括一个或多个图像传感器，如多个CAPD(“电流辅助光子解调8[0078]在一些实施例中，飞行时间数据是基于这些相关性测量结果通过模数转换获取使得波长在mm(毫米)范围内)并检测电磁波的已经被物体/乘客[0082]在一些实施例中，雷达设备采用具有发射和接收元件的固定模式和元件的形状[0083]在一些实施方式中，通过调整雷达信号参数和/或调整激活的[0087]电路可包括用于存储数据的数据存储能力，诸如可基于半导体存储技术(例如，[0090]控制器可以将雷达数据和飞行时间数据转换成单个坐标系以重叠/组合不同的数的物体/乘客的登记、检测的物体/乘客在座舱中的跟踪以及检测的物体/乘客的行为的识9动物等)相关联，使得例如表示(整个)物体/乘客周要基于相位图像来构建3D点云(在多个时间点上)以节精细移动和呼吸方面更详细的占用者检查和监[0103]在一些实施例中，调整操作模式包括调整控制器的数据处理模式和/或调整飞行[0109]如上所述，设想相对于数据处理和/或数据采集迭代地调整座舱内监测系统的操[0111]控制器可在物体/乘客存在检测/记录模式下基于飞行时间数据来检测感兴趣区中将所检测的感兴趣区域用作先验知识时，可以提高检测速度/准确度，并且可以降低功趣区域作为先验知识来提取关于乘客在座舱中的存在和/或乘调制频率和减小照明场)来更频繁地且可靠地调整飞行时间设备参数以检测座舱中的较小兴趣的子区域中的座舱中的乘客的存在和/或更不频繁地执行和/或仅基于数据子集(例如，仅数据的空间子集和/或数据的时间子集)。如，当没有检测到感兴趣区域或仅检测到行李存在时)确定将操作模式调整成降低功率模座舱中的乘客存在。统3的交通工具1的实施例，并且其中图3以框图示意性地示出了座舱内监测系统3的实施[0146]座舱内监测系统3包括间接飞行时间设备4(下文中的iToF设备)、雷达设备5和控[0147]iToF设备4、雷达设备5以及控制器6被连接到CAN总线(未示出)上以便经由该CAN动机是否打开、车门是否关闭等)的交通工具状态数据以检测交通工具1是否处于预定状安装在中间顶部车顶位置上(对座位和脚部空间具有最少量的视觉遮挡)并且雷达设备5安装在交通工具1的后视镜周围的区域中并且朝向乘客定向以在径向距离方向上具有最佳在特定交通工具中由两个传感器利用最佳位置来[0151]iToF设备4可以包括一个图像传感器和一个光源以便生成视野(图1和图2中的虚线)，或者iToF设备4可以包括例如两个图像传感器和两个光源以便监测相反方向。因此，[0152]雷达设备5可以包括一个或多个天线阵列，每个天线阵列包括用于发送和接收雷示乘客正在睡眠)，以及在较大感兴趣区域中细化较小的感兴趣的子区域以用于关于呼吸[0161]执行物体/乘客监测包括检测物体/乘客在座舱中的存在、检测的物体/乘客的登块63，并且将基于雷达数据提取的信息(处理的[0164]调整操作模式包括调整控制器6的数据处理模式和/或调整iToF设备4和/或雷达[0169]以这种方式，控制器6基于提取的相同和其他传感器处理数据的先验知识影响感感测就用于例如在微小/精细移动和呼吸方面更详细的乘客[0171]因此，控制器6基于雷达数据使用所检测的感兴趣区域作为先验知识来提取关于雷达系统难以在背景(座椅)与乘客之间进行例如降低雷达设备5的功率并指示放大视野以跟踪更全遮挡或不可见的情况下，将雷达数据与ToF数据融合到相同的感兴趣区段上可以存在另外[0179]此外，控制器6基于飞行时间数据和雷达数据提取关于感兴趣的子区域中的座舱[0183]一旦融合的雷达和ToF处理块63和62更精确地指示用于检查的感兴趣区域，甚至[0186]当关于感兴趣的子区域的信息已知时增加iToF设备4的帧速率，这样使得例如仅提取这部分数据并且将其进一步处理以最终与环中的雷达数据一起使用。[0187]图4示意性地示出了用于交通工具的座舱内监测系统的控制方法100的实施方式先验知识来检测感兴趣区域中的至少一个感兴趣[0202]在一些实施例中，使用ToF数据来执行在交通工具的座舱中的围绕感兴趣的特定[0207]在一些实施例中，融合iToF设备和雷达设备用于监测交通工具1中的脚部空间区用面部特征(来自iToF置信数据)通过缩小用于经由雷达设备的呼吸检测的感兴趣区域来手臂/头部的检测)以理解这些零件的移动并且因此得出关于乘[0217]利用雷达设备通常在一定程度上是透明的同时还留下或多或少散射的一些反射雷达数据可以允许通过融合过程添加3D对象的缺失部分以提[0219]在一些实施例中，实时提取成人居住者和儿童的准确的3D身体和身体特征/头部的交互，以及与可影响儿童和其他乘员安全的驾驶或非驾驶任务相关的驾驶员的行为监被配置为执行飞行时间测量以获取飞行时间数据的飞行时间设备以及被配置为执行雷达域作为先验知识提取关于座舱中的乘客的存在和/或乘于感兴趣的子区域中的座舱中的乘客的存在