CN115768664B 用于对车辆舱室进行监控的系统和方法 （沃伊亚影像有限公司）

2022.12.22PCT/IB2021/0535282021.04.28WO2021/220190EN2021.11.04US2008042477A1,2008.02.21US2014300515A1,2014.10.09US2016046261A1,2016.02.18US2019254544A1,2019.08.22本发明提供了用于对车辆舱室进行监控的央的雷达单元来获取车辆舱室的图像数据并且使用处理器来生成对车辆舱室内的座位的占用2至少一个发射器天线，所述至少一个发射器天线连接至振至少一个接收器天线，所述至少一个接收器天线被配置成接处理器单元，所述处理器单元被配置成从所述雷达单元接收原始数据通过从3D图像中去除背景，来对获得的所述3D图像中的一幅或更多幅其中，所述输出单元被配置成并且能够操作成：如果至少基于所述3D图像中用于每个集群的点的分布并且根据车辆几何形状对一名或更多名对所述车辆舱室的座位的至少一名占用者的骨骼点进行识3所述车辆舱室的至少一名占用者的生命体征进至少一个发射器天线，所述至少一个发射器天线连接至振至少一个接收器天线，所述至少一个接收器天线被配置处理器单元能够操作成基于所接收到的数据生成图通过去除旁瓣、多径、热噪声和杂波中的至少一者的贡献来对所述3对所述车辆舱室内的座位的至少一名占用者的姿势4基于所述3D复杂图像中用于每个集群的点的分布并且根据车辆几何形状来对一名或对所述车辆舱室的座位的至少一名占用者的骨骼点进行识5[0002]本申请要求于2020年5月6日提交的美国临时专利申请第63/020,691号、2020年4月28日提交的美国临时专利申请第63/016,314号、2020年7月26日提交的美国临时专利申[0003]本文的公开内容涉及用于基于雷达对车辆的舱室进行监控的系统和方法。具体诸如占用对象的质量或体型或方向之类的监测到的参数来对车辆系统进行器包括用于识别每个座位是否被占用、婴儿是否在前排座位中以禁用安全气囊等的传感[0007]车辆允许搭载的乘客的数目是有限制的。关于车辆的不同座位也有尺寸和重量对象以及远场对象可视化并且基于它们的反射特性对这些在识别彼此非常接近的目标或在移动环境中发现的目标时缺乏实现足[0014]拥有大量传感器对车辆的内部进行监控会导致费用问题6[0027]通过在脉冲模式下操作，脉冲发信号的时段之后是数据7处理单元接收来自雷达接收器的电磁信号，并且使用经训练的深度神经网络(DNN)对人类别的车辆的每个座位处的关键骨骼点被发送到8[0045]图1示出了车辆舱室的示意图，该示意图示出了雷达传感器阵列可以位于何处以[0046]图2是示出根据本发明的方面的用于确定车辆的座位占用信息的示例性方法的示[0061]图9C是示出根据本发明的实施方式的雷达信号处理级的第一实施方式中所采用[0062]图9D是示出根据本发明的实施方式的雷达信号处理级的第二实施方式中所采用[0063]图9E是示出根据本发明的实施方式的雷达信号处理级的第三实施方式中所采用[0064]图9F是示出根据本发明的实施方式在目标处理阶段中所采用的处理步骤的流程[0065]图10A是根据本发明的实施方式的作为对人类对象测量的径向位移作为时间函数[0066]图10B描绘了根据本发明的实施方式的对于两个已识别元素的谱功率密度的两个[0067]图11A至图11E描绘了根据本发明的实施方式的在处理坐在汽车内部环境中的乘9[0068]图12是描绘根据本发明的实施方式的在活动检测模式期间所采用的一个操作循[0069]图13是示出如何使用车辆的舱室的3维复杂雷达图像来提取关于哪些座位被占用[0078]图19示出了座位布置，该座位布置示出了与图18的座位布置相对应的座位的布[0084]图25是座位5的侧视图，该侧视图示出了信号集群的上边界和下边界以及前向和通过单个传感器对车辆舱室内的乘客进行监控，传感器的可能位置可以位于舱室的中央，[0088]本公开的方面涉及用于使用雷达传感器确定车辆中的座位占用信息的系统和方助于对安全设备进行操作并且对留在车辆内的任个传感器布置提供了对车辆舱室的多功能监控并且代替迄今为止所需的[0093]与本文所述的那些相似或等效的替代方法和材料可以用于本公开的实施方式的[0095]还示出了雷达传感器阵列160，该雷达传感器阵列160位于车辆的舱室165内部并[0097]优选的实施方式使用与数字信号处理器(DSP)和存储器一起集成到芯片中的雷达[0098]另一实施方式使用基于具有从3GHz至81GHz的雷达频带的先进的RF技术实时创建[0106]雷达收发器阵列210耦接至用于存储先前的读数的存储器214并且通过检测到的[0108]为此目的使用雷达信号的优点是它们不会被大多数织物和被许多非织物材料阻[0113]被存储在存储器326中的先前的信息被传送至预处理单元312。预处理单元312因[0114]系统300的处理单元312，无论是与雷达收发器阵列310集成还是与雷达收发器阵[0115]另外地，处理单元312可以耦接至用于将关于占用的数据发射至云的数据发射器[0117]各种系统和方法可以被用于对诸如乘客的呼吸频率和心率的生命体征进行监[0119]这种系统的示例在申请人共同未决的申请号为PCT/IB2021/051380的国际专利申[0121]传感器芯片160和处理可以仅在诸如关门、车辆加速或停止等的事件之后的短时感器阵列基于雷达频段为3GHz至81GHz的先进的RF技术实时创建高分辨率图像，该传感器[0123]通过在脉冲模式下操作并且具有间歇性停机时间，诸如[0127]参考图4A，已经出人意料地发现将雷达芯片410(雷达芯片410可以是图1的芯片[0128]制造具有嵌入式雷达芯片410的天窗450使得雷达芯片410的安装特别容易。将传感器连接至车辆以提供数据和电力的导线412也可以将热从雷达芯片410中并且可选地用热传导环氧树脂或热塑性塑料保持就位，该热传导环氧树脂或热塑性[0135]将本文描述的雷达收发器传感器阵列或在芯片上集成的雷达附接至或嵌入天窗两排舱室的前排中的驾驶员座位或乘客座位大致位于舱室的中央。即使在较大的车辆中，是，就位于汽车的头枕中的传感器设备517可以被很好地定位以对汽车座位的占用者的生统具有安装在PCB板的正面表面上的发射和接收天线的阵列，以用与正面表面位于同一侧的通信设备发射和接收电磁信号。该系统还可以包括安装在PCB的边缘处的接收天线的阵[0144]在其他系统中，安装在PCB上的反射器可以被定向成使得发射器天线的阵列发射从目标区域内的对象接收到的、径向朝向反射器的波在垂直于PCB板的方向上朝向接收天[0146]这种系统的示例在申请人共同未决的申请号为PCT/IB2021/051380的国际专利申[0147]还应注意的是，结合雷达传感器的耳机单元可以被提供以被改装到汽车座位上。[0149]如果检测到来自座位方向的接收到的信号与预期来自空座位的信号之间存在显[0153]与本文所述的那些相似或等效的替代方法和材料可以被用于本公开的实施方式[0157]这种系统的示例在申请人共同未决的申请号为PCT/IB2021/051380的国际专利申测量来自驾驶员的颈部的后部的反射的辐射来对驾驶员的生命体征进行监控。以这种方[0164]指示呼吸或被检测到的心跳的胸部的移动可以被用于区分有生命的对象和无生[0169]处理单元可以通过云计算技术耦接至数据库并且被配置成对与座位占用有关的[0177]处理单元可以通过云计算技术耦接至数据库并且被配置成对与座位占用有关的对生命体征进行监控并且通过云向紧急救援人员指[0191]通过对婴儿的移动、呼吸和心脏活动进行监控并且在某物出现错误时提醒驾驶[0192]如果驾驶员的呼吸或心脏活动显示为偏离正常值，则可以建议驾驶员靠边停车[0194]本发明的系统可以被提供给由人类驾驶的车辆以及自动驾驶车辆和半自动驾驶控制以从驾驶员接管发出这种情况发生的信号或指示他/她正在经历某种健康危机，诸如处理单元312可以被配置成使用经训练的深度神经网络(DNN)从接收到的信号中提取人类[0200]所提取的PKP被用于识别乘客在车辆的每个座位处的骨骼点。在本发明的特定实沿着从骨盆平行于地板的线或甚至在从骨盆平行于地板的线以下[0206]在车辆的每个座位处所识别的关键骨骼点可以被发送至处理单元316。处理单元[0215]匹配单元或结论引擎318还可以帮助对每个占用者的就位或错位进行检测。就位[0217]规则数据库320为特定座位确定的一些示例性动作可以包括在被认为不安全的情[0218]来自匹配单元318的占用信息可以被用于检测何时乘客有困难或婴儿被留在车辆式是可操作的以对生命体征进行监控并且通过云向紧急救[0228]如果驾驶员的呼吸或心脏活动显示为偏离正常值，则可以建议驾驶员靠边停车务器的形式远程定位。通信器322可以通过网络连接将确定的动作传送到输出单元324a和统等使用。[0230]预处理单元312、数据库314和处理单元316中的一者或更多者可以被集成在车辆单元312从接收到的EM波中提取人类关键点(PKP)，并且在步骤710针对车辆的每个座位识元318将从预处理单元112接收到的关键骨骼点与从数据库314接收到的标准乘客参数进行配单元118基于关键骨骼点与被存储在数据库314中的标准类别_年龄_身高关系的比较来个占用者的年龄类别以及每个占用者的就位或[0241]本发明的进一步应用提供对个体在具有特定背景特征和监控要求的特殊环境中[0249]现在转向附图，图8是根据实施方式的包括耦接至射频(RF)模块1的天线阵列2的MIMO成像设备的示意框图，该射频(RF)模块1链接到与存储器7和输出设备9进行通信的处供不同的反射率。鉴于先前时间帧的反射率数据而分析反射率数据使得能够检测相关移系统会基于每个时间帧的反射率数据来重复构建图像；与前一时间帧的反射率数据无关。[0252]循环从步骤10开始，在此开始新时间帧的采集和处理[0258]图9B是详细说明来自图9A的雷达信号采集步骤(步骤20)的进行处理以产生复相量，这些复相量表示接收到的信号相对于发射的信号的相位和幅度[0260]图9C是详细说明在本发明的实施方式中来自图9A的雷达信号处理步骤(步骤30)素集合V的元素在空间上符合坐标系统。可以根据最方便的方式选择用于体素集合的特定V处[0263]其中λ和∈是实数标量参数，这些实数标量参数被选择以使噪声对最终值的影响[0275]图9D是详细说明在本发明的实施方式(与图9C所描述的实施方式分开)中的来自[0276]图9E是详细说明在本发明的实施方式(与图9C和图9D所描述的实施方式分开)中位检测程序来对每个时间模式进行处理，以产35c中，每个与时间无关的信号模式被用于以类似于上文描述的方式产生用于对应元素的[0277]图9F是详细说明在本发明的实施方式中的来自图9A中的目标处理步骤(步骤40)通过对目标内每个元素的空间模式和时间位移数据进行检[0278]在步骤45中，每个人类目标内的元素的时间位移数据被用于产生谱功率分布模人体部分的元素进行识别。然后使用该识别来生成附加数据，诸如人类姿势和活动类型[0281]图10A示出了径向位移与时间的曲线图，如通过根据本发明的实施方式的方法和[0282]图10B描绘了由根据本发明的实施方式的方法和设备识别的两个元素的谱功率密示具有彼此不同周期性的运动。然后使用每个元素来计算对应的速率参数：呼吸速率(以[0289]图11A描绘了3D图像的2D俯视投影，由安装在汽车的乘客舱室的车顶的MIMO雷达[0301]附加的节能措施包括根据不同的功耗或启用模式而启用减少数目的雷达、发射/备被配置成响应于检测到呼吸速率或心跳速率的[0308]另一车辆监控应用是在发动机脱离接合和车门锁定后的阈值时间量之后对留在[0310]在某个实施方式中，车辆监控设备被配置成在发动机关闭和/或车门被锁定时根据上述高启用模式和中间启用模式中的至少一者进行预定的循环次数和/或时间段而被启现而继续监控。[0316]本公开的方面涉及用于对车辆的各种座位中的车辆占用者进行分类的系统和方[0323]压力传感器提供有关重量的信息，但不提供有关占用者的形状或体型的任何信[0328]发射元件和接收元件的阵列被用于生成与车辆内部以及可能的车辆周围的预定[0329]在通过引用并入本文的题为“DETECTINGANDMEASURINGCORRELATEDMOVEMENT发表在IEEE天线和传播事务(IEEEtransactionsonantennasandpropagation)的2000年5月，第48卷，第5期，第728_737页的“3_DRadarImagingUsingRangeMigration[0331]用于为发射和接收元件阵列构建这种复杂图像的已知算法是延迟求和算法(DAS，GiosueCaliano、GiuvanniMagenes发表在IEEE医学影像汇刊(IEEETransactionson法(TheDelayMultiplyandSumAlgorithminUltrasoundB_ModeMedicalK.Katsaggelos发表在IEEE信号处理杂志(IEEESignalProcessingMagazine)，2018年1(UsingDeepNeuralNetworksforInverseProblemsinImaging:BeyondAnalytical于成像逆问题的卷积神经网络：综述(ConvolutionalNeuralNetworksforInverse定座位是否被占用——步骤126。这个决定可以由占用者动态模型的结果来补充——步骤[0340]基于车辆几何形状和对于每个集群的点分布(可能在若干帧之上)计算每个集群被分配给特定类别的可能性，并且这可以被平滑——步骤138以将座位的占用者分配给特[0347]参考图14A，示出了表示图像的信号的时间演变。图像集合可以被分解为两个分[0359]这种分解假设观察值是统计独立来源的线性混合。分解的目标是寻找独立的来[0378]如下所述，可以使用若干不同方法中的一种或更多种方法来生成最终图像的概率进行分配。[0396]只有方法2才需要使用DBSCAN算法进行集群，因为方法1每个分量只留下一个集辆中的座位与每个占用者相关联以确定座位q[0424]在为每对{k，q}确定了集群q与座位k相关联的概率时，每个集群(q)就可以与pkq[0458]另一种选项是使用上层的决策得出占用者的数目和位置(为每个占用者提供[x，座位的情况下，中央点被限定为直接在座位(z坐标)上并且在预期成人的强度的中心(x坐[0482]zero_mean_weighted_points＝sqrt(weights).＊(iSeat_ts_XYZ_gmm_[0483]gmm_params.cov＝(zero_mean_weighted_points′＊zero_mean_weighted_[0488]所有3个笛卡尔坐标轴的极端(最大/最小)坐标给出了3D区域中占用的区域的测…yN[0506]低于座位水平的能量(energybelowtheseatlevel)可以指示幼儿是否在座位[0510]本文使用的技术术语和科学术语应具有与本公开所属领域的普通技术人员通常前提是附加的要素和/或步骤不会实质性地改变要求保护的组合物或方法的基本特性和新任何实施方式不一定被解释为优选的其他实施方式或优于其他实施方式或排除与其他实述的本公开的各种特征也可以单独提供或以任何合适的子组合或适合于本公开的任何其[0521]所公开的主题的范围由所附权利要求限定并且包括上文描述的各种特征的组合