CN114144814B 用于测量车辆中对象的质量的系统、装置和方法 （金泰克斯公司）

2022.01.07PCT/IL2020/0507672020.07.09WO2021/005603EN2021.01.14US2013250050A1,2013.09.26PostureAnalysisWith提供用于估计车辆舱室中的一个或多个乘的车辆舱室的2D(二维)图像序列和3D(三维)图态检测算法以得到所述一个或多个乘员的一个或多个骨架表示以及将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的所述一析所述骨架模型以提取所述一个或多个乘员中的每一个的一个或多个特征并且还处理所述骨架模型的一个或多个提取的特征以估计所述一2获得所述一个或多个乘员的多个图像，其中所述多个图像包括述车辆舱室的2D(二维)图像序列和3D(三维)图像序列；对获得的2D图像序列中的每一个应用姿态检测算法以得到所述一个或多个乘员的一将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的所述一个或多个骨分析所述一个或多个骨架模型以提取所述一个或多个乘员中的每一个的一个或多个处理所述骨架模型的一个或多个提取的特征以估计每个所述一个或多个其中所述处理器被配置成并且能够基于预定义过滤标准过滤掉一个或多个骨架模型，态或定向的特定选择规则，其中所述预定义过滤标准包括骨架特征之间的定义空间关系，且其中所述骨架特征之间的定义空间关系包括乘员身体部位之间的定义空间关2.根据权利要求1所述的方法，其中所述预定义过滤标准基于所述2D骨架表示中的一3.根据权利要求2所述的方法，其中所述置信度等级基于所述一个或多个关键点的测述一个或多个输出信号包括每个所述一个或多个乘员的6.根据权利要求5所述的方法，其中所述输出信号与所述车辆的单元中的一个或多个3获得所述一个或多个乘员的多个图像，其中所述多个图像包括述车辆舱室的2D(二维)图像序列和3D(三维)图像序列；对获得的2D图像序列中的每一个应用姿态检测算法以得到所述一个或多个乘员的一分析所述3D图像序列的一个或多个3D图像以提取所述一个或多个乘员的一个或多个将提取的深度值相应地应用于所述骨架表示，以得到所述一个分析所述缩放骨架表示以提取所述一个或多个乘员中的每处理所述一个或多个提取的特征以估计每个所述一个或多个乘员的质量或身体质量其中所述处理器被配置成基于预定义过滤标准过滤掉一个或多个骨架表示以得到有述骨架特征之间的定义空间关系包括乘员身体部位之间的定义空间17.根据权利要求16所述的方法，其中所述预定义过滤标准基于所述2D骨架表示中的18.根据权利要求17所述的方法，其中所述置信度等级基于所述一个或多个关键点的所述一个或多个输出信号包括每个所述一个或多个乘员的所述估计的质量或身体质量分21.根据权利要求20所述的方法，其中所述输出信号对应于所述车辆的单元中的一个照明模块，所述照明模块包括一个或多个照明源，所至少一个成像传感器，所述至少一个成像传感器被配置成捕获所述车辆舱室的2D(二对获得的2D图像序列中的每一个应用姿态检测算法以得到所述一个或多个乘员的一将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的所述一个或多个骨4分析所述一个或多个骨架模型以提取所述一个或多个乘员中的每一个的一个或多个处理所述骨架模型的一个或多个提取的特征以估计每个所述一个或多个其中所述处理器被配置成基于预定义过滤标准过滤掉一个或多个骨架模型以得到有述骨架特征之间的定义空间关系包括乘员身体部位之间的定义空间23.根据权利要求22所述的系统，其中所述预定义过滤标准基于所述2D骨架表示中的24.根据权利要求23所述的系统，其中所述置信度等级基于所述一个或多个关键点的26.根据权利要求22所述的系统，其中所述感测至少一个照明源被配置成以预定义结构光图案将调制光投射29.根据权利要求28所述的系统，其中所述光元件形状是以下各项中的一者或多者：所述一个或多个输出信号包括每个所述一个或多个乘员的所述估计的质量或身体质量分31.根据权利要求30所述的系统，其中所述输出信号对应于所述车辆的单元中的一个33.一种存储计算机程序指令的非瞬态计算机可读存储介质，所述计算机程序指令在获得一个或多个乘员的2D(二维)图像序列和3D(三维)图像序列，对获得的2D图像序列中的每一个应用姿态检测算法以得到所述一个或多个乘员的一将所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的所述一个或多个骨分析所述一个或多个骨架模型以提取所述一个或多个乘员中的每一个的一个或多个5处理所述骨架模型的一个或多个提取的特征以估计每个所述一个或多个乘员的质量其中所述处理器被配置成基于预定义过滤标准过滤掉一个或多个骨架模型以得到有述骨架特征之间的定义空间关系包括乘员身体部位之间的定义空间6[0002]本申请要求2019年7月9日提交的名称为“SYSTEMS,DEVICESANDMETHODSFORMEASURINGTHEMASSOFOBJECTSINAVEHICLE(用于测量车辆中对象的质量的系统、装适应性安全气囊系统利用多级安全气囊来调整安全气囊内的压力。安全气囊内的压力越[0008]用于更新ACU的先前质量估计技术包括利用机械解决方案，例如嵌入车辆座椅内公开了光学重量传感器，该光学重量传感器被配置成确定坐在车辆座椅上的乘员的重量，7个乘员的所述一个或多个骨架表示组合，以得到每个一个或多个乘员的至少一个骨架模型，其中所述骨架模型包括关于所述骨架模型的一个或多个关键点与视点的距离的信息；分析所述一个或多个骨架模型以提取所述一个或多个乘员中的每一个的一个或多个特征；处理所述骨架模型的一个或多个提取的特征以估计每个所述一个或多个89配置成以预定义结构光图案将调制光投射在所[0051]图1A和图1B分别示出了根据本公开的一些实施例的车祸之前和之后的车辆舱室[0052]图1C示出了根据本公开的一些实施例的被配置成且能够捕获场景的图像的成像[0054]图2A是根据本公开的一些实施例的在图1B所示的成像系统中操作的处理器的框[0055]图2B是根据本公开的一些实施例的示出了捕获一个或多个对象的一个或多个图[0057]图4A和图4B示出了根据本公开的一些实施例的包括标注表示的骨架的捕获的图[0059]图4H-4K示出了根据本公开的一些实施例的车辆中的一个或多个乘员的测得质量[0060]图5A和图5B示出了根据本公开的一些实施例的基于预定义过滤标准过滤掉的车[0062]图7A是根据本公开的一些实施例的用于测量车辆中的一个或多个乘员的质量的[0063]图7B示出了根据本公开的一些实施例的包括车辆内部乘客室的组合的3D图层和[0064]图7C是根据本公开的其它实施例的用于确定车辆中的一个或多个乘员的质量的[0065]图8是根据本公开的其它实施例的用于测量车辆中的一个或多个乘员的质量的方[0066]图9A-9C示出了根据实施例的坐在车辆舱室中的一个或多个乘员的质量预测结果得所述一个或多个乘员的多个图像，其中所述多个图像包括2D(二维)图像和3D(三维)图所述3D图像序列的一个或多个3D图像与所述一个或多个乘员的一个或多个骨架表示组合，体地安装和/或嵌入到车辆的舱室中(例如，靠近车辆的前镜或仪表板和/或集成到顶置控所述一个或多个照明源被配置成以预定义结构光图案将一个或多个光束投射在包括一个“图案”用于表示由任何不均匀照明产生的形式和形状，特别是采用具有均匀或不同特性 图案是已知的且经过校准。应用于作为对象的整个成像目标和/或应用于作为成像场景内的对象的特定元件。“对象”乘客舱室包括车辆110单元和感测系统100，该感测系统被配置成且能够获得视觉数据(例(三维)图像并例如实时或接近实时地分析视觉数据和立体数据以得到车辆中的对象(例如车辆的舱室中，使得舱室内部并且舱室中存在的对象可包括例如一个或多个车辆乘员(例统110测量的一个或多个乘员(例如驾驶员111和乘客112)的估计质量的输出信号106、107发生事故的情况下激活一个或多个安全气囊系统，例如驾驶员111的可变强度安全气囊系车辆的电子稳定控制(ESC)；和/或激活停用其中质量估计可相关的车辆的单元中的任一像装置和/或3D成像装置和/或RF成像装置和/或振动传感器(微振动)等等，以捕获车辆舱[0091]在实施例中，系统100可以包含包括一个或多个处理器的计算单元或可以与其进据计算机视觉算法和/或机器学习算法中的一者或多者来分析数据，以估计车辆舱室中一[0092]具体地说，根据实施例，一个或多个处理器被配置成组合车辆舱室的2D数据(例[0094]图1C示出了根据实施例的感测系统102的示意图，所述感测系统被配置成且能够捕获包括一个或多个对象(例如驾驶员111和/或乘客112)的场景(例如车辆舱室)的图像，控制单元被配置成分析捕获的感测数据以确定一个或用于获得场景的3D数据的一个或多个ToF传感器(例如连续波调制(CWM)传感器或其它类型得场景的3D数据的一个或多个立体成像器和用于获得场景的2D的一个可以捕获场景的3D图像或3D视频图像(例如，用于测量场景的深度和场景中的对象的深[0100]照明模块130被配置成使用诸如照明源132、134的一个或多个照明源照射场景[0104]在实施例中，光源134可包括用于生成诸如例如均匀覆盖视场的光斑图案的图案中成像器126的每个像素测量光从照明模块130行进(到对象并返回到焦平面阵列)所花费(例如处理器152)分析测得的感测数据，以基于获得的3D数据提取包括检测到的对象到成被配置成分析所捕获的感测数据以提取视觉数据[0110]图1D示出了根据实施例的感测系统103的示意图，所述感测系统被配置成且能够捕获包括一个或多个对象(例如，驾驶员111和/或乘客112)的车辆舱室的反射的结构光图用于通过定量发射的光信号在从场景中的一个或多个对象中弹回时所遇到的改变来进一[0115]在实施例中，源自对由成像传感器125捕获的图像的分析的深度数据和视觉数据[0116]照明模块133被配置成例如在诸如由照明源135发射的近红外光的一个或多个光[0118]在实施例中，照明模块133可包括用于生成诸如例如均匀覆盖视场的光斑图案的含在电磁波谱的光学范围或部分中的波长的电磁能，所述波长包含人类可见范围或部分(例如，约390nm-750nm)中的波长以及/或者电磁波谱的近红外(NIR)(例如，约750nm-中成像器127的每个像素测量光从照明源135行进(到对象并返回到焦平面阵列)所花费的度参数，例如检测到的对象到成像装置的距离。例如，由一个或多个处理器(例如处理器152)分析测得的感测数据以从图案图像提取包括检测到的对象到成像装置的距离的3D数[0125]任选地，成像装置124和控制单元150一起集成在单个装置或系统(例如系统100)由处理器152的各种实体执行的功能在不同实施例中可[0130]在一个实施例中，如上文所述，捕获模块212获得由照明器照射的对象的3D图像和/或由立体传感器和/或ToF传感器获得的图像，所述照明器将具有特定照明图案的结构象的深度图表示指包含关于对象的表面的不同部分和/或场景与指定视点的距离的信息的[0133]在一些实施例中，深度图模块214基于光图案与图像传感器之间的三角测量来生[0134]图3A示出了根据实施例的包括反射光图案光斑的捕获的图像335的实例。为了说表示在距摄像头约140cm距离内连续地改变为黑色标度，以此类推，颜色标度根据距离变深度表示图像287。例如，驾驶员腿上的反射点簇(由椭圆345呈现)通常距摄像头约20-[0135]姿态估计模块216从2D图像数据存储器234检索捕获的车辆的被照射的乘坐对象例中，集成过程包括以计算方式组合形成的骨架(2D骨架)和深度图表示以得到骨架模型，对象的全部或几乎全部主要部分的对象的身体姿态(例如，由骨架模型标记)或身体部分。过滤标准的非限制性实例包括：已识别对象的骨架特征和/或已识别异常姿态之间的定义员522的肩部与躯干之间的空间关系与预定义的比例参数不匹配，因此图像501将被丢弃。波模块222检索以相应地丢弃或确认乘员的捕获的图像和/或[0144]在一些情况下，生成的高密度参数存储在感测系统(例如系统100、102或103)处[0145]根据实施例，质量预测模块224从骨架模型数据存储器24[0147]处理器152的3D图像数据存储器232存储捕获的特定对象(例如，人员)或场景(例据存储器232中的捕获的3D图像可以是包括对应于投射到对象上的照明图案的特定图案特图像可以是从立体摄像头或ToF传感器或任何已知3D捕获装置或[0148]处理器152的深度图数据存储器234存储由深度图模块214生成的对象的深度图表[0149]处理器152的深度图表示数据存储器236存储由深度图模块214生成的对象的深度[0150]处理器152的标注数据存储器238存储由姿态估计模块216生成的对象的骨架表示述图像包括两个成像乘员，即图像410中的驾驶员404和乘客406以及图像422中的驾驶员的标志(例如，关键点)并通过连接线链接已识别标志来识别和定位乘客身体的主要部位/[0156]图4H-4K示出了根据实施例的车辆中的一个或多个乘员的估计质量随乘员的各个[0158]在一个实施例中，姿态估计模块216使用例如从滤波器数据存储器获得的一个或与对象的特定部分相关联来识别原始图像(270)中的捕获的对象的姿态和/或定向(272)。级(如上文所述)检验每个已识别对象的可靠性并应用空间中的每个已识别点的置信度等和/或定向和/或置信度等级将捕获的图像拆分成一个或多个图像(276)，以生成每个已识理器152接着将深度图表示(264)与骨架标注表示(278)集成(例如组合)以得到每个对象的获得的图像随时间(t)推移的提取的对象特征以确定场景中的每个对象的质量(280)或质[0169]图5A和5B示出了根据实施例的基于预定义过滤标准过滤掉的车辆的内部乘客室图像500中所示的此类位置的质量估计是困难的且不准确(由于预定义过滤标准中定义的[0171]图5B示出了坐在车辆的驾驶员座椅上的驾驶员522的捕获的图像501和叠加在驾[0173]图7A是根据实施例的用于测量车辆中的一个或多个乘员的质量的方法700的示意坐在车辆座椅上的一个或多个乘员的质量，以及相应地输出一个或多个信号以激活和/或提供与车辆单元或应用程序中的一者或多者的激活相关联的信息。方法700的一些阶段可3D图像是包括反射光图案和/或ToF数据和/或任何立体数据的图像，而2D图像是不包括诸[0175]在步骤720处，对获得的2D图像序列应用一个或多个姿态检测算法以检测车辆舱置；定向；身体器官；乘员的身长和身宽。例如，可以通过对图像和/或密集姿态应用DNN(深度神经网络)的神经网络应用于每个获得的2D图像以在每个已标识乘员上生成(例示在形成如图4A和4B所示的骨架表示的捕获的身体图像处检测到的身体标志(例如，关节[0177]在一些实施例中，姿态估计方法被配置成提取乘员和/或乘员周围环境的一个或[0183]例如，图7B根据实施例示出了包括车辆内部乘客室782的组合的3D图层和骨架层的图像780。图像780示出了坐在车辆座椅处的乘客785和用于估计每个相关身体部分距图架通过由连接线连接乘客身体处的若干对选定关键立体摄像头和/或ToF传感器)来获得3D图像和/或提例包括已识别对象的骨架特征和/或已识别异常姿态之间的定义的空间关系。被丢弃的姿度模型方法包括将每个对象骨架配置放置在高维度空间中并丢弃在距此空间中的高密度实施例中，分析过程包括将提取的有效骨架模型的特征插入测量模型(例如预训练回归模型)，所述预训练回归模型被配置成基于当前和先前(t-i)质量测量值估计乘员在时间(t)[0190]图7C是根据实施例的用于估计车辆中的一个或多个乘员的质量的方法705的示意[0193]图8是根据另一实施例的用于测量车辆中的一个或多个乘员的质量的方法800的的3D图像可包括对应于投射到对象上的照明图案的特定图案特征。图案特征可以是条纹、示在形成如图4A和4B所示的骨架表示的捕获的身体图像处检测到的身体标志(例如，关节[0199]在一些实施例中，姿态估计方法被配置成提取乘员和/或乘员周围环境的一个或取的一个或多个特征和预定义过滤标准过滤掉(例如，去除或删除)一个或多个2D骨架模如乘员的坐姿不标准或者由于乘员相对于图像传感器成像的角度使得可能无法完全看到限制性实例包括已识别对象的骨架特征和/或已识别异常姿态之间的定义的空间关系。被度模型方法包括将每个对象骨架配置放置在高维度空间中并丢弃在距此空间中的高密度[0207]在步骤860处，将测得的例如每个乘员或每个图像的标度因子相应地应用于相关[0210]图9A示出了根据实施例的基于随时间推移对捕获的图像的分析以及过滤掉车辆中的乘员的无效图像，车辆舱室中的一个或多个乘员的质量预测结果(Y轴)随这些乘员的[0213]在一些情况下，对乘员的非标准位置(例如图像910中所示的位置)的识别可用于所属领域技术人员将认识到，作为非限制性实例，合适的服务器操作系统包含FreeBSD、OpenBSD、NetBSD®、Linux、AppleBMacOSXserverg、oracle@solaris@、Windowsserverg以及Novell⃞NetwareE。的个人计算机操作系统包含MicrosoftB、windowsB、AppleBMacos以及例如GNU/Linux@之类的UNIX类操作系统。在一些实施例中，操作系统由云计算提供。所属领域技术人员还将认识到，作为非限制性实例，合适的移动智能电话操作系统包含Nokia8、symbian⃞OS、Apple⃞iosB、ResearchInMotion@、BlackBerryWindowsMobilegOS、LinuxE以及palm&、webos@。算机可读存储介质，所述程序包含可由任选地联网数字处理装置的操作系统执行的指令。[0223]计算机可读指令的功能性可以按需要在各种环境中组合或分布。在一些实施例TMTMSymbianSDK、webOSSDK以及windows@MobileSDK。应用程序，所述移动应用程序包含AppleB应用商城、AndroidTM市