CN119495074A 基于多模态融合的自动驾驶安全性辅助方法和系统 （中国科学院重庆绿色智能技术研究院）

院基于多模态融合的自动驾驶安全性辅助方本发明涉及基于多模态融合的自动驾驶安视觉图像数据和非视觉图像数据进行预处理；发明方法能够有效地识别和聚合与行人行为相2觉编码器(31)和非视觉编码器(32)分别采用深度学习网络实现对应的预处理后的视觉图6.应用于权利要求1～5任意一项所述的基于多模态融合的自动驾驶安全性辅助方法，S2：预处理单元(2)对数据存储单元(7)中的视觉S3：利用特征编码器(3)对预处理后的视觉图像数据和非视觉图像数据分别进行特征S7：将预测行人行为类型结果存储到数据存储单元3S202：将视觉图像数据中的行人进行图像分割，对具体的，视觉图像特征第t帧的视觉图像特征It对应的局部密度ρt为：非视觉图像特征ro-第t帧的非视觉图像特S402：计算任意一帧的视觉图像特征和非视觉图像S403：分别从局部密度较高、最短距离较大的视4iS505：将视觉图像事件融合特征Hv和非视觉图像事件融合特征进行进一步的融合，10.根据权利要求6所述的基于多模态融合的自动驾驶安全性辅助方法，其特征在于，5[0003]传统的行人意图预测方法主要依赖于对行人运动轨迹、姿态和面部表情的分其引入时序合并模块(TemporalMergingModule，简称TMM)和上下文注意力模块编码器分别采用深度学习网络实现对应的预处理后的视觉图像数据和非视觉图像数据的6[0013]S2：预处理单元对数据存储单元中的视觉图像数据和非视觉图像数据进行预处[0015]S4：利用时序合并模块分别对视觉图像特征和非视觉图像特征进行关键事件划[0016]S5：利用上下文注意力模块对对视觉图像事件和非视觉[0023]步骤S3中所述特征编码器分为视觉编码器和非视觉编码器，将视觉编码器得到T7pr=exp(-非视觉图像特征第t帧的非视觉图像特[0028]具体的，从第t帧的视觉图像特征It到任何具有更高密度的视觉图像特征的最短距离δt为：[0030]类似的，从第t帧的非视觉图像特征Jt到任何具有更高密度的非视觉图像特征的8为可训练的权重。[0055]所述的多模态传感器(1)包含视觉图像传感器(11)和非视觉图像传感器(12)，分别按照周期采集视觉图像数据和非视觉图像数据；所述的预处理单元(2)分别与数据存储码器(32)分别采用深度学习网络实现对应的预处理后的视觉图像数据和非视觉图像数据9特征进行提取；所述的非视觉编码器(32)采用的是基于Video_VIT_small模型架构的[0066]S3：利用特征编码器(3)对预处理后的视觉图像数据和非视觉图像数据分别进行[0067]将所述特征编码器分为视觉编码器和非视觉编码器，将视觉编码器得到T帧视觉[0068]S4：利用时序合并模块(4)分别对视觉图像特征和非视觉图像特征进行关键事件pr=exp(-非视觉图像特征第t帧的非视觉图像特[0073]具体的，从第t帧的视觉图像特征It到任何具有更高密度的视觉图像特征的最短距离δt为：[0075]类似的，从第t帧的非视觉图像特征Jt到任何具有更高密度的非视觉图像特征的[0078]S5：利用上下文注意力模块(5)对对视觉图像事件和非视觉图像事件进行特征融为可训练的权重。8张NVIDIAGTX1080Ti显卡的计算平台哈桑进行了对比实验，使用Pytorch深度学习框架[0098][1].BhattacharyyaA,FritzM,SchieleB.Long_termon_boardpredictionofpeopleintrafficscenesunderuncertainty[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2018:4194_4202.+[0099][2].KotserubaI,RasouliA,TsotsosJK.Dotheywanttocross？understandingpedestrianintentionforbehaviorprediction[C]//2020IEEE[0100][3].KotserubaI,RasouliA,TsotsosJK.Benchmarkforevaluatingpedestrianactionprediction[C]//ProceedingsoftheIEEE/CVFwinterconferenceonapplicationsofcomputervision.2021:12[0101][4].LorenzoJ,AlonsoIP,IzquierdoR,etal.Capformer:Pedestriancrossingactionpredictionusingtransformer[J].Sensors,2021,21(17):5694.+[0102][5].YangD,ZhangH,YurtseverE,etal.Predictingpedestriancrossingintentionwithfeaturefusionandspatio_temporalattention[J].IEEETransactionsonIntelligentVehicles,2022,7(2):221_23[0103][6].HamJS,BaeK,MoonJ.Mcip:Multi_streamnetworkforpedestriancrossingintentionprediction[C]//EuropeanConferenceonComputer[0104][7].DongM.PedestrianCrossForecastingwithHybridFeatureFusion[C]//AsianConferenceonMachineLearning.PMLR,2024:327_342.+Hybrid_Grouppedestriancrossingbehaviorprediction[J].arXivpreprintarXiv:2105.04133,[0106][9].ZhouY,TanG,ZhongR,etal.Pit:Progressiveinteractiontransformerforpedestriancrossingintentionprediction[J].IEEETransactionsonIntelligentTransportationS[0107][10].ZhangZ,TianR,DingZ.Trep:Transformer_basedevidentialpredictionforpedestrianintentionwithuncertainty[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence.2023,37(3):3534_35[0108][11].RasouliA,KotserubaI,TsotsosJK.Pedestrianacusingcontextualfeaturefusioninstackedrnns[J].arXivpreprintarXiv:[0109][12].LvN,HuangY,ZhangH,etal.PedestrianCrossingPredictionwithPathwiseFeatureFusionandStackedGateRecurrentUnit[J].IEEESensors0.5__0.74____0.520.590.710.940.80.50.580.71____0.55__0.74____0.540.920.740.950.850.550.940.78____0.910.970.79____0.910.740.850.750.980.80.830.710.990.730.940.760.450.930.360.830.840.720.960.80.860.870.77____0.880.840.90.960.840.85__0.78____0.870.890.81____0.850.90.770.810.740.880.870.920.890.96√0.860.850.910.880.93√0.840.850.910.860.97√√0.880.870.920.890.96存储有可被至少一个处理器执行的计算机程序，处理器(91)可以根据存储在只读存储器(ROM)(92)中的计算机程序或者从存储单元(98)加载到随机访问存储器(RAM)(93)中的计设备(90)通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信[0126]处理器(91)可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器机程序的部分或者全部可以经由ROM(92)和/或通信单元(99)而被载入和/或安装到电子设机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[01