CN119502679A 一种车载vr后排娱乐方法 （上海博汽智能科技有限公司）

载VR娱乐系统中影像成像精度低，本申请利用DCTplate负反射平板透镜和平面反射镜生成高2通过DCTplate负反射平板透镜对控制器传输的影像数据进行处理，生成空中成像数通过DCTplate负反射平板透镜的光学衍射和相位调制作用，对入射根据DCTplate负反射平板透镜的衍射光栅的参数，对影像数据的空间频率进行调制，根据DCTplate负反射平板透镜的相位调制液晶层中液晶分子的取向状通过DCTplate负反射平板透镜的出射端对相位调制后的影像数据进行光场波前重构，构建视差估计和光场修复的目标函数；其中，视差估计目标采用交替方向乘子法对重构目标函数进行求解，通过将重构目标函数3表示车辆运动引起的视差变化；γ表示平衡因子，用于控制视角获取DCTplate负反射平板透镜的出射角度数据和平面反射镜的位置参将空中成像光场数据输入平面反射镜，利用平面反射镜的反射特根据预设的成像平面的位置参数，将反射后的空中成像光场数据投影根据预设的语音控制指令集，将语音识别结果数据转化为与语通过车载娱乐系统中的红外传感器阵列采集用户手势的原始图像数据，4利用预训练的卷积神经网络模型，对手势区域的红外图像数据进行特征提取和分类，根据预设的手势控制指令集，将手势识别结果数据转化为与控制指获取实像数据中的三维坐标数据，根据三维坐标数据，通过三维将第一控制指令中的语音控制指令数据转化为虚拟对象的运动参根据更新后的三维空间交互模型中用户和虚拟对象的空间位置和交互状态，根据触发的交互事件的类型，从预设的交互控制指令集中选择对应的交互控制指令，将生成的交互控制指令数据与三维空间交互模型中的虚拟对象的空5控制指令和手势控制指令更新三维空间交互模型，判断用户与虚拟对象之间的交互行为，6取向状态，对频域调制后的影像数据进行相位调制，生成相位调制后的影像数据；通过78[0018]其中，i,j,m,n表示参考视角像素块Pi,j与其他视角像素块Pm,n之间的权重1表示全变分正则项的平衡因子，用于控制全变分正则复目标函数中的权重，以平衡光照先验信息对修的平衡因子，用于控制视差一致性约束项在光场空中成像光场数据中包含空中成像数据对应的虚像信息；根据预设的成像平面的位置参9[0023]反射角度参数描述了平面反射镜表面法线方向相对于入射光线方向的角度关[0026]其中，深度信息指的是描述物体在三维空间中距离观测点或参考平面距离的数用户和虚拟对象的空间位置和交互状态，计算用户与虚拟对象之间的空间距离和相对姿[0030]运动参数是描述虚拟对象在三维空间中运动状态的一组量。常见的运动参数包[0034]通过DCTplate负反射平板透镜的衍射光栅对影像数据的空间频率进行调制，再[0036]根据DCTplate出射角度和平面反射镜位置，通过几何光学计算确定反射镜的反预设成像平面，几何光学的反射定律保证了虚像到实像转换过程中成像信息的无损映射，[0044]图1是根据本申请一些实施例所示的一种车载VR后排娱乐方法的示例性流程图,的传输和VR应用的协同。PICO4采用了先进的Pancake光学透镜技术，大大减轻了设备重[0048]RK3588作为车载娱乐系统的主控芯片，具有强大的计算能力和丰富的接口资种特殊的光学元件，其表面覆盖了精细的衍射光栅结构，当影像光线照射到DCTplate上子带HLi、LHi和HHi，计算其噪声方差σi，并根据噪声方差自适应地确定小波阈值Ti：[0051]图像增强采用了基于Retinex理论的多尺度融合增强算法，对输入的影像数据进i为第i个尺度下的高斯滤波器，*为卷积运算。对每个[0055]相位调制，根据DCTplate负反射平板透镜的相位调制液晶层中液晶分子的取向[0059]视差估计目标函数Ed用于最小化不同视角光场数据间的视差误差，表达式如下：其中，Pi,j表示γ表示平衡因子，用于控制视角先验项和运动约束项的影响权重。利用(i,j)在光场修复目标函数中的影响权重，S(i,j)的取值可以根据光照条子，用于控制视差一致性约束项在光场修复目标个视角的每一个角度坐标(u,v)，通过插值计算其在第n+1个视角的对应光场数据值Ln+1v)=⃞w,XL,a(i+k,+l,u,v),其中，(i',j')为第n个[0073]利用平面反射镜对空中成像数据对应的虚像进行反射，生成实像数据；获取DCTplate负反射平板透镜的出射角度数据和平面反射镜的位置参数，获取DCTplate负反射平板透镜的出射角度数据θ0，表示空中成像光场数据从数θr。设空中成像数据的虚像位置为(xv,yv,zv)，通过以下几何关系计算反射角度θr：通过以上ssi到降噪后的语音频谱x(f,t)=x(f,t)-N(f,t)。对降噪后的语音频谱进行反语音段。否则，将该帧标记为非语音段。对连续的语音段进行合并，得到完整的语音段预加重后的语音信号进行分帧和加窗，得到一系列语音帧对每一帧语音数据进行快速傅里叶变换(FFT)，得到语音帧的频谱将频谱通过Mel滤波器通过卷积层和池化层提取语音特征的高层表示，并通过全连接层和Softmax层输出语音识gg[0088]手势区域深度信息的提取，根据红外传感器阵列的三维结构和红外光的反射原元的距离对所有传感器单元的距离值di,j进行平均或中值滤波，得到手势区域的平均深度d().平均滤波：其中N为传感器单元的总数。中值滤波：器阵列采集的原始图像数据中提取手势区域的位置坐标(xc,yc)和平均深度的过程。d(),从原始图像数据I(x,y,t)中提取手势区域的红外图像数据。gggg过卷积层和池化层提取手势图像的高层特征，并通过全连接层和Softmax层输出手势识别[0091]将手势识别结果数据转化为手势控制指令数据，根据预设的手势控制指令集H=[0094]通过三维重建算法构建三维空间交互模型，将三维空间划分为规则的体素网格的手部或交互设备是否与虚拟对象发生碰撞。常用的碰撞检测算法包括基于层次包围盒[0098]更新三维空间交互模型中虚拟对象u距离是否满足阈值条件：将计算得到的空间距离d与预设的空间距离阈值dthreshold进行比较。如果d≤dthreshold，则认为用户与虚拟对象之间的距离满足交互条件。空间距离阈值dthreshold可以根据具体应用场景和交互需求进行设置，表示用户与虚拟对象之间的最大交[0103]判断相对姿态是否满足阈值条件：将计算得到的相对姿态矩