CN114270403B 用于检索多光谱brdf参数的计算机实施的方法和系统 （西门子工业软件公司）

2022.02.14PCT/EP2019/0719962019.08.16WO2021/032264EN2021.02.25US2018047208A1,2018.02.15用于检索多光谱BRDF参数的计算机实施的总体上本发明涉及用于通过使用红绿蓝深度(RGB_D)数据来检索多光谱双向反射分布函数括以下步骤：由RGB_D相机拍摄(S1)场景中一个体的所拍摄的至少一个图像包括RGB_D数据，RGB_D数据包括物体的颜色和几何形状信息；由处理单元通过使用RGB_D数据来将一个或多个物体的所拍摄的至少一个图像重建(S2)为一个或代优化方法逼近经分类的BRDF来检索(S4)多光21.一种通过使用红绿蓝深度RGB_D数据来检索多光谱双向反射分布函数BRDF参数的计3.根据权利要求1和2中任一项所述的方法，其中5.根据权利要求1和2中任一项所述的方法，其中，7.根据权利要求3所述的方法，其中，所述迭代优化包括L2范数优化或Levenberg_9.一种通过使用红绿蓝深度RGB_D数据来检索多光谱双向反射分布函数BRDF参数的系_使用所述深度神经网络（20基于所述3D重建来对所述一个或多个物体的表面上的311.一种包括程序元素的计算机程序产品，当所述程序元素被加载到电子设备的存储器中时，所述程序元素促使所述电子设备执行根据权利要求1_8中任一项所述的方法的步4[0009]根据第一方面，本发明涉及一种用于通过使用红绿蓝深度RGB_D数据来检索多光体的所拍摄的至少一个图像包括RGB_D数据，该RGB_D数据包括物体的颜色和几何形状信[0011]RGB_D相机的使用提供了包括物体的高度准确的信息的图像。RGB_D图像是RGB图5[0013]_由处理单元通过使用RGB_D数据来将一个或多个物体的所拍摄的至少一个图像[0014]_由深度神经网络基于3D重建来对一个或多个物体的表面的BRDF进行分类，其中将关于物体反射率的每点每RGB通道的光谱曲线(相机光谱曲线)整合，这是BRDF与环境的[0023]在本发明的优选实施例中，一个或多个物体的3D重建包括一个或多个物体的RGB6值和表面法线。表面法线(也被描述为法线)可以是物体的诸如垂直于给定物体的线或向络使用数学模型来以复杂的方式处理数据。深度神经网络一般包括模拟人脑活动的技术，中损失函数由在每个解析度计算的成本的组合[0028]训练可以包括为不同的材料提供不同光线方向和不同RGB_D模型，从而得到不同Marquardt算法是用于使用最小二乘法来求解非线性均衡问题的数值优化算法。该方法将高斯牛顿法与强制函数值下降的正则化技术结合。Levenberg_Marquardt算法比高斯牛顿7内的误差量低于手动测量内的误差，则表明已经找到了与BRDF的频谱参数相对应的环境。[0041]通过使用RGDB数据来将一个或多个物体的所拍摄的至少一个图像重建为一个或[0042]使用深度神经网络，基于3D重建对一个或多个物体的表面上的BRDF类型进行分[0043]通过使用迭代优化方法以逼近经分类的BRDF类型尤其是RGBD相机可以被包括在手持设备中，或者经由有线或无线连接来连接到手持设备8式计算机软磁盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器算机程序可以按多样的形式存在于单个计算机系统中的或跨多个计算机系统的活动和非可以在包括存储设备和信号的计算机可读介质上以压缩或未经压9[0054]图1示出了用于检索多光谱双向反射分布函数(BRDF)参数的方法的可能实施例的[0055]图2示出了用于通过使用红绿蓝深度RGB_D数据来检索多光谱双向反射分布函数[0056]图1示意性地示出了用于检索多光谱双向反射分布函数BRDF参数的方法1的可能角入射到材料上的每个光束，它提供了针对所发射的每个光束的辐射密度与辐照度的商。[0059]在进一步的步骤S2中，由处理单元通过使用RGB_D数据来将一个或多个物体30的至少一个图像重建为一个或多个3D重建。由RGB_D相机提供的RGB_D数据包括RGB值和深度[0064]双向反射分布函数包括x作为待扫描物体30的表面上的位置。它还包括射入方向o)，使用了基于波长的刺激函数k(λ)。CIEk描述了标准曲线，例如CIEYm[0077]图2示意性地示出了用于通过使用红绿蓝深度RGB_D数据来检索多光谱双向反射和计算单元12经由通信连接15来连接。通信连接15可以用于计算单元12与RGB_D相机11之的总线架构的局部总线。存储单元13可以包含只读存储器(ROM)和/或随机存取存储器的硬盘驱动器和用于从可移动(磁性)光盘(诸如压缩盘(CD)或其他(磁性)光学介质)读取[0081]计算单元12可以在限定了到一个或多个远程计算机的逻辑连接的网络环境中操[0082]此外，计算单元12可以被实施为微控制器或可编程芯片(诸如ASSIC或FPGA)上的使用RGB_D数据来将一个或多个物体30的所拍摄的至少一个图像重建为一个或多个3D重作，RGB相机能够基于每像素用深度信息(与到传感器的距离相关)来增强物体30的普通图CMOS传感器接收由物体和/或场景反射的图像并且基于跨对应的点的视差的相机距离来计[0086]RGB_D相机11被配置为拍摄场景中的一个或多个物体30的至少一个图像。在实施例中，RBD_D相机11取决于物体30的表面(材料)来拍摄场景中一个或多个物体30的一系列图像。一个图像和/或一系列图像可以在相机中被处理或者由计算机单元12的处理单元14或一系列图像的存储器。一个或多个物体30的所拍摄的至少一个图像包括RGB_D数据，该[0087]在根据本发明的系统10的替代实施例中，包括RGB_D相机11和计算机单元12的系[0088]本发明的保护范围由所附权利要求指定并且不受说明书中解释的或图中示出的[0089]总体上本发明涉及用于通过使用红绿蓝深度RGB_D数据来检索多光谱双向反射分