CN115825983B 基于在线标定的现场非视域成像方法、装置、设备和介质 （上海科技大学）

号基于在线标定的现场非视域成像方法、装本申请提供的一种基于在线标定的现场非统现场采集的瞬态数据基于共焦成像原理解耦扫描区域及扫描模式中至少一个变化时重新对请可将现场扫描时获得的瞬态解耦为可视域和2将采集系统现场采集的瞬态数据基于共焦成像原理解耦为可视域瞬态分量和隐藏瞬基于共焦成像模型的优化算法处理隐藏瞬态分量，采用梯度下降法所述NLOS模块，用于收集在中继面和隐藏物体之间传播的球面光波，3应用维纳滤波对瞬态数据τSPAD进行降的维纳滤波核ki()通过时间抖动的傅里叶变换j(v)和信噪比η计算：LOS基于隐藏物体P是完全漫反射，并且隐藏物体P和中继面之间不存在采用梯度下降法实现对隐藏物体进行非可视域场景4微调SPAD的位置使得其接受来自中继面的一次反射光达将测量和计算得到的光学扫描角度之间的平均误差作为计算每组扫描角度的输入电压以控制任意表面上的扫描点并定义基于所述可视域瞬态分量τLOS重建中继面的反射率和表面法向量；通过计算与中继面上每个探测点的坐标响应的输入电压来实现任意5通过计算中继面上每个探测点的扫描角再得到振镜输通过利用方向和位置可调节的中继面创建一自由空间来允许更扫描范围的正交投影用于限制具有扫描区域最大宽度和高度的NLOS场景的可测量边其中，z表示边界框的深度；tdelay表示从中继面和隐藏物体返回的光子到达时间的延解耦模块，用于将采集系统现场采集的瞬态数据基于共焦成像原理解重建模块，用于基于共焦成像模型的优化算法处理隐藏瞬态分存储计算机指令；所述处理器运行计算机指令实现如权利要求1至12中任意一项所述的方6[0002]人们越来越关注部署非视域(NLOS)成像系统来重建障碍物后面的物体。非视域[0003]如图1展示了NLOS成像采集系统常规设置的俯视图。第一次反射对应于可视域的间相关单光子计数(TCSPC)模块的单像素SPAD在探测点上生成光子计数与时间间隔(4ps)[0007]现有的解决方案通常在扫描隐藏物体之前预先标定系统。探测器_中继面相对位7型的优化算法处理隐藏瞬态分量，采用梯度下降法对隐藏物体进行非可视域场景现场重pppp8po,s)包含：[0017]于本申请的一实施例中，所述基于共焦成像模型的优化TV表示固定时，通过确定中继面上的反射位置s的坐标来定义光源在中继面上反射后的强度变化法进行优化；将测量和计算得到的光学扫描角度之间的平均误差作为∈X和∈Y；计算每组扫描角度的输入电压以控制任意表面上的的扫描点并定义振9深度l;使用振镜的光学偏转角度θX,θY以及深度来估计XYZ中探测点的3维坐标：WYY+WZZ+1＝0；通过最小化损失函数LW(WXW,WZ),采用点到平面的距离的均方根误差求的坐标响应的输入电压来实现任意的扫描模式；定义一个扫描点在两个坐标系下可分别表示为：通过计算中继面上每个探测点的扫描角再得到振区域最大宽度和高度的NLOS场景的可测量边界框，所述边界框的最小深度近似为：zmin=ctdelaydelay表示从中继面和隐藏物体返回的光子到达时间的延时，c表示光速；隐藏物体和中继面之间的光子衰减决定边界框的最大深度；示SPAD背景噪声。[0031]图2显示为本申请于一实施例中基于在线标定的现场非视域成像方法的流程示意[0037]图8显示为本申请于另一实施例中规则网格模式下归一化瞬态数据的模型示意[0041]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构功能或操作的组合在某些方式下内在地互相[0046]如图2所示，展示为本申请于一实施例中的基于在线标定的现场非视域成像方法射并返回到中继面上的反射位置(微面元)s上。探测于点p，入射方向ωl→p和出射方向ωp→s的双向反射函数(bidirectionalreflectance[0052]Γ(s)对光在中继面上反射后的强度变化进行建模，且能描述对探测器视场LOS[0064]于本申请一实施例中，从所述采集系统获得的实测瞬态数据受SPAD特性(包括光SPAD(单光子雪崩二极管)记录的数据[0075]标定的目的是最小化本申请采集系统测量得到的瞬态数据和基于共焦成像模型景计数b相对于LOS瞬态测量很小，本申请仍然可以根据公式(11)使用LOS瞬态数据来计算向中继面发射到自由空间处)的XYZ坐标系，和原点位于中继面上检测区域的中心os的xyz任何额外设备或具有纹理的目标。通过最小化损失函数:LW(wx,wy,wz),即点到平面的距离的均方根误差(rootmeansquareerror,RMS框来指定采集系统可探测的物体位于隐藏场[0108]其中Gamma图的最小值Γmin限制了扫描范围和边界框的体积。边界框帮助预览隐频域的维纳滤波核k()可通过时间抖动的傅里叶变换j(v)和信噪比η计算：用快速傅里叶变换(FFT)来解逆问题从而重建场景。这些算法需要规则形式的瞬态作为输出隐藏物体表面之间的相互反射。基于这些假设，公式(4)中的衰减项g(p；s)可被视为型失函数还包含全变分(totalvariation,TV)作为正则[0130]图5中的扫描模式的结果表明，扫描点以规则或不规则，等间距或不等间距的方间相关单光子计数器PicoHarp300提供4ps的时间分辨f/1.8)将返回光聚焦到SPAD上。带有可调谐波长滤波器(SuperKVARIA)的激光器(SuperK采集设备控制的2D振镜(ThorlabsGVS012)引导光。SPAD通过使用门款为12ns的延时器多数实验需要2.5s来记录单个检测点的测量结果并过渡到下据来重建。图7展示了规则网格模式下归一化瞬态数据的重建验证，从上至下分别为棋盘描区域及扫描模式中至少一个变化时重新对采集系统进行在线[0152]还需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器[0156]于本申请一实施例中，所述计算机设备1100中的处理器1102会按照如图1所述的以包括非易失性存储器(non_volatilememory)，例如至少一个磁盘存储器。所述存储器[0158]所述处理器1102可以是通用处理器，包括中央处理器(CentralProcessing(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecific[0159]在一些具体的应用中，所述计算机设备1100的各个组件通过总线系统耦合在一[0161]在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产[0162]计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形[0163]这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过