CN119520771A 手术显微镜智能对焦的虚拟训练与评估方法及装置 （中国科学院自动化研究所）

号手术显微镜智能对焦的虚拟训练与评估方本发明提供一种手术显微镜智能对焦的虚位置采集的针对虚拟手术目标的当前虚拟显微焦距离和更新后的对焦距离，计算性能指标数显微镜运动控制和图像质量评估之间的有机统2基于真实手术录像数据，构建虚拟手术场景；所述虚拟手获取所述虚拟相机在当前位置采集的针对所述虚拟手术目标的当前虚拟显微纹理图基于所述感兴趣区域的清晰度，控制所述虚拟相机进行对焦运基于真实对焦距离和所述更新后的对焦距离，计算性能指标数据2.根据权利要求1所述的方法，其特征在于，所述性能指标数据包括对焦精度指标数计算所述绝对误差与所述虚拟相机当前放大倍率下的景深范围的比值，得到景深比基于针对运动目标的对焦深度变化相对于目标深度变化的平均时基于通过左目相机在每个时刻采集的左目图像和通过右目相机在每个时刻采集的右基于所述视差图中每个像素点的视差值、焦距和基线长度，基于所述视差图中每个像素点的深度坐标和二维横纵坐标、焦基于所述视差图中每个像素点的三维横纵坐标和深度坐标，确定4.根据权利要求1所述的方法，其特征在于，所述虚拟相机为基于Un3对于当前放大倍率，基于所述虚拟相机在当前位置下的等效焦距和所对所述原始虚拟显微纹理图像进行分辨率调整和压缩编码，得到当前计算各个候选区域的纹理复杂度，并选择纹理复杂度最高的若干区域作为感兴趣区基于所述感兴趣区域中各个像素点的灰度值和所述感兴趣区域的基于感兴趣区域傅里叶变换结果和对应的频域表示，计算所述对所述感兴趣区域的方差特征和所述感兴趣区域的高频能量分布进行加权计基于所述对焦控制指令，控制所述虚拟相机按照预设步长进行移动，在检测到清晰度的极大值区域时，基于基准步长、衰减系数和清晰度计算模块，用于确定所述当前虚拟显微纹理图像中49.一种电子设备，包括存储器、处理器及存储在机程序被处理器执行时实现如权利要求1至7任一项所述手术显微镜智能对焦的虚拟训练5真实手术环境测试存在安全风险：算法开发初期即需进行手术环境测试，影响患者安全；获取所述虚拟相机在当前位置采集的针对所述虚拟手术目标的当前虚拟显微纹确定所述当前虚拟显微纹理图像中的感兴趣区域，计算所述感兴趣区域的清晰6基于通过左目相机在每个时刻采集的左目图像和通过右目相机在每个时刻采集基于所述视差图中每个像素点的深度坐标和二维横纵坐标、焦距以及主点坐标，机为基于Unity引擎的双目虚拟相机模型，所述双目虚拟相机模型的内外参数通过将真实基于所述当前虚拟显微纹理图像中各个像素点的灰度值，计算纹理特征响应强7对所述感兴趣区域的方差特征和所述感兴趣区域的高频能量分布进行加权计算，景至少包括虚拟手术目标和用于模拟真实手术显机程序被处理器执行时实现如上述任一种所述手术显微镜智能对焦的虚拟训练与评估方8法依赖主观判断的局限，可以为手术显微镜智能对焦算法的开发提供可靠的量化评估手[0017]图1是本发明实施例提供的手术显微镜智能对焦的虚拟训练与评估方法的流程示[0022]图6是本发明实施例提供的手术显微镜智能对焦的虚拟训练与评估整体流程示意[0023]图7是本发明实施例提供的手术显微镜智能对焦的虚拟训练与评估装置的结构示[0027]图1是本发明实施例提供的手术显微镜智能对焦的虚拟训练与评估方法的流程示括虚拟手术目标和用于模拟真实手术显微镜成9[0034]并且，基于真实手术数据构建的虚拟环境不仅能够保证训练与评估结果的可靠[0035]步骤102，获取所述虚拟相机在当前位置采集的针对所述虚拟手术目标的当前虚[0036]虚拟显微纹理图像可以是指通过虚拟相机采集的针对虚拟手术目标的表面纹理虚拟手术目标的表面纹理图像。由于所观察的虚拟手术目标的不同区域的深度存在差异，[0047]在一些实施例中，可以基于真实对焦距离和各个时刻下步骤S11，基于通过左目相机在每个时刻采集的左目图像和通过右目相机在每个的情况。双目重建方案的优势在于能够准确还原手术场景的真实几何结构和表面纹理细d()=D(I(t),Ir(1))1）2）其中，f为焦距，B为基线长度，(x,cy)为主点横纵坐标，d(x,y)为像素点(x,y)的视差值。5）P(i)=K[R(1)(t6）其中，j(t,u,v)为可见性指示函数，M(u,v)为UV坐标对应的3D点，π为投影函w(1)=max(cos(0(1)),e)·var(VIa(1))8）述双目虚拟相机模型的内外参数通过将真实手术显微镜的内参矩阵和双目相机相对位姿中构建精细的手术显微镜成像光学模型（即基于Unity引擎的双目虚拟相机模型同时提放大率和相机适配器焦距共同决定。在Unity引擎中，通过设置虚拟相机模型的焦数都可以通过统一的配置接口进行实时控制和状态查询，同时预留了适当的功能扩展接[0070]在一些实施例中，在控制通道设计中，可以采用基于TCP/IP（Transmission9）10）步骤S41，基于所述感兴趣区域中各个像素点的灰度值和所述感兴趣区域的平均步骤S43，对所述感兴趣区域的方差特征和所述感兴趣区域的高频能量分布进行首先可以在空间域计算区域Ω的方差特征：var(Ω)为区域Ω的方差特征。12）sua(Q2)=asm.(Q)+(1-a)sno(Q)13）var生成针对感兴趣区域的对焦控制指令控制虚14）在zn位置获取当前虚拟显微纹理图像，计算当前虚拟显微纹理图像对应的Stotal15）步骤S66，基于针对运动目标的对焦深度变化相对于目标深度变化的平均时间滞粗对焦时间T.：从启动到首次完成粗略对焦所需的时精确对焦时间Tr：从粗对焦完成到达到精确对焦要求(,其中fm为精确对焦要求范围，即ldnars-duwel在fm这个差值允许focus[0097]可以获取感兴趣区域的真实对焦距离，基于真实对焦距[0098]图6是本发明实施例提供的手术显微镜智能对焦的虚拟训练与评估整体流程示意描述的手术显微镜智能对焦的虚拟训练与评估装置与上文描述的手术显微镜智能对焦的[0107]图7是本发明实施例提供的手术显微镜智能对焦的虚拟训练与评估装置的结构示术场景至少包括虚拟手术目标和用于模拟真实手术显微镜成像的图像生成模块720，用于获取所述虚拟相机在当前位置采集的针对所述虚拟手术当前位置采集的针对虚拟手术目标的当前虚拟显微纹理图像确定当前虚拟显微纹理图像[0110]此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单