CN119422380A 信息处理设备、信息处理方法和程序 （索尼集团公司）

2024.12.25PCT/JP2023/0215162023.06.09WO2024/004584JA2024.01.04的视频的成像系统中通过使用显示器的发光元的焦距、F值和聚焦距离以及显示器和相机之间2确定单元，其执行确定处理，所述确定处理在利用在确定处理中，确定单元获得图像传感器上的发光元件的确定单元获取显示器和相机之间的最短距离和最长距离，并且使确定单元执行将确定处理的确定结果信息与项确定单元执行将确定结果信息与项目相关联地存储在存确定单元执行将确定结果信息与项目相关联地发送到确定单元基于通过与另一设备的通信而接收的信息，获取将从最短距离到最长距离的多个距离值中图像传感器上的发光元件的图像的振幅的所述成像系统是一种利用相机拍摄显示器的视频的系统，所述显示器显示视频处理单元，视频处理单元通过使用实现在成像系统中使用的相机的成像系统是一种利用相机拍摄显示器的视频的系统，所述显3成像系统包括使用3D模型执行渲染并生成要在显示器上显示的执行确定处理，所述确定处理在利用相机拍摄显示器的视在利用相机拍摄显示器的视频的成像系统中通过使用显示器的发光元件之间的间隔、4[0005]另外，下述专利文献2公开了为了防止在对大显示设备进行成像时产生的莫尔条和聚焦距离以及显示器和相机之间的距离，来确定在相机的所拍摄的视频中是否出现伪5间由相机拍摄显示器的视频的情况下，确定在拍摄的视频中是否出现诸如莫尔条纹的伪6[0068]一个LED壁505通过竖直和水平地连接和布置多个LED面板506而形成大面板。LED[0071]相机502共同对表演区域501中的表演者510和LED壁505上显示的视频进行成像。[0072]输出监视器503被布置在表演区域501附近。由相机502拍摄的视频作为监视器视7表演者510一起被拍摄，仅通过简单地显示背景视频vB，所拍摄的视频的背景也变得不自[0080]图2示出了相机502从图的左侧的位置对表演者510成像的状态，图3示出了相机[0082]这里描述的背景视频vB表示作为包括成像区域视频vBC(内截锥体)的背景显示的[0083]成像区域视频vBC(内截锥体)的范围对应于由相机502在LED壁505的显示表面中将相机502的位置设置为视点时实际观看8[0086]以这种方式实时呈现的成像区域视频vBC的视频与外截锥体的视频组合。背景视歇帧实时地被渲染，将成像区域视频vBC(内截锥体)的视频合并到外截锥体的视频的一部起成像的范围的背景也被拍摄为与伴随相机502的实际移动的视点位置或视场(FOV)的改[0089]如图2和3所示，包括表演者510和背景的监视器视频vM显示实时地改变包含成像区域视频vBC的背景视频vB，以便能够与实际成像场景时同样地拍摄范围而不是LED壁505上显示的整个背景视频vB来减[0094]制作3D背景数据的方法的示例包括全计算机图形(CG)、点云数据扫描和摄影测[0096]点云数据扫描是一种基于点云数据生成3D模型的方法，该方法通过使用例如[0097]摄影测量是用于分析来自通过从多个视点对物体成像而获得的二维图像的视差9[0101]实时渲染是如参照图2和图3所述的用于获得每个时间点(背景视频vB的每帧)处[0116]同步生成器540生成用于使LED面板506的显示视频的帧定时与相机502的成像的[0118]作为相机跟踪器560的具体检测方法，存在一种在天花板上随机地布置反射器并[0122]此外，渲染引擎520通过使用从相机跟踪器560或相机502提供的成像信息来指定[0123]此外，渲染引擎520将根据相机502的移动而动态变化的成像区域视频vBC与外截[0124]显示控制器590生成通过将一帧的视频数据分割成要在各个LED面板506上显示的视频部分而获得的分割的视频信号nD，并且将分割的视频信号nD发送到各个LED面板506。此时，显示控制器590可以根据显示单元之间的显色等的个体差异、制造误差等来执行校[0126]LED处理器570基于分别接收到的分割视频信号nD驱动各个LED面板506，从而在LED壁505上显示整个背景视频vB。背景视频vB包括根据在该时间点的相机502的位置等渲看操作图像vOP一边进行用于渲染背景视频v581可以与渲染引擎520异步地控制灯580，或者可以与成像信息和渲染处理同步地执行控成像区域视频vBC(内截锥体)的视频数据。在步骤S10中预先生成外截锥体作为固定视频，[0136]在步骤S50中，渲染引擎520进行合成作为整个背景视频的外截锥体和反映相机520或显示控制器590生成通过将一帧的背景视频vB分割为要在各个LED面板506上显示的应相机502a和502b拍摄的视频分别显示为监视器视频vMa和v成像信息以及来自相机502b和相机跟踪器560b的成像信息被发送到渲染引[0142]渲染引擎520可以通过使用相机502a侧或相机502b侧中的一侧或两侧的成像信息图7所示使用两个相机502a和502b的示例中，示出了与相机502a相对应的成像区域视频视频vSM的信息处理设备(渲染引擎31)[0152]图8所示的信息处理设备70的CPU71根据诸如ROM72或例如电可擦除可编程只读存储器(EEP_ROM)之类的非易失性存储器单元74中存储的程序、或者从存储单元79向RAM视频分析/检测处理等中的任意一个或多个处器等的音频输出单元78整体地或单独地连接到输入/可以通过使用存储单元79来构造存储3D背景数以通过通信单元80访问作为资产服务器530的DB，并且从相机502或相机跟踪器560接收成[0173]这种信息处理设备70可以是诸如图5和7所示的成像系统500中的渲染引擎520之类的信息处理设备70，或者可以是图10中描述的预可视化系统700中使用的信息处理设备[0174]当成像系统500中的相机502对LED壁505成像时，由于相机502的图像传感器的像相机502和表演者510的位置或在实际成像地点调整透镜降低[0178]图9示出了以上参考图4描述的资产创建(ST1)、制作(ST2)和后期制作(ST3)的流限，而是仅要求在资产创建(ST1)中制作用于渲染背景视频vB的3D模型之后的阶段执行预[0188]在这种情况下的莫尔条纹确定是由渲染引擎520进行的莫尔条纹确定。根据该确[0189]校准LUT是通过应用在成像准备中通过颜色校准生成的LUT来消除与由LED壁505、相机502等进行的背景视频显示有关的颜[0190]现场相机设置是从例如云服务器等获取在预可视化中设置的相机设置并且将该[0194]该图中的操作监视器550或输出监视器503综合性地表示显示作为成像场所的工[0196]如上所述，渲染单元520a具有根据外截锥体和相机502的位置以及成像方向来渲染内截锥体(成像区域视频)vBC并且生成要在L[0198]注意，渲染引擎520可以具有颜色校准功能。颜色校准功能是执行颜色转换的功[0199]也就是说，渲染单元520a可以使用通过在成像准备阶段的颜色校准生成的LUT对[0202]在渲染引擎520不具有颜色校准功能的情况下，或者在即使渲染引擎具有该功能[0203]图10示出了针对相机502进行所拍摄的视频信号的信号处理的相机信号处理单元515。尽管在图5和图7中省略，但是相机信号处理单元515可以由相机502中的处理器等形[0209]渲染单元32具有与上述渲染引擎520中的渲染单元520a的渲染功能类似的渲染功[0210]渲染单元32通过至少使用在资产创建(ST1)步骤中制作的3D模型，能够进行背景[0215]通过将亮度或颜色相关的参数设定为与成像时的相机502的相同，生成具有与拍[0216]监视器40表示显示从作为渲染引擎31的信息处理设备70输出的视频的监视器设前确认颜色，并且在成像准备阶段根据需要在相机502或相机信号处理单元515中调整颜[0218]在像本实施例的虚拟制作那样使用虚拟背景视频vB的成像系统500的情况下，由相机502实际拍摄的所拍摄视频vC的色调等可以与导演或工作人员所设想的不同。在这种在成像之前确认具有与实际拍摄的视频vC相同色调的频vBP的色调设置为与实际成像时的拍摄视频vC中包括的背景的于从相机502中的图像传感器读取的各个颜色等被附着到LED面板时的光谱透射率、以及光谱透射率和光谱灵敏度特性的乘积在波长上在监视器40上，能够确认与在成像时在监视器550等上观看拍摄视频vC的情况下的色调相[0227]同时，在成像时通过渲染引擎520中的颜色校准处理消除直到LED壁505的颜色改定显示在LED壁505上的背景视频vB与渲染状态相比假定的诸如虚拟相机的帧率、快门速度和曝光值之类的相机设置与实际相机502的那些相[0231]渲染引擎31包括可以用于由诸如工作人员之类的用户进行的颜色调整操作的调[0235]注意，视频处理单元33可以将颜色转换信息Ic发送到相机502或相机信号处理单[0237]这里提到的相机设置信息CS表示例如从相机502的图像传感器的读取大小设置、[0244]稍后将详细描述的算法是用于确定在实际拍摄图像时出现诸如莫尔条纹或扫描和相机502之间的距离值是与位置操作单元37[0251]此外，确定单元36可以根据与位置操作单元37的操作相应的相机位置获得LED面[0256]在图11的视频中，进一步显示了关于LED壁54的位置信息52和关于相机的位置信操作、聚焦操作、曝光调整操作等作为虚拟相机操作的情况下，处理也可以进行到步骤[0271]同时，图10在渲染引擎520侧除了渲染单元520a之外还示出CG相机设置单元520c[0283]上述处理是成像期间的确定处理，但是在成像系统500中的成像准备期间可以执505上显示背景视频vB的时段中，也可以根据相机502的位置来确定是否出现莫尔条纹等。这是因为可以预先获取LED面板506的LED间隔、相机502的图像传感器的像素间隔和光学[0288]入射到透镜21上的平行于光轴的光(图中的线段A[0297]AA'＝OO'[0301]因此，形成在相机502的图像传感器上的图像的放大率可以根据从透镜21到被摄[0309]光学LPF22使用具有取决于偏振光而不同的折射率的物[0311]假设被摄体的图像是具有图18所示的具有移动量b的双重图像，通过执行傅立叶移动量b和移动量b'的两个光学LPF22彼此交叠的情况下的振幅特性是乘积的形式，并且到如图19所示的具有宽度Ws的像素20P上的所有光都在光电二极管中被收集，而在布线等个LED被布置为图像传感器20上的LED的图像的部分。假设附图中的白色正方形是LED的图[0363]结果是如图26所示每个像素感受到的亮度差。由于亮度取决于LED图像和图像传感器的像素之间的位置关系而轻微变化，所以观察到比LED图像之间的间隔长的低频莫尔[0368]考虑到光学LPF22的双重图像的间隔(偏移量b)，光学LPF22的振幅Af可以通过[0374]由透镜21的模糊引起的振幅Ab可以通过透镜21的F值F和透镜21的聚焦距离l由上[0377]像素间隔Ws和偏移量b是由相机502的型号确定的常数，并且LED面板506的LED间效应而产生的振幅Ap根据相机502和LED面板506之间的距离p以及透镜2[0385]如果振幅A被充分衰减并变得小于特定阈值，则可以确定没有诸如莫尔条纹的伪[0389]当在水平轴上描绘ωδ并且在垂直轴上描绘振幅Ab的曲线图时，该曲线图不像图[0392]当估计振幅较大时，存在更多的空间用作关于诸如莫尔条纹的伪像的出现的警近似表达式获得的，如下所述。注意从6.487887≤ωδ<17.240423到63.501086≤ωδ<雕刻相机502中出现的范围的最短距离p和相机502中出现的范围的最长距离p之间的距离出现的范围的最短距离p和相机502中出现的范围的最长距离p来计算LED图像的振幅A，并距f和图像传感器20的成像表面的宽度w，使用上述与相机502中出现的范围的端部处的距离AB和AC的长度之间的关502和LED面板506之间的最短距离是距离AB。由于在计算模糊的直径δ时使用光轴上的距的点而获得的线(图中的虚线)与光轴形成的角度θ使用上述(数学式3)根据透镜21的聚焦[0433]如图33所示，当同一点P由光轴彼此平行并且分开距离dc的相机502和辅助相机[0434]从点P到在连接两个相机(502、502S)的线AB上绘制的垂直线的垂足H的距离PH可[0446]这里的信息处理设备70例如是具有图10的确定单元36或确定单元520d的功能的入等来获得关于相机502的型号的信息，并且可以根据型号参照DB来获取像素间隔Ws和偏[0456]下面将描述使用如图33所示的被安装为光轴平行于相机502并与相机分开距离dc[0464]相机502的图像从上[0471]相对于辅助相机502S的像素值，从画面的左上到右下计算与从相机502获取的光[0473]获得辅助相机502S的光轴中心的像素位置与互相关函数被最大化的坐标之间的[0494]在步骤S506至S510中，CPU71执行计算振幅特性的处理，同时逐渐增加距离p的拍摄视频vC和模拟视频vSM之类的视频数据、相机设置信息CS等相关联地存储在存储介质通过组合如图36所示的小的平面LED面板5上的LED的图像之间的间隔与图像传感器20的像素之间的间隔稍微不同的情况下，微小的[0519]在上述图35的处理中，在最短距离pmin和最长距离pmax之间获得最大振幅值还确定了在拍摄视频vC的平面中出现莫尔条纹等变量PMmin是表示在莫尔条纹出现的范围内最短距离的变量，该初始值被设定为最长距离条纹出现的范围是从由变量PMmin表示的距离到由变量PMmax表示的距离的范围。换句话[0541]根据本实施例的用作渲染引擎31和520的信息处理设备70包括确定单元(36,F值F和聚焦距离l以及LED面板506和相机502之间的距离p来确定在所拍摄的视频vC中是否[0544]此外，LED之间的间隔用作LED面板506侧的元素以进行确定，并且与视频内容无[0545]在该实施例中，确定单元(36,520d)获得图距离pmin和最长距离pmax，使用最短距离pm[0548]LED面板506和相机502不必处于相对的位置关系，而是在许多情况下在倾斜方向上相互面对。在这种情况下，产生最短距离和最长距离作为相机502到LED壁505(LED面板[0556]关联处理包括以关联状态将数据存储在存储介质中的处理和将数据发送到外部[0563]本实施例的成像系统500是拍摄显示通过利用相机502使用3D模型渲染而获得的包括渲染单元32和视频处理单元33。渲染单元32使用在成像系统500中使用的3D模型来执[0565]即，这是在本技术被应用于预可视化系统700中的渲染引擎31并且渲染引擎31除[0567]也就是说，这是本技术被应用于成像系统500中的渲染引擎520并且渲染引擎520[0571]即，本实施例的程序是用于使信息处理设备70执行通过使用作为发光元件的LED镜21的聚焦距离l以及LED面板506和相机502之间的距离p来确定在所拍摄的视频vC中是否[0573]这样的程序可以预先记录在作为内置于诸如计算机装置的设备中的记录介质的诸如局域网(LAN)或因特网之类的网络从[0609]将从最短距离到最长距离的多个距离值中图像传感器上的发光元件的图像的振[0619]成像系统包括使用3D模型执行渲染并生成要在显示器上显示的虚拟视频的渲染[0623]在利用相机拍摄显示器的视频的成像系统中通过使用显示器的发光元件之间的