CN113841087B 构图控制设备、构图控制方法和程序 （索尼集团公司）

2021.11.19PCT/JP2020/0150582020.04.01WO2020/241038JA2020.12.03JP2009244369A,2009US2011007187A1,2011.US2012002075A1,2012.US2018017659A1,2018.0US2019114740A1,2019.0本发明的目的是改善与构图的调整有关的图指定信息包括关于在显示成像设备的拍摄的图像的图像上的指定位置的信息并且是指定成指定操作信息的指定位置对应的被摄体信息来调整成像设备的构图的方式控制成像设备的成像的屏幕上的指定位置对应的被摄体信息来执2获取构图指定操作信息，构图指定操作信息是指定成像设备基于与构图指定操作信息的指定位置对应的被摄体信息来控制成像设备的成像范围控制云台设备，以：在被摄体信息指示从拍摄的图像中检测到的被息不指示被检测的被摄体的情况下在方向指定操作指定的方向上改在被摄体信息指示从拍摄的图像中检测到的被检测的被控制单元不执行用于跟踪指定位置处的被摄通过在屏幕上线形地描画的操作来检测指定摇摄或倾斜方向的构图在被摄体信息指示被检测的被摄体的情况下，使用与被检控制单元将与被检测的被摄体的类型对应的参数用于云台设备的摇摄方向的控制和3控制单元根据被检测的被摄体的类型以第一跟踪模式、第二跟踪模式中使用在摇摄方向和倾斜方向之一上具有低跟踪响应性并且在摇摄方向和倾斜在开始使用与被检测的被摄体的类型对应的参数对云台设备基于被检测的被摄体的位置与跟踪的目标位置之间的在被摄体信息指示被检测为屏幕中的人的被检测的被摄体的对被检测的被摄体检测到的人体的简化模型信息来控制控制单元基于从简化模型信息估计的被检测的被摄体的方向信息以视角的中心位于控制单元基于在检测到指定位置之后的屏幕上的操作，基控制单元基于对与拍摄的图像显示在屏幕上的所述成像设备不同的成像设备拍摄的获取构图指定操作信息，构图指定操作信息是指定成像设备于指定屏幕的平面中的方向的方向指定操作的方向基于与构图指定操作信息的指定位置对应的被摄体信息来控制成像设备的成像范围控制云台设备，以：在被摄体信息指示从拍摄的图像中检测到的被息不指示被检测的被摄体的情况下在方向指定操作指定的方向上改获取构图指定操作信息，构图指定操作信息是指定成像设备于指定屏幕的平面中的方向的方向指定操作的方向基于与构图指定操作信息的指定位置对应的被摄体信息来控制成像设备的成像范围4控制云台设备，以：在被摄体信息指示从拍摄的图像中检测到的被息不指示被检测的被摄体的情况下在方向指定操作指定的方向上改5[0009]在上述专利文献1中描述的技术中，由于基于用户对云台设备的摇摄和倾斜操作体信息来控制成像设备的成像范围以调整成像设备6指定用于显示拍摄的图像的屏幕上的位置的直观操作来执行对目标构图的调整。具体而[0014]根据上述本技术的构图控制设备可以被配置为使得在被摄体信息指示从拍摄的[0016]根据上述本技术的构图控制设备可以被配置为使得在被摄体信息不指示被检测[0018]根据上述本技术的构图控制设备可以被配置为使得构图指定操作信息包括基于[0020]根据上述本技术的构图控制设备可以被配置为使得通过屏幕上的触摸操作来检[0022]根据上述本技术的构图控制设备可以被配置为使得通过在屏幕上描画(tracing)[0024]根据上述本技术的构图控制设备可以被配置为使得控制单元通过控制成像设备[0026]根据上述本技术的构图控制设备可以被配置为使得云台设备能够在摇摄或倾斜[0028]根据上述本技术的构图控制设备可以被配置为使得云台设备能够在滚动方向上[0029]因此，通过沿着滚动方向以弧形滑动手指的直观操作来实现指定滚动方向的操[0030]根据上述本技术的构图控制设备可以被配置为使得控制单元通过控制成像设备7检测到的被检测的被摄体的情况下在与方向指定操作指定的方向相反的方向上改变成像[0032]根据上述本技术的构图控制设备可以被配置为使得控制单元通过控制成像设备与被检测的被摄体的类型对应的参数作为与跟踪相摄体是快速移动的被摄体类型的情况下，通过具有增加的跟随性的参数来执行跟踪控制，[0034]根据上述本技术的构图控制设备可以被配置为使得云台设备能够在摇摄方向和于云台设备的摇摄方向的控制和倾斜方向的控制[0035]因此，可以根据指定的被摄体的类型单独设置摇摄方向和倾斜方向上的跟踪特[0036]根据上述本技术的构图控制设备可以被配置为使得控制单元根据被检测的被摄斜方向之一上具有低跟踪响应性并且在摇摄方向和倾斜方向中的另一个方向上具有高跟[0039]有可能根据被摄体的指定位置与跟踪的目标位置之间的误差的大小来确定设置8[0042]根据上述本技术的构图控制设备可以被配置为使得控制单元基于从简化模型信息估计的被检测的被摄体的方向信息以视角的中心位于被检测的被摄体的正面方向侧的[0044]根据上述本技术的构图控制设备可以被配置为使得通过屏幕上的触摸操作来检[0046]根据上述本技术的构图控制设备可以被配置为使得控制单元基于对与其中拍摄的图像显示在屏幕上的所述成像设备不同的成像设备的拍摄的图像执行的图像识别处理相机设置的拍摄的图像而非具有根据用户的绘图意图的相应的被摄体信息来控制成像设备的成像范围以调整成像操作信息的指定位置对应的被摄体信息来控制成像设备的成像范围以调整成像设备的构[0052]图1是作为根据本技术的第一实施例的包括构图控制设备的成像系统的外观配置9[0059]图8是与图7一起用于解释在指定被检测的被摄体以外的被摄体的情况下的构图[0064]图13是图示用于实现作为第一实施例的构图调整方法的具体处理过程的示例的[0067]图16是图示用于实现作为第二实施例的构图调整方法的具体处理过程的示例的[0074]图23是图示用于实现作为第三实施例中的第一示例的构图调整方法的具体处理[0078]图27是图示用于实现作为第三实施例中的第二示例的构图调整方法的具体处理[0098]图1是作为根据本技术的第一实施例的包括构图控制设备(成像设备1)的成像系[0101]图1A图示了其中成像设备1安装(附接)在云台设备50上的状态，而图1B仅图示了[0103]附接部分54是例如L字形状的构件，并且在底部部分的顶表面上设置了与未示出[0105]臂部分55是例如L字形状的构件，并且在旋转轴部分51侧附接到基座部分53。因通信单元58根据与包括在成像设备1中的将在稍后描述的通信单元11对应的通信格式执行[0118]成像单元3包括例如诸如互补金属氧化物半导体(CMOS)型或电荷耦合器件(CCD)[0119]成像单元3对通过由成像元件接收的光进行光电转换获得的电信号执行例如相关信号处理单元4对来自成像单元3的数字信号(拍摄的图像信号)执行各种类型的信号处理。[0121]图像识别处理单元5对经由相机信号处理单元4输入的拍摄的图像信号执行图像[0122]在这个示例中，图像识别处理单元5在检测被摄体的处理中指定被摄体的“位置”[0125]图像识别处理单元5响应于来自控制单元8的请求而将与在被摄体检测处理中检测到被摄体的情况下，图像识别处理部5将指示被摄体的位置(如后所述的被摄体位置Ps)像识别处理单元5将指示类型的信息连同被摄体的位置和范围的信息作为被摄体信息Is输录控制单元6执行在记录介质上记录诸如移动图像数据或静止图像数据、缩略图等的图像置在成像设备1中的闪存及其写-读电路，或者可以是执行对可以附接到成像设备1和从成[0129]这些驱动器响应于来自控制单元8的指令而向对应的马达提供驱动电流，并且使[0131]控制单元8通过执行存储在上述ROM等中的程序来执行成像设备1的整体控制。例中的控制元件的示例可以包括在成像设备1的壳体中设置的诸如各种按钮、拨盘等的控制布置在成像设备1的壳体中的诸如液晶显示器(LCD)或有机电致发光(EL)显示器之类的显单元10显示从记录控制单元6中的记录介质读[0140]此外，已由相机信号处理单元4转换分辨率以供显示的拍摄的图像的图像数据被供应给显示单元10，并且显示单元10响应于来自控制单元8的指令而显示拍摄的图像的图元58与通信单元11之间的数据通信可以是例如诸如USB之类的有线通信或诸如蓝牙(注册拍摄的图像的屏幕10a上的位置的操作作为目标构图的指定操作，并且控制云台设备50以括至少关于要被跟踪的被摄体将被布置在拍摄图像中摸被检测的被摄体的操作(在图4的示例中是触摸被摄体S2的操作)开始对被触摸的被检测被检测的被摄体的位置维持在触摸时被触摸的被检测的[0153]在这个示例中，采用比例-积分-微分(PID)控制来控制用于跟踪被摄体的云台设[0156]图6B是图示用于实现被摄体跟踪控制处理的控制单元8的功能配置的功能框图。上为摇摄方向和倾斜方向中的每一个提供了图6B中所示[0157]如图所示，控制单元8包括作为用于实现被摄体跟踪的功能单元的位置误差计算处理单元F1接收作为跟踪目标的被摄体的位置的被摄体位置Ps和跟踪的目标位置Pt的输置Ps的信息，使用从图像识别处理单元5输入的多个被摄体的位置的信息当中通过触摸操[0159]基于从位置误差计算处理单元F1输入的误差d，控制值计算处理单元F2通过根据的图像的像素数为单位的值)转换成作为摇摄方向或倾斜方向的旋转方向上的角度值。可[0161]控制单元8经由通信单元11向云台设备50输出通过驱动量转换处理单元F3的转换[0162]在云台设备50中，如上所述经由通信单元11从控制单元8输出的值经由通信单元调整成像设备1的方向，使得要被跟踪的被摄体的位置(Ps)与拍摄的图像中的目标位置[0164]由于可以通过触摸被检测的被摄体的单个操作来实现对要被跟踪的被摄体的指[0166]假设在屏幕10a中被检测的被摄体被触摸之后，已进行触摸的手指在维持触摸状态的同时如图4中的粗箭头所示在屏幕10a[0167]在这个示例中，如上所述在保持被触摸状态的同时用触摸被摄体的手指在屏幕10a上描画的操作被接收为屏幕10a中被触摸的被摄体(即，跟踪目标被摄体)的布置位置[0168]图5图示了根据图4中粗箭头指示的描画操作在改变被摄体的布置位置时屏幕10a[0169]控制单元8控制云台设备50使得被触摸的被摄体在根据如上所述的描画操作的描[0173]图7和8是用于描述在除了被检测的被摄体以外的被摄体被触摸之后执行如上所示执行向右方向的描画操作的情况下，成像方向改变与如图8中所示的向右方向上的描画对应的视角改变，但是在用第一根手指触摸除了被检测的被摄体以外的被摄体的情况下，[0185]换句话说，上述利用第二根手指的跟踪操作是包括指定屏幕10a的平面中的方向第一次轻击指定的跟踪目标被摄体(图11的示例中的被摄体S2)被布置在视角的中心位置[0193]将参考图13的流程图描述用于实现如上述实施例的构图调整方法的具体处理过骤S102中的被摄体信息获取处理，并且在步骤S103中确定是否是对被检测的被摄体的触触摸开始位置)是否是在步骤S102中获取的被摄体信息Is中所包括的被摄体的范围内的位[0196]在步骤S103中，在获得指示由触摸操作指定的屏幕10a上的位置不是被摄体信息Is中所包括的被摄体的范围内的位置并且也不是被检测的被摄体的触摸的否定结果的情并且在跟踪执行标志变为ON的情况下，控制单元8与图13中所示的处理并行地开始被摄体[0198]注意的是，跟踪执行标志的初始值为OFF，但在步骤S104中将跟踪执行标志变为OFF的原因是：当在被检测的被摄体被触摸并且开始对被摄体的跟踪控制之后执行了触摸[0200]此外，在步骤S103中获得指示触摸是被检测的被摄体的触摸的肯定结果的情况标被摄体和目标位置Pt的设置信息)通过图15中描述的步骤S301和S302中的处理开始被摄的被摄体的手指的描画操作在屏幕10a中移动被摄体位置的处理，或者用于根据第二根手[0203]在执行步骤S105的正常驱动模式处理的情况和执行步骤S107的被摄体跟踪模式[0205]在确定不满足处理结束条件的情况下，控制单元8返回到步骤S101并再次等待屏的被摄体的触摸还是对被检测的被摄体的触摸来执行步骤S105中的正常驱动模式处理或那么控制单元8跳过步骤S110的处理并结束图13中所示的一[0209]图14中所示的处理是通过步骤S211中的待机处理对拍摄的图像的每一帧重复执[0211]如果在步骤S201中不同手指触摸标志不为ON，那么控制单元8前进到步骤S202以[0212]在第一根手指已经移动的情况下，控制单元8前进到步骤S204并且根据该移动执动量来执行用于输出云台设备50的控制值(在摇摄方向上的致动器和在倾斜方向上的致动[0213]因此，在除了被检测的被摄体以外的被摄体被触摸并且触摸的手指在屏幕10a上[0214]响应于步骤S204的输出处理的执行，控制单元8执行步骤S211的一帧待机处理并[0215]此外，在步骤S203中确定第一根手指没有移动的情况下，控制单元8前进到步骤S205中将不同手指触摸标志变为ON，在步骤S211中执行一帧待机处理，然后返回到步骤[0219]在步骤S201中确定不同手指触摸标志为ON的情况下，控制单元8前进到步骤S206动是在接近第一根手指的触摸位置的方向上，那么控制驱动单元7以在缩小方向上驱动变开的情况下，控制单元8前进到上述步骤S210并且确定第一根手指是否已经从屏幕10a移描画操作给出关于跟踪被触摸的被检测的被摄体或改变跟踪目标被摄体的布置位置的指骤S209以将不同手指触摸标志变为OFF，执行步骤S211的一帧待机处理，然后返回到步骤[0226]在步骤S107中的被摄体跟踪模式处理中，控制单元8首先在步骤S301中设置跟踪的触摸操作指定的被检测的被摄体的位置(被摄体位[0229]在步骤S303中，当再次触摸待机标志不是ON时，控制单元8使处理前进到步骤[0231]响应于步骤S304中更新处理的执行，控制单元8前进到步骤S211中的一帧待机处下，控制单元8在步骤S305中将再次触摸待机标志变为ON，执行步骤S211中的一帧待机处[0233]在步骤S303中确定再次触摸待机标志为ON的情况下，控制单元8使处理前进到步再次触摸，那么在步骤S307中，控制单元8确定再次触摸等待时间是否等于或长于预定时[0236]在步骤S307中确定存在再次触摸的情况下，控制单元8前进到步骤S308并且执行[0237]响应于步骤S308中更新处理的执行，控制单元8执行步骤S30[0243]图16是图示用于实现作为第二实施例的构图调整方法的具体处理过程的示例的类型是第三类型的情况下，控制单元8在步骤S413中设置第三类型参数并结束步骤S401的控制周期设置为可设置的周期当中的最短周期，并将PID控制中的增益设置为可设置的值元8为摇摄方向上的跟踪控制处理和倾斜方向上的跟踪控制处理中的每一个设置用于降低元8设置关于摇摄方向上的跟踪控制处理增加跟踪响应性并关于倾斜方向上的跟踪控制处相关的每种类型的被摄体的移动特点来设置最优参数，并且有可能改善跟踪控制的准确行其中在摇摄方向上的跟踪响应性降低并且相反地在倾斜方向上的跟踪响应性增加的参[0263]在确定当前设置参数是高响应性参数的情况下，控制单元8前进到步骤S421并且确定位置误差d是否小于阈值TH1。在位置误差d小于阈值TH1的情况下，控制单元8在步骤在步骤S421中确定位置误差d不小于阈值TH1的情况下，控制单元8在不执行步骤S422的改进到步骤S423并且确定位置误差d是否大于阈值TH2。在位置误差d大于阈值TH2的情况下，控制单元8在步骤S424中执行改变为高响应性参数步骤S423中确定位置误差d不大于阈值TH1的情况下，控制单元8在不执行步骤S424的改变[0270]通过如上所述基于位置误差d执行参数调整，有可能基于设定的参数对于被摄体[0272]在上面的描述中，已经描述了高响应性参数和低响应性的被摄体是作为人的被摄体的情况下，图像识别处理单元5为被摄体生成人体的这种简化眼睛、颈部和肩部)的检测点(图中的黑圈)的信息以及连接检测点的线，作为简化模型信跟踪期间针对每一帧执行从图像识别处理单元5获取双击操作将被检测的被摄体布置在屏幕10a的中心之后根据在屏幕10a上对被检测的被摄操作之后对被检测的被摄体执行轻击操作时以构图K1→构图K2→构图K3→构图K1→...的[0286]注意的是，构图K的切换不限于如上所述根据双击操作之后的轻击操作执行的示[0287]图23是图示用于实现作为上述第一示例的构图调整方法的具体处理过程的示例理之后执行步骤S501中基于简化模型信息的构图切换[0292]在步骤S510之后的步骤S511中，控制单元8确定被轻击的被摄体是否已经被再次[0294]在确定被轻击的被摄体没有被再次轻击的情况下，控制单元8前进到步骤S512并处理，控制单元8等待被轻击的被摄体的再次轻击或者对除了被触摸的被摄体以外的区域适合屏幕10a的部分的位置作为在跟踪控制处理中使用的被摄体的位置Ps，诸如被摄体的失败。[0299]步骤S515中的目标位置Pt被设置为至少被摄体的头部(被摄体的上端)没有参考[0300]响应于步骤S515中目标位置Pt的设置，控制单元8在步骤S516中将轻击次数标识[0305]通过如上所述的步骤S511至S522的处理，每次对被轻击的被摄体执行轻击操作于蹲着的姿势时，考虑到其后起身或跳跃的可能性，可以想到避免将构图K改变到放大侧[0313]图25图示了其中在屏幕10a中显示面向左方向的被摄体S3和面向前方的被摄体S4[0316]与图15中所示的处理的不同之处在于执行步骤S601中的间距控制处理来代替步化模型信息来估计在步骤S101中对其检测到触摸操作的被检测的被摄体(即，跟踪目标被[0319]通过如上所述的处理，响应于指定跟踪目标被摄体的触摸操作之后屏幕10a上的[0320]由于响应于触摸屏幕10a的简单操作而对在指定的被摄体的正面侧确保空间的自作之后在屏幕10a上的触摸操作而执行步骤S601中的间距控制处理的示例，但这仅仅是示位置的调整等相关的移动方向指定操作是例如在按下预定按钮的状态下通过上述位移指的成像设备和执行图像拍摄以执行诸如被摄体检测之类的图像识别的成像设备是共用的幕10a上显示拍摄的图像的成像设备分开的30和成像设备1A根据云台设备50的摇摄和倾斜操作[0332]在这种情况下，成像设备1A中的控制单元8基于从成像设备30的图像识别处理单示为云台设备50，但是能够在滚动方向(图中箭头Dr的方向)上驱动的云台设备(像图30中[0338]在以这种方式启用在滚动方向上的驱动的情况下，可以想到根据屏幕10a上的描[0339]例如，图31图示了执行用第一根手指触摸被摄体S2的操作(指定跟踪目标被摄体倾斜方向上的方向改变指令操作是线形地描画第二后根据第二根手指的描画操作来调整成像设备1在滚动方向上的方向的示例，但是即使在第一根手指触摸除了被检测的被摄体以外的被摄体的情况下也类似地执行这种在滚动方于与构图指定操作信息的指定位置对应的被摄体信息控制成像设备的成像范围以调整成指定屏幕上用于显示拍摄的图像的位置的直观操作来执行对目标构图的调整。具体而言，过利用触摸的手指沿任意方向在屏幕上描画的操[0371]因此，通过沿着滚动方向以弧形滑动手指的直观操作来实现指定滚动方向的操检测的被摄体的情况下在与方向指定操作指定的方向相反的方向上改变成像设备的方向，并且在被摄体信息不指示被检测的被摄体的情况下在方向指定操作指定的方向上改变成被摄体的类型对应的参数作为与跟踪相关的参数来控摄体是快速移动的被摄体类型的情况下，通过具有增加的跟随性的参数来执行跟踪控制，[0380]因此，可以根据指定的被摄体的类型单独设置摇摄方向和倾斜方向上的跟踪特[0381]有可能根据被摄体的类型防止在不需要增加跟踪响应性的方向上过度增加响应在摇摄方向和倾斜方向上都具有高跟踪响应性的参数(上述第一参数)，在第二跟踪模式[0386]有可能根据被摄体的指定位置与跟踪的目标位置之间的误差的大小来确定设置计的被摄体的每个部位的位置和姿势来执行用于改变构图检测的被摄体的方向信息以视角的中心位于被检测的被摄体的正面方向侧的方式控制成在屏幕上的成像设备(完全相同的1、1A)不同的成像设备(相同的30)拍摄的图像执行的图相机设置的拍摄的图像而非具有根据用户的绘图意图的相[0400]因此，在基于图像识别处理的结果执行用于构图调整的对应的被摄体信息来控制成像设备的成像范围以调整成像设[0403]根据实施例的程序是这样一种程序，该程序使信息处理设备实现包括以下的功[0406]然后，这种程序可以预先存储在内置于诸如计算机设备之类的设备中的记录介成像设备的构图的操作信息并且包括显示成像设备的拍摄的图像的屏幕上的指定位置的[0424]构图指定操作信息包括基于指定屏幕的平面中的方向的方向指定操作的方向指[0439]通过在屏幕上线形地描画的操作来检测指定摇摄或倾斜方向的构图指定操作信体信息不指示被检测的被摄体的情况下在方向指定操作指定的方向上改变成像设备的方[0457]控制单元将与被检测的被摄体的类型对应的参数用于云台设备的摇摄方向的控第三跟踪模式中使用在摇摄方向和倾斜方向之一上具有低跟踪响应性并且在摇摄方向和单元基于被检测的被摄体的位置与跟踪的目标位于针对被检测的被摄体检测到的人体的简化模型信[0469]控制单元基于从简化模型信息估计的被检测的被摄体的方向信息以视角的中心[0477]控制单元基于对与拍摄的图像显示在屏幕上的所述成像设备不同的成像设备拍摄的图像执行的图像识别处理的结果来控制成