CN110412598B 测距处理装置、测距模块、测距处理方法和程序 （索尼半导体解决方案公司）

本发明涉及能够实现更高性能的测距处理的八个检测信号执行对表示到物体的距离的深一相位的照射光和第二相位的照射光的四个检测信号以及基于第三相位的照射光和第四相位的照射光的四个检测信号来执行对表示到物体四相测距运算单元和两相测距运算单元之间切2三相位的照射光和第四相位的照射光照射到所述物体上并接收由所述物体反射的反射光两相测距运算单元，所述两相测距运算单元被配置成：信号中的基于所述第一相位的照射光和所述第二相位的照射光的四个检测信号以及基于所述第三相位的照射光和所述第四相位的照射光的四个检测信号来执行所述对表示到所条件判定单元，所述条件判定单元被配置成基于所述检测配置成在使用的所述四相测距运算单元和所述两相测距运算单在接收由所述第一相位的照射光产生的所述反射光的第一所述第二抽头中累积的所述电荷对应的第二检在接收由所述第二相位的照射光产生的所述反射光的第二所述第二抽头中累积的所述电荷对应的第四检在接收由所述第三相位的照射光产生的所述反射光的第三在接收由所述第四相位的照射光产生的所述反射光的第四所述第二抽头中累积的所述电荷对应的第八检所述四相测距运算单元被配置成通过使用所述第一检测信号和所述第二检测信号之在通过使用所述第一检测信号至所述第四检测信号计算用于校正所述第一抽头和所3在通过使用所述第五检测信号至所述第八检测信号计算用于校正所述第一抽头和所测量结果存储单元，所述测量结果存储单元被配置成存储结果合成单元，所述结果合成单元被配置成将当果存储单元中的前一帧的所述深度合成在一起并输出合所述四相测距运算单元和所述两相测距运算单元被配置成计算相对于所述深度的置所述结果合成单元被配置成执行对应于所述置信度的加权加法，以将所述结果合成单元被配置成将所述四相测距运算单元使用全部的所述八个检测信号计算的所述前一帧的所述深度和所述四相测距运算单元使用全部的所述八个检测信号计在所述两相测距运算单元使用基于所述第一相位的照射光和所述第二相位的照射光的所述四个检测信号计算的所述深度以及所述两相测距运算单元使用基于所述第三相位成单元被配置成将一个深度识别为所述前一帧的所述深度并且将另一个深度识别为所述所述条件判定单元被配置成对接收所述反射光的光接收单元的各个像素执行所述条执行所述对深度进行计算的运算和通过所述两相测距运算单元执行所述对深度进行计算在通过将基于所述第一相位的照射光和所述第二相位的照射光的所述四个检测信号与基于所述第三相位的照射光和所述第四相位的照射光的所述四个检测信号进行比较来4在由基于所述第一相位的照射光和所述第二相位的照射光的所述四个检测信号计算的亮度和由基于所述第三相位的照射光和所述第四相位的照射光的所述四个检测信号计根据所述亮度在所述四相测距运算单元和所述两相测距运算单元所述四相测距运算单元和所述两相测距运算单元被配置成计算相对于所述深度的置所述条件判定单元被配置成基于在前一帧中计算的所述置信度进行所所述第一检测期、所述第二检测期、所述第三检测期和所述光接收单元，所述光接收单元被配置成当根据到所述物体的距离将两相测距运算单元，所述两相测距运算单元被配置成：信号中的基于所述第一相位的照射光和所述第二相位的照射光的四个检测信号以及基于所述第三相位的照射光和所述第四相位的照射光的四个检测信号来执行所述对表示到所条件判定单元，所述条件判定单元被配置成基于所述检测配置成在所述四相测距运算单元和所述两相测距运算单执行四相测距运算处理：当根据到物体的距离将电荷分配给第一抽头和第二抽头时，通过使用全部的八个检测信号执行对表示到所述物体的所述距离的深度进行计算的运算，执行两相测距运算处理：通过交替地使用所述八个检测信号照射光和所述第二相位的照射光的四个检测信号以及基于所述第三相位的照射光和所述第四相位的照射光的四个检测信号来执行所述对表示到所述物体的所述距离的深度进行5基于所述检测信号进行条件判定，并且在使用的所述四相测距运16.一种计算机程序产品，在所述计算机程序产品中存储有用于使执行测距处理的测执行四相测距运算处理：当根据到物体的距离将电荷分配给第一抽头和第二抽头时，通过使用全部的八个检测信号执行对表示到所述物体的所述距离的深度进行计算的运算，执行两相测距运算处理：通过交替地使用所述八个检测信号照射光和所述第二相位的照射光的四个检测信号以及基于所述第三相位的照射光和所述第四相位的照射光的四个检测信号来执行所述对表示到所述物体的所述距离的深度进行基于所述检测信号进行条件判定，并且在使用的所述四相测距运6和所述第二相位的照射光的四个检测信号以及基于所述第三相位的照射光和所述第四相位的照射光的四个检测信号来执行所述对表示到所述物体的所述距离的深度进行计算的用的所述四相测距运算单元和所述两相测距运算单元7替地使用所述八个检测信号中的基于所述第一相位的照射光和所述第二相位的照射光的四个检测信号以及基于所述第三相位的照射光和所述第四相位的照射光的四个检测信号照射光的四个检测信号以及基于所述第三相位的照射光和所述第四相位的照射光的四个使用所述八个检测信号中的基于所述第一相位的照射光和所述第二相位的照射光的四个检测信号以及基于所述第三相位的照射光和所述第四相位的照射光的四个检测信号来执过交替地使用八个检测信号中的基于第一相位的照射光和第二相位的照射光的四个检测信号以及基于第三相位的照射光和第四相位的照射光的四个检测信号执行两相测距运算8[0018]图4是用于描述使用基于相位延迟均为90。的四种照射光的四个检测期进行测距[0021]图7是示出了在基于相位延迟为180的照射光的检测期内的检测信号的示例的[0022]图8是示出了在基于相位延迟为270的照射光的检测期内的检测信号的示例的9[0047]在与从发光控制单元13供应的发光控制信号对应的时刻根据发光控制单元13的[0048]发光控制单元13向发光单元12供应具有规定频率(例如，20MHz等)的发光控制信的光接收量对应的检测信号构成的图像数据供应给测距运算处[0050]测距运算处理单元15基于从光接收单元14供应的图像数据执行计算从测距模块的图输出到未示出的后续控制单元(例如，图25的应用处理单元121或操作系统处理单元式布置有多个像素电路21，并且在像素阵列单元22的外围区域中布置有驱动控制电路23。供应的发光控制信号等输出控制信号(例如，稍后将描述的分配信号DIMIX、选择信号[0052]像素电路21被配置成使得一个光电二极管31产生的电荷被分配给抽头(tap)32A收反射光时产生的电荷被传输到FD单元42A，并且在传输晶体管41B根据分配信号DIMIX_B[0057]然后，当在累积电荷的时期结束之后选择晶体管43A根据选择信号ADDRESS[0068]这里，图9示出了当水平轴和垂直轴分别表示相位延迟和信号强度时检测信号A0~A270和检测信号B0～B270之间的关系。[0069]检测信号A0和B0之间的关系、检测信号A90和B90之间的关系、检测信号A180和[0072]通过执行这样的建模并且根据公式(1)计算偏检测期Q0和Q1(或检测期Q2和Q3)中的各个检测期内的检测信号A和B，就可以消除因抽头[0074]例如，下式(2)示出了抽头32A的偏移Offset_A和增益Gain_A与抽头32B的偏移使用偏移参数(Offset_A和Offset_B)和增益参数(Gain_A/Gain_[0095]因此，测距模块11可以使用检测信号A0模块11可以使用检测信号B0和B90以及校正检测信号B,180和B,270来消除因抽头32A和32B块11可以使用偏移参数(Offset_A和Offset_B)和增益参数(Gain_A/Gain_B[0102]因此，测距模块11可以使用校正检测信号A,0和A,90以及检测信号A180和A270来模块11可以使用校正检测信号B,0和B,90以及检测信号B180和B270来消除因抽头32A和32B深度帧计算增益参数(Gain_A/Gain_B)，以便执行可以消除因抽头32A和32B之间的特性差[0105]因此，与如上参考图4所述的在四个检测期Q0～Q3内输出一个深度帧的测距方法[0108]测距运算处理单元15使用从光接收单元14供应的检测信号A(t)和B(t)作为图像数据而输出构成帧数为t的深度图的深度d(t)和构成单元52具有校正运算单元71和测距运算[0111]在测距开始时，差分校正参数计算单元61求解关于例如若干个帧中的偏移[0114]因此，差分校正参数计算单元61计算偏移Offset_A和Offset_B，并且将偏移模块11等时预先计算偏移Offset_A和Offset_B，并且可以在装运测距模块11时将偏移Offset_A和Offset_B存储在差分校正参数存储单元参数计算单元61计算下式(10)。因此，差分校正参数计算单元61计算增益参数(Gain_A/[0121]差分校正参数存储单元62存储由差分校正参数计算单元61计算的偏移参数[0146]如上所述配置的测距运算处理单元15可以根据通过相位延迟为0°的照射光和相[0150]图13是用于描述测距运算处理单元15执行的测距运算处理的第一处理示例的流检测到的两个检测信号A180和B180以及通过相位延迟为270°的照射光检测到的两个检测[0152]在步骤S12中，差分校正参数计算单元61判定偏移参数(Offset_A和Offset_B)是[0153]当差分校正参数计算单元61在步骤S12中判定偏移参数(Offset_A和Offset_B)尚[0154]在步骤S13中，差分校正参数计算单元61判定是否已经针对期望用于计算偏移参数(Offset_A和Offset_B)的具有不同相位延迟的四种照射光中的各者获得两个检测信号。数计算单元61判定已经针对具有不同相位延迟的四种照射光中的各者获得[0155]当差分校正参数计算单元61在步骤S13中判定尚未针对具有不同相位延迟的四种S11中获得检测信号A180和A270以及检测信号[0156]另一方面，当差分校正参数计算单元61在步骤S13中判定已经针对具有不同相位[0159]在步骤S15中，差分校正参数计算单元61根据上式(4)或(5)计算增益参数(Gain_[0160]在步骤S16中，校正运算单元71对在步骤S11中获得的四个检测信号执行校正运算单元71根据上式(6)执行校正运算，以获得校正检测信号A,180和A,270以及校[0162]在步骤S17中，测距运算单元72使用在步骤S11中获得的四个检测信号和在步骤S16中通过校正运算获得的四个校正检测[0164]在步骤S18中，测距运算处理单元15根据未示出的高阶控制单元对测距运算处理[0166]如上所述，测距运算处理单元15可以获得检测信号A0和A90以及检测信号B0和B90，或者可以获得检测信号A180和A270以及检测信号B180和B270，以便计算深度和置信示的测距运算处理单元15A中，与图12的测距运算处理单元15的组成部分相同的组成部分[0170]与图12的测距运算处理单元15一样，测距单元52A具有校正运算单元71和测距运测距单元52A具有测距结果存储单元73和[0171]此外，测距单元52A被配置成使得如上所述通过测距运算单元72计算的深度d(t)单元52A被配置成使得前一帧的测距结果(即深度d(t-1)和置信度c(t-1))从测距结果存储[0172]测距结果存储单元73能够仅存储从测距运算单元72供应的一个帧的深度d(t)和[0173]结果合成单元74将从测距运算单元72供应的深度d(t)和置信度c(t)以及从测距[0178]因此，测距运算处理单元15A可以将当前帧的测距结果和前一帧的测距结果合成在一起(在下文中也称为滑动窗口(slidingwindow))，以便提高信噪(SN：Signal-to-没有发生改变并且帧速率加倍的条件下，SN比减小了与检测期Q0～Q3中的减小对应的量。基于在两个检测期Q2和Q3内检测到的四个检测信号输出[0187]图17是用于描述测距运算处理单元15A执行的测距运算处理的第二处理示例的流成单元74。结果合成单元74在步骤S28中判定测距结果是否已经存储在测距结果存储单元[0190]当结果合成单元74在步骤S28中判定测距结果尚未存储在测距结果存储单元73中[0191]另一方面，当结果合成单元74在步骤S28中判定测距结果已经存储在测距结果存[0192]在步骤S29中，结果合成单元74从测距结果存储单元73读出前一帧的深度和置信[0194]如上所述，测距运算处理单元15A可以根据基于置信度的加权运算而将测量结果[0205]此外，可以采用如图21所示的发光时序。即，如果预先计算偏移Offset_A和元15B接收检测信号A0(t)、B0(t)、A90(t)和B90(t)，并且随后接收检测信号A180(t+1)、存储单元81将已经存储的检测信号供应给运动检测元82基于规定的阈值th判定是否已经反映出[0217]例如，当满足上式(16)的判定条件时，运动检测单元82判定在基于检测信号A0种情况下，运动检测单元82还将从检测信号存储单元81供应的检测信号A180(t-1)、B180情况下，运动检测单元82输出表示未反映出运动中的对象的运动-对象检测信号M(t)＝0，[0226]因此，四相测距运算单元83根据下式(18)执行运算以计算深度d(t)和置信度c两相测距运算单元84包括图12所示的校正参数计算单元迟为90°的照射光检测到的四个检测信号或者由相过两相测距运算处理计算的深度d(t)和置信度c(t)供应给测距结果存储单元85和结果合[0238]测距结果存储单元85和结果合成单元86具有与图14的测距结果存储单元73和结[0239]如图23所示，如此配置的测距运算处理单元15B可以根据要输出的各帧的运动检[0240]例如，当利用前一个帧数为t–1的与其他测距结果合成之前的测距结果的运动检结果合成之前的测距结果的运动检测表明在输出帧数为t的深度帧的时刻尚未反映出运动[0241]如上所述，测距运算处理单元15B可以根据运动检测结果在四相测距运算处理和[0243]图24是用于描述测距运算处理单元15B执行的测距运算处理的第三处理示例的流[0245]在步骤S42中，运动检测单元82判定检测信号是否已经存储在检测信号存储单元[0246]当运动检测单元82在步骤S42中判定检测信号尚未存储在检测信号存储单元81中[0247]另一方面，当运动检测单元82在步骤S42中判定检测信号已经存储在检测信号存[0248]当运动检测单元82在步骤S43中判定尚未反映出运动对象时，处理进入步骤S4在步骤S44中，四相测距运算单元83执行如上所述的四相测距运算处理以计算深度和置信[0251]如上所述，测距运算处理单元15B可以根据运动检测结果在四相测距运算处理和而是适用于具有将电荷分配给两个抽头32A[0259]显示器104显示用于执行应用处理单元121和操作系统处理单元122的处理的操作画面或由摄像装置103拍摄的图像等。当用电子设备101开始呼叫时，扬声器105和麦克风用处理单元121可以执行基于从测距模块102供应的深度产生任何物体的3D形状[0262]操作系统处理单元122执行用于实现电子设备101的基本功能和动作的处理。例[0263]通过应用以上的测距模块11，如此配置的电子设备101可以实现例如帧速率的提[0266]图26是示出了安装有用于执行以上一系列处理的程序的计算机的实施例的构造[0267]在计算机中，中央处理单元(CPU：CentralProcessingUnit)201、只读存储器可擦可编程只读存储器(EEPROM：ElectronicallyErasableandProgrammableReadOnlyMemory)204经由总线205而彼此连接。总线205还连接到输入/输出接口206，并且输[0268]在如上所述地配置的计算机中，CPU201经由总线205将存储在ROM202和EEPROMROM202之外，由计算机(CPU201)执行的程序可以经由输入/输出接口206从外部安装或更述的顺序按时间执行的。即，计算机根据程序执行的处理包括并行或单独执行的处理(例[0272]此外，本说明书中的系统表示多个组成部分(例如装置或模则装置(或处理单元)的构造的一部分可以包括在其他装置(或其他处理单元)的处理按照本说明书中所述的顺序按时间执行，或者这些步骤的处理是在适当的时刻(例本技术的一部分或全部可以与上面未描述的其他技术组[0281]图27是描绘作为能够应用根据本发明的实施例的技术的移动体控制系统的示例[0283]驱动系统控制单元12010根据各种程序控制与车辆的驱动系统有关的设备的操[0284]车身系统控制单元12020根据各种程序控制设置到车身上的各种设备的操作。例将从代替钥匙的移动设备发送的无线电波或各种开关的信号输入到车身系统控制单元拍摄车辆外部的图像，并且车外信息检测单元12030接收拍摄到的图像。基于接收到的图[0286]摄像部12031是接收光并输出与接收到的光的光量对应的电信号的光学传感器。[0287]车内信息检测单元12040检测有关车辆内部的信息。例如，车内信息检测单元检测单元12040可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以判定驾驶员是[0288]微型计算机12051可以基于有关车辆内部或外部的信息(由车外信息检测单元如，微型计算机12051可以执行旨在实现高级驾驶员辅助系统(ADAS：advanceddriver[0290]此外，微型计算机12051可以基于有关车辆外部的信息(通过车外信息检测单元可以根据由车外信息检测单元12030检测到的前方车辆或对面车辆的位置，通过控制车头灯而将远光灯变为近光灯来执行旨在防止眩目[0291]声音/图像输出部12052将声音和图像中的至少一者的输该输出设备能够在视觉上或听觉上将信息通知给车上的乘员或车辆外部。在图27的示例的摄像部12101和设置在车辆内部的挡风玻璃的上部的摄像部12105主要获得车辆12100前示设置在前鼻上的摄像部12101的摄像范围。摄像范围12112和12113分别表示设置在侧视镜上的摄像部12102和12103的摄像范围。摄像范围12114表示设置在后保险杠或后门上的[0297]例如，微型计算机12051能够基于从摄像部12101～12104获得的距离信息来确定距摄像范围12111～12114内的各个立体物的距离以及该距离的时间变化(相对于车辆以执行旨在无需依赖于驾驶员等的操作就能使车辆自主行驶的自动驾驶[0298]例如，微型计算机12051能够基于从摄像部12101～12104获得的距离信息将有关如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员在视觉上能够此可能存在碰撞的情况下，微型计算机12051经由音频扬声器12061或显示部12062向驾驶算机12051能够通过判定摄像部12101～12104拍摄的图像中是否存在行人来识别行人。例如，对行人的这种识别是通过如下过程来执行的：提取作为红外相机的摄像部12101~12104的所拍摄图像中的特征点，并且通过对表示物体轮廓的一系列特征点进行图案匹配处理来判定该物体是否是行人。当微型计算机12051判定摄像部12101～12104的所拍摄图例。根据本发明的实施例的技术能够应用到上述构造中的车内信息检测单元12040。具体检测信号中的基于所述第一相位的照射光和所述第二相位的照射光的四个检测信号以及基于所述第三相位的照射光和所述第四相位的照射光的四个检测信号来执行所述对表示且被配置成在使用的所述四相测距运算单元和所述两相测距运算单元并在所述第二抽头中累积的所述电荷对应的并在所述第二抽头中累积的所述电荷对应的并在所述第二抽头中累积的所述电荷对应的[0313]所述四相测距运算单元被配置成通过使用所述第一检测信号和所述第二检测信[0316]在通过使用所述第一检测信号至所述第四检测信号计算用于校正所述第一抽头[0317]在通过使用所述第五检测信号至所述第八检测信号计算用于校正所述第一抽头量结果存储单元中的前一帧的所述深度合成在一起并输出合成后[0322]所述四相测距运算单元和所述两相测距运算单元被配置成计算相对于所述深度[0326]所述结果合成单元被配置成将所述四相测距运算单元使用全部的所述八个检测信号计算的所述前一帧的所述深度和所述四相测距运算单元使用全部的所述八个检测信[0328]在所述两相测距运算单元使用基于所述第一相位的照射光和所述第二相位的照射光的所述四个检测信号计算的所述深度以及所述两相测距运算单元使用基于所述第三果合成单元被配置成将一个深度识别为所述前一帧的所述深度并且将另一个深度识别为[0330]所述条件判定单元被配置成对接收所述反射光的光接收单元的各个像素执行所单元执行所述对深度进行计算的运算和通过所述两相测距运算单元执行所述对深度进行[0333]在通过将基于所述第一相位的照射光和所述第二相位的照射光的所述四个检测信号与基于所述第三相位的照射光和所述第四相位的照射光的所述四个检测信号进行比[0338]在由基于所述第一相位的照射光和所述第二相位的照射光的所述四个检测信号计算的亮度和由基于所述第三相位的照射光和所述第四相位的照射光的所述四个检测信[0341]所述四相测距运算单元和所述两相测距运算单元被配置成计算相对于所述深度[0342]所述条件判定单元被配置成基于在前一帧中计算的所述置信度进行所述条件判检测信号中的基于所述第一相位的照射光和所述第二相位的照射光的四个检测信号以及基于所述第三相位的照射光和所述第四相位的照射光的四个检测信号来执行所述对表示且被配置成在所述四相测距运算单元和所述两相测距运算单元位的照射光和所述第二相位的照射光的四个检测信号以及基于所述第三相位的照射光和所述第四相位的照射光的四个检测信号来执行所述对表示到所述物体的所述距离的深度位的照射光和所述第二相位的照射光的四个检测信号以及基于所述第三相位的照射光和所述第四相位的照射光的四个检测信号来执行所述对表示到所述物体的所述距离的深度