CN115868172B 信号处理装置、信号处理方法和检测传感器 （索尼集团公司）

2022.11.25PCT/JP2021/0193032021.05.21WO2021/246194JA2021.12.09JP2020072471A,2020.05.07测到正方向上的第一亮度变化的像素的计数数2计数单元，其在以预定帧速率从光接收单元输出的并指示所述累计单元对所述减法单元的减法结果与所述系数的乘法所述系数生成单元基于所述预定帧速率来生成与所述时间所述累计单元以与要检测的周期对应的帧数目的整数倍对所述乘法所述系数生成单元生成与所述时间对应的正弦函数和余弦函数的值作所述累计单元将所述正弦函数和所述余弦函数的值中的每一个乘以所述像素的计数所述系数生成单元生成与要检测的周期对应的所述正弦函数和所述余弦函数的值作所述系数生成单元生成通过对所述正弦函数和所述余弦函数进行近似获得的正弦近所述正弦近似函数和所述余弦近似函数是通过将所述正弦函数和所述余弦函数近似控制单元，其基于所述闪烁量估计单元的估计结果来控制所所述控制单元分别控制所述光接收单元的灵敏度参数中的所述第一亮度变化和所述3所述控制单元针对要检测的周期的每个相位来控制所述光接收单元的在以预定帧速率从光接收单元输出的并指示亮度变化光接收单元，在所述光接收单元中，执行对入射光的光电计数单元，其在以预定帧速率从所述光接收单元输出的并4事件检测传感器以恒定周期检测亮度变化的存在或不存在。目进行计数，该第一计数数目是其中检测到正方向上的第一亮度变化的像素的计数数目，5从光接收单元输出并指示亮度变化的图像中，对第一计数数目和第二计数数目进行计数，素的计数数目，该第二计数数目是其中检测到负方向上的第二亮度变化的像素的计数数[0015]注意，可以通过使计算机执行程序来实现根据本技术的第一方面的信号处理装[0017]图1是示出作为应用了本技术的传感器的事件检测传感器的实施方式的配置示例[0021]图5是示出由闪烁检测单元进行的闪烁检测和由灵敏度控制单元进行的灵敏度参[0022]图6是示出由闪烁检测单元进行的闪烁检测和由灵敏度控制单元进行的灵敏度参[0024]图8是示出由卷积系数生成单元(convolutioncoefficientgenerationunit)生成的正弦函数和余弦函数或正弦近似函数和余弦近似函[0025]图9是示出采用图8中所示的正弦近似函数和余弦近似函数的情况下的卷积系数6[0032]图16是示出由图1中的事件检测传感器进行的闪烁控制过程的处理结果的示例的[0033]图17是示出作为应用了本技术的事件检测传感器的另一实施方式的配置示例的[0058]图1是示出作为应用了本技术的传感器的事件检测传感器的实施方式的配置示例[0059]事件检测传感器1包括作为光接收单元的像素阵列单元11和处理由光接收单元生7图像数据作为事件数据输出至信号处理电路12。变化图像的每个像素的像素值是指示+变[0069]事件计数单元32相对于从事件数据获取单元31依次提供的变化图像对+变化像素[0070]闪烁检测单元33通过使用从事件计数单元32提供的+计数数目和一计数数目检测(估计)预定周期的闪烁量，并且将闪烁量输出至事件检测传感器1的外部和灵敏度控制单[0071]灵敏度控制单元34基于从闪烁检测单元33提供的闪烁量来确定是否发生预定周单元32提供的+计数数目和一计数数目来调整(控制)像素阵列单元11的每个检测电路22的制单元34提供给像素阵列单元11的每个检测8[0078]图4是将事件检测传感器1的帧速率设置为1000fps、每1毫秒生成一个变化图像、[0080]在这点上，事件检测传感器1的闪烁检测单元33通过基于正事件和负事件的事件[0082]将参照图5和图6描述由闪烁检测单元33进行的闪烁检测和由灵敏度控制单元34测单元33以10毫秒为检测周期通过使用正事件和负存在发生具有50Hz的电源频率的光源的闪烁的帧以及不发[0090]换言之，灵敏度控制单元34针对在检测周期中生成的每个相位控制灵敏度参将检测周期中的表示与检测周期对应的十个帧中的帧的序号的相位所对应的帧称为帧相闪烁而发生正事件的帧相位改变用于检测+变化的阈值，并且针对由于光源闪烁而发生负9[0099]卷积系数生成单元52生成通过将与闪烁周期的时间对应的值作为自变量作为卷积系数提供给累计单元53的乘法器[0100]将与像素阵列单元11输出变化图像的帧速率对应的垂直驱动信号Vsync从时序控Vsync生成与闪烁周期的时间对应的值，并且将该值代入要检测的闪烁周期的正弦函数和的近似值提供给累计单元53的乘法器71和72。在本实施方式中，如参照图8至图10所描述[0102]此外，卷积系数生成单元52生成指示累计单元53输出累计结果的定时的使能信确定的累计单元53的累计时段例如可以是与要检测的闪烁周期(一个周期)相同的10毫秒。[0103]累计单元53对通过将从减法器51提供的并且通过从+计数数目减去一计数数目获使用正弦函数和余弦函数或通过对正弦函数和余弦函数进行近似获得的正弦近似函数和[0104]乘法器71将通过将从减法器51提供的计数数目的减法结果乘以从卷积系数生成单元52提供的余弦近似函数的函数值而获得的乘法结[0105]乘法器72将通过将从减法器51提供的计数数目的减法结果乘以从卷积系数生成单元52提供的正弦近似函数的函数值而获得的乘法计器74对从乘法器72提供的乘法结果进行累计并将结果[0109]闪烁量估计单元54通过使用从输出单元75和76中的每一个提供的累计结果来计[0116]图8示出由卷积系数生成单元52生成的正弦函数和余弦函数或通过对正弦函数和余弦函数进行近似获得的正弦近似函数和余弦近似函[0117]如图8的上部所示，卷积系数生成单元52可以生成通过将与闪烁周期的时间对应的值代入以要检测的闪烁周期为一个周期的正弦函数和余弦函数而获得的函数值。然而，1的信号的正弦近似函数和余弦近似函数来计算与闪烁周期的时正时输出+1以及当正弦函数和余弦函数为负时输出一1的信号。由于当前闪烁周期为10毫[0125]图9示出在采用图8所示的正弦近似函数和余弦近似函数的情况下的卷积系数生于输出与闪烁周期的时间对应的余弦近似函数的函数值cos_于输出与闪烁周期的时间对应的正弦近似函数的函数值sin_[0130]垂直驱动信号Vsync和与闪烁周期对应的计数数目cycle被输入至计数器101。计当前闪烁周期是10毫秒，并且垂直驱动信号Vsync是与1000fps的帧速率对应并且以1毫秒[0132]将设置值cos_ptim提供给比较器102，并且比较器102将从计数器101提供的计数[0133]将设置值cos_ntim提供给比较器103，并且比较器103将从计数器101提供的计数[0134]选择器104在从比较器102提供+1的定时处选择+1并将+1输出至触发器105，在从触发器105输出的值是余弦近似函数的函数值cos_a[0136]将设置值sin_ptim提供给比较器111，并且比较器111将从计数器101提供的计数[0137]将设置值sin_ntim提供给比较器112，并且比较器112将从计数器101提供的计数[0138]选择器113在从比较器111提供+1的定时处选择+1并将+1输出至触发器114，在从触发器114输出的值是正弦近似函数的函数值sin_a[0142]图8所示的正弦近似函数sin_approx(t)和余弦近似函数cos_approx(t)由图9的烁检测单元33提供闪烁量的检测结果。在检测到的闪烁量大(大于预定闪烁确定阈值FL_TH)的情况下，灵敏度控制单元34通过改变作为灵敏度参数的用于控制亮度变化的阈值的化的阈值本身作为控制值改变，并且分别控制用于控制+变化的检测灵敏度的+侧阈值Vrefp和用于控制变化的检测灵敏度的侧阈值Vr[0148]参照图11和图12，将描述确定用于控制+变化的检测灵敏度的+侧阈值Vrefp的方[0149]在图11和图12中，在预定定时处从闪烁检测单元33提供检测周期DT2的闪烁量P_count(i)来确定下一个检测周期DT3的每个帧相位i的控制值sense(i)，即，+侧阈值P_count(i)的最小值min(DT2)。公式(5)中的MIN()表示用于计算最小值的函数(i是从的+计数数目P_count(i)中减去最小值min(DT2)来计算检测周期DT2的每个帧相位i的动态[0156]在公式(7)中，MAX()是用于选择周期DT2的控制值sense(i)中减去变化幅度下，灵敏度控制单元将界限值LOWER_LIMIT确定为下一个检测周期DT3的帧相位i的控制值小检测灵敏度的情况下，灵敏度控制单元34在增加控制值seVALUE与检测周期DT2的控制值sense(i)相加而获得的值{sense(i)+VALUE}等于或小于界敏度控制单元34将界限值UPPER_LIMIT确定为下一个检测周期DT3的帧相位i的控制值[0161]在计算的每个帧相位i的动态范围DR(i)等于或大于第一阈值DR_TH1且等于或小制值sense'(5)至sense'(9)被改变为比检测周期DT2的控制值sense(5)至sense(9)高变化[0163]另一方面，从检测周期DT2的第0帧相位至第四帧相位的各个动态范围DR(0)至DR因此，不改变从下一个检测周期DT3的第0帧相位至第四帧相位的控制值sense'(0)至[0164]图12示出与连续四个检测周期DT1至DT4的每个帧相位i的+计数数目P_count(i)[0165]检测周期DT2的第五帧相位至第九帧相位的各个动态范围DR(5)至DR(9)大于第二[0166]在下一个检测周期DT3中，仅第七帧相位的动态范围DR(7)大于方向上改变换言之检测周期DT4的控制值sense(7)改变到比检测周期DT3的控制值位和第九帧相位的控制值sense(8)和sense(9)保持与检测周期D[0167]尽管已经描述了用于控制+变化的检测灵敏度的每个帧相位i的控但是灵敏度控制单元34还对用于控制一变化的检测灵敏度的每个帧相位i的控制值sense[0168]图13是示出针对+变化的检测灵敏度的控制和一变化的检测灵敏度的控制中的每阈值Vrefn的控制值sense(i)改变为减小检测灵敏度的方向，并且在增加检测灵敏度的情值sense(i)的幅值关系也根据光接收单元的像素的结构和检测时的极性而改变，并且因[0170]在变化的检测灵敏度的控制中，增加和减小检测灵敏度的情况下的变化幅度将变化的检测灵敏度的控制值sense(i)称为控制值n_sense(i)以进检测单元33向灵敏度控制单元34提供检测到的闪烁量。将来自事件计数单元32的+计数数来自闪烁检测单元33的闪烁量输入至更新确定单元17[0180]DR计算单元172通过从由事件计数单元32提供的当前检测周期DT(x)的每个相位帧i的+计数数目P_count(i)中减去从最小值检测单元171提供的检测周期DT(x)的最小值针对每个检测周期DT执行上述公式(6)的计算。将当前检测周期DT(x)的每个帧相位i的计算的动态范围DR(i)提供给比较单元1[0181]比较单元173将当前检测周期DT(x)的每个帧相位i的动态范围DR(i)与第一阈值的动态范围DR(i)小于第一阈值DR_TH1的情况下，比较单元173计算下一个检测周期DT(x+相位i的动态范围DR(i)大于第二阈值DR_TH2的情况下，计算下一个检测周期DT(x+1)的每1)的每个帧相位i中的控制值p_sense'(i)，并且将控制值p_sense'(i)提供给更新确定单[0184]更新确定单元174基于从闪烁检测单元33提供的闪烁量EST_FL来确定是否发生闪量EST_FL大于闪烁确定阈值FL_TH的状态在预定时段内发生预定次数或更多次的情况下，单元173提供的下一个检测周期DT(x+1)的每个帧相位i中的控制值p_sense’(i)作为更新的控制值p_sense(i)提供给像素阵列单元11的每个检[0186]除了使用计数数目代替+计数数目，负控制值生成单元152的最小值检测单元[0189]将参照图15中的流程图描述由事件检测传感器1进行的闪烁控制过程。该过程例[0192]在步骤S3中，事件计数单元32相对于从事件数据获取单元31提供的变化图像对+计数数目和计数数目进行计数，并且将计数结果提供给闪烁检测单元33和灵敏度控制单数目，对通过将减法结果乘以余弦近似函数(余弦函数)的函数值获得的乘法结果进行累的减法结果乘以由卷积系数生成单元52生成的余弦近似函数的函数值获得的乘法结果提过将从减法器51提供的计数数目的减法结果乘以由卷积系数生成单元52生成的正弦近似单元33的输出单元75获取累计器73的累计值cos_sum并且将累计值cos_sum提供给闪烁量为单位计算的闪烁量EST_FL大于闪烁确定阈值FL_TH的状态在预定时段内发生预定次数或检测单元171检测以检测周期DT为单位累积的多个变化图像的+计数数目的最小值min(DT测周期DT(x)的每个相位帧i的+计数数目P_count(i)中减去+计数数目的最小值min(DT(x))来计算检测周期DT(x)的每个帧相位i的+计数数目的动态范围DR(i)。比较当前检测周期DT(x)的每个帧相位i的+计数数目的动态范围DR(i)与第一阈值DR_TH1和第二阈值DR_TH2进行比较，并且计算下一个检测周期DT(x+1)的每一帧相位i中的控制值p_测周期DT(x+1)的每个帧相位i中的控制值sense(i)作为更新的控制值sense(i)提供给像[0211]图像202是通过事件检测传感器1的变化图像的帧数据(帧图像)。图像202处于事[0212]图像203是通过闪烁控制过程使传感器灵敏度降低到图像202的灵敏度以下之后息)。于是，在闪烁量大的情况下，可以抑制闪烁，并且可以仅提取优先事件(superior[0219]图17中的事件检测传感器1可以通过包括多个闪烁检测单元33_1至33_R来检测多[0221]替选地，当将由闪烁检测单元33_1至33_R检测的闪烁的频率设置为25Hz、50Hz、[0223]图18是示出包括上述事件检测传感器1作为成像元件的成像装置的配置示例的框[0225]光学单元311会聚来自被摄体的光并使光进入成像元件312。成像元件312光电转[0228]成像元件312具有接合和堆叠有光接收芯片321和检测芯片322的堆叠结构。光接[0230]光接收芯片321包括形成在芯片中心部分中的光接收单元341以及形成在光接收[0231]在光接收单元341中，多个共享块343以二维格子图案布置。在通孔布置单元342个对数响应单元351被布置成2行×2列。这四个对数响应单元351共享检测芯片322上的电[0233]对数响应单元351生成与光电流的对数值对应的电压信号。包括行地址和列地址[0236]通孔布置单元361设置在与光接收芯片321的通孔布置单元342对应的位置处，并[0237]地址事件检测单元362针对光接收芯片321的每个对数响应单元351检测事件的存[0240]信号处理电路365对从地址事件检测单元362输出的检测信号执行预定信号处图像数据执行检测(估计)预定周期的闪烁量的过程，并且[0245]四个检测单元381中的每一个都包括对数响应单元351、缓冲器352和微分器35对数响应单元351生成与光电流的对数值对应的电压信号并将电压信号输出至缓冲器352。对应于共享块343中的2行×2列的对数响应单元351。在区分四个检测单元381中的每一个[0247]选择器382根据来自行驱动电路363的选择信号SEL1至SEL4选择四个检测单元381中的任何一个的输出，并且将获取的差分信号Sin作为差分信号Sout提供给比较单元383。1的差分信号Sin1，在提供选择信号SEL2的情况下选择来自检测单元381一2的差分信号[0249]比较单元383将指示表示亮度变化的变化量的差分信号Sout是否超过+侧阈值Vrefp的检测信号DET+输出至传送电路384，并且将指示差分信号Sout是否超过一侧阈值[0250]传送电路384根据来自列驱动电路364的列驱动信号将检测信号传送(输出)至信单元383提供指示亮度变化的变化量超过+侧阈值Vrefp的检测信号DET+的情况下输出指示[0252]对数响应单元351包括作为光电转换元件的光电二极管(PD)411和FET412至41响应单元351将来自PD411的光电流转换为与光电流的对数对应的电压(下文中也称为光[0254]FET412的源极连接至FET414的栅极，并且由PD411生成的光电流流过FET412被FET412转换成与光电流的对数对应的[0257]经由缓冲器352将光电压Vo从FET412的栅极与FET414的漏极之间的连接点输出[0260]电容器431的一端连接至缓冲器352的输出端，并且另一端连接至运算放大器432[0263]开关434连接至电容器433以接通/断开电容器433的两端之间的连接。开关434通过根据行驱动电路363的行驱动信号进行接通/断开而接通/断开电容器433两端之间的连[0264]电容器433和开关434构成开关电容器。当已经断开的开关434被暂时接通并再次434接通的情况下在电容器431中累积的电荷Qinit由公[0268]此后，在开关434断开的情况下的对数响应单元351侧的电容器431的光电压Vo由信号Vout的公式(11)来表达电容器433[0272]在开关434断开之前和之后，电容器431的电荷和电容器433的电荷的总电荷量没[0277]当开关434通过从行驱动电路363输出的行驱动信号接通和断开时，微分器353输[0283]在定时T0处，行驱动电路363通过行驱动信号L1选择第一行并驱动所选择的行的363在一定时段内将选择信号SEL1提供给选择器382，并选择共享块343中的2行×2列的左数编号的列中的检测单元381检测事件的存在或不存的行的共享块343中的每个检测单元381。例如，在共享块343中布置2行×2列的检测单元[0288]对布置有检测单元381的整个地址事件检测单元362(光接收单元341)依次执行上[0289]信号处理电路365获取以预定帧速率输出的变化图像，确定是否发生预定周期的[0292]图27是示出作为安装有事件检测传感器的电子装置的智能电话的配置示例的框[0293]如图27所示，智能电话601通过经由总线611连接事件检测传感器602、成像装置[0294]图1中的事件检测传感器1被应用为事件检测传感器602。例如，事件检测传感器602被布置在智能电话601的前面，并且可以检测并输出作为事件的诸如智能电话601的用[0295]成像装置603布置在智能电话601的前面，并且执行对作为被摄体的智能电话601[0296]显示器604显示用于供应用处理单元621和操作系统处理单元622执行处理的操作动体的广域通信网络以及诸如广域网(WAN)或局域网(L理单元621可以执行基于从事件检测传感器602提供的亮度变化而使成像装置603执行成像[0299]操作系统处理单元622执行用于实现智能电话601的基本功能和操作的过程。例[0300]在如上所述的那样配置的智能电话601中，当图1中的事件检测传感器1被应用为应用根据本公开内容的实施方式的技术的移动体控制系微型计算机12051、声音/图像输出部12052和车载网络接口(I/F)12053作为集成控制单元[0305]驱动系统控制单元12010根据各种类型的程序对与车辆的驱动系统相关的装置的[0306]车身系统控制单元12020根据各种类型的程序对车身所设置的各种类型的装置的[0307]车外信息检测单元12030检测与包括车辆控制系统12000的车辆的外部有关的信[0308]成像部12031是接收光并且输出与所接收的光的光量相对应的电信号的光学传感元12040可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以确定驾驶员是否在打[0310]微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040如由车外信息检测单元12030检测的前方车辆或迎面车辆的位置来控制前照灯以将其从远[0313]声音/图像输出部12052将声音和图像中的至少一个的输12101以及布置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的在前鼻的成像部12101的成像范围。成像范围12112和12113分别表示设置在侧视镜的成像[0319]例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息来确定到成像范围12111至12114内的每个三维对象的距离以及该距离的时间变化(相对于车辆12051经由音频扬声器12061或显示部12062向驾驶员输出警报，并且经由驱动系统控制单型计算机12051可以通过确定在成像部12101至12104的成像图像中是否存在行人来识别行是否是行人。当微型计算机12051确定在成像部12101至12104的成像图像中存在行人并且公开内容的技术可以应用于上述配置中的车外信息检测单元12030和车内信息检测单元内信息检测单元12040时，可以执行检测驾驶员的操作的过程或检测车辆外部情况的变化[0346]所述系数生成单元生成与所述时间对应的正弦函数和余弦函数的值作为所述系[0349]所述累计单元将所述正弦函数和所述余弦函数的值中的每一个乘以所述像素的[0352]所述系数生成单元生成与要检测的周期对应的所述正弦函数和所述余弦函数的[0355]所述系数生成单元生成通过对所述正弦函数和所述余弦函数进行近似获得的正[0358]所述正弦近似函数和所述余弦近似函数是通过将所述正弦函数和所述余弦函数[0370]所述控制单元分别控制所述光接收单元的灵敏度参数中的所述第一亮度变化和[0373]所述控制单元针对要检测的周期的每个相位来控制所述光接收单元的灵敏度参[0382]计数单元，其在以预定帧速率