CN119404516A 固态成像元件、成像装置和控制固态成像元件的方法 （索尼半导体解决方案公司）

2024.12.20PCT/JP2023/0168402023.04.28WO2024/004370JA2024.01.04本发明提高了通过卷积积分来执行图像识像素信号的多个像素以二维网格布置在像素阵数量的垂直排列的各像素中保持的像素信号进2多个积分电路，对所述多个像素中的在垂直方模数转换器，对所述多个积分电路中的每一个积分电路的积分信号进所述积分电路的每个像素的积分时间包括根据与所述像素相对应的滤波器系数的绝所述像素在所述滤波器系数的符号为正的情况下按照预定顺序输出所述复位电平和所述模数转换器还包括连接开关，所述连接开关根据预定切换信号每个所述像素包括光电二极管，在所述光电二极管中，电荷前级电路，依次生成所述复位电平和所述信号电平，并3前级电路，依次生成所述复位电平和所述信号电平，并选择电路，依次执行将所述第一电容元件和所述第二电容元件中的制；以及将所述第一电容元件和所述第二电容元件中的另一个连接到所述后级节点的控后级复位晶体管，当所述第一电容元件和所述第二电容后级电路，经由所述后级节点从所述第一电容元件复位电平和所述信号电平并且输出所述复位电平多个积分电路，对所述多个像素中的在垂直方模数转换器，将所述多个积分电路中的每一个积分电路中的积分采样和保持过程，在所述采样和保持过程中，以二维网格图案布置的积分过程，在所述积分过程中，多个积分电路对所述多个像及模数转换过程，对所述多个积分电路中的每一个积分电路的积4于每列的一对电容元件的算术电路和应用滤波器系数+1、0和_1中的任何一个的像素(例[0005]非专利文献1：MartinLefebvre,etal.,A0.2_to_3.6TOPS/WProgrammableConvolutionalImagerSoCwithIn_SensorCurrent_DomainTernary_WeightedMACOperationsforFeatureExtractiona所述多个积分电路中的每一个的积分信号进行模拟相加以将所述模拟相加的积分信号转5垂直方向上布置的预定数量的像素中的每个像素中保持的像素信号进行时间积分并且输6[0022]图4是示出了根据本技术的第一实施方式的堆叠结构的像素的配置示例的电路[0023]图5是示出根据本技术的第一实施方式的负载MOS电路块和列信号处理电路的配[0026]图8是示出根据本技术的第一实施方式的固态成像元件和DSP电路的配置示例的[0029]图11是示出根据本技术的第一实施方式的第一自动调零操作和第一积分操作的[0030]图12是示出根据本技术的第一实施方式的在第一自动调零时间段内的固态成像[0031]图13是示出根据本技术的第一实施方式的在第一积分时段内的固态成像元件的[0033]图15是示出根据本技术的第一实施方式的第二积分时段内的固态成像元件的状[0035]图17是示出根据本技术的第一实施方式的第三积分时段内的固态成像元件的状[0037]图19是示出根据本技术的第一实施方式的在第一读取时段内的固态成像元件的[0038]图20是示出根据本技术的第一实施方式的第二自动调零操作和第四积分操作的[0039]图21是示出根据本技术的第一实施方式的第二自动调零时间段内的固态成像元[0040]图22是示出根据本技术的第一实施方式的第四积分时段内的固态成像元件的状[0042]图24是示出根据本技术的第一实施方式的在第五积分时段内的固态成像元件的7[0044]图26是示出根据本技术的第一实施方式的第六积分时段内的固态成像元件的状[0046]图28是示出根据本技术的第一实施方式的在第二读取时段内的固态成像元件的[0047]图29是示出了当根据本技术的第一实施方式的滤波器在水平方向上滑动时固态[0050]图32是示出本技术的第一实施方式的变形例中的列信号处理电路的配置示例的[0056]图38是示出了本技术的第五实施方式的第一变形例中的像素的配置示例的电路[0057]图39是示出了本技术的第五实施方式的第一变形例中的全局快门操作的示例的[0058]图40是示出本技术的第五实施方式的第二变形例中的固态成像元件的堆叠结构[0059]图41是示出了本技术的第五实施方式的第二变形例中的像素的配置示例的电路[0060]图42是示出本技术的第五实施方式的第三变形例中的固态成像元件的堆叠结构[0068]图50是示出了本技术的第九实施方式中的假像素和调节器的操作的示例的时序8[0080]6.第六实施方式(添加放电晶体管并且使第一电容元件和第二电容元件保持像素[0081]7.第七实施方式(通过使第一电容元[0082]8.第八实施方式(使第一和第二电容元件保持像素信号并且执行卷帘快门操作的[0083]9.第九实施方式(降低噪声并且使第一电容元件和第二电容元件保持像素信号的[0089]成像透镜110会聚光并且将光引导至固态成像元件200。成像控制部130控制固态态成像元件200包括垂直扫描电路211、像素阵列部220、定时控制电路212、数模转换器9[0095]定时控制电路212与来自成像控制部130的垂直同步信号VSYNC同步地控制垂直扫入射光以产生模拟像素信号。该像素300经由负载MOS电路块250将像素信号供应至列信号[0101]图3是示出了根据本技术的第一实施方式的像素300的配置示例的电路图。像素211的传输信号trg将电荷从光电转换[0104]FD复位晶体管313根据来自垂直扫描电路211的FD复位信号rst从FD314提取电荷[0106]预充电晶体管318根据来自垂直扫描电路211的控制信号PC断开和闭合前级节点描电路211通过控制信号PC断开预充电晶体管318。因此，可以防止电荷从电容元件321和[0107]电容元件321和322使它们各自的一端共同连接至前级节点320并且使它们各自的管332根据来自垂直扫描电路211的选择信号Φs打开和关闭电容元件322与后级节点340之[0109]级后复位晶体管341根据来自垂直扫描电路211的级后复位信号rstb将级后节点放大后级节点340的电平。后级选择晶体管352根据来自垂直扫描电路211的后级选择信号[0112]垂直扫描电路211在曝光开始时将高电平FD复位信号rst和高电平传输信号trg供[0114]在FD复位时的FD314的电平和对应于FD314的电平(电容元件321中保持的电平[0116]在信号电荷转移时FD314的电平和对应于FD314的电平(电容元件322中保持的[0120]在输出复位电平之后，垂直扫描电路211在脉冲时段内提供高电平后级复位信号[0122]当垂直扫描电路211提供高电平处的选择信号Φr紧挨高电平处的选择信号Φs[0125]图5是示出根据本技术的第一实施方式的负载MOS电路块250和列信号处理电路[0126]在负载MOS电路块250中，为每列布线垂直信号线309。当列的数量是M(M是整数)[0129]积分电路270_1将相应列中的J个像素的各个像素信号与作为J(J是整数)行应用的滤波器的垂直尺寸进行时间积分。积分电路270_1的每个像素的积分时间是对应于与该[0130]切换电路261基于滤波器的应用范围切换每个积分电路的输出目的地。假设滤波切换电路261将积分电路270_2和270_3的输出目的地切换到ADC2[0131]ADC280_1将多个积分电路的各个积分信号模拟相加以将信号转换成数字信号。[0132]图像识别部290使用来自诸如ADC280_1的每个ADC的数字信号来执行图像识别处[0134]图6是示出根据本技术的第一实施方式的积分电路270_1和ADC280_1的配置示例[0135]输入开关271根据来自定时控制电路212的控制信号INT打开和关闭对应列的垂直信号线309和电阻元件272之间的路径。电阻元件272插入在输入开关271与运算放大器273在输入开关271和电阻元件272的连接节点与运算放大器2[0136]自动调零开关275根据来自定时控制电路212的控制信号AZ1断开和闭合输入开关271和电阻元件272的连接节点与运算放大积分时间被设置为与对应于像素的滤波器系的三个像素的像素信号进行时间积分，并且经由开关电路261将积分信号提供至ADC280_[0140]比较器285将来自DAC213的斜坡信号Rmp与通过将积分电路270_1至270_3的各个[0141]自动调零开关286根据来自定时控制电路212的控制信号AZ2断开和闭合比较器[0146]第k列中的积分电路对该列中的J个像素的各个像素信号(复位电平或信号电平)进行时间积分。ADC280_1将每列的积分信号模拟相加以将模拟相加的积分信号转换成数的积和运算由包括多个积分电路的模拟电路和ADC中的比较器(未示出)实现。第二和随后数据对照部292能够设置在固态成像元件200外部的数字信号处理(DS[0160](1)其中固态成像元件200安装在车载摄像机上并且使用图像识别处理的结果实[0161](2)其中固态成像元件200安装在工业相机上并且使用图像识别处理的结果执行扫描电路211在从紧接在曝光开始之前的时刻T0到脉冲时段过去之后的时刻T1的时段内将[0170]在作为曝光结束的时刻T4，垂直扫描电路211在脉冲期间提供高电平转移信号平被采样和保持。此外，前级节点320的电平从复位电平(VDD_Vgs)降低至信号电平(VDD_[0173]图11是示出根据本技术的第一实施方式的第一自动调零操作和第一(换言之，第二列。[0174]在通过全局快门法进行曝光之后，固态成像元件200在水平方向上或垂直方向上[0177]在第一自动调零时间段内，垂直扫描电路211将高电平控制信号AZ1和AZ2从时刻[0178]垂直扫描电路211在从时刻T12至T14的第零行的积分时段期间将高电平FD复位信哪一个被设定为高电平由对应的滤波器系数的[0183]图12是示出根据本技术的第一实施方式的在第一自动调零时间段内的固态成像[0184]图13是示出根据本技术的第一实施方式的在第一积分时段(在第零行)内的固态列的积分电路中，输入开关271根据控制信号INT的滤波器系数的绝对值在积分时间内闭[0188]在从时刻T16至T17的第一行的积分时段期间，垂直扫描电路211将高电平FD复位信号INT_[2]的脉冲宽度的三倍。[0192]图15是示出根据本技术的第一实施方式的第二积分时段(第一行)内的固态成像[0194]第零列的积分时间是t，并且从第一行和第零列中的像素输出的信号电平(D相电[0196]在从时刻T19至T21的第二行的积分时段期间，垂直扫描电路211将高电平FD复位第二行和第零列输出，信号电平从第二行和第一列输出，并且复位电平从第二行和第二列输出。[0200]图17是示出根据本技术的第一实施方式的第三积分时段(第二行)内的固态成像列的积分电路中，输入开关271根据控制信号INT的滤波器系数的绝对值在积分时间内闭[0204]图19是示出根据本技术的第一实施方式的在第一读取时段内的固态成像元件200ADC280_1AD将通过模拟相加该积分信号获得的信号转换成数字信号Conv1。数字信号[0208]图20是示出根据本技术的第一实施方式的第二自动调零操作和第四(换言之，第[0209]在第二自动调零时间段内，垂直扫描电路211在脉冲时间段内从时刻T25向第n行[0210]垂直扫描电路211在从时刻T26至T28的第零行的积分时段期间将高电平FD复位信[0214]图21是示出根据本技术的第一实施方式的第二自动调零时间段内的固态成像元[0215]图22是示出根据本技术的第一实施方式的第四积分时段(在第零行)内的固态成的积分电路中，输入开关271根据控制信号INT的滤波器系数的绝对值在积分时间内闭合。[0219]在从时刻T29至T30的第一行的积分时段期间，垂直扫描电路211将高电平FD复位信号INT_[2]的脉冲宽度的三倍。[0222]图24是示出根据本技术的第一实施方式的在第五积分时段(第一行)内固态成像[0226]在从时间T32至T34的第二行的积分时段期间，垂直扫描电路211将高电平FD复位[0229]图26是示出根据本技术的第一实施方式的第六积分时段(第二行)内的固态成像[0233]图28是示出根据本技术的第一实施方式的在第二读取时段内的固态成像元件200[0239]图29是示出了当根据本技术的第一实施方式的滤波器在水平方向上滑动一列时固态成像元件200的状态的示例的示图。图中的粗帧中的像素指示应用滤波器的像素。例情况下，切换电路261将积分电路270_1和270_2的输出目的地切换至ADC280_1，并且将[0241]图30是示出根据本技术的第一实施方式的固态成像元件200的操作的示例的流程[0242]垂直扫描电路211曝光所有像素(步骤S901)。每个像素采样和保持复位电平和信[0243]固态成像元件200确定是否对所有像素完成了滤波处理(步骤S907)。在滤波处理S908)，并且将CNN处理的结果与识别对象的特征量的数据进行对照(步骤S909)。在步骤[0245]图31是示出根据本技术的第一实施方式的固态成像元件200的使用的示例的示[0246]例如，第一卷积层的积和运算由包括图7中所示的积分电路和ADC的模拟电路执成像元件200与第二实施方式的固态成像元件的不同之处在于添加了旁路积分电路的旁路[0251]图32是示出本技术的第一实施方式的变形例中的列信号处理电路260的配置示例的电路图。根据第一实施方式的变形例的列信号处理电路260与第一实施方式的列信号处理电路260的不同之处在于进一步包括旁路开关262_1至262_3以及旁路开关263_1至263_[0252]旁路开关262_1至262_3和旁路开关263_1至263_3在定时控制电路212的控制下旁[0253]例如，在固态成像元件200中设定进行图像识别处理的图像识别模式或不进行图于该配置。第二实施方式的固态成像元件200与第一实施方式的固态成像元件的不同之处[0258]图33是示出根据本技术的第二实施方式的ADC280_1的配置示例的电路图。第二实施方式的ADC280_1与第一实施方式的ADC280_1的不同之处在于其包括连接开关283_1282_1至282_K的一端经由开关电路261连接至相应的积分电路，并且另一端共同连接至比[0260]连接开关283_k(k是1至K_1的整数)根据切换信号SW_k连接电容元件282_k在比较量可能不足。第三实施方式中的固态成像元件200与第一实施方式中的固态成像元件的不[0267]图34是示出根据本技术的第三实施方式的光电转换元件311的配置示例的图。作硅膜之间的界面被高浓度的p层503覆盖，并且可以通过在具有许多晶体缺陷的Sip型区域读取速度可能不足。第四实施方式中的固态成像元件200与第一实施方式中的固态成像元[0274]图35是示出根据本技术的第四实施方式的像素300的配置示例的电路图。第四实施方式的像素300包括后级电路350_r和350_s来代替后级电[0275]选择晶体管331打开和关闭电容元件321与后级电路350_r之间的路径，并且选择[0276]后级电路350_r包括后级放大晶体管351_r和后级选择晶体管352_r，并且后级电[0277]图36是示出根据本技术的第四实施方式的列信号处理电路260的配置示例的电路[0281]切换电路261_1根据像素的滤波器系数的符号切换垂直信号线的连接目的地。例[0282]此外，开关电路261_1将传输第二列的复位电平的垂直信号线连接到积分电路输第三列的复位电平的垂直信号线连接到积分电路270_3，并将传输该列的信号电平的垂第五实施方式中的固态成像元件200与第一实施方式中的固态成像元件200的不同之处在[0288]图37是示出根据本技术的第五实施方式的像素300的配置示例的电路图。第五实施方式的像素300与第一实施方式的像素300的不同之处在于预充电晶体管318减少。垂直扫描电路211仅需要通过控制栅极电压来关断电流源晶体管316而不是预充电晶体管318以[0289]此外，第一实施方式的变形例以及第二至第四实施方式可以应用于第五实施方例的像素300与第一实施方式的像素的不同之处在于晶体管插入在前级电路310与前级节[0293]图38是示出本技术的第五实施方式的第一变形例中的像素300的配置示例的电路的前级电路310和后级电路350的电源电[0297]通过设定满足公式5的值，可以减小在黑暗中前级节点320和后级节点340之间的[0298]前级选择晶体管324根据来自垂直扫描电路211的前级选择信号sel断开和闭合前[0299]图39是示出了本技术的第五实施方式的第一变形例中的全局快门操作的示例的[0300]垂直扫描电路211在从紧接在曝光结束之前的时刻T2到时间T5的时间段内将高电第二变形例的固态成像元件200与第五实施方式的固态成像元件200的不同之处在于固态[0305]图40是示出本技术的第五实施方式的第二变形例中的固态成像元件200的堆叠结[0306]上部像素阵列部221被设置在像素芯片201中。下部像素阵列部222和列信号处理[0309]图41是示出本技术的第五实施方式的第二变形例中的像素300的配置示例的电路200与第五实施方式的第二变形例的不同之处在于固态成像元件200中的电路被分散地布[0313]图42是示出本技术的第五实施方式的第三变形例中的固态成像元件200的堆叠结构的示例的示图。根据第五实施方式的第三变形例的固态成像元件200包括上像素芯片[0314]上部像素阵列部221被设置在上部像素芯片203中。下部像素阵列部222被设置在与第五实施方式的固态成像元件的不同之处在于通过增加从光电转换元件释放电荷的晶[0320]图43是示出根据本技术的第六实施方式的像素300的配置示例的电路图。第二实施方式的像素300与第五实施方式的像素300的不同之处在于：放电晶体管317进一步设置[0321]放电晶体管317用作根据来自垂直扫描电路211的放电信号g从光电转换元件311级节点320的电位下降。响应于电位降，电容元件321和322的充电电流和放电电流继续发曝光之前的时刻T0，垂直扫描电路211在脉冲期间向所有像素提供高电平FD复位信号rst，[0328]另一方面，在设置放电晶体管317的第六实施方式中，可分别执行PD复位和FD复的放电晶体管317，所以可以在开始曝光之前通过执行FD复位来对复位电平进行采样和保施方式的固态成像元件200与第五实施方式的固态成像元件在通过在读取时降低FD复位晶[0333]图45是示出根据本技术的第七实施方式的像素300的配置示例的电路图。该第七实施方式的像素300与第一实施方式的像素300的不同之处在于FD复位晶体管313的电源与[0334]第七实施方式的FD复位晶体管313具有连接到复位电源电压VRST的漏极。复位电在紧接在曝光开始时间之前的时刻T0，FD314的电位由于FD复位晶体管313的复位馈通而[0337]此外，在第一实施方式中，FD复位晶体管313在读取时转变为导通状态，并且FD[0346]具体地，为了减少采样和保持输入转换电容时的kTC噪声，需要增加FD314的电[0348]定时控制电路212执行控制以使时刻T9之后的逐行读取期间的复位电源电压VRST[0349]例如，对于曝光时段，定时控制电路212将复位电源电压VRST设置为与电源电压位馈通引起的变化Vft减小复位电源电压VRST，所以可以使曝光时的复位电平与读取时的固态成像元件200的不同之处在于在测试等时执垂直扫描电路211在脉冲时段内将高电平FD复位信号rst和高电平后级复位信号rstb提供卷帘快门操作允许固态成像元件200产生低[0361]在上述第五实施方式中，前级源极跟随器(前级放大晶体管315和电流源晶体管态成像元件的不同之处在于通过在读取时断开前级源极跟随器来降低[0362]图48是示出根据本技术的第九实施方式的固态成像元件200的配置示例的框图。第九实施方式的固态成像元件200与第五实施方式的固态成像元件的不同之处在于进一步像素301和预定数量的假像素(dummypixel)430。假像素430布置在布置有效像素301的区电源电压VDD从位于固态成像元件200外部晶体管434。复位晶体管431根据来自垂直扫描电路211的复位信号RST初始化FD432。FD输入电压Vi的信号中的预定频率以下的低频带中的成分作为输出电[0369]输出电压Vj被输入到缓冲放大器422的非反相输入端(+)。缓冲放大器422的反相输入端(_)连接至其输出端。电容元件423保持缓冲[0371]反相器441将从定时控制电路212发送的切换信号SW反相。反相器441向每个开关[0373]图50是示出根据本技术的第九实施方式的假像素430和调节器420的操作的示例的时序图。在紧接在读取特定行之前的时刻T10，垂直扫描电路211将高电平复位信号RST[0376]图51是示出根据本技术的第九实施方式的每个有效像素301的配置示例的电路压VDD作为源极电压Vs。此外，前级节点的电压在时刻T4从VDD_Vgs_Vth降低至VDD_Vgs_取的像素300的源极跟随器(前级放大晶体管315和电流源晶体管316)在逐行读取期间导晶体管316)中产生的噪声是380(μVrms)。在后续级中的源极跟随器之后产生的噪声为16054所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元[0388]驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操[0389]车身系统控制单元12020根据各种程序来控制设置在车身上的各种装置的操作。为按键的替代物的移动装置发送的无线电波或各种开关的信号可以被输入到车身系统控[0391]成像部12031是接收光并且输出对应于接收到的光的光量的电信号的光学传感器。成像部12031可以输出电信号作为图像，或者可以输出电信号作为关于测量距离的信摄驾驶员的照相机。基于从驾驶员状态检测部12041输入的检测信息，车内信息检测单元[0393]微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040实现高级驾驶员辅助系统(ADAS)的功能的协作控制，该功能包括用于车辆的防碰撞或减外信息检测单元12030检测的前方车辆或对面车辆的位置，控制前照灯以从远光改变到近[0396]声音/图像输出部12052将声音和图像中的至少一个的输该输出装置能够视觉地或听觉地将信息通知给车辆的乘员或车辆外部。在图54的示例中，部的成像部12101和设置在挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图设置到前鼻的成像部12101的成像范围。成像范围12112和12113分别表示设置到侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置到后保险杠或后门的成像部[0401]成像部12101至12104中的至少一个可具有获得距离信息的功能。例如，成像部[0402]例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息确定在成像范围12111至12114内到每个三维物体的距离以及该距离的时间变化(相对于车辆[0403]例如，微型计算机12051可以基于从成像部12101至12104获得的距离信息将与三可以视觉识别的障碍物和车辆12100的驾驶员难以视觉识别的障碍物。然后，微型计算机12051确定指示与每个障碍物碰撞的风险的碰撞风险。在碰撞风险等于或高于设定值并且因此存在碰撞可能性的情况下，微型计算机12051经由音频扬声器12061或显示部12062向[0404]成像部12101至12104中的至少一个可以是检测红外线的红外相机。微型计算机12051例如可以通过确定在成像部12101至12104的拍摄图像中是否存在行人来识别行人。行人的这种识别例如通过提取作为红外照相机的成像部12101至12104的成像图像中的特征点的过程以及通过对表示对象的轮廓的一系列特征点执行图案匹配处理来确定是否是行人的过程来执行。当微型计算机12051确定在成像部12101到12104的成像图像中存在行[0414]用于积分电路的每个像素的积分时间包括根据对应于像素的滤波器系数的绝对行控制以将第一电容元件和第二电容元件中的另一个连接到[0451]模拟相加多个积分电路中的每一个的积分信号以将模拟相加的积分信号转换成