CN112312049B 图像传感器、图像处理系统及其操作方法 （三星电子株式会社）

CN206313891U,2017.07.07US2006119903A1,2006.0地读取由像素阵列的多个行的像素生成的像素素信号执行模数转换的多个模数转换器(ADC)；器处接收的用于改变图像传感器的操作模式的2像素阵列，包括布置成矩阵的多个像素，所述合并电路，被配置为选择性地对读取的像素信号进行求和或者通过读取的像素信号，模式选择电路，被配置为：基于在图像传感器处接收的用于改变图像传以使行驱动器选择性地读取像素阵列的所述多个行之中的与感兴趣区域对应的行的集合，其中，模式选择电路被配置为将图像传感器的操作模式改变为一行并跳过像素阵列的所有行中的紧接在第一行下方的第二行的第一信号以及命令顺序其中，模式选择电路还被配置为将图像传感器的操作其中，模式选择电路还被配置为将图像传感器的操作模式选择电路被配置为响应于生成第一信号而生成启基于第三信号和裁剪信号读取像素阵列的与感兴趣区域对应的行的集合之中的偶数合并电路被配置为：基于禁用信号读取读取的行的所有像素3基于第二信号和裁剪信号，将第三信号施加到行驱动器并将禁用信号施加到合并电行驱动器，被配置为：选择性地读取由所述多个行中的选择的行模式选择电路，被配置为：基于在图像传感器处接收的模式信号来其中，模式选择电路被配置为将图像传感器的操作模式改变为一行并跳过像素阵列的所有行中的紧接在第一行下方的第二行的第一信号以及命令顺序其中，模式选择电路还被配置为将图像传感器的操作其中，模式选择电路还被配置为将图像传感器的操作处理电路被配置为：基于读取的像素的转换值和已由合并电路求和的4基于第三信号和裁剪信号读取像素阵列的与感兴趣区域对应的行的集合之中的偶数合并电路被配置为：基于禁用信号读取读取的行的所有像素处理电路被配置为：基于读取的奇数行的像素值和偶数行的模式选择电路被配置为：响应于裁剪信号，控制行驱动器跳过像素基于与感兴趣区域相关联的裁剪信号，生成用于命令读取像素阵列的基于用于改变图像传感器的操作模式的模式信号来改变图像传感器的操作模式，其一行并跳过像素阵列的所有行中的紧接在第一行下方的第二行的第一信号以及命令顺序仅读取像素阵列的所述多个行之中的与感兴趣区域对应的偶数行，并且跳生成具有彼此不同视角的两个图像，其中，仅基于像素阵列的将第一图像和第二图像两者从图像传感器输出到图像传感读取与感兴趣区域对应的偶数行的步骤包括：在对偶数行的每两个像56[0001]本申请要求于2019年7月29日在韩国知识产权局提交的第10-2019-0092007号韩[0003]包括图像传感器的图像捕获装置可被包括在各种类型的电子装置(诸如，智能电[0004]图像捕获装置可包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体[0005]图像传感器是其中集成了被配置为将光信号转换为电信号的多个像素的传感可读出由像素转换的电信号，并且可使用全局快门方法(globalshuttermethod)等作为根据控制信号而任意改变的列单位的顺序读出[0006]例如，以特定的列单位的顺序读出CMOS图像传感器的从[0007]本发明构思提供基于使用一个相机模块生成具有两个或更多个图像角度的多个7[0013]图2是根据本发明构思的一些示例实施例的包括图像传感器的图像处理系统的框[0015]图4A是示出根据本发明构思的一些示例实施例的图像传感器的读出方法和读出[0016]图4B是示出根据本发明构思的一些示例实施例的图像传感器的读出方法和读出[0017]图4C是示出根据本发明构思的一些示例实施例的根据图像传感器的像素阵列的[0018]图5A是示出根据本发明构思的一些示例实施例的图像传感器的读出方法的示例[0019]图5B和图5C是分别示出根据本发明构思的示例实施例的根据图像传感器的像素[0020]图6A是示出根据本发明构思的一些示例实施例的根据读出方法输出具有不同视[0021]图6B和图6C是分别示出根据本发明构思的示例实施例的根据图像传感器的像素[0022]图7A是示出根据本发明构思的一些示例实施例的根据读出方法输出具有不同视[0024]图8是汇总根据本发明构思的一些示例实施例的针对每个操作模式输出的读出信8[0025]图9是示出根据本发明构思的一些示例实施例的图像传感器的合并电路根据信号[0029]图13是根据本发明构思的一些示例实施例的图像传感器在第一操作模式下的操[0030]图14和图15是根据本发明构思的一些示例实施例的图像传感器在第二操作模式[0031]图16是根据本发明构思的一些示例实施例的图像处理系统在第二操作模式下的[0033]图1是示出根据本发明构思的一些示例实施例的包括图像传感器100的电子装置1[0036]图像传感器100可嵌入在电子装置1中或者被实现为电子装置。电子装置1可被实陀螺仪传感器、里程计、地磁传感器、无线电检测和测距(RADAR)装置、光检测和测距[0038]调制解调器40可支持在电子装置1与外部电子装置(未示出)之间建立有线通信信AP20进行操作并且支持有线通信或无线通信的一个或多个通信处理器。根据一些示例实9全球导航卫星系统(GNSS)通信模块)或有述各种类型的调制解调器40可在一个芯片中或在单独的可包括以非易失性方式存储各种类型的信息的非易失性存储器和其中加载与电子装置1的被配置为执行指令的程序以实现如在此描述的功能块中的一个或多个功能块的功能的处[0043]在一些示例实施例中，图像传感器100中的至少一些可被个实例中，可包括处理电路的一个或多个实例，和/或可由处理电路的一个或多个实例实令的程序以实现图像传感器100中的至少一些的功图像处理系统10，图像处理系统10包括与图像处理系统10一起的AP20的图像信号处理器[0045]图像传感器100可将对象80的通过光学镜头入射的光信号转换为电信号或图像列可被实现为诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的光电转换元件，并且可被实现为各种类型的光电转换元件。感测电路可将从像素阵列130提供的电信号转[0046]图像传感器100还可包括模式选择电路110和合并电路(binningcir操作模式，合并电路140选择性地对从多个像素输出的电信号进行求和或按原样通过该电[0047]ISP200可对从图像传感器100提供的行数据Row_DTA执行图像处理并生成转换图(ReRAM)或闪存等)。存储在存储器(未示出)中的转换图像可稍后由图像处理系统10使用，[0050]ISP200可包括用于基于转换图像来恢复在图像处理期间已经丢失的行数据Row_[0053]模式选择电路110可基于在模式选择电路110处从图像传感器100外部的信号源接并电路140的操作的一个或多个信号并且生成控制行驱动器120的操作的一个或多个信号，息的裁剪信号CROP作为一个或多个外部信号来改变图像传感器100的操作模式。模式信号感器100的模式选择电路110可通过生成读出信号和通过生成合并信号来改变图像传感器合并电路140以对从多个像素输出的电信号进行求和或者通过从多个像素输出的电信号。个行。换句话说，行驱动器120可选择性地读取由像素阵列的多个行的像素生成的像素信可通过响应于读出信号从第一行顺序地驱动像素阵列130来读取像素信号，或者仅读取奇的行的集合之中的奇数行。在本说明书中，图像传感器100被描述为读取多个行中的奇数[0056]合并电路140可基于合并信号选择性地对经由从像素阵列130读取的像素所在的列的列线接收的像素信号进行求和，或者通过经由从像素阵列130读取的像素所在的列的像素信号由合并电路140基于对在合并电路140处接收的像素信号进行求和或者通过在合[0057]列阵列150可基于由时序生成电路提供的地址信号，将已通过列线接收并由合并列阵列150处从合并电路140接收的合并像素信号输出存储在像素131中的光电转换元件中的光电荷的晶体管)之间的特性差异引起的偏差。为了补偿经由多条列线输出的多个像素信号之间的偏差，可提取像素信号的复位信号(或[0060]读出像素阵列130的方法可分为以行为单位读取的方法和以列为单位读取的方跳过1行方法中，行驱动器120交替地重复读取像素阵列130的多个行之中的任何一行并跳之中的任何一行并且连续地跳过紧接在该任何一行下方的两行；在读取1行跳过3行方法[0062]按列读取方法可包括列全读取(column-full-read)方法、读取1列跳过1列(column-1read-1skip，C_1Read_1skip)方法、合并2列(2_Binning)方法、合并3列(3-Binning)方法，在列全读取方法中，接收像素阵列130的多个行中的读取行上的所有像素的行之中的读取行中的两个相邻像素131的像素信号并对其进行求和，将求和的像素信号并电路140接收像素阵列130的行之中的读取行中的三个相邻像素131的像素信号并对其进[0063]由模式选择电路110生成并以行为单位控制像素阵列130的读出信号可包括RS信重复以下过程：读取多个行中的第一行并跳过多个行之中的紧接在第一行下方的第二行。CR信号可对应于指示顺序地执行读取与像素阵列130的多个行中的至少一些区域对应的行ROI对应的一行或多行的第二信号。CRS信号可对应于指示关于与像素阵列130的多个行中[0064]作为由模式选择电路110生成并指示对从像素阵列130读取的像素信号进行求和或通过的信号的合并信号可包括启用信号ENABLE和禁用信号DISABLE。例如，启用信号通过读取的像素131所在的列的列线接收像素信号并对其进行求和，并且响应于禁用信号[0065]图像传感器100可具有包括第一操作模式和第二操作模式的多个操作模式。图像传感器100可具有包括第一操作模式、第二操作模式和第三操作模式的多个操作模式。因控制而改变的图像传感器100的操作模式可包括第一操作模式、第二操作模式或第三操作[0066]图4A是示出根据本发明构思的一些示例实施例的图像传感器100的读出方法的示读取1行跳过1行(R_1Read_1Skip)方法和以列为单位的读取1列跳过1列(C_1Read_1Skip)方法的读出方法。作为应用读取1行跳过1行(R_1Read_1Skip)方法和读取1列跳过1列(C_四个子像素可指示颜色在被输出到显示装置60时由R-G-B的组合表示，但是这不会意味着通过使用四个子像素来执行图像传感器100的像素阵列130[0068]当读取像素阵列130的最上面的行时，可执行用于从最左边的像素向右方向顺序地仅读取每个奇数列的像素信号的读取1列跳过1列(C_1Read_1S[0069]当读出方法基于读取1行跳过1行(R_1Read_1Skip)方法和读取1列跳过1列(C_二输出图像2001。其结果是，第二输出图像2001可以是具有第一输出图像1001的1/4分辨列130的行的行全读(R_Full_Read)方法和针对先前像素阵列130的列的列全读(C_Full_[0070]图4B是示出根据本发明构思的一些示例实施例的图像传感器100的读出方法的另一示例和读出图像的示图。图4B中所示的读出方法可以是应用了以行为单位的读取1行跳过1行(R_1Read_1Skip)方法和以列为单位的合并2列(2_Binning)[0071]当读取像素阵列130的最上面的行时，可读取从最左边的像素向右方向顺序读取(R_Full_Read)方法和针对先前像素阵列130的列的列全读(C_Full_Read)方[0072]图4C是示出根据本发明构思的一些示例实施例的根据图像传感器100的像素阵列读取像素阵列130的多个行中的第一行，跳过紧接在第一行下方的第二行(其中，“紧接[0074]像素阵列130可响应于RS信号，交替地重复读取多个行之中的第一行或最上面的行并且跳过第二行。针对每行读出的像素信号可沿着位于像素阵列130的最左侧的第一列的列线针对每行被输出为第一像素信号PS1，并且可沿着作为第一列的第一右列的第二列[0075]图5A是示出根据本发明构思的一些示例实施例的图像传感器100的读出方法的示例和读出图像的示图。图5A中所示的读出方法可以是应用了行裁剪读取(R_Crop_Read)方右端像素顺序地选择的区域中读取像素信号PX，并且可执行像素信号在合并电路140中不说，基于应用了行裁剪读取(R_Crop_Read)方法和列全读取(C_Full_Read)方法的读出方区域ROI可对应于第五输出图像1003上的由粗线指示的[0079]作为从多个行之中的选择的区域中的最上面的行开始交替重复读取奇数行并跳[0080]图5B和图5C是分别示出根据本发明构思的示例实施例的根据图像传感器100的像素阵列130的不同读出信号的读出方法的示图；图5B是示出根据本发明构思的一些示例实施例的根据图像传感器100的行驱动器120中的CR信号的裁剪读取(Crop_Read)方法的示ROI具有与像素阵列130的水平长度的一半和垂直长度的一半对应的尺寸和像素阵列130的行顺序地读取第M行至第N行。针对每行读出的像素信号可沿着位于像素阵列130的最左侧的第一列的列线针对每行被输出为第一像素信号PS1，并且可沿着作为第一列的第一右列的第二列的列线针对每行被输出为第二像素信号P第一列的第一右列的第二列的列线针对每行被输出为第二像素信号[0083]图6A是示出根据本发明构思的一些示例实施例的根据读出方法输出具有不同视角的图像的示图。图6A中的第八输出图像4004可以是作为由图像传感器100通过使用应用了裁剪读取(Crop_read)方法和列全读取(C_Full_Read)方法的读出方法生成并输出到显示装置60的帧图像的图像，并且图6A中的第九输出图像3004可以是作为由图像传感器100通过使用应用了读取1行跳过1行(R_1Read_1Skip)方法和合并2列(2_Binning)方法的读出[0084]图6B和图6C是分别示出根据本发明构思的示例实施例的根据图像传感器100的像素阵列130的不同读出信号的读出方法的示图。图6B示出用于从当前帧输出图6A中的第九输出图像3004的读出方法，图6C示出从下一帧输出图6A中的第八输出图像4004的读出方过1行(R_1Read_1Skip)方法交替地重复读取像素阵列130的一帧上从与感兴趣区域ROI对应的第M行至第N行顺序[0088]可在彼此不同的帧中顺序地重复执行图6B的读出操作和图[0089]根据本发明构思的一些示例实施例的图像传感器100的操作模[0090]当在根据本发明构思的一些示例实施例的图像传感器100的模式选择电路110中号ENABLE可同时被生成并被施加到图[0091]图像传感器100的基于RS信号、CR信号和合并信号的操作模式可被称为第一操作模式中，模式选择电路110针对当前帧将RS信号和合并信号的ENABLE信号施加到图像传感器100，并且模式选择电路110针对下一帧将CR信号和合并信号的DISABLE信号施加到图像[0092]在第一操作模式下进行操作的图像传感器100可生成具有彼此不同的视角的两个以是单个图像处理系统10中的一些或全部的相机模块)在第一操作模式下以120fps(帧每秒)的速度捕获对象的图像时，相机可生成大约60个具有宽视角的图像和大约60个具有窄像传感器100输出的奇数帧的通路，第二虚拟通道可以是由正在第一操作模式下进行操作具有彼此不同的视角的图像，所以与ISP200通过使用软件来生成具有不同视角的图像的[0094]图7A是示出根据本发明构思的一些示例实施例的根据读出方法输出具有不同视传感器100基于应用了用于读取每个偶数行的裁剪读取(Crop_Read)方法和列全读取(C-跳过1行(R_1Read_1Skip)方法和合并2列(2_Binning)方法的读出方法生成帧图像并经由显示装置60输出生成的帧图像。第十输出图像5005可通过读取与感兴趣区域ROI对应的行[0096]参照图7B连同图3，模式选择电路110可从AP20接收用于操作模式的模式信号将合并信号输出到合并电路140。行驱动器120可响应于RS信号以读取1行跳过1行(R_数的行和不与感兴趣区域ROI对应的奇数的行，并且行驱动器120可仅读取与ROI对应的偶多个行之中的响应于CRS信号而被读取的偶数行可以是响应于RS信号而被跳过的行，并且与感兴趣区域ROI对应的多个行之中的响应于CRS信号而被跳过的奇数行可以是响应于RS[0098]在当前驱动的行是与感兴趣区域ROI对应的行(第M行至第N行)时，与感兴趣区域ROI对应的行的集合可被划分为奇数行(第M行、第(M+2)行、……)和偶数行(第(M+1)[0099]与感兴趣区域ROI对应的行的集合之中的奇数行可以是响应于RS信号而被读取的感兴趣区域ROI对应的行的集合之中的奇数行上的像素读取的像素信号进[0100]与感兴趣区域ROI对应的行的集合之中的偶数行可以是响应于CRS信号而被读取过从与感兴趣区域ROI对应的行的集合之中的偶数行上的像素读取的像素信号，而不对像[0101]简言之，可读取像素阵列130的多个行中的所有奇数行和多个行中的与感兴趣区域ROI对应的行的集合中的所有偶数行(但不是不在与感兴趣区域ROI对应的行的集合内的[0102]用于感兴趣区域ROI的裁剪信号CROP还可提供对应行上的像素131的位置信息感兴趣区域ROI对应的列范围内的像素信号可由列阵列15到合并电路14和/或与模式选择电路110将RS信号施加到行驱动器120同时将启用信号到行驱动器120而将禁用信号DISABLE施加到合并电路140和/或与模式选择电路110将CRS于CRS信号(例如，第三信号)和裁剪信号CROP读取与像素阵列130的ROI对应的行之中的偶[0104]在第二操作模式下进行操作的图像传感器100可生成具有彼此不同的视角的两个作模式下以120fps(帧每秒)的速度捕获对象的图像时，相机可生成约120个具有宽视角的[0106]图8是汇总根据本发明构思的一些示例实施例的针对每种操作模式输出的读出信[0107]与图3一起参照图8，当图像传感器100的操作模式和感兴趣区域ROI在AP20中被可响应于接收的模式信号MODE和裁剪信号CROP，将与每个操作模式对应的读出信号(RS、[0108]第一操作模式和第三操作模式可能需要第i帧和第(i+1)帧(i是正整数)，即，两[0109]图9是示出根据本发明构思的一些示例实施例的图像传感器100的合并电路140根[0110]根据本发明构思的一些示例实施例的基于行驱动器120读取像素阵列130的行的单独的像素131而从像素阵列130输出的第一像素信号PS1至第四像素信号PS4可被施加到合并电路140。合并电路140可响应于由模式选择电路110生成的合并信号进行操作或停止素信号PS3和第四像素信号PS4进行求和并将其求和结果作为合并像素信号输出到列阵列像素信号PS4，并将第三像素信号PS3和第四像素信号PS4作为合并像素信号分别输出到列信号DISABLE读取由行驱动器120读取的像素131的行中的所有像素，并且基于启用信号ENABLE对由行驱动器120读取的像素131的行中的每两个像素进行求和并读取[0111]图10是示出根据本发明构思的一些示例实施例的图像传感器100的插值操作的示[0112]再次参照图5A，在第二操作模式下进行操作的图像传感器100可读取与感兴趣区有与第六输出图像4003相同的水平长度和1/2的垂直长度。当要求水平长度和垂直长度之间的比保持恒定时，AP20可通过插值操作恢复具有与第六输出图像4003对应的高度的图机相关性来恢复未被读取的行的像素信息。插值器可由处理电路的一个或多个实例来实为单位被读取和处理，并且与感兴趣区域ROI对应的行的集合的偶数行可通过合并2列(2_[0114]参照图10，与同将被恢复的目标像素值D(x,y)相邻并且将通过列全读(C_Full_+1)，并且与将被恢复的目标像素值D(x,y)相邻并且将通过合并2列(2_Binning)方法读取像素值D(x,y)直接相邻并且已经通过列全读取(C_Full_Read)方法读取的像素值D(x,y-1)[0117]通过使用等式1生成的第一恢复值D1(在此也被称为读取像素的转换值)可以是上[0118]参照图10，插值器210可基于奇数行上与目标像素值D(x,y)直接相邻并且已通过列全读(C_Full_Read)方法读取的像素值D(x,y-1)和D(x,y+1)以及已经通过合并2列(2_Binning)方法读取的偶数行的像素值D(x-1,y)来生成第二行合并2列(2_Binning)方法读取的偶数行有关的信息，通过使用等式2生成的第二恢复值D2(在此也被称为已由合并电路140求和的转换值)可比第一恢复值D1(x,y)更精确地估计与由于合并电路140中的求和而丢失的目标像素值D(x,y算术运算的逻辑电路之外，还可包括执行数学运算的各种逻辑电路(诸如，微分器和积分[0123]根据本发明构思的一些示例实施例的图像处理系统10可被实现为使得图像传感接收从图像传感器100输出的第一输出图像至第五输出图像(1001、2001、1002、3002和1003)或行数据Row_DTA来恢复图像，或者通过经由传感器曝光控制来控制图像传感器100像传感器100，包括图像传感器100和AP的图像处理系统10可提供关于生成具有不同视角、像传感器100的操作模式的模式信号MODE，来控制行驱动器120和合并电路140以改变图像式选择电路110可被配置为响应于模式选择电路将CR信号(例如，第二信号)施加到行驱动列阵列150，AP20可包括ISP200、相机控制器220和个人像信号处理器200中的一个或多个或全部)可被包括在处理电路(诸如，包括逻辑电路的硬或图像信号处理器200中的两个或更多个或全部可[0128]在一些示例实施例中，图像传感器100中的至少一些可被指令的程序以实现图像传感器100中的至少一些的功[0129]图11的图像处理系统10的图像传感器100的操作可类似于图3中的图像传感器100[0130]图像传感器100可在AP20的控制下感测通过使用镜头70拍摄的对象80，并且AP[0131]时序生成电路160可提供分别与图像传感器100的组件(例如，模式选择电路110、[0132]斜坡信号生成电路170可生成具有基于由时序生成电路160提供的斜坡控制信号[0133]输出缓冲器152可临时存储从多个计数器(未示出)输出的多个数字值，并且放大[0135]AP20可检测作为读取行的集合的包括一帧或多帧的图像中的移除区域，并且可器100的最上面的行垂直向下到与图像传感器100的高度的1/4成比例的行，并且可将排除[0136]图12是根据本发明构思的一些示例实施例的图像传感器100的操作方法的流程作模式(S101)。图像传感器100可基于模式信号MODE识别第一操作模式至第二操作模式之对下一帧的CR信号并将CR信号输出到行驱动器120，行驱动器120可响应于接收的CR信号，执行读取像素阵列130的多个行之中的与感兴趣区域ROI对应的行的裁剪读取(Crop_Read)有不同视角的所需数量的图像时，可再次执行与针对当前帧的RS信号相关联的读取1行跳过1行(R_1Read_1Skip)读出，并且当已经执行读取1行跳过1行(R_1Read_1Skip)读出并且[0140]图13是根据本发明构思的一些示例实施例的图像传感器100在第一操作模式下的信号输出到行驱动器120，并且生成启用信号ENABLE并将启用信号ENABLE输出到合并电路趣区域ROI对应的行。例如，行驱动器120可读取像素阵列130的多个行中的与感兴趣区域[0144]图14和图15是根据本发明构思的一些示例实施例的图像传感器100在第二操作模行(S302)；接下来，基于外部信号确定现在要读取的行是否是与感兴趣区域ROI对应的行[0146]当现在要读取的行是与感兴趣区域ROI对应的行时，也可读出多个行之中的与感可包括对偶数行的每两个像素进行求和并且输出求和结果[0147]当现在要读取的行不是与感兴趣区域ROI对应的行时，可确定现在要读取的行是[0148]当现在要读取的行被确定为不是像素阵列130的最后一行时，可连续地读出奇数[0149]参照图15，图像传感器100可通