CN113747137B 图像信号处理器、图像信号处理方法及其电子装置 （三星电子株式会社）

感器接收到的拜耳图案的原始RGB图像执行白平平衡的B像素生成指示方向性的U像素和V像素，并且将合并的绿色像素与U像素和V像素中的每合并的绿色像素和合并的蓝色像素执行逆向白2白平衡电路，其被配置为对从图像传感器接收到的拜耳图案的原始RGB图像执行白平并且将施加了预设权重的高频分量添加到所述第一绿色像逆向白平衡电路，其被配置为对所述合并的红色像素、所述合2.根据权利要求1所述的图像信号处理器，其的G像素，并且所述交叉合并基于相对于所述合并的绿色像素的目标位置竖直和水平设置所述内核单元包括所述原始RGB图像的拜耳图案的像素的所述各个白平衡的G像素包括第一像素和第二像素，所述第一像素与所述目标位置位于所述内核单元的同一行中，所述第二像素与所述目标位置位于所述内核单元的同一列所述U像素和所述V像素分别指示所述Gb像素和所述Gr像像素值或通过从所述白平衡的R像素减去平均R像素6.根据权利要求1所述的图像信号处理器，其中，通与平均Gr像素值之间的色差值和指示第二成本的平均R像素值与平均Gb像素值之间的色差7.根据权利要求1所述的图像信号处理器的平均B像素值与平均Gb像素值之间的色差值和指示第二成本的平均B像素值与平均Gr像8.根据权利要求5所述的图像信号处理器，其中，所述第二成本是通过对所述内核单元中竖直相邻的相同颜色的像素之间的亮度之差合并的绿色像素添加到所述V像素以生成所述合并的红色像素，并且将所述合并的绿色像3及对所述原始RGB图像执行白平衡以生成白平衡的G像素、白平衡的对所述白平衡的G像素执行绿色预处理操作，并且添加高频分量以生成合并的绿色像基于所述合并的绿色像素、所述白平衡的R像素和所述白平衡的B像将所述合并的绿色像素与所述U像素和所述V像素中的每一个融对所述合并的红色像素、所述合并的绿色像素和所述合并的蓝色像在物理上分离的多个相机模块，其中，所述多个相机模块中的其中，所述图像处理装置包括分别与所述多且其中，所述多个子图像处理器中的每一个包括所述多个的B像素减去平均B像素值或者通过从所述白平衡的R像素减去平均R像素值而获得的值来通过将指示第一成本的平均B像素值与平均Gb像素值的色差值和指示第二成本的平均通过将指示所述第一成本的平均R像素值与平均Gr像素值的色差值和指示所述第二成本的平均R像素值与平均Gb像素值的色差值相加来4所述第二成本是对所述内核中竖直相邻的相同颜色的像素之间的亮度之差求和的倒所述平均Gb像素值是与内核中的各个B像素位于同一行中的白平衡的Gb像素的平均所述平均Gr像素值是与所述内核中的各个R像素位于同一行中的白平衡的Gr像素的平所述各个白平衡的G像素包括与所述目标位置位于所述内核的相同行中的第一像素以所述U像素和V像素分别指示所述Gb像素和所述Gr像基于所述合并的绿色像素、所述白平衡的R像素和所述白平衡的B像将所述合并的绿色像素与所述U像素和所述V像素中的每一个融5拜耳图案(Bayerpattern)配置，并且可以提供与入射到拜耳图案上的光的亮度对应的拜[0003]另一方面，随着技术的发展，可以增加图像感测装置中的像素的数量(即，分辨[0004]本发明的各方面提供了一种其中减小了锯齿型噪声并且减缓了伪颜色缺陷以输[0005]本发明的各方面还提供了一种其中减小了锯齿型噪声并且减缓了伪颜色缺陷以[0006]本发明的各方面还提供了一种其中减小了锯齿型噪声并且减缓了伪颜色缺陷以输出具有改善的图像质量的合并的图像的图像素；对白平衡的G像素执行绿色预处理操作；添加高频分量以生成至少一个合并的绿色像67施例，图像信号处理器1可以包括白平衡块10、绿色生成块20、红蓝生成块30和逆向生成块20可以包括根据一些实施例的绿色预处理块21、HF权重计算块23和HF加法器HF块(white-balanced)绿色像素值竖直和水平地放置在生成合并绿色像素值的位置(在下文中[0032]由于内核X中的绿色像素的数量大于其他颜色中的每一个的像素的数量，因此其P43的绿色像素在位置P33生8平衡的绿色像素(由虚线表示的顶点的位置)生成其他合并的第一绿色像素值G1_P13、G1_3553和G1_P55。[0038]HF权重计算块23基于内核X中的R像素和B像素来计算对Gr像素和Gb像素的高频分量的反映度的权重W。HF加法器块25将反映权重的绿色像素的高频分量值添加到第一绿色衡的值。高频分量可以是通过从内核中心位置Pcenter的原始B(或R)像素值减去平均B(或9[0050]根据一些实施例，水平成本Hcost是通过对内核中水平相邻的相同颜色的像素之间的亮度差求和而获得的倒数值，竖直成本Vcost可以是通过对内核中竖直相邻的相同颜Diff)是通过对水平相邻的Gr像素之间的差求和而获得的值，∑(GbHDiff)是通过对水平邻的R像素之间的差求和而获得的值，∑(BVDiff)是通过对竖直相邻的B像素之间的差求Diff)是通过对竖直相邻的Gb像素之间的差[0056]如果内核X中放置在同一行相邻G像素、相邻R像素或相邻[0059]V像素可以是通过将反映水平成本的平均R像素值与平均Gr像素值之间的色差值以及反映竖直成本的平均R像素值与平均Gb像素值之间的色差值相加而获得的值。根据一的平均值RAver减去与R像素放置在同一水平线(例如，同一行)上的Gr像素的平均值GrAver随像素的等式5可以应用到例如具有V_P13作为中心均值BAver减去与B像素放置在同一水平线(例如，同一行)上的Gb像素的平均值GbAver随后乘[0076]拜耳图案生成块35可以通过将绿色生成块20中生成的G’像素与UV生成块33中生[0078]由于白平衡块执行白平衡以执行原始图像的合并(图2的10)，因此对包括从拜耳[0081]图4至图9是其中以1/4的比缩小原始图像的示例，图10至图14是其中以1/16的比像素的平均值RAver减去与R像素放置在同一水平线(例如，行)上的Gr像素的平均值GrAver随[0094]图像传感器200在数字信号处理器(DSP)150的控制下检测或感测通过镜头500拍摄的对象400，并且DSP150可以将由图像传感器200感测和输出的图像输出到显示器单元[0096]相机控制装置110控制控制寄存器块280的操作。尽管相机控制装置110可以使用除了图15中所示的图像传感器200中的像素阵列210之外，逻辑电路还可以包括其余部件[0103]第一层(Layer1)可以包括包括多个像素PX的感测区域SA以及设置在感测区域SA以例如通过导电过孔等连接至设置在第二层Layer2的第二焊盘区域PA2中的焊盘PAD21和例还可以与其他相机模块1100a和1100c相[0109]参照图18，相机模块1100b包括棱镜1105、光路折叠元件(在下文中为“OPFE”)[0110]棱镜1105可以包括光反射材料的反射表面1107，以使从相机模块1100b外部入射[0112]在一些实施例中，如所示出的，尽管棱镜1105在A方向上的最大旋转角可以在正[0114]在一些实施例中，棱镜1105可以在平行于中心轴1106的延伸方向的第三方向(例[0116]致动器1130可以将OPFE1110或光学透镜(统称为光学透镜)移动到特定位置。例传感器1142可以使用通过光学透镜提供的光L来检测或感测感测目标的图像。控制逻辑1144可以控制相机模块1100b的整体操作。例如，控制逻辑1144可以根据通过控制信号线机模块1100b实现为其中可以根据光学透镜的位置改变焦距的多状态相机，校准数据1147可以包括用于光学透镜的每个位置(或每个状态)的焦距值以及关于自动中包括的致动器1130的操作包括相同或不同的校准[0121]在一些实施例中，多个相机模块1100a、1100b和1100c的一个相机模块(例如，1100b)可以是包括以上说明的棱镜1105和OPFE1110的折叠透镜型相机模块，其余相机模[0122]在一些实施例中，多个相机模块1100a、1100b和1100c的一个相机模块(例如，此情况下，应用处理器1200可以将从这样的深度相机提供的图像数据与从另一相机模块[0128]图像处理装置1210可以包括与多个相机模块1100a、1100b和1100c的数量对应的[0129]相机模块1100a、1100b和1100c中的每一个生成的图像数据可以通过彼此分开或如，从相机模块1100a生成的图像数据可以通过图像信号线ISLa提供至子图像处理器1212a，从相机模块1100b生成的图像数据可以通过图像信号线ISLb提供至子图像处理器1212b，从相机模块1100c生成的图像数据可以通过图像信号线ISLc提供至子图像处理器[0131]提供至各个子图像处理器1212a、1212b和1212c的图像数据可以提供至图像生成器1214。图像生成器1214可以根据图像生成信息或模式信号利用从子图像处理器1212a、1212b和1212c中的每一个提供的图像数图像生成器1214可以根据图像生成信息或模式信号选择从具有不同的视场的相机模块[0134]当图像生成信息是变焦信号(变焦因子)并且相机模块1100a、1100b和1100c中的像数据和从相机模块1100c输出的图像数据之后，可以使用融合的图像信号来生成输出图至少一个接收不同的曝光时间的图像数据，并且对多个图像数据执行HDR(高动态范围)处[0137]相机模块控制器1216可以将控制信号提供至相机模块1100a、1100b和1100c中的每一个。从相机模块控制器1216生成的控制信号可以通过彼此分离的控制信号线CSLa、[0138]多个相机模块1100a、1100b和1100c中的任意一个可以根据包括变焦信号的图像[0139]作为主相机和从相机操作的相机模块可以根据变焦因子或操作模式信号而改变[0140]在一些实施例中，从相机模块控制器1216提供至各个相机模块1100a、1100b和1100a和1100c为从相机时，相机模块控制器1216可以将同步使能信号发送至相机模块相机模块1100b以及相机模块1100a和1100c可以与这样的同步信号同步地将图像数据发送[0141]在一些实施例中，从相机模块控制器1216提供至多个相机模块1100a、1100b和编码高于第一帧率的第二帧率的图像信号)，并且可以将编码的图像信号发送至应用处理的图像信号生成的图像数据。例如，图像处理装置1210的多个子处理器1212a、1212b和[0145]PMIC1300可以将电力(例如，电源电压)供应至多个相机模块1100a、1100b和将第一电力水平供应至相机模块1100a，通过电力信号线PSLb将第二电力水平供应至相机[0146]PMIC1300响应于来自应用处理器1200的电力控制信号PCON，以生成与