CN113766231B 图像获取方法、摄像头组件及移动终端 （Oppo广东移动通信有限公司）

202010651195.12020.07.08US2016344956A1,2016US2020213564A1,2020.0二彩色原始图像的数据由子单元中至少一个全将第二插值图像与各个颜色通道的第一插值图2述第二彩色原始图像数据由一个所述子单元中的所述至少一个全色感光像素及所述至少对所述第一彩色原始图像进行插值处理以得到多个第一插值图像，将所述第二插值图像分别与各个颜色通道的所述第一插值图像融合以得到各个颜色其中，每个所述子单元包括一个所述彩色感光像素时，该一光线后生成的一个电信号作为一个所述第一彩色原每个所述子单元包括多个所述彩色感光像素时，该多个所述彩色生成的多个电信号的和值或均值作为一个所述第一彩每个所述子单元包括一个所述全色感光像素时，该一个所述全色生成的一个电信号与该子单元中的所有所述彩色感光像素接收光线后生成的所有电信号每个所述子单元包括多个所述全色感光像素时，该多个所述全色生成的多个电信号与该子单元中的所有所述彩色感光像素接收光线后生成的所有电信号对各个颜色通道的所述第一插值图像进行滤波处理以得到各个颜色通道的第一滤波所述将所述第二插值图像分别与各个颜色通道的所述第一插值图像融合以得到各个将所述第二滤波图像分别与各个颜色通道的所述第一滤波图像融合以得到各个颜色确定所述第一插值图像中的第一待滤波图像像素和第一待确定所述第二插值图像中的第一参考图像像素和第一参3计算所述第一参考区域中的多个第一图像像素相对于所述第一参考图像像素的权重，所述第一参考图像像素在所述第一参考区域中的坐标，q为所述第一参考区域内所述多个像素的坐标差异越小，所述空间域的权重越高；所述像素范围域的权重根据权重函数根据所述多个第一图像像素的所述权重及所述第一待滤波区域对应的像素点的像素J为所述第一滤波图像数据，k为所述第一参考区域的权J为所述第一滤波图像数据，k为所述第一参考区域的权qq将每个颜色通道的所述第一插值图像中的每一个图像像素均确定为所述第一滤波图确定所述第二插值图像中的第二待滤波区域，所述第二待滤波图计算所述第二待滤波区域中的多个第二图像像素相对于所述第二待滤波图像像素的二待滤波区域中的所有图像像素；所述空间域的权重根据权重函数f(||p-q||)计算得到，据权重函数g(li,-iaIlb计算得到，其中，i,为所述第二待滤波图像像素的第二插值图像数待滤波图像像素的第二插值图像数据与所述多个第二图像像素的第二插值图像数据之间根据所述多个第二图像像素的像素值及所述权重对所述第二待滤波图像像素的像素计算得到，其中，计算得到，其中，4将每个颜色通道的所述第二插值图像中的每一个图像像素均确定为所述第二滤波图所述第一滤波图像数据大于预设像素值时，将所述第一滤波图像处理所述第一滤波图像中的每一个图像像素以得到多个所述融合图处理器，所述处理器用于对所述第一彩色原始图像进行插值处理以得其中，每个所述子单元包括一个所述彩色感光像素时，该一光线后生成的一个电信号作为一个所述第一彩色原每个所述子单元包括多个所述彩色感光像素时，该多个所述彩色生成的多个电信号的和值或均值作为一个所述第一彩每个所述子单元包括一个所述全色感光像素时，该一个所述全色生成的一个电信号与该子单元中的所有所述彩色感光像素接收光线后生成的所有电信号每个所述子单元包括多个所述全色感光像素时，该多个所述全色生成的多个电信号与该子单元中的所有所述彩色感光像素接收光线后生成的所有电信号对各个颜色通道的所述第一插值图像进行滤波处理以得到各个颜色通道的第一滤波5将所述第二滤波图像分别与各个颜色通道的所述第一滤波图像融合以得到各个颜色确定所述第一插值图像中的第一待滤波图像像素和第一待确定所述第二插值图像中的第一参考图像像素和第一参计算所述第一参考区域中的多个第一图像像素相对于所述第一参考图像像素的权重，所述第一参考图像像素在所述第一参考区域中的坐标，q为所述第一参考区域内所述多个像素的坐标差异越小，所述空间域的权重越高；所述像素范围域的权重根据权重函数根据所述多个第一图像像素的所述权重及所述第一待滤波区域对应的像素点的像素J为所述第一滤波图像数据，k为所述第一参考区域的权J为所述第一滤波图像数据，k为所述第一参考区域的权qq将每个颜色通道的所述第一插值图像中的每一个图像像素均确定为所述第一滤波图确定所述第二插值图像中的第二待滤波区域，所述第二待滤波图计算所述第二待滤波区域中的多个第二图像像素相对于所述第二待滤波图像像素的二待滤波区域中的所有图像像素；所述空间域的权重根据权重函数f(||p-q||)计算得到，据权重函数计算得到，其中，i,为所述第二待滤波图像像素的第二插值图像数6二待滤波图像像素的第二插值图像数据与所述多个第二图像像素的第二插值图像数据之根据所述多个第二图像像素的像素值及所述权重对所述第二待滤波图像像素的像素将每个颜色通道的所述第二插值图像中的每一个图像像素均确定为所述第二滤波图所述第一滤波图像数据大于预设像素值时，将所述第一滤波图像处理所述第一滤波图像中的每一个图像像素以得到多个所述融合图7[0004]本申请实施方式的图像获取方法用于图像传感器。所述图像传感器包括像素阵个所述第二彩色原始图像数据由一个所述子单元中的所述至少一个全色感光像素及所述述至少一个彩色感光像素生成，所述第二彩色原始图像由多个第二彩色原始图像数据组8色原始图像数据由一个所述子单元中的所述至少一个全色感光像素及所述至少一个彩色得仅包括彩色颜色通道的图像数据的第一彩色原始图像及同时包括彩色颜色通道和全色行插值处理和融合处理，以借助全色颜色通道的图像数据来提高图像的信噪比和清晰度，[0009]本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中[0015]图16是本申请某些实施方式的摄像头组件中的图像传感器获取原始图像的原理[0016]图17和18是本申请某些实施方式的第一彩色原始图像进行插值处理的原理示意[0017]图19至图22是是本申请某些实施方式的第一插值图像进行滤波处理的原理示意9具有比全色感光像素W更窄的光谱响应。像素阵列11曝光以获得第一彩色原始图像及第二[0024]本申请实施方式的摄像头组件100通过像素阵列11曝光以获得仅包括彩色颜色通道的图像数据的第一彩色原始图像及同时包括彩色颜色通道和全色颜色通道的图像数据[0027]例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，Complementary[0034]请参阅图4，像素电路111可应用在图2所示的像素阵列11内的每个感光像素110选择晶体管1115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管1112转[0041]需要说明的是，本申请实施例中像素电路111的像素结构并不限于图4所示的结[0042]请参阅图5至图15，本申请某些实施方式的像素阵列11(图2所示)中的感光像素图15仅示出了由四个子单元所组成的一个最小重复单元中的多个感光像素110的排布，在同一行且具有相同的颜色通道的多个感光像素110与处于同一列且具有相同的颜色通道多素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色(例如图5中左上角和右下角连接的方向)，两个第二类子单元UB设置在第二对角线方向D26至图10中对第一对角线方向D1及第二对角线方向D2的[0052]再例如，请参阅图6，图6为本申请另一个实施例的最小重复单元中感光像素110[0058]图6所示的最小重复单元中感光像素110的排布与图5所示的最小重复单元中感光感光像素W与单颜色感光像素的交替顺序与图5中位于左下角的第二类子单元UB中的全色光像素B)，第二行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、[0059]如图6所示，图6中的第一类子单元UA及第三子单元UC中的全色感光像素W与单颜色感光像素的交替顺序与位于左下角的第二类子单元UB中的全色感光像W素与彩色感光像[0061]再例如，请参阅图7，图7为本申请又一个实施例的最小重复单元中感光像素110素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色[0072]再例如，请参阅图8，图8为本申请还一个实施例的最小重复单元中感光像素110素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色[0084]再例如，请参阅图9，图9为本申请还一个实施例的最小重复单元中感光像素110素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色有相同的颜色通道的多个感光像素110既可以位于子单元的第一行，也可以位于子单元的素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色有相同的颜色通道的多个感光像素110既可以位于子单元的第一列，也可以位于子单元的最小重复单元中，彩色感光像素可以位于子单元的任何位置(例如为图12所示的位于子单素W和一个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和一个第二颜色最小重复单元中，彩色感光像素可以位于子单元的任何位置(例如为图12所示的位于子单素W和一个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和一个第二颜色素W和多个第一颜色感光像素A；第二类子单元UB包括一个全色感光像素W和多个第二颜色素W和多个第一颜色感光像素A；第二类子单元UB包括一个全色感光像素W和多个第二颜色一些实施例中，全色感光像素W的响应波段为可见光波段和近红外波段(例如，400nm-图像数据组成，每个第一彩色原始图像数据由一个子单元中的至少一个彩色感光像素生一个子单元中的至少一个全色感光像素W及至少一个彩色的多个彩色感光像素接收光线后生成的多个电信号的和值或均值作为一个第一彩色原始图像数据，该像素阵列11中所有子单元的第一彩色原始图像数据组成第一色彩原始图像；一个子单元中的多个全色感光像素W接收光线后生成的多个电信号与该子单元中的所有彩色感光像素接收光线后生成的所有电信号的和值或均值作为一个第二彩色原始图像数据，该像素阵列11中所有子单元的第二彩色原始图像数据组类子单元UB中的两个第二颜色感光像素B接收光线后生成的两个电信号求和值或均值以获得两个第一彩色原始图像数据；对第三类子单元UC中的两个第三颜色感光像素C接收光线图像像素以ABBC的形式排布。对第一类子单元UA中的两个全色感光像素W接收光线后生成的两个电信号与该子单元中的两个第一颜色感光像素A接收光线后生成的两个电信号求和光像素W接收光线后生成的两个电信号与该子单元中的两个第二颜色感光像素B接收光线中的两个全色感光像素W接收光线后生成的两个电信号与该子单元中的两个第三颜色感光像素C接收光线后生成的两个电信号求和值或均值获得以一个第二彩色原始图像数据；这感光像素接收光线后生成的一个电信号与所有全色感光像素接收光线后生成的电信号的彩色感光像素接收光线后生成的所有电信号的和值或均值作为一个第二彩色原始图像数[0152]请参阅图1及图17，图像传感器10获得第一彩色原始图像及第二彩色原始图像之彩色原始图像进行插值处理以得到至少一个颜色通道的[0163]通过两个关系式可以得到C44处缺失的第二[0165]对第一彩色原始图像中具有第一颜色通道的图像数据的像素进行插值处理以获素C44进行插值处理，通过如下两个关系式可以得出C44处缺失的第二颜色感光像素A44'，B55'的图像数据可以通过图17所示的计算方式得[0176]通过两个关系式可以得到C44处缺失的第二颜色通道的图像数据的像素进行插值处理以获得第一颜色通道的插值图像的加权方向还的第三颜色通道的图像数据即为第三颜色通道的第一插值图像中对应的像素点的图像数对具有第二颜色通道的图像数据的像素进行插值处理以获得第一颜色通道的插值图像类示实施例类似的方式对二彩色原始图像进行插值处理可以得到第一颜色通道的第二插值原始图像和第二彩色原始图像进行插值处理的参考区域大小可以为3x3、4x4、5x5、3x5、通道的第一待滤波图像像素A44'可以位于第一颜色通道的第一待滤波区域116内的任意位B'54'、B'55'的权重及第一颜色通道的第一待滤波区域116对应的像素点的像素值对第一颜色通道的第一待滤波图像像素的像素值进行修正以得到第一颜色通道的第一滤波图像像像素的坐标差异越小(即第一参考图像像素B'44'越靠近多个第一图像像素)，第一参考图像像素B'44'相对于多个第一图像像素的空间域权重越高。处理器及第一颜色通道的第一待滤波区域对应的像素点的像素值对第一颜色通道的第一待滤波J为第一颜色通道的第一滤波图像数据(J为第一颜色通道的第一滤波图像数据(也即输出像素器20可以遍历第一颜色通道的第一插值图像中的每一个图像像素以得到多个第一颜色通中的第一图像像素的权重及第一待滤波区域对应的像素点的像素值进行修正以得到所述第一滤波图像数据。第二插值图像是对具有全色感光像素W和至少一个颜色通道第二彩色第一插值图像进行滤波处理可以使各个颜色通道的第一滤波图像拥有更高的进光量和清确定第二颜色通道的第一待滤波区域117(如图21所示)。处理器20可以确定第二插值图像中的第一参考图像像素B'44'和第一参考区域119，第一参考图像像素B'44'与第二颜色通道的第一待滤波图像像素B44'对应；第一参考区域119与第二颜色通道的第一待滤波区域待滤波区域117对应的像素点的像素值对第二颜色通道的第一待滤波图像像素的像素值进确定第三颜色通道的第一待滤波区域118(如图22所示)。处理器20可以确定第二插值图像中的第一参考图像像素B'44'和第一参考区域119，第一参考图像像素B'44'与第三颜色通道的第一待滤波图像像素C44'对应；第一参考区域119与第三颜色通道的第一待滤波区域待滤波区域118对应的像素点的像素值对第三颜色通道的第一待滤波图像像素的像素值进是，第二颜色通道的第二待滤波图像像素B'44'可以位于第二颜色通道的第二待滤波区域119内的任意位置；第二颜色通道的第二待滤波区域119构成的窗口的形状既可以为方形，待滤波区域119为3x3的区域。第二颜色通道的第二待滤波区域119中的多个第二颜色通道波区域119中的坐标，q为第二颜色通道的第二待滤波区域119内多个第二颜色通道的第二的第二参考图像像素的坐标差异越小(即第二颜色通道的第二待滤波图像像素B'44'越靠i,为第二颜色通道的第二待滤波图像像素B'44'的第二插值图像数据(也可第二颜色通道的第二待滤波图像像素的像素值进行修正以得到第二颜色通道的第二滤波中，k,=Eaeof(llp-allDe(li,-Iall),Jp为第二颜色通道的第二滤波图像数据(也即输出像素颜色通道的第二滤波图像数据组成第二颜色通[0197]处理器20也可以通过与图23所示实施例类似的方式来对第一颜色通道的第二插值图像及第三颜色通道的第二插值图像进行滤波处理以得到第一颜色通道的第二滤波图[0199]处理器20在对各个颜色通道的第一插值图像进行滤波处理以得到各个颜色通道应的像素点的图像数据为a、第二颜色通道的第一滤波图像中与预设像素点对应的像素点的图像数据为b、第三颜色通道的第一滤波图像中与预设像素点对应的像素点的图像数据[0201]在另一个实施例中，第一颜色通道的第二插值图像中预设像素点的图像数据为像素点的图像数据为a、第二颜色通道的第一滤波图像中与预设像素点对应的像素点的图像数据为b，第三颜色通道的第一滤波图像中与预设像素点对应的像素点的图像数据为c、20可以根据第一滤波图像数据、第二滤波图像数据和插值图像数据计算获得融合图像数20直接将第一滤波图像数据确定为融合图像数据。若第一滤波图像数据小于预设像素值YUV图像以作为目标图像，也可以取各个颜色通道的融合图像中的像素点以形成拜耳阵列20可以包括处理电路及ISP，处理电路集成于图像传感器10中并用于实现本申请实施方式[0205]综上，本申请实施方式的摄像头组件100通过像素阵列11曝光以获得仅包括彩色颜色通道的图像数据的第一彩色原始图像及同时包括彩色颜色通道和全色颜色通道的图像数据的第二彩色原始图像，并对第一彩色原始图像及第二彩色原始图像进行插值处理、[0208]本申请实施方式的移动终端300通过像素阵列11曝光以获得仅包括彩色颜色通道的图像数据的第一彩色原始图像及同时包括彩色颜色通道和全色颜色通道的图像数据的第二彩色原始图像数据由一个子单元中的至少一个全色感光像素W及至少一个彩色感光像[0211]02：对第一彩色原始图像进行插值处理以分别得到各个颜色通道的第一插值图[0215]对各个颜色通道的第一插值图像进行滤波处理以得到各个颜色通道的第一滤波[0217]将第二插值图像分别与各个