CN113497902B 图像感测装置及其操作方法 （爱思开海力士有限公司）

更多个色调映射信息来生成高动态范围(HDR)图2色调映射模块，适于基于先前存储的关于第一图像及高动态范围HDR图像生成模块，适于基于所述色调映射信息和第二图像来生成HDR图其中所述第一图像对应于先前帧，所述第二图像对应于与所述先前帧相邻的当前帧，其中所述两个或更多个色调映射信息包括用于改进所述第一图像的相对暗区域或相聚类块，适于基于所述直方图、根据至少一个阈值亮度值其中所述聚类块生成所述聚类直方图，使得所述聚类其中所述色调映射曲线中的每一个对应于关于模糊块，适于基于由所述亮度值计算块计算的所述亮度值来针对适于基于与所述先前帧相对应的所述第一图像来生成指示根据亮度值的像素的频率的所及色调映射模块，适于基于先前存储的关于所成的直方图来通过局部色调映射方案生成根据亮度而被划分的两个或更多个色调映射信3高动态范围HDR图像生成模块，适于基于所述色调映射信其中所述第一图像对应于先前帧，所述第二图像对应于与所述先前帧相邻的当前帧，其中所述两个或更多个色调映射信息包括用于改进所述第一图像的相对暗区域或相聚类块，适于基于所述直方图、根据至少一个阈值亮度值其中所述聚类块基于所述直方图对所述直方图内的根据亮度值的像素的频率进行计其中所述聚类块生成所述聚类直方图，使得所述聚类直其中所述色调映射曲线中的每一个对应于关于模糊块，适于基于由所述亮度值计算块计算的所述亮度值来针对块适于基于与所述先前帧相对应的所述第一图像来生成指示根据亮度值的像素的频率的基于所述直方图、根据局部色调映射方案来生成根据亮度而被划基于所述色调映射信息和第二图像来生成高动态范其中所述第一图像对应于先前帧，所述第二图像对应于与所述先前帧相邻的当前帧，其中所述两个或更多个色调映射信息包括用于改进所述第一图像的相对暗区域或相4根据拉伸方案来生成与所述聚类直方图相对应的5[0002]本申请要求于2020年4月3日提交的韩国专利申请号10-2020-0040958的优先权，图像感测装置：电荷耦合器件(CCD)图像感测装置和互补金属氧化物半导体(CMOS)图像感6器100可以包括像素阵列和信号转换器。像素阵列可以包括基于入射光生成图像值的多个7[0032]存储器200可以存储由图像处理器300生成的直方图HIST、第一色调映射信息TM1[0033]图像处理器300可以基于第一色调映射信息TM1和第二色调映射TM2以及第一图像像生成模块330。直方图生成模块310可以基于第一图像IMG1来生成直方图HIST。直方图HIST可以根据亮度值来表示像素的频率。像素的频率指代具有对应亮度值的像素的数目。[0037]色调映射模块320可以基于直方图HIST来生成根据亮度进行划分的第一色调映射以用于改进第一图像IMG1的相对暗区域的对比度，并且第二色调映射信息TM2可以包括第二色调映射曲线以用于改进第一图像IMG1的相对亮区域的对比度。第一色调映射信息TM1和第二色调映射信息TM2可以被存储在存[0038]HDR图像生成模块330可以基于第一色调映射信息TM1和第二色调映射信息TM2以计算块311可以基于表示第一图像IMG1的数字值来计算针对多个像素中的每个像素的亮度[0042]直方图生成块313可以基于由亮度值计算块311计算的亮度值YV1来生成直方图[0045]聚类块321可以基于直方图HIST，根据阈值亮度值T来生成第一聚类直方图HC1和素的频率进行计数，并且根据计数结果来生成第一聚类直方图HC1和第二聚类直方图HC2，使得第一聚类直方图HC1和第二聚类直方图HC2中的[0046]色调映射信息生成块323可以基于第一聚类直方图HC1和第二聚类直方图HC2来生8二聚类直方图HC2相对应的第二色调映射曲线。第一色调映射曲线和第二色调映射曲线中[0049]亮度值计算块331可以针对第二图像IMG2的每个像素而计算亮度值(参考图10的[0050]模糊块333可以基于由亮度值计算块331计算的亮度值YV2来针对每个像素生成模[0051]图像处理块335可以基于由模糊块333生成的模糊代码值YB以及第一色调映射信息TM1和第二色调映射信息TM2来生成H[0052]在下文中，参考图6至图10描述根据实施例的具有上述配置的图像感测装置的操值来计算目标像素的亮度值。当计算布置在第二行和第二列的交点处的像素的亮度值P22[0058]直方图生成模块310可以基于所计算的亮度值来生成直方图HIST，如图6的(C)所[0062]图8是图示色调映射模块320中包括的色调映射信息生成块323的操作的图，并且述了基于第一聚类直方图HC1生成第一色调映射信[0063]色调映射信息生成块323可以基于第一聚类直方图HC1来生成第一色调映射信息9[0064]色调映射信息生成块323可以根据拉伸方案来生成与第一聚类直方图HC1相对应像素的频率的峰值、通过自适应地调整第一聚类直方图HC1的拉伸程度来生成第一修改直[0066]HIST1_modification(code)=λ*HC1(code)+(1-λ)*(code)”可以指代与第一聚类直方图HC1中的每个亮度值相对应的频率。“HIST_uniform(code)”可以指代具有均匀频率的直方图。可以使用以下等式3来生成“HIST_uniform[0071]色调映射信息生成块323可以根据平滑方案来生成与第一修改直方图相对应的第[0073]HIST1_smoothing(code)＝convolution(HIST1_modification(code)，line_图中包括的亮度值的范围。“convolution(HIST1_modification(code)，line_filter[0075]色调映射信息生成块323可以基于第一修改直方图和第一平滑直方图来生成包括[0079]作为另一示例，色调映射信息生成块323可以省略生成第一平滑直方图的过程。[0082]在本文中，可以指代通过将与第[0085]参考图10，HDR图像生成模块330可以基于表示第二图像IMG2的数字值(如图10的[0086]HDR图像生成模块330可以基于亮度值YV2针对每个像素生成模糊代码值，如图10[0087]HDR图像生成模块330可以基于模糊代码值YB以及第一色调映射信息TM1和第二色通过针对每个像素计算增益、并且在第二图像IMG2中包括的每个亮度值YV2中反映每个增与第i行和第j列的交点处布置的像素的模糊代码值相对应的第一色调映射曲线的频率。“TM2(Y_blur(i,j))”可以指代与第i行和第j列的交点处布置的像素的模糊代码值相对应的第二色调映射曲线的频率。[0093]w(i，j)＝(Y_blur(i，j)-min(Y_pre_frame))/max(Y_pre_frame)-min(Y_pre_方案、基于直方图HIST来生成根据亮度被划分的第一色调映射信息TM1和第二色调映射信息TM2(参考图7至图9)；以及基于第一色调映射信息TM1和第二色调映射信息TM2以及第二[0096]生成第一色调映射信息TM1和第二色调映射信息TM2可以包括：基于直方图HIST、根据阈值亮度值T来生成第一聚类直方图HC1和第二聚类直方图HC2；根据拉伸方案来生成与第一聚类直方图HC1和第二聚类直方图HC2分别相对应的第一修改直方图和第二修改直映射曲线和第二色调映射曲线的第一色调映射信息TM1和第二色调映射信于第一聚类直方图HC1和第二聚类直方图HC2来分别生成包括第一色调映射曲线和第二色调映射曲线的第一色调映射信息TM1和第二色调二色调映射信息TM2使用与先前帧相对应的第一图像IMG1来生成。该示例可以适用于拍摄色调映射信息TM2可以使用与当前帧相对应的第二图像IMG2全局色调映射方案克服了对比度改进的局限性(全局色调映射方案的缺点)以及硬件资源