CN119450239A 图像信号处理器优化方法及设备 （索尼集团公司）

本公开涉及图像信号处理器优化方法及设备。提供了用于图像信号处理器(ISP)的优化设信号处理器的模拟器基于ISP配置参数集对用于图像信号处理器优化的原始样本图片进行处理用实现特定任务的无监督预训练任务模型来获估分数来更新该ISP配置参数集，其中所述无监21.一种用于图像信号处理器(ISP)的优化设备，所述优化设备包括处理电路，被配置使用图像信号处理器的模拟器基于ISP配置参数集对用于图像信号处理器优化的原始基于处理后样本图片使用实现特定任务的无监督预训练任务模型来获取无监督评估基于所述无监督评估分数和所述全局一致性损失，使用4.如权利要求3所述的优化设备，其中所述全局一致性损失基于原始样本图片与处理后样本图片的像素值分布相似度或者像素与获取多个总评估分数，每个总评估分数与优基于更新的内部状态，使用优化器获得更新的ISP配置参数集能够使得与该更新的ISP配置参数集对应的总评估分数接近所述多个总评估分数中更响应于确定所述无监督评估分数小于该阈值，重载上一轮ISP优化迭代中使用的原始缩小重新计算的无监督评估分数并将缩小的无监督评估分数作为新的无监督评估分3针对所述多张图片中的每张图片，分别计算该图片的无监督评估分通过计算所述多张图片的对应多个无监督评估分数的加权和获得与处理后样本图片通过计算所述多张图片的对应多个全局一致性损失的加权和获得与处理后样本图片基于多粒度无监督评估分数和多粒度全局一致性损失，使用基于与处理后样本图片对应的总评估分数来更无监督预训练任务模型和基于对比的无监督预训4[0003]图像信号处理器(ISP)是电子摄影设备中的底层图像处理装置，其用于对电子摄影设备中的光学传感器捕捉到的原始光照信号进行转换以获得人眼可以在各类显示设备估分数评价使用所述无监督任务模型在所述处理后样本图片上执行所述特定任务的效果；[0007]在本公开的另一个方面，提供了一种用于图像信号处理器(ISP)的优化方法，包括：使用图像信号处理器的模拟器基于ISP配置参数集对用于图像信号处理器优化的原始5进一步理解，各附图连同下面的具体描述一起包含在本说明书中并形成说明书的一部分，[0028]图16示出了示出了能够实现本发明的实施例的计算机系统的示例性硬件配置的的比例关系绘制的。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部6了本公开，在附图中仅仅示出了与至少根据本公开的方案密切相关的处理步骤和/或设备[0032]应当理解，本公开的方法实施方式中记载的各个步骤可以按照执行的处理可以包括但不限于AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平[0039]还有一种思路是将ISP作为黑盒，将任务评价指标作为优化目标，通过黑盒优化7但其主要问题在于该调优方法仅依赖于计算机视觉任务的评估分数，因此调优效率较低，模拟器基于ISP配置参数集处理的样本图片执行特定任务，计算评价该特定任务在该经处练的任务模型(即深度学习主干网络)在经处理的样本图片上执行特定任务的效果作为评使用此评估指标更利于优化器对ISP参数进行调优，达到比直接基于具体的任务评价指标[0042]本公开一方面可以用无监督预训练模型对经ISP处理的图片执行任务的效果(损经ISP处理的图片的内容是否与原始图片的内容一致。本公开还可以采用多目标策略来综合优化无监督模型的损失和一致性模型的损失二者，以最终使得经ISP处理的图片能够对[0045]光学传感器将原始图片发送给图像信号处理器(ISP)，ISP基于其ISP配置参数对原始图片执行各种处理，例如白平衡(WhiteBalance)、去马赛克(Demosaick)、去噪(Denoise)、锐化(Sharpen)、色调和色彩校正(Tone&ColorCorrection)和压缩[0046]一方面，可以使用经预训练的无监督计算机视觉模型来对经ISP处理后的图形执行特定任务，并获得评价该特定任务在该经ISP处理后的图片上的执行效果(例如损失)的型(例如MAE(MaskedAutoencoders))，对8位RGB图片进行随进掩膜从而产生随机掩膜图8器基于ISP配置参数集对用于图像信号处理器优化的原始样本图片进行处理以获得处理后[0052]图像信号处理器的模拟器可以对具体硬件ISP进行模拟，其配置参数可以与硬件ISP的配置参数对应，一组配置参数在ISP模拟器上得到的效果与其在对应硬件ISP上实现[0055]优化器可以基于优化器当前的内部状态产生与硬件ISP的配置参数个数一样的多[0061]现有方法对ISP调优依赖于数据集的有效标注，而存在数据集错误标注误差问题MAE类似技术训练的VistionTransformer)，从而可以用于无监督地计算当前图像质量下9MAE模型中蕴含着图像ISP参数的先验信息，利用这些先验信息的模型，采用图片的例如务执行效果调优的ISP所输出的图片能够跨多种下游视觉任务提供普遍良好的效果和鲁棒[0063]不同的无监督预训练任务模型实现不同的特定任务并不同地计算无监督评估分作为无监督评估分数。SimCLR可以对一批经ISP处理后的图片中的每张图片进行不同扩增[0064]无监督评估分数可以评价无监督预训练任务模型在经ISP处理的图片上执行其特理想，进而反映ISP配置参数的设置可能还需要进一步优化；无监督评估分数体现的损失得与该更新的ISP配置参数集对应的评估分数可能更接近更优的评估分数，并远离更差的[0067]在一些实施例中，可以迭代执行ISP配置参数集的更新。这可以包括在后续迭代中，使用图像信号处理器的模拟器基于更新的ISP配置参数集对用于下一原始样本图片进[0068]迭代的终止条件可以是与ISP配置参数集对应的评估分数满足预先设置的阈值条于ISP配置参数集对用于图像信号处理器优化的原始样本图片进行处理以获得处理后样本所述无监督任务模型在所述处理后样本图片上执行素值分布相似度或者像素与周围像素的大小关系相似度来计算。ISP处理前与处理后的图ISP优化过程中容易造成过度的信息丢失，导致优化器可能无法获得足够信息来决定参数[0085]在一些实施例中，优化器的优化目标是优化无监督评估分数和一致性损失两如MAE预测损失评估分数)和一致性损失评估分数按照动态加权平均策略在多轮次迭代优[0086]方法400还可以包括操作405，在该操作，基于总评估分数来更新该ISP配置参数[0094]当本轮ISP优化迭代过程中计算的无监督评估分数小于阈值时，这意味着上一轮[0095]图6是示出根据本公开实施例的基于多粒度处理的一种用于ISP优化的方法600的[0097]处理后样本图片即例如在图3的操作301或图4的操作401中获得的经ISP模拟器处理的样本图片。生成颗粒度从高到低的多张图片的方法包括但不限于图像金字塔和降采对应多个全局一致性损失的加权和获得与处理后样本图片对应的多粒度全局一致性损失，同数据集的图像尺寸大小可能不同。由于无监督评估分数(例如MAE预测损失评估分数)和估分数与优化器基于当前的内部状态为图像信号处理器的模拟器产生的一ISP配置参数集[0108]可以将所获得的相应多个总评估得分以及对应的多个ISP配置参数集输入优化新的ISP配置参数集，其中更新的ISP配置参数集能够使得与该更新的ISP配置参数集对应的总评估分数接近所述多个总评估分数中更优的总评估分数并远离所述多个总评估分数[0116]ISP自动调优框架可以读取调优样本(操作901)。调优样本输入ISP模拟器以供处[0119]ISP自动调优框架可以接收无监督计算机视觉模型输出的结果，例如无监督评估[0121]ISP自动调优框架可以接收输入的样本图片和ISP模拟器输出的ISP处理后图片，[0122]ISP自动调优框架可以接收无监督视觉模型输出结果和一致性损失模型输出结以数据流形式输出处理后的图片至无监督计算机视觉模型。由于调优数据集包含多个样[0126]在一些实施例中，无监督计算机视觉模型是基于生成的无监督计算机视觉模型价指标计算模块可以根据输入样本图片和ISP模拟器输出的图片的整体像素值，对数据分[0127]ISP模拟器可以接收输入的原始图片样本(例如24bit的Bayer图片)，并提供调节[0128]本公开中使用的计算机视觉模型的输入可以是ISP处理后的图片(例如3通道8位的RGB图片)，输出是相应任务的执行结果。本公开中的计算机视觉模型为卷积神经网络时，可以选择相应的训练集。例如，针对目标检测，可以使用KITTI与COCO数据集训练目的是为了使得ISP处理后图片能在多个下游计算机视觉[0137]d)该框架调用无监督计算机视觉模型，对经ISP处理后样本图片经随机掩膜后产处理后样本图片对比，基于重构图片中的掩膜区域的每个像素点与经ISP处理后样本图片后的图片与无监督模型训练时使用的海量图片数据之间的差异，这种数据域的差异作为[0143]h)该框架将无监督评估分数和全局一致性损失按照多目标学习策略实时计算各nn不同粒度图片按照从d)到h)的步骤计算对应的无监督评估分数和全局一致性损失以及对[0150]在一些实施例中，无监督任务模型可以采用基于对比的无监督任务模型，例如[0153]SimCLR可以使得一张图片经过不同扩增后提取的特征相似度较高，可能使得ISP[0159]现有有监督ISP调优方法对于不同任务会使用不同模型，因此难以完全共享不同物体检测相同。无监督调优使用MAE，有监督ISP调优中，图像语义分割使用的模型为[0161]对比同时使用针对物体检测和语义分割各256张图片时，有监督与无监督调优的[0167]在一些实施例中，本公开的优化设备可以集成在包含图像信号处理器(ISP)的任号处理器1102和用于优化图像信号处理器110[0176]本领域技术人员应当理解，这种存储介质不局限于图16所示的其中存储有程序、[0182]使用图像信号处理器的模拟器基于ISP配置参数集对用于图像信号处理器优化的[0183]基于处理后样本图片使用实现特定任务的无监督预训练任务模型来获取无监督样本图片的像素值分布相似度或者像素与周围像素置参数集能够使得与该更新的ISP配置参数集对应的总评估分数接近所述多个总评估分数中更优的总评估分数并远离所述多个总评估分数[0204]响应于确定所述无监督评估分数小于该阈值，重载上一轮ISP优化迭代中使用的[0205]缩小重新计算的无监督评估分数并将缩小的无监督评估分数作为新的无监督评[0209]通过计算所述多张图片的对应多个无监督评估分数的加权和获得与处理后样本[0210]通过计算所述多张图片的对应多个全局一致性损失的加权和获得与处理后样本监督预训练任务模型和基于对比的无监督预训[0216]使用图像信号处理器的模拟器基于ISP配置参数集对用于图像信号处理器优化的[0217]基于处理后样本图片使用实现特定任务的无监督预训练任务模型来获取无监督后样本图片的像素值分布相似度或者像素与置参数集能够使得与该更新的ISP配置参数集对应的总评估分数接近所述多个总评估分数[0238]响应于确定所述无监督评估分数小于该阈值，重载上一轮ISP优化迭代中使用的[0239]缩小重新计算的无监督评估分数并将缩小的无监督评估分数作为新的无监督评[0243]通过计算所述多张图片的对应多个无监督评估分数的加权和获得与处理后样本[0244]通过计算所述多张图片的对应多个全局一致性损失的加权和获得与处理后样本监督预训练任务模型和基于对比的无监督预训[0255]