CN113206929B 图像数据处理方法和传感器装置 （三星电子株式会社）

器的存储模式对应的滤波器应用于存储在图像2图像处理器，被配置为：通过将与图像缓冲器其中，图像缓冲器被配置为：以行为单位顺序地存储通过图其中，图像缓冲器的存储模式指示图像缓冲器的存储状态，并且存其中，不同模式的滤波器的数量对应于能够存储在图像缓其中，每当图像数据被输入到图像缓冲器中时，滤波器4.根据权利要求1至权利要求3中的任意一项所述的传感器器中选择用于当前存储在图像缓冲器的图像5.根据权利要求1至权利要求3中的任意一项7.根据权利要求1至权利要求3中的任意一项8.根据权利要求1至权利要求3中的任意一项所述将与第一颜色分量的排列模式对应的第一滤波器应用于存储在图像缓冲器中的图像将与第二颜色分量的排列模式对应的第二滤波器应用于存储在图像缓冲器中的图像3第一滤波器和第二滤波器被交替地应用于存储在图像通过将与图像缓冲器的存储模式对应的滤波器应用于存储在图像缓冲器中的图像数其中，将获取的图像数据存储在图像缓冲器中的步骤包括：其中，图像缓冲器的存储模式指示图像缓冲器的存储状态，并且存其中，不同模式的滤波器的数量对应于能够存储在图像缓量其中，每当图像数据被输入到图像缓冲器中时，滤波器从不同模式的多个滤波器中选择与图像缓冲器的存储模式对应的滤通过将用于卷积处理的卷积滤波器应用于存储在图像缓冲器中的图响应于获取的图像数据的行被输入并被存储在图4生成经图像处理的数据的步骤包括：通过将与所述模式对应的将与第一颜色分量的排列模式对应的第一滤波器应用于存储在图像缓冲器中的图像将与第二颜色分量的排列模式对应的第二滤波器应用于存储在图像缓冲器中的图像处理器执行根据权利要求15至权利要求20中的任意一项所述的图像数其中，图像数据的行的存储模式指示图像缓冲器的存储状在图像缓冲器的缓冲器区域中的多个行之中的最近存储的图其中，不同模式的滤波器的数量对应于能够存储在图像缓其中，每当图像数据被输入到图像缓冲器中时，滤波器5[0001]本申请要求于2020年1月30日提交到韩国知识产权局的第10-2020-0011153号韩[0003]各种类型的图像数据处理技术(包括用于改变由数据表示的图像以适合目的的技据中的中心像素及其相邻像素的像素值乘以分配给滤波器(或掩模，mask)的权重(或系[0004]提供本发明内容以便以简化的形式介绍将在下面的具体实施方式中进一步描述将与图像缓冲器的存储模式对应的滤波器应用于存储在图像缓冲器中的图像数据来生成[0007]可基于能够存储在图像缓冲器中的图像数据的行的数量以及滤波器的大小来确[0008]图像处理器可被配置为：基于图像缓冲器中的最近存储从多个模式的多个滤波器中选择用于当前存储在图像缓冲器中的图像数据的模式的滤波[0011]图像处理器可被配置为：响应于图像数据的行被输入并通过将卷积滤波器应用于存储在图像缓冲器中的图像数据而输出结6应的第二滤波器应用于存储在图像缓冲器中通过对被应用滤波器的图像数据进行量化来生成量化的模式的多个滤波器中选择用于当前存储在图像缓冲器的图像数以及通过将与图像缓冲器的存储模式对应的滤波器应用于存储在图像缓冲器中的图像数冲器的存储模式对应的滤波器，并将选择的滤波器应用于存储在图像缓冲器中的图像数[0025]图像数据可包括按照模式排列的多个颜色分量的像通过将与所述模式对应的滤波器应用于存储在图像缓冲器中的图像数据来生成经图像处7[0038]提供以下具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全8像数据执行图像处理来生成经图像处理的结果数据。传感器装置110通过对获取的图像数据执行卷积处理来生成卷积处理的结果数据。传感器装置110通过将用于执行卷积运算的的图像数据，则传感器装置110通过也针对拜耳模式的图像数据执行卷积处理来生成卷积置110通过对卷积处理的图像数据进行量化来生成量化的图像数据作为结果数据。量化的图像数据是比通过图像传感器获取的原始图像数据具有更少的位的图像数据(例如，其中置110在对获取的图像数据执行卷积处理和/或量化之后执行诸如对象检测(例如，面部检[0051]识别设备120从传感器装置110接收由传感器装置110进行图像处理的结果数据，象与输入到对象识别模型中的图像数据中所示的对象对应的得分(例如，期望值或概率[0052]图2示出对象识别处理的示例。图2中的操作可以以如图9处理的结果数据执行对象识别。指图像数据中包括的多个像素之中的沿同一水平方向或沿同一垂直方向布置的一组像素。图像缓冲器的缓冲器区域中的图像数据之中的最久记录的图像数据从缓冲[0055]通过图像传感器获取的图像数据具有多个颜色分量的像素被排列在其中的模式[0058]由传感器装置生成的经图像处理的结果数据通过传感器装置的输出接口发送到据发送到识别设备。基于MIPI标准确定从传感器装置发送到识别设备的结果数据的行数。造成执行期望操作的电路的硬件实现的数据处理装置(诸如，包括在识别设备中的中央处下可改变一些操作的顺序或省略一些操作。图3中所示的操作中的许多操作可并行地或同时地执行。图3的图像数据处理方法的块和块的组合由基于专用硬件的计算机和执行指定功能的装置(诸如，处理器)或包括在传感器装置中的专用硬件和计算机指令的组合来执[0062]在操作330中，传感器装置通过对存储在图像缓冲器中的图像数据执行图像处理使用卷积滤波器的卷积处理的结果图像的像素值基于存储在图像缓冲器中的图像数据的[0063]传感器装置从不同模式的滤波器中选择与图像缓冲器的当前存储模式对应的滤式的滤波器的数量基于可存储在图像缓冲器中的图像数据的行的数量和滤波器的大小来在整个缓冲器区域的一部分中，则使用零填充(zero-padding)或环绕(wrap-around)进行[0066]如果存储在图像缓冲器中的图像数据是排列有多个颜色分量的像素的模式(例(例如，绿色分量)的排列模式对应的第二滤波器应用于存储在图像缓冲器中的图像数据。第一滤波器和第二滤波器被交替地应用于存储在图像缓冲器中的图像数据的像素。例如，图像传感器获取的图像数据在传感器装置中被图像处理之后从[0069]图4示出卷积处理过程的示例。图4中的操作可以以图如的当前行记录在图像缓冲器的缓冲器区域中的记录最久图像数据的缓冲器区域中。这里，[0071]在操作430中，传感器装置使用与图像缓冲器中的图像数据的存储模式对应的滤据的存储模式例如根据包括在图像缓冲器的缓冲器区域中的多个行之中的最近存储图像器应用于存储在图像缓冲器中的图像数据，经由卷积处理输出结果图像的行作为结果数置确定通过图像传感器获取的图像数据的最后一行是否被发送并存储在图像缓冲器中并像缓冲器的缓冲器区域中的记录最久图像数据的缓冲器区域中。传感器装置从操作430开[0077]图5示出图像数据500通过传感器装置的图像传感器获取。图像数据500包括多个示。以这种方式，存储在图像缓冲器中的图像数据的存储模式以存储模式510、存储模式器的存储模式改变时，用于卷积处理的滤波器的模式也根据图像缓冲器的存储模式而改模式620的滤波器。通过将模式610的滤波器应用于存储模式510的图像数据来确定与结果[0082]在存储模式560的情况下，通过再次应用模式610的滤波器来确定与结果数据690波器的分量被旋转)。不同模式的滤波器的数量对应于可存储在图像缓冲器中的图像数据序地应用与图像缓冲器的存储模式对应的滤波器来获得卷积处理的结图像数据700的奇数行包括交替排列的蓝色分量702的像素值和绿色分量704的像素值，图地将图像数据700存储在图像缓冲器的缓冲器区域中，因此存储在图像缓冲器中的图像数[0087]图8示出针对在图像缓冲器中以不同模式存储的拜耳模式的图像数据执行卷积处像数据的拜耳模式中的颜色分量的排列模式对应的滤波器应用于存储在图像缓冲器中的[0088]传感器装置将与存储在图像缓冲器中的图像数据的拜耳模式中的颜色分量的排应于蓝色分量的滤波器812和对应于绿色分量的滤波器814(或者针对每两个空间应用滤波地对存储模式715的图像数据应用对应于绿色分量的滤波器824和对应于红色分量的滤波应用对应于蓝色分量的滤波器832和对应于绿色分量的滤波器834，对存储模式720的图像分量的滤波器836。通过交替地对存储模式725的图像数据应用对应于绿色分量的滤波器对存储模式730的图像数据应用对应于蓝色分量的滤波器852和对应于绿色分量的滤波器过顺序地应用与存储在图像缓冲器中的图像数据的拜耳模式对应的模式的滤波器来获得积运算的滤波器应用于未包括在输出数据890的[0094]图像处理器920针对存储在图像缓冲器940中的图像数据执行图像处理(诸如，卷积处理和/或量化)。图像处理器920执行与以上参照图1至图8描述的图像处理相关的一个器中的图像数据是拜耳模式的图像数据，则图像处理器920通过将与存储在图像缓冲器中的图像数据的拜耳模式中的颜色分量的排列模式对应的滤波器应用于存储在图像缓冲器处理的图像数据执行量化来生成量化的图像数据作为结930存储通过图像传感器910获取的图像数据和经图像处理的结果数据。存储器930包括例[0097]输出接口950将由图像处理器920进行图像处理的结果数据发送到传感器装置900[0100]处理器1030控制识别设备1020的操作并且执行指令和功能以执行对象识别。例如，处理器1030执行存储在存储器1040或存储装置1050中的指令。处理器1030包括例如器1040包括例如高速随机存取存储器和/或非易失性计算机可读存储介质。下面提供关于过MIPI从传感器装置900接收经图像处理多个处理器或计算机)来实现执行在本申请中描述的操作的硬件组件中的一个或多个硬件配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来执行在本申请中描述的操作的指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多器或能够以限定的方式响应并执行指令的任何[0107]执行本申请中描述的操作的方法通过计算硬件(例如，通过一个或多个处理器或[0108]用于控制处理器或计算机实现硬件组件并执行如上所述的方法的指令或软件被人员可基于附图中所示的框图和流程图以及说明书中的对应描述，容易地编写指令或软及它们的等同物的范围内的所有变化将被解释为包括在本公开