CN114648449B 一种图像重映射方法以及图像处理装置 （深圳引望智能技术有限公司）

道万科城社区华为公司华为总部办公本申请实施例公开了一种图像重映射方法行变换结果(即第一图像)对其中的每一列像素2获取所述每一行像素对应的行变换参数，所述行变换参数分别根据所述原始图像中的每一行像素以及所述每一行像素对应的行变换参数确定获取所述每一列像素对应的列变换参数，所述列变换参数分别根据所述第一图像中的每一列像素以及所述每一列像素对应的列变换参数确定所述行变换参数包括与第一像素对应的第一像素取值点在所述原始图像中的横坐标，所述列变换参数包括与第二像素对应的第二像素取值点在所述第一图像中的纵坐标，所述行变换参数存储于行映射关系表中，所述行变换参数在所述所述列变换参数存储于列映射关系表中，所述列变换参数在所述所述分别根据所述原始图像中的每一行像素以及所述每一行像素对应的行变换参数根据所述行变换参数确定与所述第一像素对应的所述第根据所述第一像素取值点的横坐标确定至少一个第三像素，所述第三根据所述至少一个第三像素的像素值确定所述第一像所述分别根据所述第一图像中的每一列像素以及所述每一列像素对应的列变换参数根据所述列变换参数确定与所述第二像素对应的所述第根据所述第二像素取值点的纵坐标确定至少一个第四像素，所述第四3根据所述至少一个第四像素的像素值确定所述第二像5.根据权利要求2或3所述的方法，其特征在于行像素以及所述每一行像素对应的行变换参数确定所述第一图像中每个像素的像素值之将所述目标图像发送至所述成像装置，所述成像装置用于基于所述目标图像进行成所述获取模块，还用于获取所述每一行像素对应的行变换参数，所述行计算模块，用于分别根据所述原始图像中的每一行像所述获取模块，还用于获取所述每一列像素对应的列变换参数，所述列所述计算模块，还用于分别根据所述第一图像中的每一列像素以及所所述行变换参数包括与第一像素对应的第一像素取值点在所述原始图像中的横坐标，所述列变换参数包括与第二像素对应的第二像素取值点在所述第一图像中的纵坐标，所述行变换参数存储于行映射关系表中，所述行变换参数在所述所述列变换参数存储于列映射关系表中，所述列变换参数在所述4根据所述行变换参数确定与所述第一像素对应的所述第根据所述第一像素取值点的横坐标确定至少一个第三像素，所述第三根据所述至少一个第三像素的像素值确定所述第一像根据所述列变换参数确定与所述第二像素对应的所述第根据所述第二像素取值点的纵坐标确定至少一个第四像素，所述第四根据所述至少一个第四像素的像素值确定所述第二像从存储器中按照行方向顺序读取所述每一行像素对应的从存储器中按照列方向顺序读取所述每一列像素对应的所述发送模块，用于将所述目标图像发送至所述成像装置，所述成像所述处理器，用于从外部存储器中读取行映射参数表和列映射参数表至所述内部存储器还存储有程序，当所述内部存储器存储的程序指令所述图像处理装置用于按照如权利要求1至6中任意一项所述的方法根据原始图像生5过程中产生畸变，将导致呈现在成像平面的图像是相比于原始图像产生了畸变的图像(即要从原始图像中查找与预畸变图像中A像素对应的A9点，并将该A9点的像素值赋值给预畸提高处理原始图像效率的方案。图像处理装置获得了行方向存在预畸变而列方向不存在预畸变的图像(即前述第一图像)。6像处理装置读取到每一行像素中每一个像素的像素值和该像素在原始图像中的坐标。其像处理装置根据前述一行像素和这一行像素对应的行变换参数便可以计算出第一图像中置已经对前述原始图像在行方向和列方向上分别进行了预畸变处理(即前述行变换和列变7的像素为该第三像素，该邻近该第一像素取值点的像素与该第一像素取值点位于同一行。8的像素为该第四像素，该邻近该第二像素取值点的像素与该第二像素取值点位于同一列。[0022]在一种可选的实施方式中，图像处理装置获取该每一行计算一个像素的像素值需要参考原始图像中的位于不完全同行且不完全同列的多个像素9中的每一列像素以及该每一列像素对应的列变换参数确定该目标图像中每个像素的像素一像素对应的该第一像素取值点；根据该第一像素取值点的横坐标确定至少一个第三像[0032]在一种可选的实施方式中，该行映射关系表和该列映射图像处理装置获得了列方向存在预畸变而行方向不存在预畸变的图像(即前述第二图像)。像处理装置读取到每一列像素中每一个像素的像素值和该像素在原始图像中的坐标。其像处理装置根据前述一列像素和这一列像素对应的列变换参数便可以计算出第二图像中置已经对前述原始图像在行方向和列方向上分别进行了预畸变处理(即前述行变换和列变的像素为该第七像素，该邻近该第五像素取值点的像素与该第五像素取值点位于同一列。的像素为该第八像素，该邻近该第六像素取值点的像素与该第六像素取值点位于同一横。[0047]在一种可选的实施方式中，图像处理装置获取该每一列计算一个像素的像素值需要参考原始图像中的位于不完全同行且不完全同列的多个像素变换参数用于指示该第二图像中像素的横坐标与目标图像中像素的横坐标之间的对应关五像素对应的该第五像素取值点；根据该第五像素取值点的纵坐标确定至少一个第七像标以及该至少一个第八像素的横坐标，对该至少一个第八像素的像素值求第二加权平均[0061]在一种可选的实施方式中，图像处理装置获取该每一列存储器中按照列方向顺序读取该每一列像素对[0065]在一种可选的实施方式中，该计算设备根据该畸变点的像中每个像素的横坐标和纵坐标均为整数；将该畸变映射关系表中的坐标沿水平方向拆的程序指令被该处理器执行时使得该图像处理装置实现如前述第一方面或第三方面任意该图像处理装置用于按照如前述第一方面或第三方面任意一种实施方式所介绍的方法根序被处理器执行以实现如前述第一方面或第三方面任意一种[0078]本申请实施例中，图像处理装置在基于原始图像确定目标图像(即预畸变图像)一行像素进行行变换，再基于行变换结果(即第一图像)对其中的每一列像素进行列变换，[0097]本申请的图像重映射方法主要应用于抵消基于投影式成像系统的成像装置产生[0099]在实际应用中，前述显示装置102可能为液晶显示器(liquidcryst像平面11上的图像不是显示装置102显示的图像(后文称为原始图像)，而是该基于前述图前述预畸变图像，以使得显示装置102发出的光线经过光学模组101而到达成像平面11时，示的正常图像)处理为如图1C中的(b)所示的桶形畸变图像，并由显示装置102生成前述桶图像)是由桶形畸变图像(即预畸变图像)经过畸像素计算预畸变图像中的一个像素，以此循环求出预畸变图像中的每一个像素的像素值。列变换的图像)以及经行变换和列变换之后的图像(或经列变换和行变换之后的图像)，得所示)、扇形畸变(如图1C中的(d)所示)以及平行四边形畸变(如图1C中的(e)所示)中任意[0104]应当注意的是，前述基于前述投影式成像系统的成像装置可以是平视显示器(headupdisplay，HUD)(也被称为抬头显示器)，也可以是头盔显示器(headmounted接收该投影仪投射的图像的成像平面为幕布等图像视显示器HUD或头盔显示器HMD中的图像处理芯片，例如，现场可编程逻辑门阵列(field传输至前述平视显示器HUD(或头盔显示器HMD)中的显示装置10像处理装置读取到每一行像素中每一个像素的像素值和该像素在原始图像中的坐标。其点在该原始图像中的横坐标，该第一像素取值点用于确定第一图像中的第一像素的像素系表中读取的若干个行变换参数恢复为一行行变换参数。前述恢复过程可以采用插值算[0122]本实施例中，图像处理装置可以采用读取原始图像的方式读取该行映射关系读取像素，则该图像处理装置也应当从行变换参数表中的第N行第M列开始读取行变换参[0123]步骤203、分别根据该原始图像中的每一行像素以及该每一行像素对应的行变换(横坐标为2纵坐标为1)之间，则该图像处理装置可以确定像素311和像素312为第三像素。原始图像中的与该像素位于同一行的一个或多个第三像素，而不需要位于其他行的像素。装置在读取存储器中的像素或行变换参数时，也不需要读取两行像素或两行行变换参数，像对应的列映射表也为1080×1080。若列变换参数b1位于列映射关系表中的第二行第三系表中读取的若干个列变换参数恢复为一列列变换参数。前述恢复过程可以采用插值算[0148]本实施例中，图像处理装置可以采用读取第一图像的方式读取该列映射关系[0149]步骤206、分别根据该第一图像中的每一列像素以及该每一列像素对应的列变换列变换参数为列映射关系表34中的第一行第一列对应的列变换参334(横坐标为1纵坐标为2)之间，则该图像处理装置可以确定像素331和像素334为第四像该标定图像中的多个标定点按照一定的几何形状排算仅对标定点进行列变换的畸变模型，即根据(xi,yi)到(xi,vi)的映射计算列变换型Fβ1j,1)表示目标图像第i列第j行对应的原始图像中像素的纵坐标；jj＝argmin|M(i,k,1)-j的参数(仅包括行变换参数)是原始参数表中第i列的参数对(既包括行变换参数也包括列算仅对标定点进行行变换的畸变模型，即根据(xi,yi)到(ui,yi)的映射计算行变换即分解后的列变换参数表的第i列第j行的参数(仅包括列变换参数)是原始参数表中第j行的参数对(既包括行变换参数也包括列变换参数)中的行变换参数与i最相近的那个参数对内部存储器可以从存储有行映射关系表和列映射关系表的内部存储器中获取前述行映射像处理装置读取到每一列像素中每一个像素的像素值和该像素在原始图像中的坐标。其[0203]其中，该列变换参数用于指示该原始图像中像素的纵坐标与第二图像(即列变换结果)中像素的纵坐标之间的对应关系。该第二图像为列方向存在预畸变而行方向不存在值点在该原始图像中的横坐标与该第五像素在该第二图像中的横表中的位置用于表示基于该列变换参数确定的第[0207]步骤603、分别根据该原始图像中的每一列像素以及该每一列像素对应的列变换值点在该第二图像中的纵坐标与该第六像素在该目标图像中的纵[0223]步骤606、分别根据该第二图像中的每一行像素以及该每一行像素对应的行变换图像处理装置可以是位于前述平视显示器HUD、头盔显示器HMD或投影仪中的图像处理芯[0234]该图像处理装置70包括至少一个处理器701和至少一个存储器702。前述处理器[0235]其中，该处理器701可以是现场可编程逻辑门阵列(fieldprogrammablegatearray，FPGA)、数字信号处理(digitalsignalprocess，DSP)、中央处理器(central该FPGA2对前述图像1的行变换结果进行列变换处理的同时，该FPGA1可以继续对下一个图电路(applicationspecificintegratedcircuit，ASIC)的内置处理器集成在所述ASIC体此处不做限定。示例性的，前述存储器702可以为双倍速率同步动态随机存储器DDR器702还用于存储执行本申请实施例的技术方案的程序代码。前述程序代码可以由处理器或其他设备进行通信。图像处理装置70可以通过该通信接口703接收来自其他设备的指令[0241]示例性的，前述处理器701可以从外部存储器或内部存储器中获取原始图像的每中的每一行像素以及该每一行像素对应的行变换参数确定该第一图像中每个像素的像素[0242]可选的，该处理器701根据该行变换参数确定与该第一像素对应的该第一像素取[0243]可选的，该处理器701根据该列变换参数确定与该第二像素对应的该第二像素取[0244]示例性的，前述处理器701可以从外部存储器或内部存储器中获取原始图像的每中的每一列像素以及该每一列像素对应的列变换参数确定该第二图像中每个像素的像素[0245]可选的，该处理器701根据该列变换参数确定与该第五像素对应的该第五像素取[0246]可选的，该处理器701根据该行变换参数确定与该第六像素对应的该第六像素取变换，再基于行变换结果(即第一图像)对其中的每一列像素进行列变换，得到目标图像；时，该芯片中的处理单元可以从该存储单元中调用程序代码以实现前述图2或图6A对应实置的存储器等存储装置连接，以使得从前述外置的存储器中获取程序代码以实现前述图2和图6A对应的方法实施例均可以基于图8所示的图像处理[0255]具体地，该图像处理装置80可以位于平视显示器HUD(也被称为抬头显示器)或头盔显示器HMD中。该图像处理装置可以是位于前述平视显示器HUD或头盔显示器HMD中的图像处理芯片。前述图2和图