CN118864220B 电子装置和电子装置的图像处理方法 （华为技术有限公司）

202080011168.62020.09.16本申请实施例提供了一种片上系统和片上并对所述图像数据执行第三图像信号处理以得述第一图像信号执行第一图像信号处理以得到处理器；存储器，耦合于所述AI处理器和所述第一图像信号中的一帧图像信号中的局部图像存储器中存储。本方案可以灵活的将ISP对图像2人工智能AI处理器，用于对所述第一图像信号执行第一图存储器，耦合于所述AI处理器和所述ISP，用于在所述ISP和所述A6.根据权利要求1_4任一项所述的片上系统，其特征在片上系统中的图像信号处理器ISP从图像传感器接收图像数据，并对所述图像数据执所述片上系统中的存储器在所述ISP和所述片上系统中的人工智能AI处理器之间转移3所述AI处理器对所述第一图像信号执行第一图像信号处理以得到第二图像所述AI处理器包括专用神经处理器，所述第一图像信号处理包括如下至少一个处理过程：4[0004]由于受限于智能终端内图像信号处理器(ISP，ImageSignalProcessor)的算法有技术中未能充分解决传统ISP的处理效果[0007]通过在AI处理器对图像数据图像处理后再由ISP执行其余图像处理，在整个图像信号处理流程中可充分利用AI处理器的处理能力，使得AI处理器代替传统ISP执行部分处[0009]该实现方式可以使得将AI处理器所执行的第一图像处理过程设置在ISP所执行的多个图像处理过程之间，AI处理器可以替代ISP执行图像处理过程中间的一部分处理过程5于所述片上系统之外，用于在所述AI处理器和所述ISP之间转移任一图像信号中的第二图发所述AI处理器执行所述第一图像信号处理，以及控制所述ISP执行所述第二图像信号处器和ISP之间设置电子线路连接实现中断信号传输，不需要经过其他处理器例如CPU的转括：控制人工智能AI处理器对第一图像信号执行第一图像信号处理以得到第二图像信号，所述第一图像信号是基于图像传感器输出的图像数据获得的；控制图像信号处理器ISP对第二图像信号执行第二图像信号处理以得到图像处6并对所述图像数据执行第三图像信号处理以得到所述第三图像信号执行第四图像信号处理以得到所述第78[0054]本申请实施例提供的电子装置，可以是个电子设备或集成于电子设备内的模组、置的一个硬件结构示意图。电子装置100例如具体可以是芯片或芯片组或搭载有芯片或芯片组，当一个或多个处理器被集成在同一个芯片内时该芯片也叫片上系统(Systemona[0056]在本申请实施例中，AI处理器101可以包括神经网络处理器(Neural_network9器，GraphicsProcessingUnit)或者DSP(数字信号处理器，DigitalSignal多个硬件模块或者运行必要的软件程序以对图像进行处理或者与AI处理器101进行通信。例中的相关描述)，也可以通过控制器进行信号转发的方式通信，其中ISP102和AI处理器101之间通过控制器进行信号转发的方式进行通信的相关描述具体参考图8中所示的对控[0057]本申请实施例中，从摄像装置105获取的图像数据可以经过多个图像处理过程以执行相同的图像处理过程时，AI处理器101所执行的图像处理可以作为对该图像处理过程像处理过程后再由ISP102执行其余图像处理过程，可以用AI处理器101代替ISP102执行部到预设效果时，可以将AI处理器101所执行的图像处理过程设置在ISP102所执行的多个图[0059]下面对AI处理器101与ISP102结合进行图像处理的过程以及各图像处理过程对应影校正的图像处理…，图像处理模块N+1用于执行RGB转YUV的处理。基于对图像的处理需理器101运行过程中所产生的中间数据以及AI处理器101所运行的神经网络中各网络节点信号A存储至片上RAM；AI处理器101与ISP102中的图像处理模块03之间通过电子线路连接1011和多个计算单元1012中的每一个组件均可以包括多个逻辑器件或电路。任务调度器1011可以通过AI处理器101的输入端口Vai2与图像处理模块02的输出端Vpo2实现上述电子理模块01、图像处理模块02依次执行阴影矫正和白平衡校正处理后生成图像信号A存储至片上RAM。图像处理模块02将图像信号A存储至片上RAM后通过电子线路连接L1向AI处理器处理器101将图像信号B存储至片上RAM后向图像处理模块03发送上述中断信号Z2。图像处理模块03…、图像处理模块N以及图像处理模块N+1依次执行色差矫正、…Gamma矫正以及[0063]在一个实施例中，AI处理器101与ISP102之间的电子线路连接也叫物理连接或中断连接包括用于实现中断信号发送和接收功能的中断信号处理硬件电路和传输信号的连[0064]在图2和图3所示的实施例中，AI处理器101所执行的图像处理过程设置在ISP102所执行的多个图像处理过程之间，来替代或补充ISP102所执行的某些中间的图像处理过[0065]在图4中，ISP102的结构和AI处理器101的结构与图3所示的ISP102的结构和AI处器101将图像信号C存储至片上RAM后通过电子线路连接L3向图像处理模块03发送中断信号[0066]请继续参考图5，其示出了本申请实施例提供的图像处理方法500的又一个流程如下图像处理步骤：步骤501，摄像装置105将采集的图像数据提供至AI处理器101。步骤流程中，AI处理器101可以执行多个连续的图像处理过程以对图像数据或者图像信号进行申请实施例提供的图像处理方法600的又一个流程图。该图像处理方法600应用于图1或者行处理，生成图像信号E。步骤605，AI处理器101将图像信号E提供至ISP102。步骤606，模块N的输入端分别设置有输入端口Vpi1和输入端口Vpi2。图像处理模块02和图像处理模块03的输出端口分别用于输出如图6所示的图像信号D和图像信号F；图像处理模块03的输入进行电子线路连接，图像处理模块03的输入端口Vpi1和图像处理模块N的输入端口Vpi2与片上RAM之间进行电子线路连接；AI处理器101的输入端口Vai1和输出端口Vao1也可以与片上路连接L4传输中断信号Z4，该中断信号Z4用于指示图像处理模块02将图像信号D存储至片号Z6用于指示图像处理模块03将图像信号F存储至片上RAM；AI处理器101和ISP102中的图像处理模块N之间通过电子线路连接L6传输中断信号Z7，该中断信号Z7用于指示AI处理器[0069]以上图3图7示意性的示出了本申请实施例所示的图像处理方法以及与各图像处理方法对应的电子装置的硬件结构。需要说明的是，本申请实施例所示的电子装置中的信号存储完毕时(例如存储的图像信号的行数达到预设阈RAM可以逻辑划分为第一存储区和第二存储区，ISP102将图像信号以图像块的形式存储至使得ISP102对图像的处理以及AI处理器101对图像的处理并行进行，降低AI处理器101和[0071]此外，当ISP102以图像块的形式向如图3、图4或者图7所示ISP102还可以向AI处理器101发送指示当前图像块为一帧图像的起始位置的指示信号。具理器101处理过的图像信号，或者是提供至AI处理器101供AI处理器101进行处理的图像信器101中所运行的图像处理模型的可执行程序，AI处理器通过加载该可执行程序以运行图像处理方法，以代替AI处理器101和ISP102之间的电子线路连接作为通信媒介。具体实现息(例如光强信息、白平衡信息或者马赛克信息等)来确定结合以对图像数据进行处理，以及确定当选用ISP102与AI处理器101结合以对图像数据进AI处理器101可以运行多种用于进行光强处理的图像处理模型。控制器基于图像数据所指用于处理光照强度的图像处理模型)，然后将所更换的图像处理模型的可执行程序的存储本申请实施例所述的电子装置进行场景更换(例如从设的时钟周期T。AI处理器基于所运行的图像处理模型的不同或者所执行的图像处理流程开始处理至生成最终的图像处理结果的时钟周期T为33.3ms，而AI处理器执行图像处理的可以确定所采用的图像处理模型的运行时长，当确定出时钟周期T内图像处理模型的运行该其他AI服务的AI模型的可执行程序或参数也可以存储在个独立的控制器中包括用于控制ISP102中的各部件运行的ISP控制器和用于控制AI处理器储器106中的地址信息、或者多个图像处理模型中的每一个图像处理模型的优先等级信息通信实现。例如，当AI处理器101和ISP102之间未设置电子线路连接以传输中断信号时，ISP102可以将图像信号存储至片上RAM后通知ISP控制器，ISP控制器将指示图像信号存储至片上RAM的信息发送至AI控制器，AI控制器控制AI处理器101中的计算单元从片上RAM读控制器，AI控制器将指示图像信号存储至片上RAM的信息发送给ISP控制器，ISP控制器ISP102从片上RAM读取图像信号以[0079]本实施例可以根据上述方法示例对以上一个或多个处理[0080]在采用对应各个功能划分各个功能模块的情况下，图9示出了上述实施例中涉及[0083]在一种可能的实现方式中，所述第一图像信号处理[0084]在一种可能的实现方式中，所述第二图像信号处理[0085]在一种可能的实现方式中，所述第三图像信号处理[0086]在一种可能的实现方式中，所述第四图像信号处理[0087]本实施例提供的图像处理装置900，用于执行电子装置100所执行的图像处理方以用于支持电子装置100执行存储程序代码和数据等。至少一个处理器可以实现或执行结多个微处理器组合，例如包括但不限于图1所示的AI处理器101和图像信号处理器102。此[0090]本实施例还提供