CN115734080B 用于高动态范围传感器的图像信号处理管线内的图像处理方法和系统 （辉达公司）

US2015043807A1,2015.02.12US2016050440A1,2016.0用于高动态范围传感器的图像信号处理管本公开涉及用于高动态范围传感器的图像信号处理(ISP)管线相关联的一个或更多个处理缩图像以与图像传感器相关联的第一位深度捕并且其中ISP与低于第一位深度并且高于第二位压缩图像进行解压缩以生成具有第三位深度的域基于多个区域中的每个区域的对应像素值以2在与图像信号处理ISP管线相关联的一个或更多个处理器处，接收由图像传感器生成第一位深度的第二位深度，并且其中所述ISP与低于所述第一位深度且高于所述第二位深根据功率曲线对压缩图像进行解压缩，以生成具有所述第三位深度的部分解压缩图3.如权利要求1所述的方法，其中根据所述功率曲线对所述压缩图像解压缩保留了所述压缩图像的色比并且将所述压缩图像的信噪比保持在信噪比阈将第二解压缩量应用于所述压缩图像的具有更高的第二像素值的第7.如权利要求6所述的方法，其中所述第一区域的所述第一像素值对应于所述第一区域的第一亮度值，并且所述第二区域的所述第二像素值对应于所述第二区域的第二亮度8.如权利要求1所述的方法，其中为了将所述图像从所述第一位深度压缩到所述第二根据所述功率曲线或第二功率曲线，将第一压缩量应用于捕获图根据所述功率曲线或所述第二功率曲线，将第二压缩量应用于所9.如权利要求8所述的方法，其中为了将所述图像从所述第一位深度压缩到所述第二3确定与由所述相机的传感器生成的压缩图像相关联基于所述第三位深度和所述ISP的所述第二位深度，确定与所述相机的传感器的分段确定用于解压缩所述压缩图像的功率曲线以生成具有所述第二位深度的部分解压缩13.如权利要求11所述的系统，其中所述功率曲线包括用于处理低于像素值阈值的像14.如权利要求11所述的系统，其中所述压缩图像以与所述传感器相关联的所述第一位深度被捕获并且被压缩到低于所述第一位深度的所述第三位深度，并且其中所述ISP的所述第二位深度低于所述第一位深度并且高于所述第三将第二解压缩量应用于所述压缩图像的具有更高的第二像素值的第在与图像信号处理ISP管线相关联的一个或更多个处理器处，接收由图像传感器生成到低于所述第一位深度的第二位深度，并且其中所述ISP与低于所述第一位深度且高于所根据功率曲线对所述压缩图像进行解压缩，以生成具有所述第三图像，其中所述部分解压缩图像的多个区域基于所述多个区域中的每个区域的对应像素17.如权利要求16所述的电子设备，其中所述功率曲线包括延伸到像素值阈值的线性18.如权利要求17所述的电子设备，其中基于所述功率曲线的所述线性段处理像素值19.如权利要求16所述的电子设备，其中所述功率曲线对应于分段线性PWL样条函数，20.如权利要求19所述的电子设备，其中所述一个或更多个处理器用于执行进一步的4将第二解压缩率应用于所述压缩图像的具有更高的第二像素值的第22.如权利要求21所述的电子设备，其中所述第一区域的所述第一像素值对应于所述23.如权利要求16所述的电子设备，其中为了将所述压缩图像从所述第一位深度压缩将第二压缩量应用于所述捕获图像的具有更高第二像素值的第二部分24.如权利要求16所述的电子设备，其中为了将所述压缩图像从所述第一位深度压缩5[0001]本文公开的实施例涉及图像的压缩和解压缩，包括图像信号处理(ISP)管线内的[0002]高动态范围(HDR)图像传感器捕获具有大动态范围的数据，通常超过可用于处理[0003]图1示出了根据至少一个实施例的用于托管和执行相机图像压缩组件的计算机系[0004]图2是根据至少一个实施例的用于在ISP管线中执行HDR图像的压缩和解压缩算法[0005]图3是根据至少一个实施例的用于使用功率曲线压缩和解压缩来自相机传感器的[0006]图4示出了根据至少一个实施例的具有可用于压缩和解压缩来自相机的HDR图像[0007]图5示出了根据至少一个实施例的使用PWL压缩和解压缩来自相机的HDR行图像和[0010]图7B是根据至少一个实施例的示出用于在一个或更多个基于云的服务器与图7A6[0015]在至少一个实施例中，提供了一种在图像信号处理(ISP)管线中实现用于处理高动态范围(HDR)图像的新压缩和/或解压缩方案的方法，以在没有色比或信噪比(SNR)退化同时保SNR和色彩准确度。可以使用分段线性(PWL)样条函数来执行传感器压缩和ISP解压从传感器位深度压缩到ISP位深度，其中图像的某个区域的压缩级别是基于根据功率曲线这些区域中由于量化导致的噪声增加可能是系统设计者能够以更大的灵活性选择图像传感器和ISP管线组件，这又使他们能够在不降施例使图像传感器能够配置有固定设置，这使得系统更安全并且导致传感器驱动器的简[0017]本公开提供用于在具有高位深度的相机的传感器和具有比相机传感器低的位深度的ISP之间压缩和解压缩HDR图像同时保持图像的SNR和颜色准确度的技术和方法。可以曲线执行的解压缩和/或压缩可以引起对图像的具有低亮度值的区域执行较少的压缩，而7[0018]图1示出了根据至少一个实施例的用于托管和执行相机图像压缩/解压缩组件高速缓存113、数据存储116和/或未示出的其他组件和特征。计算机系统100可以包括ISP处理器120可以包括启动和电源管理处理器，该处理器可以是专用处理器和子系统以处理可以是系统100的启动序列的一部分并且可以提供运行时电源管理服务。在至少一个实施8核可以在锁步模式下操作并且用作具有比较逻辑的单个核以检测它们的操作之间的任何以是实现视频回放应用所需的视频后处理功能以相机120和/或车内监控相机传感器执行[0026]相机传感器130可以是图像传感器或成像器，其通过将图像内物体反射的光波的可变衰减转换成作为传送信息的电流的小突发的信号来检测和传送用于从相机制作图像[0028]根据一个或更多个实施例，相机图像压缩/解压缩组件115A_B可用于执行图像的号处理(ISP)管线中的高动态范围(HDR)图像提供新的压缩和/或解压缩方案，以在没有色9115A_B可以提供压缩和/或解压方案以处理从相机传感器130的在初始高位深度处生成的数据，使得可以在ISP140处对数据进行解压缩到比初始高位深度低的位深度，同时保留SNR和颜色准确度。相机图像压缩/解压缩组件115A_B可以使用分段线性(PWL)样条函数来用第一PWL样条函数执行压缩，并且相机图像压缩/解压缩组件115B使用第二PWL样条函数来自图像内场景中每个表面的光量。通过根据功率曲线基于区域的亮度条件控制HDR图像率曲线可以包括用于压缩/解压缩图像的具有低像素值的区域的线性段(例如，用于压缩/低像素值区域的线性段(例如，其可能不应用压缩)可传感器130生成并由相机图像压缩/解压组件115A压缩的压缩图像，以在ISP140处进行处图像压缩/解压缩组件115A将捕获的图像压缩到低于相机传感器位深度的不同位深度。图将不同量或级别的压缩应用于捕获图像的不同区域来压缩来自相机传感器130的捕获图[0032]在一种实施方式中，相机图像压缩/解压缩组件115检查以确定相机传感器130的位深度是否等于ISP140的位深度。如果相机传感器130的位深曲线对图像执行从压缩图像的位深度到ISP140的位深度的解压缩，使得解压缩的图像可[0033]在一种实施方式中，相机图像压缩/解压缩组件115B使用至少部分地对应于分段线性(PWL)样条函数的功率曲线将图像从图像的压缩版本的位深度解压缩到ISP140的位使用曲线拟合技术基于PWL函数的拐点集合来确定功率曲线。曲线拟合技术可以指通过对[0034]在一些实施方式中，相机图像压缩/解压缩组件115B基于图像的每个区域的对应[0035]图2是根据至少一个实施例的用于在ISP管线中执行HDR图像的压缩和解压缩算法包括或不包括线性段的功率曲线来压缩图像。功率曲线可以基于图像传感器的特性来确以生成具有第三位深度的部分解压缩图像。部分解压缩图像的多个区域可以根据功率曲[0041]图3是根据至少一个实施例的用于使用功率曲线(例如，使用适合功率曲线的PWL函数)来压缩和解压缩来自相机传感器的图像的计算环境300的图。在至少一个实施例中，处理逻辑可以利用分段线性函数(PWL)来基于对应于PWL函数的功率曲线来执行图像数据[0042]在操作310，处理逻辑在传感器312处执行压缩算法以使用PWL函数316(其可能基于或可能不基于功率曲线)将捕获的图像从作为传感器312的位深度的第一位深度(例如，辑对来自传感器312的数据(Y)应用PWL解压缩以使用PWL函数318(其可以或可以基于功率更高亮度值的那些区域)显示图像区域的最后最终目标压缩状态。该图像的最终压缩状态压缩和/或解压缩的PWL函数的每个拐点应线的曲线拟合技术的ISPPWL解压缩函数的拐点确定的，这些压缩和解压缩算法对于低信[0064]图4示出了根据至少一个实施例的具有可用于压缩和/或解压缩来自相机的图像实施例中，实现过程400的处理逻辑可以利用包括线性段412的功率曲线410来基于图像区以用于处于512或低于512的像素值。对低于512的像素值使用线性段可以防止具有这些像值直到512的值可以以线性方式转换为20位像素值，可选地防止图像的任何实际压缩或解[0066]图5示出了根据至少一个实施例的使用来自相机的HDR原始图像和来自ISP的经获并由20位ISP使用所公开的实施中的一个或更多个进行处理。如图5所示，与图像510相一个或更多个节点C.R.可以是具有一个或更多个上述计算资源[0071]在至少一个实施例中，分组计算资源614可以包括容纳在一个或更多个机架内的[0072]在至少一个实施例中，资源协调器612可以配置或以其他方式控制一个或更多个[0073]在至少一个实施例中，如图6所示，框架层620包括作业调度器622、配置管理器软件层630的软件632和/或应用程序层640的一个或更多个应用程序642的框架。在至少一支持分布式文件系统628和作业调度器622的集群或分组计算资源。在至少一个实施例中，实施例中，资源管理器626可以与资源协调器612协调以管理这些映射的或分配的计算资(1)616(N)的至少一部分，分组的计算资源614和/或框架层620的分布式文件系统1228使Caffe等)或其他与一个或更多个实施例结合使用的机器学习应用压缩/解压缩组件115来执行如本文所述的HDR图像这些图像可能会在ISP处被部分解压缩。压缩和/或解压缩可以根据功率曲线(可选地具有[0079]图7A示出了根据至少一个实施例的自动驾驶车辆700的示例。在至少一个实施例学会(“SAE”)“与用于道路机动车辆的驾驶自动化系统有关的术语(TaxonomyandDefinitionsforTermsRelatedtoDrivingAutomationSystemsforOn_RoadMotor标准号J3016_201609，以及该版本的以前和将来的版本此标准)定义的自动化级别来描述系统754(其可以包括但不限于方向盘)用于使车辆700转向(例如，沿着期望的路径或路系统746可以用于响应于从制动致动器748和/或制动传感器接收到的信号来操作车辆制动[0083]在至少一个实施例中，控制器736可以包括但不限于一个或更多个片上系统感器)、一个或更多个RADAR传感器760、一个或更多个超声波传感器762、一个或更多个[0085]在至少一个实施例中，一个或更多个控制器736可以从车辆700的仪表板732接收警告标志、交通信号灯变更等)和/或有关驾驶操作车辆已至少一个实施例中，网络接口724可能能够通过长期演进(“LTE”)、宽带码分多址(ISP)中为高动态范围(HDR)图像提供压缩和/或解压缩方案。相机图像压缩/解件115可以用在系统图7A的系统中以执行如本文所述的HDR图像的压缩和/[0088]图7B示出了根据至少一个实施例的图7A的自动驾驶车辆700的示例系统架构的框[0089]在至少一个实施例中，除了CAN之外或来自CAN，可使用FlexRay和/或以太网控制器736中的每一个和/或车辆内的每个计算机都可以访问相同的输入数据(例如，来自辆700的系统)中组合，该高清晰度地图722可以经由网络接口724从一个或更多个服务器得一个或更多CPU706的集群的任何组合在任何给定的时间都进一步实现用于管理功率状态的增强算法，其中指定了允许的功率状态和预期的唤醒时[0094]在至少一个实施例中，一个或更多个GPU708可以包括集成的GPU(在本文中或者指令集。在至少一个实施例中，一个或更多个GPU708可以包括一个或更多个流式微处理[0095]在至少一个实施例中，一个或更多个GPU708可以经功耗优化以在汽车和嵌入式理器可以包括独立的并行整数和浮点数据路径来提供混合了计算和寻址运算的工作量的储器技术可以允许单个统一虚拟地址空间用于一个或更多个CPU706和一个或更多个GPU一个或更多个访问计数器可以帮助确保将存储器页移动到最频繁访问页面的处理器的物[0099]在至少一个实施例中，一个或更多个SoC704可以包括任何[0100]在至少一个实施例中，一个或更多个SoC704可以包括一个或更多个加速器714施例中，大的片上存储器(例如4MB的SRAM)个或更多个GPU708的一些任务(例如，释放一个或更多个GPU708的更多周期以执行其他络类型和浮点运算以及推理的特定集合进一步优化一个或更多个DLA。在至少一个实施例感器的数据进行对象识别和检测的CNN；用于使用来自相机传感器的数据进行距离估算的相机传感器的数据进行人脸识别和车主识别的CNN；以及/或用于安全和/或安全相关事件个或更多个DLA上，并将其他功能留给一个或更多个GPU708和/或一个或更多个加速器[0103]在至少一个实施例中，一个或更多个加速器714可以包括可编程视觉加速器[0105]在至少一个实施例中，DMA可以使PVA的组件能够独立于一个或更多个CPU706访如，在至少一个实施例中，单个PVA中包括的多个向量处理器可以执行通用计算机视觉算[0108]在至少一个实施例中，一个或更多个加速器714可以包括片上计算机视觉网络和PVA可能被设计为运行经典的计算机视觉算法，因为它们可以在对象检测和整数数学运算少一个实施例中，用于3_5级自动驾驶的应用程序在运行中使用动态的估计/立体匹配(例[0115]在至少一个实施例中，一个或更多个SoC704可以包括一个或更多个数据存储装[0116]在至少一个实施例中，一个或更多个SoC704可以包括任何数量的处理器710(例个SoC704热和温度传感器管理和/或一个或更多个SoC704功率状态管理。在至少一个实更多个SoC704可以使用环形振荡器来检测一个或更多个CPU706，一个或更多个GPU708动和电源管理处理器可以进入温度故障例程，并将一个或更多个SoC704置于较低功耗状[0117]在至少一个实施例中，一个或更多个处理器710可以进一步包括一组嵌入式处理以及广泛且灵活范围的音频I/O接口为硬件提供对多通道音频的完全硬件支持。在至少一[0118]在至少一个实施例中，一个或更多个处理器710可以进一步包括始终在线的处理像合成器可以在一个或更多个广角相机770、一个或更多个环绕相机774和/或一个或更多一个或更多个GPU708供电并使其活跃地进行3D渲染时，视频图像合成器可以被用于卸载更多个RADAR传感器760等，其可以通过以太网通道连接)的数据，来自总线702的数据(例其跨越自动化级别3_5级，从而提供利用并有效使用计算机视觉和ADAS技术来实现多样性ADAS应用程序和实际3_5级自动驾驶车[0127]本文所述的实施例允许同时和/或序列地执行多个神经网络，并且允许将结果结一个或更多个GPU720)上执行的CNN可包括文本和单词识别，从而允许超级计算机读取和在至少一个实施例中，由“警告标志声明：闪烁的灯指示结冰状况(Caution:flashinglightsindicateicyconditions)”连通电灯一起练的神经网络)将该警告标志本身识别为交通标志，可以通过第二部署的神经网络来解释[0129]在至少一个实施例中，用于面部识别和车辆所有者识别的CNN可以使用来自相机辆，就可以在一个或更多个超声波传感器762的辅助下使用控制程序来执行紧急车辆安全个离散CPU或一个或更多个dCPU)，其可以经由高速互连(例如PCIe)耦合到一个或更多个多个CPU718可用于执行各种功能中的任何功能，例如包括在ADAS传感器和一个或更多个SoC704之间潜在的仲裁不一致的结果，和/或一个或更多个监控控制器736的状态和健康智能功能，例如通过执行冗余和/或不同的神经网络，并且可以至少部分地基于来自车辆(例如，采用服务器和/或其他网络设备)与其他车辆和/或计算设备(例如乘客的客户端设间建立直接链路和/或可以建立间接链路(例如，通过网络和互联网)。在至少一个实施例[0136]在至少一个实施例中，车辆700可以进一步包括一个或更多个GNSS传感器758(例以传输由一个或更多个RADAR传感器760生成的数据)来进行控制和访问对象跟踪数据，在多个RADAR传感器760可以帮助在静态对象和运动对象之间区分，并且可以被ADAS系统738或更多个传感器760可以包括但不限于具有多个(例如六个或更多个)固定RADAR天线以及束不断地监测车辆后部方向和附近的盲点。在至少一个实施例中，短程RADAR系统可以在ADAS系统738中用于盲点检测和/或车道改变[0142]在至少一个实施例中，一个或更多个LIDAR传感器764可能能够提供针对360度视使对于低反射率的对象，也可以提供高达120度的水平视野和35度的垂直视野，并且具有更多个IMU传感器766可使车辆700估算航向而无需来自磁传感器通过直接观测和关联从更多个IMU传感器766和一个或更多个GNSS传感器758可以组合在单个[0146]在至少一个实施例中，车辆700可以包括放置在车辆700内和/或周围的一个或更接口724和/或一个或更多个无线天线726从其他车辆接收经由无线链路或者间接经由网络信提供关于紧接在前的车辆(例如，紧接在车纠正措施。在至少一个实施例中，FCW系统使用前向相机和/或一个或更多个RADAR传感器[0153]在至少一个实施例中，AEB系统检测到与另一车辆或其他对象的即将发生的向前如果来自主计算机的输出和来自辅助计算机的输出冲突，则监督MCU决定如何协调冲突以置为至少部分地基于来自主计算机的输出和来自辅助计算机的输出来确定该辅助计算机MCU可以包括和/或被包括为一个或更多个SoC704的[0160]在至少一个实施例中，ADAS系统738可以包括使用传统的计算机视觉规则执行(ISP)中为高动态范围(HDR)图像提供压缩和/或解压缩方案。相机图像压缩/解压组件115件115可以用在图7B的系统中以执行如本文所述的HDR图像的压缩和/[0167]图8是示出根据至少一个实施例示例性计算机系统的框图，该示例性计算机系统定用于压缩和/或解压缩的一个或更多个PWL函数，其映射到功率曲线和/或引起压缩图像根据功率曲线和/或以对应于功率曲线的方式被压缩。在实施例中，计算机系统可以执行特尔公司(IntelCorporationofSantaClara,California)获得的PENTIUM园处理TM、Itanium区、XScaleTM和/或StrongARMTM，InteleCoreTM或IntelNervanaTM微处理器，尽管也可以使用其他系统(包括具有等)。在至少一个实施例中，计算机系统800可以执行可从华盛顿州雷蒙德市的微软公司示例包括蜂窝电话、互联网协议(InternetProtocol)设备、数码相机、个人数字助理包括但不限于一个或更多个执行单元808，以根据本文描述的技术执行机器学习模型训练810可以在处理器802与计算机系统800中的其他组件之间传输数不需要在该处理器的数据总线上传输较小的数据单元来一次执行一个数据元素的一个或器820可以存储由处理器802可以执行的由数据信号表示的指令819和/[0175]在至少一个实施例中，计算机系统800可以使用系统I/O接口822作为专有集线器可以用在图8的系统中以执行如本文所述的HDR图像的压缩[0178]图9是示出根据至少一个实施例的用于利用处理器910的电子设备900的框图。在[0179]在至少一个实施例中，电子设备900可以包括但不限于通信地耦合到任何合适数性SoC。在至少一个实施例中，图9中所示的设备可以与专有互连线、标准化互连(例如，[0181]在至少一个实施例中，其他组件可以通过本文所述的组件通信地耦合到处理器可以用在图9的系统中以执行如本文所述的HDR图像的手持或嵌入式设备使用。在至少一个实施例中，处理系统1000还可包括与可穿戴设备耦合或集成在可穿戴设备中，[0188]在至少一个实施例中，存储器设备1020可以是动态随机存取存储器(DRAM)设备、部显示设备中的一个或更多个，例如在移动电子设备或膝如显示端口(DisplayPort)等)连接的外部显示设备中。在至少一个实施例中，