CN119422369A 信息处理装置和信息处理方法 （索尼半导体解决方案公司）

2024.12.20PCT/JP2023/0205882023.06.02WO2024/004519JA2024.01.04由第一传感器与第一参考信号同步生成的第一2第一接收单元，接收由第一传感器与第一参考信号同步生传输单元，传输所述第一数据和所述第二数据的至少一部分作为与所述第二传感器是包括一个或多个像素的基于事件的视觉传感器EVS，所所述EVS在不与所述第一参考信号同步的情况下生成所述第所述第二数据包括指示所述事件是否是在所述第一传感器的曝光时段期间检测到的所述传输单元传输基于所述第二信息从所述第二数据中选择的第四数据以及所述第所述第四数据是基于在所述曝光时段期间检测到的事件生所述第四数据是基于在所述曝光时段之外检测到的事件生控制部，接收针对基于在所述曝光时段期间检测到的事件生所述传输单元传输所述第二数据之中包括所述请求中请求的数据的所述第所述传输单元基于所述第二信息区分所述第二数据中的基于在所述曝光时段期间检所述第一传感器是包括根据入射光的光量生成灰度信号的一个或多个像素的图像传所述第一传感器是包括一个或多个像素的距离测量传感器，所述距离测3所述预定处理是用于校正所述第一数据中出现的模糊的去模所述预定处理是用于在与所述第一参考信号同步生成的所述第一数据之间对帧进行接收由第一传感器与第一参考信号同步生成的第一数据和由第二传感器生成的第二传输所述第一数据和所述第二数据的至少一部分作为与第二参考信号同步的第三数处理单元，生成包括由第一传感器与第一参考信号同步生成的第一数传输单元，传输所述第三数据或者通过对所述第三数据调用单元，获取第三数据，所述第三数据包括由第一传感4[0007]然而，在诸如图像传感器和EVS或者飞行时间(ToF)传感器和EVS的组合了多个传感器的混合传感器中，在后续阶段中的处理电路中不一定需要每个传感器获取的所有数[0012]图2是用于描述根据本公开的实施方式的第一操作示例的成像装置的示意性操作[0013]图3是用于描述根据本公开的实施方式的第二操作示例的成像装置的示意性操作[0015]图5是示出根据本公开的实施方式的第一示例的第一信号处理装置和第二信号处[0016]图6是示出根据本公开的实施方式的第二示例的第一信号处理装置和第二信号处[0017]图7是示出根据本公开的实施方式的第一示例的成像装置的示意性配置示例的功5[0018]图8是示出根据本公开的实施方式的第一示例的成像装置的示意性操作示例的时[0019]图9是示出根据本公开的实施方式的第二示例的成像装置的示意性配置示例的功[0020]图10是示出根据本公开的实施方式的第二示例的成像装置的示意性操作示例的[0021]图11是示出根据本公开的实施方式的第三示例的成像装置的示意性配置示例的[0022]图12是示出根据本公开的实施方式的第三示例的成像装置的示意性操作示例的[0023]图13是示出根据本公开的实施方式的第四示例的成像装置的示意性配置示例的[0024]图14是示出根据本公开的实施方式的第四示例的成像装置的示意性操作示例的[0028]图18是用于描述根据本公开的实施方式的通过深度信息的帧插值获取的效果的[0029]图19是用于描述根据本公开的实施方式的通过深度信息的帧插值获取的效果的[0030]图20是用于描述根据本公开的实施方式的通过深度信息的帧插值获取的效果的[0031]图21是示出根据本公开的实施方式的第一配置示例的成像装置的配置示例的框[0032]图22是示出根据本公开的实施方式的第二配置示例的成像装置的配置示例的框[0033]图23是示出根据本公开的实施方式的第三配置示例的成像装置的配置示例的框[0039]图29是示出根据本公开的实施方式的混合传感器的另一像素阵列的示例的示意6[0075]图1是示出根据本实施方式的成像装置的示意性配置示例的功能框图。如图1所包含RGB三原色的波长分量以外的波长分量的多光谱图像)和/或单色图像(包含诸如红外7光的特殊光图像)的图像传感器、获取距视角物半导体(CMOS)图像传感器(CIS)被例示为图像传感器，并且直接ToF方法或间接ToF方法更多个像素同步地检测事件的同步类型，或者可以是其中像素独立地检测事件的异步类[0078]第一信号处理装置13包括例如诸如现场可编程门阵列(FPGA)、微控制器单元输出数据中选择性地输出后续阶段中的第二信号处理装置14中的处理所需的数据作为第号处理装置13来指定做出第一信号处理装置13的请第二传感器12是异步传感器的情况(第一操作示例)和第二传感器12是同步传感器的情况[0083]图2是用于描述根据本实施方式的第一操作示例的成像装置的示意性操作示例的[0084]如图2所示，第一传感器11通过与预定第一帧周期中的上升(或下降)第一参考信号同步在由第一参考信号限定的帧周期期间执行像素的曝光和从曝光的像素读取像素信测到事件的像素的位置信息(地址等)的事件数据，所检测的事件的极性(正事件或负事周期和/或相位不同的周期和/或相位的参考信号同步(帧[0086]第一信号处理装置13与在规定的第二帧期间内上升(或下降)的第二基准信号同步地使用从第一传感器11输入的第一输出数据D1和从第二传感器12输入的第二输出数据8期间检测到的事件的事件数据(也被称为第二a输出数据D2a)和在曝光时段之外检测到的[0088]此外，在请求中请求第二a输出数据D2a和第二b输出数据D2b中的任一个的情况[0092]图3是用于描述根据本实施方式的第二操作示例的成像装置的示意性操作示例的下降)的第三参考信号来累积每帧的事件数据，并且输出累积的事件数据的集合作为一帧[0096]如在图2中示出的第一操作示例中，第一信号处理装置13通过与第二参考信号同步使用可从第二传感器12输入的第一输出数据D1和第二输出数据D2生成并输出第三输出[0099]接下来，将描述从第一信号处理装置13输出的第三输出数据D3的数据结构的示包P1和包括第二输出数据D2的包P2设置在表示帧数据的报头的报头部FS与表示帧数据的9数据D2a和/或第二b输出数据D2b中的每一个的存储位置的信息可以存储在包P2a和/或P2b[0105]接下来，将通过一些示例描述第一信号处理装置13和第二信号处理装置14的配[0107]第一示例示出在第一信号处理单元13中执行第三输出数据的生成并且通过第二信号处理装置14对第三输出数据执行预定处理的情况。图5是示出根据第一示例的第一信[0109]在第一信号处理装置13中，接收单元401与第一参考信号同步地接收从第一传感器11输出的第一输出数据，并且异步地或同步地接收从第二传感器12输出的第二输出数[0110]同步处理单元402使用由接收单元401接收的第一输出数据和第二输出数据生成[0111]在第二信号处理装置14中，接收单元501接收从第一信号处理装置13传输的第三[0112]当接收单元501接收到第三输出数据时，API调用单元503调用用于获取第三输出API处理单元502可选择性地将由接收单元501接收的第三输出数据中的第二a输出数据D2aAPI调用，API处理单元502可选择性地将由接收单元501接收的第三输出数据中的第二b输[0113]此外，在第二信号处理装置14中，将请求传输至第一信号处理装置13的API经由API调用单元505访问API处理单元506。被访问的API处理单元506经由通信控制部507向第用用于传输请求的API，该请求用于请求第一信号处理装置13仅提供在第一传感器11的曝应于API调用使通信控制部507向通信控制部404传输仅传输第二a输出数据D2a作为第三输11的曝光时段之外生成的第二b输出数据D2b作为第三输出数据传输至第二信号处理装置数据的预定处理的剩余部分的情况。图6是示出根据第二示例的第一信号处理装置和第二用单元412调用用于获取第三输出数据的API，以经由API处理单元411获取第三输出数据。另一方面，信号处理单元413使用由API调用单元412获取的第三输出数据执行预定处理的411可以选择性地将由同步处理单元402生成的第三输出数据中的第二a输出数据D2a或第[0118]另一方面，API调用单元414调用用于传输信号处理单元413的预定处理的结果的API，从而使得API处理单元415经由传输单元403将处理结果传输至第二信号处理装置14。于API调用，API处理单元502将由接收单元501接收的第三输出数据提供给API调用单元装置13和第二信号处理装置14具有根据第一示例过EVS获取的事件数据重建的图像数据几乎不受被摄体的运动的影响。因此，在第一示例中，基于通过EVS12获取的事件数据来校正由图像传感器11获取的图像数据中出现的模糊图像传感器11输入的图像数据(第一输出数据D1)和在曝光时段内通过EVS12获取的事件数[0128]如上所述，第一信号处理装置13丢弃不用于第二信号处理装置14的处理(去模糊校正)的事件数据(第二b输出数据D2b)，能够减糊校正)，对帧数据(第三输出数据D3)的图像二信号处理装置14可以被配置为使用在曝光时间之外获取的事件数据(第二b输出数据D2b)在沿时间序列排列的图像数据(第一输出数据D1)之间器作为第一传感器11和使用EVS作为第二传感器12通过图像传感器11获取图像数据(第一[0136]图9是示出了根据第二示例的成像装置的示意性配置示例的功能框图。图10是示二示例的成像装置1B还包括朝着被摄体投射预定图案的光的[0139]第一信号处理装置13丢弃从EVS12输入的事件流(第二输出数据D2)中的在曝光时段期间获取的事件数据(第二a输出数据D2a)，并且使用从图像传感器11输入的图像数据(第一输出数据D1)和在曝光时段之外通过EVS12获取的事件数据(第二b输出数据D2b)生成二a输出数据D2a)被第一信号处理装置13丢弃，使得能够如第一示例中那样减少从第一信[0141]第二信号处理装置14使用帧数据(第三输出数据D3)中的事件数据(第二b输出数配置为使用在曝光时间内获取的事件数据(第二a输出数据D2a)对由图像传感器11获取的输出数据D2a)来执行图像数据(第一输出数据)的去模糊校正，并且如在第二示例中那样，[0148]第二信号处理装置14使用在曝光期间获取到的事件数据(第二a输出数据D2a)对帧数据(第三输出数据D3)的图像数据(第一输描述成像装置1D，该成像装置1D被配置为在使用ToF传感器11获取的深度信息的帧之间内感器11代替图像传感器11并且以与根据第二示例的成像装置1B的配置相同的配置朝向被的情况下，构成ToF传感器11的每个像素例如可以是包括一组多个单光子雪崩二极管成的直方图作为第一输出数据D1输出至第一信号处[0155]第一信号处理装置13丢弃从EVS12输入的事件流(第二输出数据D2)中的在采样时数据D1)和在采样时段外通过EVS12获取的事件数据(第二b输出数据D2b)生成将被输出至[0156]第二信号处理装置14使用帧数据(第三输出数据D3)中的直方图D1生成表示到被摄体的距离的深度信息。此外，第二信号处理装置14通过利用事件数据(第二b输出数据D2b)重建图像数据(第一输出数据D1)并生成指示到被摄体的距离的深度信息，在使用ToF传感器11获取的深度信息的帧之间进行内[0160]如图15的(A)所示，从第一信号处理装置13输出的帧数据(第三输出数据D3)包括由图像传感器11获取的图像数据(第一输出数据D1)和在EVS12中的曝光时间内获取的事件数据(第二a输出数据D2a)。在由第一参考信号定义的一个帧周期期间生成一个图像数据[0163]如图16所示，还可基于由EVS12在曝光时间之外获取的事件数据(第二b输出数据D1执行帧插值而最终获取的深度信息的参考符号被从根据事件数据(第二b输出数据D2b)重构的图像数应多条深度信息D2b之间的差ΔD2b加到作为前一帧生成的深度信息D2b来获取内插到下一[0169]通过重复上述操作，能够以比深度信息D1的速率更高的速率最终生成深度信息[0176]首先，将描述根据上面参考图7和图8所描述的第一示例的成像装置1A的配置示[0177]除了作为第一传感器的图像传感器11、作为第二传感器的EVS12和作为第一信号(诸如家用宠物机器人)或自主移动物体(诸如机器[0181]FPGA13与第一基准信号同步地接收从图像传感器11输出的第一输出数据D1(图像感器11和EVS12被替换为混合传感器11A，混合传感器11A的配置类似于在第一配置示例中器和EVS被集成到一个芯片中并且能够输出图像数据(对应于第一输出数据)和事件数据像传感器和ToF传感器)的组合可被集成[0186]其他配置可与根据第一配置示例的成像装置1的配置类似，并且因此在此将省略将预定图案的光L3投射到被摄体90。另一方面，EVS12检测投射在被摄体90上的光L4的形[0192]其他配置可与根据第一配置示例的成像装置1的配置类似，并且因此在此将省略[0196]如图25所示，光源1010包括例如垂直腔面发射激光器(VCSEL)1012和驱动VCSEL光源1010发射的光可以是不同于可见光的波长带的波[0198]成像透镜1040设置成靠近固态成像装置100的光接收面，并且通过在固态成像装[0199]尽管稍后将描述其细节，如图25所示，固态成像装置100包括例如混合传感器置1050通过控制固态成像装置100获取第一输出数据D1和第二输出数据D2，并且从获取的[0201]例如，从光源1010发射的照射光通过照射透镜1030被投射到被摄体(也称为被测合传感器1022中的图像传感器(对应于第一传感器11)接收例如入射光中的可见光并且生[0202]将由第一信号处理装置1050生成的第三输出数据D3提供给第二信号处理装置从第一信号处理装置1050输入的图像数据和事件数据执行预定处理(诸如去模糊校正、帧[0204]图26是根据本实施方式的混合传感器的示意性配置示例并且是示出像素分离配[0206]每个单位像素110包括一个或多个亮度像素310和一个或多个事件像素320。在本元PD2流动的光电流检测到入射光的亮度改变的情况下，输出用于请求从事件像素读取的线，像素驱动线LD2可沿列方向布线，垂直信号线VSL1可沿列方向布线，并且垂直信号线[0208]像素驱动线LD1在从亮度像素310读取亮度信号时传输用于执行驱动的控制信线LD1和像素驱动线L62中的每一个的一端连接至对应于垂直驱动电路102A的每行的输出在垂直驱动电路102A的控制下使亮度信号发生在垂直信号路102A的系统控制电路105构成控制像素阵列单元101的每个亮度像素310的操作的驱动单[0212]读取扫描系统以行为单位顺序地和选择性地扫描像素阵列单元101的每个像素，[0213]通过扫描扫描系统的扫描扫描，从读取行中的每个亮度像素310的光电转换单元[0214]读取扫描系统通过读取操作读取的信号对应于在紧接之前的读取操作或电子快扫描时间到由当前读取操作的读取定时的时[0215]从垂直驱动电路102A选择性扫描的像素行的每个亮度像素310输出的亮度信号通过每个像素列的每个垂直信号线VSL1输入至亮度信号处理电路103A。亮度信号处理电路103A针对像素阵列单元101的每个像素列通过垂直信号线VSL1对从所选行的每个亮度像素有例如模数(AD)转换功能，并且将从光电转换单元PD1读取的模拟亮度信号转换成数字信通过亮度信号处理电路103A经受每个像素电路111的信号处理的件的存在或不存在。例如，每个事件像素320检测亮度的变化超过或低于预定阈值作为事[0220]当检测到事件时，事件像素320向X仲裁器104A和Y仲裁器104B中的每一个输出请每一个接收到指示允许输出事件数据的响应时，事件像素320将事件数据输出至事件信号[0221]事件信号处理电路103B对从事件像素320输入的事件数据执行预定的信号处理，值的事件像素320的光量的变化(亮度的变化)。表示事件发生的事件数据至少包括位置信[0223]对于在事件发生时从事件像素320输出的一系列事件数据，只要在事件发生时维[0226]系统控制电路105包括生成各种定时信号等的定时发生器，并且基于由定时发生[0227]亮度数据处理单元108A和事件数据处理单元108B中的每一个至少具有算术处理功能，并且对从亮度信号处理电路103A或事件信号处理电路103B输出的图像数据(图像帧[0228]从亮度数据处理单元108A或事件数据处理单元108B输出的图像数据被输出至例[0229]应注意，混合传感器11A可包括用于临时保持亮度数据处理单元108A和事件数据亮度数据处理单元108A和事件数据处理单元108B中的任一个或多个处理的数据等的存储[0231]图27是示出根据本实施方式的混合传感器的另一示意性配置示例的框图以及像获取亮度信号的第一信号处理单元对应的像素电路111和亮度信号处理电路103A以及与获取事件信号的第二信号处理单元对应的地址事件检测电路210和事件信号处理电路103B连[0237]如上所述，组成图像传感器的亮度像素310和组成EVS的事件像素320被均匀混合并被设置在像素阵列单元101中，使得图像传感器和EVS的光轴可彼此重合或基本上重合。可以省略或简化诸如用于匹配由每个传感器获取的图像数据的坐标系的几何变换的处理，[0238]此外，通过使用其中在像素阵列单元101中混合亮度像素310和事件像素320的配例如是包括亮度像素310和事件像素320中的每一个的光电转换单元以及亮度像素310和事设置在像素芯片140中的TCV和从像素芯片140提供给电路芯片150的TCV中的两个TCV连接[0246]图31是示出了作为可应用根据本公开的实施方式的技术的移动对象控制系统的31所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元[0248]驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操[0249]车身系统控制单元12020根据各种程序来控制设置在车身上的各种装置的操作。为按键的替代物的移动装置传输的无线电波或各种开关的信号可以被输入至车身系统控[0251]成像单元12031是接收光并输出与光的接收光量对应的电信号的光学传感器。成像单元12031能够将电信号作为图像进行输出，或者能够将电信号作为与测量距离有关的信息检测单元12040可以计算驾驶员的疲劳度或驾驶员的集中度，或者可以确定驾驶员是[0253]微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040[0256]声音图像输出单元12052将声音和图像中的至少一个的输出信号传输至输出装中的前鼻的成像单元12101和设置在挡风玻璃的上部的成像单元12105主要获取车辆12100示设置到前鼻的成像单元12101的成像范围。成像范围12112和12113分别表示设置到侧视镜的成像单元12102和12103的成像范围。成像范围12114表示设置到后保险杠或后门的成[0262]例如，微型计算机12051可以基于从成像单元12101至12104获取的距离信息确定在成像范围12111至12114内到每个三维物体的距离以及该距离的时间变化(相对于车辆例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可以视觉识碰撞的可能性的情况下，微型计算机12051经由音频扬声器12061或显示单元12062向驾驶12051例如可以通过确定在成像单元12101至12104的拍摄图像中是否存在行人来识别行的特征点的过程和通过对表示被摄体的轮廓的一系列特征点执行图案匹配处理来确定其是否是步行者的过程来执行。当微型计算机12051判断为在成像单元12101至12104的拍摄将用于强调的正方形轮廓线叠加到识别出的行人上。声音图像输出单元12052还可控制显据本公开的技术应用于驾驶员状态检测单元12041，可以快速和精确地执行驾驶员或同事[0266]上面已经描述了本公开的实施方式，本公开的技术范围[0275]第二传感器是包括检测作为事件的入射光的亮度的变化的一个或多个像素的基[0281]第二数据包括指示事件是否是在第一传感器的曝光时段期间检测到的事件的第[0284]传输单元传输基于第二信息和第一数据从第二数据中选择的第四数据作为第三[0297]传输单元基于第二信息区分第二数据中的基于在曝光时段期间检测的事件生成[0300]第一传感器是包括根据入射光的光量生成灰度信号的一个或多个像素的图像传[0318]预定处理是用于在与第一参考信号同步生成的第一数据之间对帧进行插值的帧[0324]接收由第一传感器生成的与第一参考信号同步的第一数据和由第二传感器生成[0325]传输第一数据和第二数据的至少一部分作为与第二参考信号同步的第三数据的