CN114912599B 光人工神经网络智能芯片、智能处理设备及制备方法 （清华大学）

层的入射光的滤波作用作为输入层到线性层的传感器以硬件的方式实现了人工神经网络中输能芯片进行智能处理时不需要再进行与输入层2所述光滤波器层设置于所述图像传感器的感光区域的表面，所述光滤波所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转所述处理器用于将与不同位置点对应的电信号进行全连其中，训练好的光人工神经网络智能芯片是指包括训练好5.根据权利要求1～4任一项所述的光人工6.根据权利要求1～4任一项所述的光人工神经网7.根据权利要求1～4任一项所述的光人工3厚度为0.1λ~10λ,其中λ表示入射光的中心波长。CMOS图像传感器CIS、电荷耦合元件CCD、单光子雪崩二极管S20.根据权利要求1所述的光人工神经网络智能芯片21.根据权利要求1所述的光人工神经网络智能424.一种如权利要求1～21任一项所述的光人在所述图像传感器的感光区域的表面制备包含有光调制结生成具备对信号进行全连接处理与非线性激活其中，所述光滤波器层用于通过所述光调制结构对进入至所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转在所述图像传感器的感光区域的表面生长一层对所述一层或多层预设材料进行光调制结构图案的刻蚀，得到包含有光或通过对所述一层或多层预设材料进行外加动态调制或对所述一层或多层预设材料进行量子点转移，得到包含有光调制结构的光滤波器5识别任务，需要先进行成像然后再传输到计算机中进行后续的神经网络识别模型算法处[0008]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0009]所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处[0012]目标对象的反射光、透射光和/或辐射光进入至训练好的光人工神经网络智能芯6[0017]进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵7[0042]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理用与所述智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结构、图像传感器和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能8[0054]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0055]所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处连接参数以及不同的非线性激活参数的处理器的光人工神经网络人脸识别芯片进行训练[0063]进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵9[0076]本发明实施例还提供了一种如上面所述的光人工神经网络人脸识别芯片的制备[0081]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0085]本发明实施例还提供了一种光人工神经网络血糖检测芯[0087]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0088]所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处连接参数以及不同的非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练[0092]所述输入训练样本包括由具有不同血糖值的人体待测部位反[0096]进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵[0109]本发明实施例还提供了一种如上面所述的光人工神经网络血糖检测芯片的制备[0114]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0120]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0121]所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处测结果以及农作物生长状况检测结果中的一种[0124]进一步地，所述光人工神经网络智能农业精准控制芯片包括训练好的光调制结器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理[0128]所述输入训练样本包括由具备不同农药布撒状况的土壤反射、透射和/或辐射的[0130]所述输入训练样本包括由具备不同微量元素含量状况的土壤反射、透射和/或辐[0134]所述输入训练样本包括由具备不同生长状况的农作物反射、透射和/或辐射的入的光调制结构通过采用计算机光学仿真设计的[0138]进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵[0151]本发明实施例还提供了一种如上面所述的光人工神经网络智能农业精准控制芯[0156]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理理器的光人工神经网络智能农业精准控制芯片进行训练得到满足训练收敛条件的光调制的光调制结构通过采用计算机光学仿真设计的[0162]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0163]所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处所述冶炼终点监测结果包括冶炼过程中的碳含量和/钢水温度识的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络冶炼终点监测芯片[0169]所述输入训练样本包括由冶炼至终点以及未冶炼至终点的炼钢炉口反射、透射[0170]进一步地，当所述冶炼终点监测任务还包括识别冶炼过程中的碳含量和/钢水温度时，相应地，所述输入训练样本还包括由冶炼至不同碳含量和/钢水温度的炼钢炉口反[0174]进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵[0187]本发明实施例还提供了一种如上面所述的光人工神经网络冶炼终点监测的制备[0192]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理感器连接的处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，工神经网络智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算法处[0212]图15是本发明第三个实施例提供的光人工神经网络智能芯片的制备方法的流程[0217]图20是本发明一实施例提供的对农作物和/或土壤进行识别或定性分析的立体示[0218]图21是本发明一实施例提供的对冶炼过程中炉口进行识别以确定冶炼终点的示含有光调制结构，所述光滤波器层1用于通过所述光调制结构对进入至所述光调制结构不行不同的强度调制，以在所述感光区域的表面得到与不同位置点对应的入射光携带信息；所述入射光携带信息中包含有待进行光人工神经网络智能芯片处理的目标对象的图像信入射光的角度信息以及所述入射光的相位信息中的至少[0223]所述图像传感器2用于将与不同位置点经光滤波器层1调制后对应的入射光携带[0224]所述处理器3用于将与不同位置点对应的电信号进行全连接处理与非线性激活处包含有光调制结构，光滤波器1层用于通过光调制结构对进入至光调制结构不同位置点处3用于将与不同位置点对应的电信号进行全连接处理与非线性激活处理，得到人工神经网行不同强度的频谱调制，以在图像传感器2感光区域的表面得到与不同位置点对应的入射如，可以通过设计不同的光调制结构(如改变光调制结构的形状和/或尺寸参数)来实现不器层1是由多个光滤波器单元组成的，每个光滤波器单元内不同位置处的光调制结构是不[0229]在本实施例中，图像传感器2将与不同位置点对应的入射光携带信息转换为与不[0230]在本实施例中，处理器3将不同位置点的电信号进行全连接处理与非线性激活处[0235]在本实施例中，光滤波器层1对应人工神经网络的输入层以及输入层到线性层的芯片中的光滤波器层和图像传感器通过硬件的方式实现了人工神经网络中输入层和线性[0237]如图2右侧所示，将光滤波器层1不同位置处的入射光频谱Pλ投影/连接到图像传信息中的多种信息对目标对象进行识别，从而可以更加准确地实现对目标对象的智能识背景技术部分所提到的采用目标对象的二维图像信息难以保证识别的准确性例如难以区和光谱信息，从而使得在利用本申请提供的光人工神经网络智能芯片执行智能识别任务光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不能芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性层的相关功能，也即本发明实施例将现有技术中采用软件实现的人工神经网络中的输入层和线性层进行后续在使用该智能芯片进行人工神经网络智能处理时不需要再进行与输入层和线性层对[0246]目标对象的反射光、透射光和/或辐射光进入至训练好的光人工神经网络智能芯利用与所述智能处理任务对应的输入训练样本和输出训练样本，对包含不同的光调制结[0254]如图4所示，对于目标对象识别的完整流程为：宽谱光源100照射到目标对象200收敛时将对应的训练样本光调制结构作为对应智能处理任务的光滤分所提到的采用目标对象的二维图像信息难以保证识别的准确性例如难以区分是真实人和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能芯片进行训[0262]在本实施例中，光学仿真能让用户在制作物理原型之前就通过数字环境体验产光调制结构包括不规则结构还可以指：光调制结构包含的最小调制单元是不规则的结构，[0282]在本实施例中，为能够获得呈阵列分布的连接权重(用于连接输入层与线性层之间的连接权重)以便于处理器进行后续的全连接与非线性激活处理，优选地，在本实施例(与图5的区别在于图6中每个微纳单元为周期结构)，每个微纳单元对应图像传感器2上的器2上的一个或多个像素点，与图6的区别在于图7中的各微纳单元内周期阵列的单元形状每个微纳单元由多组微纳结构阵列组成，各微纳结构阵列结构互不相同，与图5所不同的效果，从而满足特定场景下的频谱调制需求(或满足特定场景下输入层与线性层之间的特等离激元SPP(SurfacePlasmonPolaritons，SPP)微纳结构、可调法布里-珀罗谐振腔[0320]基于上述实施例的内容，在本实施例中，所述光滤波器保证有效的频谱调制作用，光滤波器层1中每个微纳单元的整体尺寸(面积)通常为λ2～105λ~10λ(λ表示目标对象的入射光的中心波长)。如图5所示，每个微纳单前馈网络(DeepFeedforwardNetwork，DFN)、多层感知机(Multi-LayerPerceptron，而使得后续在使用该智能芯片进行智能处理时不需要再进行与输入层和线性层对应的复[0337]由于本实施例提供的智能处理设备包括上述实施例所述的光人工神经网络智能[0343]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0344]在所述图像传感器的感光区域的表面制备包含有光调制结构的光滤波器层，包和具有不同的全连接参数和非线性激活参数的处理器的光人工神经网络智能芯片进行训滤波器层1可以在背照式的图像传感器的硅探测器层21上直接刻蚀，然后再沉积金属进行[0362]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0363]所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处速准确人脸识别。层对应人工神经网络的输入层以及输入层到线性层的连接权重，其上的硬件结构-图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层。光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该人脸识别芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性发明实施例能够省去现有技术中与输入层和线性层对应的复杂的信号处理和算连接参数以及不同的非线性激活参数的处理器的光人工神经网络人脸识别芯片进行训练[0380]进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵[0393]本发明实施例还提供了一种如上面所述的光人工神经网络人脸识别芯片的制备[0398]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0406]本发明实施例还提供了一种光人工神经网络血糖检测芯[0408]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0409]所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处层对应人工神经网络的输入层以及输入层到线性层的连接权重，其上的硬件结构-图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以及输出层。光滤波器层用于通过光调制结构对进入至光调制结构不同位置点处的入射光分别进行不时，光滤波器层对进入光滤波器层的入射光的滤波作用对应输入层到线性层的连接权重，也即该血糖检测芯片中的光滤波器层和图像传感器实现了人工神经网络中输入层和线性连接参数以及不同的非线性激活参数的处理器的光人工神经网络血糖检测芯片进行训练[0417]所述输入训练样本包括由具有不同血糖值的人体待测部位反射、透射和/或辐射[0423]可以理解的是，该芯片实际上同时利用了人体待测部位[0426]进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵[0439]本发明实施例还提供了一种如上面所述的光人工神经网络血糖检测芯片的制备[0444]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0456]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0457]所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处测结果以及农作物生长状况检测结果中的一种农田土壤及作物的空间光谱信息进行人工神经网络分析进而得出农业精准控制处理结果，光滤波器层对应人工神经网络的输入层以及输入层到线性层的连接权重，其上的硬件结构-图像传感器对应人工神经网络的线性层；所述处理器对应人工神经网络的非线性层以络农业精准控制智能处理时不需要再进行与输入层和线性层对应的复杂的信号处理和算有技术中与输入层和线性层对应的复杂的信号处理和算法可见，由于农田土壤及作物空间不同点处的入射光携带信息涵盖了农田土壤及作物的图[0464]进一步地，所述光人工神经网络智能农业精准控制芯片包括训练好的光调制结器和具有不同的全连接参数以及不同的非线性激活参数的处理器的光人工神经网络智能农业精准控制芯片进行训练得到的满足训练收敛条件的光调制结构、图像传感器和处理[0468]所述输入训练样本包括由具备不同农药布撒状况的土壤反射、透射和/或辐射的[0470]所述输入训练样本包括由具备不同微量元素含量状况的土壤反射、透射和/或辐[0474]所述输入训练样本包括由具备不同生长状况的农作物反射、透射和/或辐射的入的光调制结构通过采用计算机光学仿真设计的[0479]可以理解的是，该芯片实际上同时利用了农田土壤及作物的图像信息和光谱信[0482]进一步地，所述光滤波器层中的光调制结构包含由多个微纳单元组成的单元阵[0495]本发明另一实施例提供了一种如上面所述实施例的光人工神经网络智能农业精[0500]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理理器的光人工神经网络智能农业精准控制芯片进行训练得到满足训练收敛条件的光调制的光调制结构通过采用计算机光学仿真设计的[0510]所述图像传感器用于将与不同位置点经光滤波器层调制后对应的入射光携带信息转换为与不同位置点对应的电信号，并将与不同位置点对应的电信号发送给所述处理[0511]所述处理器用于将与不同位置点对应的电信号进行全连接处理与非线性激活处波器层对应人工神经网络的输入层以及输入层到线性层的连接