CN112055861B 用于人工神经网络系统和方法的低延迟中断警报 （美国莱迪思半导体公司）

2020.10.19PCT/US2019/0208262019.03.05WO2019/173392EN2019.09.12US2017294186A1,2017.10.12用于人工神经网络系统和方法的低延迟中提供了各种技术来为神经网络提供更高的并且在第一延迟之后处理第一数据输入以生成第一推理输出。第二ANN被配置为接收与数据流迟的第二延迟之后处理第二数据输入以生成第2在第一人工神经网络处接收多个第一数据输入并且在第二人工神经网络处接收多个由所述第一人工神经网络处理所述第一数据输入来对所述第一数据输入执行特征分由所述第二人工神经网络独立于所述第一人工神经网络处理所述第二数据输入来对由于所述第一人工神经网络比所述第二人工神经网络包括更多数目的隐藏层和更多数目在所述第一推理输出被生成之前，响应于所述中断警报而触其中由所述第一人工神经网络和所述第二人工神经网络执行的处理至少在重叠时间所述预处理包括处理所述数据流的所述视频帧以生成所述分辨率降低的所述第二人工神经网络提供的所述中断警报对所述应用构其中所述第二组视频帧相对于所述第一组视频帧具有减小的像素分辨率和/或减小的7.根据权利要求5所述的方法，其中所述应用的经调节的所述操作包括指示车辆的引3所述第二人工神经网络的所述隐藏层包括利用二进制权处理所述第一数据输入来对所述第一数据输入执行特征分析，以在第一独立于所述第一人工神经网络处理所述第二数据输入来对所述第二数据输入执行检逻辑器件，被配置为在所述第一推理输出被生成之前接收所其中由所述第一人工神经网络和所述第二人工神经网络执行的处理至少在重叠时间13.根据权利要求11所述的系统，其中所述第二数据输入是从所述第一数据输入生成所述第二人工神经网络被配置为利用从所述第一组视频帧生成的第二组视频帧来被4所述第二组视频帧相对于所述第一组视频帧具有减小的像素分辨率和/或减小的像素17.根据权利要求15所述的系统，其中所述应用的经调节的所述操作包括对车辆的引所述第二人工神经网络的所述隐藏层包括利用二进制权20.根据权利要求11所述的系统，其中由所述第一人工神经网络和所述第二人工神经5[0002]本申请是于2019年3月1日提交的美国专利申请No.利申请又要求于2018年3月9日提交的美国临时专利申请No.62/640,741的权益，其全部通整个视频帧)通常必须由ANN的所有层完全处理。这引起这样的ANN从输入层接收数据的时[0009]图3示出了根据本公开的实施例的主ANN、低延迟ANN的框图、以及相关联的时序6于图像数据讨论数据输入140以及推理150和160，但是任何适当类型的数据输入和推理可执行的分析可能不如由主ANN110执行的分析那样复杂(例如像的场景中的对象的类型的识别)的进一步表征需要更[0021]例如，由低延迟ANN120提供的推理160可以对应于对需要应用130的触发应用130以调节其操作的中断警报。与由来自主ANN110的推理150提供的复杂表征相种情况下为中断警报)而执行一个或多个快速动作(例如，指示包括系统100的车辆的引导对特定类型的对象执行更具体的标识并且最终提供推7[0023]逻辑器件210可以被实现为用于数据处理的任何适当的器[0024]通信接口230可以用适当的硬件来实现，以提供系统100的各个组件之间和/或系8126处理数目减少的数据输入140。然而，与低延迟ANN120的节点301的数目相比，主ANN[0031]这些不同的延迟分别在与主ANN110和低延迟ANN120相关联的时序图310和320这点上，可以在时间330将第一视频帧f0作为数据输入140提供给主ANN110和低延迟ANN从时间330持续到生成推理150的时间350的时间段334期间处理视频当理解，低延迟ANN120和主ANN110表现出与从时间340持续到[0034]如所讨论的，应用130可以响应于推理150和/或推理160而选择性地调节其操时间t0接收到数据输入140之后，低延迟ANN120开始处理数据输入140并且在时间t1提供在图4所示的顺序处理实施例中，推理160在时间t1较早到达，而推理150在时间t2较晚到[0037]图5示出了根据本公开的实施例的在并行操作中主ANN110和低延迟ANN120的框9具有与ANN110和120中的每个相关联的不同处理器核心)和/或在分离的逻辑器件上实现，[0038]图6示出了根据本公开的实施例的利用预处理操作实现的主ANN110和低延迟ANN适当地使用任何期望数目的共享和/或分离的逻辑器件来操作，使得在时间t0分别将数据输入140和经处理的数据输入630提供给主ANN110和低延使得主ANN110可以在由逻辑器件620执行预处理操作的同时开始处理数据视频帧的一些实施例中，可以在包括具有全分辨率和全位深的视频帧的数据集上训练主ANN110，并且可以在包括分辨率降低和位深减小的视频帧的数据集上训练低延迟ANN120[0044]图8示出了根据本公开的实施例的与主ANN110和低延迟ANN120相关联的组710和能不需要接收随后由主ANN120提供的附加推理150，并且因此可以在最终生成推理150时如图所示，在一些实施例中，主ANN110可以在预处理框712被执行的同时接收数据输入[0052]根据本公开的软件(诸如程序代码和/或数据)可以存储在一个或多个计算机可读