版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
用于评估人工智能芯片设计的实现资源的本公开涉及用于评估人工智能芯片设计的能(AI)芯片设计的实现资源的方法,其特征在对所述网络模型数据进行分析以确定实现神经2解析用于所述芯片的神经网络模型的表示,以生成网络模型数据,所述基于算子库对所述网络模型数据进行分析以确定实现神经网络模型的各层所需要的利用所述算子库的条目所规定的算子以及用于该算子的参数集,对神经网络进行训其中在所述经训练的神经网络模型的表示中,算子及相关参确定与所述芯片设计相关的运算以及对应的算确定在芯片上以所述参数集进行与该算子对应的运所述资源计算函数用于计算所述算子在相应的参数集下需要的硬所述延迟计算函数用于计算与所述算子相关联的延迟对应的缓存所需数据进行分析以确定实现神经网络模型的各层所基于用于所述神经网络模型的初始图像的参数设定,所述各层的算子及相关参数集,3其中所述各层的相应算子的实例基于所述层之间的连接关系从相应层的算子的实例基于算子库的条目中计算与该算子对应的硬件实现所需的资源确定在所述神经网络模型中是否存在具有多输入的层,在所基于所需要的资源对神经网络模型进行评估,以选择优化的用于表示中算子及相关参数集的配置与算子库中对应的条目中该算子及其相关参数集的配置分析构件,用于基于算子库对所述网络模型数据进行基于用于所述神经网络模型的初始图像的参数设定,所述各层的算子及相关参数集,其中所述各层的相应算子的实例基于所述层之间的连接关系从相应层的算子的实例用于基于算子库的条目中计算与该算子对应的硬件实现所需的资源的算法计算各算4确定在所述神经网络模型中是否存在具有多输入的层,在所确定所述具有多输入的层处的来自至少两个路径的输入神经网络训练构件,用于利用所述算子库的条目评估构件,用于基于所需要的资源对神经网络模型进行评估,以选择优化5[0001]本公开涉及用于评估人工智能(AI)芯片(特别是人工智能(AI)图像信号处理术应用到ISP(图像信号处理)领域也成为了发展的趋势。人工智能图像信号处理(AI_ISP)神经网络模型)的每一层的计算方式进行硬化[0004]本公开提供了新颖的用于评估人工智能(AI)芯片(特别是人工智能(AI)图像信号[0005]根据本公开一个方面,提供了一种评估人工智能(AI)芯片设计的实现资源的方6模型的各层所需要的资源还包括:确定在所述神经网络模型中是否存在具有多输入的层,少两个路径的输入之间是否存在需要处理的延迟;确定与所述延迟相应的缓存所需的资[0020]根据本公开另一方面,还提供了一种评估人工智能(AI)图像信号处理(ISP)芯片据进行分析以确定实现神经网络模型的各层所需7对应的硬件实现所需的资源的算法计算各算子的实例所需要的资[0028]图1示出了根据本公开一个实施例的用于评估人工智能(AI)芯片设计的实现资源[0029]图2A示出了根据本公开一个实施例的示例性的ONNX格式的神经网络的表示的示[0030]图2B示出了与图2A所示的ONNX格式的表示中的层/节点对应的算子库中规定的算[0032]图4示出了根据本公开一个实施例的对网络模型的各层调用相应算子的示例性代[0033]图5示出了根据本公开一些实施例的用于评估AI芯片设计的实现资源的方法的示[0034]图6A和6B示出了根据本公开一个实施例的卷积算子的一种示例性实现方式的框[0035]图7A示出了根据本公开一个实施例的算子库的条目或关联结构的示例代码的一[0036]图7B示出了根据本公开一个实施例的算子库的条目或关联结构的示例代码的另[0037]图7C示出了根据本公开一个实施例的算子库的条目或关联结构的示例代码的一[0038]图7D示出了根据本公开一个实施例的算子库的条目或关联结构的示例代码的另8[0039]图7E示出了根据本公开一个实施例的算子库的条目或关联结构的示例代码的另[0041]图9示出了根据本公开一个实施例的与该复合算子对应的条目或关联结构的示例[0045]图13示出了根据本公开一些实施例的评估人工智能(AI)图像信号处理(ISP)芯片[0049]本领域技术人员将容易理解,人工神经网络(ANN)可以包括一组连接的单元或节9[0056]图1示出了根据本公开一个实施例的用于评估人工智能(AI)芯片设计的实现资源格式的数据或文件。ONNX格式是微软(Microsoft)和Meta提出的一种表示深度学习模型的[0058]网络模型数据生成模块基于用于所述芯片的神经网络模型的表示生成(101)网络以及计算所需资源的算法以任何适当的形式关联[0061]图2A示出了一个示例性的网络模型的层/节点的ONNX格式的表示。图2A示出了图当格式来描述神经网路模型及其各层或节点的各种算子以及用于算子的各种参channel(或in_channel)/output_channel(或out_channel)表示输入通道/输出通道的数channel)),进行conv2d的运算,假设经过降采样算子处理后的尺寸为64*64*32(w*h*据。根据权重conv1.weight的大小能够得出当前conv的输入输出通道(channel)等算子及其参数集的配置与神经网络模型的表示(或描述文件)中相应的算子及其参数集的出了根据本公开一个实施例的对图3的可视化模型的各层相应脚本调用相应算子而生成的[0073]图4示出了对图3的可视化模型的各层调用相应算子而生成的示例性代码。如图4所示,类test_model的方法/函数_init_()中定义了用于初始化的图像参量image、参量[0074]参量img_width定义图像(image)宽度,其取参量image数据结构中的值。对象conv_0至conv_4各自分别调用了算子库中的算子Conv2d并赋以规定的参数,而对象[0076]图5示出了根据本公开一些实施例的用于评估AI芯片设计的实现资源的方法的示[0078]在一些实施例中,所述神经网络模型的表示可以经过训练的神经网络模型的表个算子的初始化参数类型与训练模型时使用的算子参数类型保持一致,例如可以参考[0082]图6A和6B示出了根据本公开一个实施例的卷积算子Conv2d的一种示例性实现方式的框图。该卷积算子的配置参数为:输入图像宽度input_width=640,输入通道in_[0090]图7A示出了根据本公开一个实施例的算子库中用于二维卷积算子Conv2d的条目()用于利用给定的参量/参数对算子(其对应的类或相应生成的对象)进行初始化。例如,算子Conv2d中还可以定义有资源报表生成功能(模块/方法/函数)gen_res_js结构中计算与该算子对应的硬件实现所需的资源的算法,计算各算子的实例所需要的资小为(ksize_1)*input_channle*input_width。并且还计算了乘法器的数量(以参量self.multiplier来表示):乘法器的计算方式为:ksize*ksize*input_channel*output_channle/(stride*stride行缓存):需要的缓存(line_buffer)资源为:self.line_buffer=1*input_channel*[0099]延迟计算功能(模块/方法/函数)calc_hv_delay()或c计算在使用该算子的情况下与可能引入的线延迟([0100]如图7B所示,其中定义了方法/函数calc_hv_delay()。其中定义了参量占空比[0102]资源报表生成功能(模块/方法/函数)gen_res_json()用于汇总网络模型各层算[0103]图7B中还示出了根据本公开一个实施例的资源报表生成功能(模块/方法/函数)gen_res_json()。图7B中所示的示例性,资源报表生成功能(模块/方法/函数)gen_res_储了资源计算功能(模块/方法/函数)calc_resource()中计算的硬件资源,例如加法器(adder)的数量self.adder、乘法器(multiplier)的数量self.multiplier、除法器(divider)的数量self.divider(这里为0)、线缓存(line_buffer)的数量self.line_了根据本公开一个实施例的复合算子的示意图。例如,构思了一种黄色卷积核结构[0108]图9示出了根据本公开一个实施例的与该复合算子对应的条目或关联结构的示例性代码。如图9所示,复合算子YellowConv被以类的形式定义。其中的初始化方法/函数_init_()用于利用给定的参量/参数对该算子(其对应的类或相应生成的对象)进行初始[0109]如图9所示,算子YellowConv调用了算子库中已有的基础算子Conv2d形成对象或出进行对齐,conv2会产生2行的行延迟,那么为了能够将conv1与conv2的输出进行对齐,addlayer在跳边部分就同样需要两行的行缓存用于[0118]还构思了一种评估人工智能(AI)图像信号处理(ISP)芯片设计的实现资源的装置。图13示出了根据本公开一些实施例的评估人工智能(AI)图像信号处理(ISP)芯片设计模型数据包括神经网络模型的各层的算子及相关参数集以及层之间的连接库的条目中计算与该算子对应的硬件实现所需的资源的算法计算各算子的实例所需要的[0126]根据本公开的实施例,算法工程师可以灵活调整网络结计算机可读程序指令用于使处理器执行本公[0130]计算机可读存储介质可以是能够保留和存储由指令执行装置使用的指令的有形[0131]本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/接收计算机可读程序指令,并转发计算机可读程序指令以存储在相应计算/处理装置内的路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)可以通过利用计算机可读程序指令[0133]在此参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图程图和/或框图中的框的组合可以由计算机可读程处理器执行的指令创建用于实现流程图和/或框图的一个或多个框或模块中指定的功能/机可读存储介质包括包含指令的制品,该指令实现流程图和/或框图的一个或多个框或模示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026事业单位工勤技能-浙江-浙江水工监测工三级(高级工)历年参考题库含答案详解
- 2026事业单位工勤技能-浙江-浙江城管监察员四级(中级工)历年参考题库含答案详解
- 2026事业单位工勤技能-浙江-浙江中式烹调师四级(中级工)历年参考题库含答案详解
- 2026事业单位工勤技能-河南-河南热力运行工一级(高级技师)历年参考题库含答案详解
- 2026事业单位工勤技能-河南-河南堤灌维护工三级(高级工)历年参考题库含答案详解
- 2026事业单位工勤技能-河南-河南不动产测绘员一级(高级技师)历年参考题库含答案详解
- 2026事业单位工勤技能-河北-河北水工监测工五级(初级工)历年参考题库含答案详解
- 2026事业单位工勤技能-河北-河北垃圾清扫与处理工二级(技师)历年参考题库含答案详解
- 2026事业单位工勤技能-江西-江西水文勘测工五级(初级工)历年参考题库含答案详解
- 2026事业单位工勤技能-江苏-江苏食品检验工三级(高级工)历年参考题库含答案详解
- 17 长城 课件(内嵌视频) 2026-2027学年语文四年级上册统编版
- 精索静脉曲张的护理查房
- 2026年各地名校高三语文9月模拟考试4道作文题目及范文
- 2026年新时代青年“重走长征路”红色实践活动方案
- 2026年纪检干部考试题及答案目及答案
- 2025年学生教辅材料乱征订专项整治工作总结
- 五上语文【1-25课必背知识点晨读】
- 国铁集团(铁路局)《铁路常识》考试题库(1000题)
- 第12课 反对浪费 第2课时 课件(内嵌视频)2026-2027学年道德与法治四年级上册统编版
- 小学信息科技人工智能启蒙教学设计
- 2026年云南招录选调生考试试题及答案解析
评论
0/150
提交评论