CN119396842A 模型存储管理方法、系统及服务器 (浙江远算科技有限公司)_第1页
CN119396842A 模型存储管理方法、系统及服务器 (浙江远算科技有限公司)_第2页
CN119396842A 模型存储管理方法、系统及服务器 (浙江远算科技有限公司)_第3页
CN119396842A 模型存储管理方法、系统及服务器 (浙江远算科技有限公司)_第4页
CN119396842A 模型存储管理方法、系统及服务器 (浙江远算科技有限公司)_第5页
已阅读5页,还剩24页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

2通过所述算法框架适配器模块,对待存储模型文件进行封装处理,根据所述实际存储位置以及所述存储接口模块接收的目标底层存通过预设算法框架适配器模块,对待存储模型文件的文件类根据所述目标文件类型,从预设部署方案集合中匹配所述待存储3.根据权利要求1所述的模型存储管理方法,其特征在于,所述利用所述存储管理模通过所述存储管理模块中的预设摘要算法,对所述目标存储内容进行将所述摘要值和预设存储前缀叠加,确定所述目标存储内容在存储系若查询结果为数据库中已存储过所述摘要值,则将所述摘要值存储至所述文本文件3若查询结果为数据库中未存储过所述摘要值,则将所通过所述存储接口模块设置抽象存储行为接口集合,以根据所述抽象存储所述算法框架适配器模块用于对待存储模型文件进行封装处理,确定所述存储接口模块用于设置抽象存储行为接口集合,以根据所述抽象存储所述存储管理模块用于对所述目标存储内容进行存储管理,确定所实际存储位置,并根据所述实际存储位置以及所述存储接口模块接收的目标底层存储类所述索引管理模块用于将模型存储时的索引变更同步至数据库中,以456型查询检索,本发明实施例通过加入算法框架适配器支持多种算法框架的模型文件定义,7但它在管理大型文件时存在效率问题。具体而言,Git需要为每次提交存储这些文件的完器上,而Git仓库内则仅保存指向这些文件的文本指针。这种方式显著减轻了仓库的负8及其对应的部署方案,实现对特定框架提供定制化处理。算法框架适配模块采用工厂模式设计,主要由三部分组成,分配是:适配器工厂(AdapterFactor)、数据构建服务TensorflowManifestBuilder...)。AdapterFactory识别模型文件类型并创建适当的适配处理的最终内容是封装完成的模型文件,即最终存储的实际内容,可用Manifest表示,Manifest主要包括配置信息config和文件信息models,均由ManifestFile表示。config存放模型文件本身以及对应部署所需要的数据。[0029]参见图2所示的一种存储管理模块的结构示意图存储管理模块定义的存储结构主Index负责指向所有的LocalIndex;提交一次新的模型文件就对应一个LocalIndex,[0031](3)Blob:Blob也称为文件信息,Blob是实际的二进制存储文件,它根据9[0034]存储接口模块用于设置抽象存储行为接口集合,以根据[0035]基于图1所示的模型存储管理系统的结构示意图和图2所示的一种存储管理模块[0039]参见图4所示的一种模型存储过程的示意图,本发明实施例还提供了一种模型存适配器模块封装后,得到Mainfest,即,目标存储内容,取Manifest其中一个文件{}}LocalIndex:记录一个模型的所有Tag信息,可以使用Json格式,内容示例:{models:[{path:模型存储的位置,根据具体情况去存储,主要用语于定位到[0047]参见图5所示的一种模型搜索过程的示意图,本发明实施例还提供了一种数据库表1.Global_Index索引表结构示例表:SELECTmodel_idFROMGlobal_IndSELECThmFROMH_mWHER理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DigitalSignal计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论