版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
质根据该训练数据向第三处理器发送第一请求信取到的各类特征对应的嵌入向量对从第二处理并根据获取到的嵌入向量对待训练模型进行训2所述第一处理器根据训练数据向第二电子设备中的第三处理所述第一处理器接收所述第三处理器返回的第一数据;所述第一所述第一处理器从所述第二处理器获取待训练模型,并通过所述嵌入根据所述存储地址向所述第三处理器发送所所述第一处理器向所述第三处理器发送第三数据;所述第三数据用于所述第一处理器根据所述多个特征中各个特征对应的嵌入向量的梯度确认各类特征所述第一处理器根据所述梯度均值生成所述第所述第三处理器接收第一电子设备中的第一处理器发送的所述第三处理器根据所述第一请求信息向所述第一处理器返回第所述第三处理器接收所述第一处理器发送的第三数据;所述第8.根据权利要求6或7所述的方法,其特征在于输出模块,用于根据接收的训练数据向第二电子设备中的第三接收模块,用于接收所述第三处理器返回的第一数据;所述3模型训练模块,用于从所述第二处理器获取待训练模型,并通过根据所述存储地址向所述第三处理器发送所梯度计算模块,用于根据所述多个特征中各个特征对应的嵌入发送模块,用于根据所述第一请求信息向所述第一所述接收模块还用于:接收所述第一处理器发送的第三数据;所述第所述第三处理器更新所述多个特征中各类特征对应所述参数更新模块,用于根据所述第三数据,更新所述多个特征中各4模型训练。此外,与计算机视觉(computervision,CV)模型、自然语言处理(naturallanguageprocessing,NLP)模型不同,推荐模型有其独有特点。以点击率预测(clickthroughrate,CTR)模型为例,推荐模型包括嵌入层(embeddinglayer)和多层感知机一般使用独热(one_hot)编码,这部分特征直接用于模型训练会导致深度部分参数学习困景,目前主流的分布式训练策略是采用参数服务器(parameterserverstrategy,PS)架训练数据被分发到多个工作(worker)节点,而嵌入向量表(embeddingtable)被分发到多个服务器(server)节点。worker节点可以根据从server节点拉取嵌入向量表中的嵌入向训练,得到训练后的模型。通过上述方式,第一处理器可以直接从第三处理器获取5通过第二处理器从第三处理器获取embedding数据后再转发给第一处理器对待训练模型进发送第三数据。该第三数据用于指示第三处理器更新多个特征中各类特征对应的嵌入向嵌入向量对第一处理器存储空间的占用。器根据多个特征中各个特征对应的嵌入向量的梯度确认各类特征对应的嵌入向量的梯度[0011]在一种可能的实施方式中,第三处理器还可以接收第一处理器发送的第三数6三数据用于指示第三处理器更新多个特征中各类特征对于根据多个特征中各个特征对应的嵌入向量的梯度确认各类特征对应的嵌入向量的梯度[0024]其中,上述第二方面至上述第七方面所能带来的技术效7要作用是通过嵌入层将输入的多种类型的特征对应的one_hot向量压缩为低维稠密的向量(即嵌入(embedding)向量),然后通过稠密层的多层感知机进行强化学习得到对应的输出8征对应的嵌入向量输入由多个全连接层组成的多层感知机进行强化学习得到对应的用户的工作节点通过多个CPU(包括CPU0和CPU1)中设置的参数服务器节点和工作节点实现深度个参数服务器节点(PS0和PS1)。每个参数服务器节点可以存储一个或多个嵌入向量表的分入向量表中的S1和S2两个分片。工作节点可以从对应的参数服务器节点拉取模型参数和嵌入向量,并用本地数据进行稠密层的计算,完成训练。其中,该工作节点可以通过张量流 之间还可以通过全局规约(ALLreduce感知机中进行训练。嵌入式神经网络处理器(neural_networkprocessingunit,NPU)或张量处理器(tensor9存储以及外接的动态随机存储器(dynamicrandomaccessmemory,DRAM)和固态硬盘工作节点中的CPU可以通过外围组件互连快速(peripheralcomponentinterconnect数据进行去重,然后根据去重后的数据从多个参数服务器节点(例如PS0和PS1)中查询例如,工作节点中的各个CPU与加速卡也可以通过串行外设接口(serialperipheral节点中存储有对应的嵌入向量的CPU的内存中读取所需的嵌入向量。然后将读取到的嵌入工作节点的CPU在整个处理过程中需要作为中转点进行数据的封装和转发,增加了训练的三处理器721通过网卡(NIC)通信连接。第一处理器711和第二处理器712通过PCIe接口耦[0055]S702.第一处理器根据训练数据,向系表发送给第一处理器进行保存。第一处理器可以将映射关系表存储在自身的存储器中。嵌入向量。具体的,第三处理器对应的网卡可以基于直接内存访问(directmemory技术通过数据链路访问第一处理器的存储器,并通过控制链路和第一处理器交互控制信以通过TCP卸载引擎(TCPOffloadEngine,TOE)、远程直接地址访问(remotedirect直接进行内存数据的读取和写入。RDMA的内存零拷贝(zerocopy)机制可以使得两个网络点可以直接访问远端网络节点的技术,需要在两侧的网络节点上均应用RDMA技术才能实端网络节点上的进程或处理器的参与。常见的RDMA技术有基于以太网的RDMA(RDMAover络节点对远端网络节点的数据读取操作和数据写入操作都由远端网络节点的网卡基于DMA端网络节点的网卡向本端处理器中的存储器写入数据和/或向本端的处理器反馈相关事务完成信息。memoryverbs操作包括RDMA读(read)操作、RDMA写(write)操作和RDMA原子包括RDMA发送(send)操作和RDMA接收(receive)操作。send操作允许本端网络节点把数据发送到远端网络节点的接收队列里。作为接收端的远端网络节点中需要已经事先注册[0070]在本申请的实施例中,考虑到通过RDMA技术进行数据的读/写时基本无需处理器先确认各个特征对应的嵌入向量的存储地址,然后第一处理器基于DMA操作完成数据的读训练数据将读取到的嵌入向量合并后输入多层感知多个第三处理器(CPU0_CPUn)中,第一处理器和多个第三处理器对应的网卡在启动后可以练数据训练结束后,嵌入向量在MLP层中进行正向传播和反向传播后就可以得到各个特征第三数据后,还可以接收其它工作节点的处理器(例如第四处理器)通过网卡发送的数据(例如第四数据)。然后计算该第四数据中的梯度均值和第三数据中的梯度均值的平均值。模型部署上服务器,平台对不同设备打上不同的标签,训练好的文件及特征图(featuremap)压缩放在弹性文件服务器(scalablefileservice,SFS)或者对象存储服务器不做具体限制。1010用于根据接收的训练数据向第二电子设备中的第三处理器发送第一请求信息。其中,所述训练数据中包括多个特征。接收模块1020用于接收所述第三处理器返回的第一数据.于从所述第三处理器获取待训练模型,并通过所述嵌入向量对所述待训练模型进行训练,[0087]在一种可能的实施方案中,模型训练模块1030包括特征值更新单元和训练单计算模块1040用于根据多个特征中各个特征对应的嵌入向量的梯度确认同一类的嵌入向单元1121用于根据第一请求信息从第三处理器的内存中查找对应的嵌入向量并提取到发新所述多个特征中各类特征对应的嵌入向量。上述参数更新模块1130用于根据第三数据,programmablelogicaldevice,CPLD),现场可编程门阵列(field_programmablegate[0100]在一种可能的实施方案中,如图12所示,本申请实施例还提供了一种电子设备
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026事业单位工勤技能-新疆-新疆水工监测工一级(高级技师)历年参考题库含答案详解
- 建筑施工安全生产现场管理实务操作考核题库及答案
- 船舶交通组织与信号设备操作实务模拟试卷及答案
- 民航乘务员职业资格考试礼仪与沟通技巧模拟试卷及答案
- 无人机飞行安全与应急处理冲刺练习题及答案
- 2025年人力资源人员招聘考试真题及答案
- 2025年燃气安检人员考试题库(附答案)
- 2025年全国事业单位联考B类面试真题及答案解析
- 2025年氢能利用技术规范试题及答案
- 2026年电子电路期末试题及答案
- (2026年)国网35条严重违章及其释义课件
- 压力管道安全管理规定培训课件
- 金鲳鱼行业分析报告
- 彝族舞曲《快乐的啰嗦》欣赏与表现-小学音乐二年级上册教学设计
- 上海市浦东新区部分学校(五四制)2025-2026学年六年级上学期1月期末考试道德与法治试卷(含答案)
- CNAS实验室内审员培训资料
- 2026届安徽省芜湖市镜湖区师范大学附中化学高一上期中检测试题含解析
- 2025年上海市高考英语试卷及参考答案(完整版)
- 保安证考试新手必看试题及2025年答案
- 2069-3-3101-002WKB产品判定准则-外发
- (高清版)DZT 0216-2020 煤层气储量估算规范
评论
0/150
提交评论