CN120196560A 用于pim-dram的双模式计算内存控制器及内存系统

(10)申请公布号CN120196560A(71)申请人芯方舟(上海)集成电路有限公司地址201203上海市浦东新区盛夏路169号A栋902室(72)发明人段帅君李瑞赵瑞勇(74)专利代理机构上海十蕙一兰知识产权代理有限公司31331(54)发明名称用于PIM-DRAM的双模式计算内存控制器及内存系统本发明属于半导体技术领域，具体涉及一种用于PIM-DRAM的双模式计算内存控制器及内存系统。其中用于PIM-DRAM的双模式计算内存控制心之间的地址映射；命令翻译模块，用于将主机线、片上总线与DRAM之间的数据流；多模式状态机，用于根据主机发送的不同内存命令动态切换于根据地址映射命令或数据路由选择DRAM的访问空间。本发明通过动态切换内存与计算模式，智能内存处理单元智能内存处理单元双模式计算内存控制器块平全主流根明2模式计算内存控制器包括：地址转换模块，用于处理主机与PIM核心之间的地址映射；命令生成模块，分别连接所述地址转换模块和所述命令翻译模块，用于生成地址映射数据翻译模块，用于管理DDR总线、片上总线与DRAM之间的数据流；多模式状态机，分别连接所述地址转换模块、所述命令翻译模块、所述命令生成模块和所述数据翻译模块，用于根据主机发送的不同内存命令将所述双模式计算内存控制器动态切换为内存模式或PIM模式；双模式计算访问模块，分别连接所述命令生成模块和所述数据翻译模块，用于根据所2.如权利要求1所述的用于PIM-DRAM的双模式计算内存控制器，其特征在于，当所述多模式状态机将所述双模式计算内存控制器切换为内存模式时，所述双模式计算内存控制器允许主机通过标准DDR命令访问并将数据写入DRAM主存空间中的单个DRAMbank。3.如权利要求1或2所述的用于PIM-DRAM的双模式计算内存控制器，其特征在于，所述PIM模式包括全存储体模式和全存储体PIM模式；当所述多模式状态机将所述双模式计算内存控制器切换为全存储体模式时，所述双模式计算内存控制器允许主机配置和编程PIM核心的参数寄存器；当所述多模式状态机将所述双模式计算内存控制器切换为全存储体PIM模式时，所述双模式计算内存控制器允许PIM核心访问并将数据写入DRAM中的计算内存空间。4.如权利要求3所述的用于PIM-DRAM的双模式计算内存控制器，其特征在于，当所述多模式状态机将所述双模式计算内存控制器切换为全存储体模式时，所述双模式计算内存控制器允许主机将静态权重数据写入，并将相同的PIM核心程序并行加载到所有处理单元中，从而提高配置效率。5.如权利要求4所述的用于PIM-DRAM的双模式计算内存控制器，其特征在于，当所述多模式状态机将所述双模式计算内存控制器切换为全存储体模式时，所述双模式计算内存控制器允许主机通过单一内存事务同时访问一个内存通道中的所有DRAMbank以用于并行配置PIM核心，所述双模式计算内存控制器将主机发出的内存命令、行地址和列地址广播到一个内存通道中的所有DRAMbank,从而实现同步操作。6.如权利要求3所述的用于PIM-DRAM的双模式计算内存控制器，其特征在于，当所述多模式状态机将所述双模式计算内存控制器切换为全存储体PIM模式时，所述双模式计算内存控制器允许主机通过单一内存事务同时访问一个内存通道中的所有DRAMbank以及并行执行已编程的PIM核心。7.一种内存系统，其特征在于，所述内存系统包括至少一个智能内存处理单元，所述智能内存处理单元包括3D堆叠的DRAM存储层与逻辑计算层，所述智能内存处理单元内的内存控制器；3所述内存控制器采用如权利要求1至6中任意一项所述的用于PIM-DRAM的双模式计算内存控制器。4技术领域[0001]本发明属于半导体技术领域，具体涉及一种用于PIM-DRAM的双模式计算内存控制器及内存系统。背景技术[0002]PIM-DRAM是一种将计算单元集成到DRAM内存中的技术，旨在减少数据传输的延迟和提高计算效率。这种技术通过减少数据在存储和处理器之间的传输次数，从而降低延迟并提高效率。[0003]现有PIM-DRAM架构的内存控制器无法在传统存储模式(也称MemoryMode即内存模式)与计算模式(也称PIMMode即PIM模式)间高效切换，也无法同时支持主机访问与计算单元的并行操作，导致兼容性差或计算效率低下，限制了灵活性。同时，现有PIM-DRAM架构的内存控制器缺乏对多bank同步操作的支持，限制了大规模并行计算能力。而在PIM模式下需频繁切换内存状态，导致延迟增加。发明内容[0004]本发明针对现有的PIM-DRAM架构的内存控制器无法在传统存储模式与计算模式间高效切换的技术问题，目的在于提供一种用于PIM-DRAM的双模式计算内存控制器及内存[0005]为了解决前述技术问题，本发明的第一方面提供一种用于PIM-DRAM的双模式计算[0007]命令翻译模块，用于将主机命令转换为PIM操作指令；[0008]命令生成模块，分别连接所述地址转换模块和所述命令翻译模块，用于生成地址映射命令；[0010]多模式状态机，分别连接所述地址转换模块、所述命令翻译模块、所述命令生成模块和所述数据翻译模块，用于根据主机发送的不同内存命令将所述双模式计算内存控制器动态切换为内存模式或PIM模式；[0011]双模式计算访问模块，分别连接所述命令生成模块和所述数据翻译模块，用于根[0012]可选地，在如前所述的用于PIM-DRAM的双模式计算内存控制器中，当所述多模式状态机将所述双模式计算内存控制器切换为内存模式时，所述双模式计算内存控制器允许括全存储体模式和全存储体PIM模式；[0014]当所述多模式状态机将所述双模式计算内存控制器切换为全存储体模式时，所述5双模式计算内存控制器允许主机配置和编程PIM核心的参数寄存器；[0015]当所述多模式状态机将所述双模式计算内存控制器切换为全存储体PIM模式时，所述双模式计算内存控制器允许PIM核心访问并将数据写入DRAM中的计算内存空间。[0016]可选地，在如前所述的用于PIM-DRAM的双模式计算内存控制器中，当所述多模式状态机将所述双模式计算内存控制器切换为全存储体模式时，所述双模式计算内存控制器允许主机将静态权重数据写入，并将相同的PIM核心程序并行加载到所有处理单元中，从而提高配置效率。[0017]可选地，在如前所述的用于PIM-DRAM的双模式计算内存控制器中，当所述多模式状态机将所述双模式计算内存控制器切换为全存储体模式时，所述双模式计算内存控制器允许主机通过单一内存事务同时访问一个内存通道中的所有DRAMbank以用于并行配置PIM核心，所述双模式计算内存控制器将主机发出的内存命令、行地址和列地址广播到一个内存通道中的所有DRAMbank,从而实现同步操作。[0018]可选地，在如前所述的用于PIM-DRAM的双模式计算内存控制器中，当所述多模式状态机将所述双模式计算内存控制器切换为全存储体PIM模式时，所述双模式计算内存控制器允许主机通过单一内存事务同时访问一个内存通道中的所有DRAMbank以及并行执行已编程的PIM核心。[0019]为了解决前述技术问题，本发明的第二方面提供一种内存系统，所述内存系统包括至少一个智能内存处理单元，所述智能内存处理单元包括3D堆叠的DRAM存储层与逻辑计算层，所述智能内存处理单元内的内存划分为一个或多个独立内存通道，每个所述内存通[0020]所述内存控制器采用本发明第一方面提供的所述双模式计算内存控制器。[0021]本发明的积极进步效果在于：[0022]1、本发明通过动态切换内存与计算模式，实现高效、低延迟的PIM操作，同时兼容[0023]2、本发明在全存储体PIM模式下所有DRAMbank可同步执行已编程的PIM核心，计算吞吐量大大提升，可适用于大规模并行计算场景中。附图说明[0024]参照附图，本发明的公开内容将更加显然。应当了解，这些附图仅仅用于说明的目[0025]图1为本发明的一种结构示意图。具体实施方式[0026]以下通过特定的具体示例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。[0027]需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。6“外”等指示方位和位置关系为基于附图所示的方位或位置关系，仅是为了便于叙述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作，不能理解为限制本发明的具体保护范围。有明确具体的限定。[0030]参照图1,本发明实施例提供一种用于PIM-DRAM的双模式计算内存控制器，该双模式计算内存控制器(Dual-ModeComputeMemoryController,DMCMC)包括地址转换模块CTM)、命令生成模块(CommandGenerationModule,CGM)、数据翻译模块(DataTranslationModule,DTM)、多模式状态机(Multi-ModeStateMachine,MMSTM)以及双模[0031]地址转换模块用于处理主机(HOST)与PIM核心之间的地址映射。命令翻译模块用于将主机命令转换为PIM操作指令。通过地址转换模块和命令翻译模块支持主机与PIM核心的协同操作。[0032]命令生成模块分别连接地址转换模块和命令翻译模块，命令生成模块用于生成地址映射命令。通过地址转换模块、命令翻译模块和命令生成模块协同工作负责为内存模式和PIM模式对应的三条路径进行地址映射。[0034]多模式状态机分别连接地址转换模块、命令翻译模块、命令生成模块和数据翻译模块，多模式状态机用于根据主机发送的不同内存命令将双模式计算内存控制器动态切换为内存模式或PIM模式。其中，PIM模式即为计算式切换状态机，以生成相应的控制流，最终实现内存模式和PIM模式的无缝切换。[0035]双模式计算访问模块分别连接命令生成模块和数据翻译模块，双模式计算访问模块用于根据地址映射命令或数据路由选择DRAM的访问空间。在PIM-DRAM架构中，DRAM通常器(SMPURegister),双模式计算访问模块是用来选择数据和命令到达DRAM的哪个区域。[0036]本发明通过上述地址转换模块、命令翻译模块、命令生成模块、数据翻译模块、多模式状态机以及双模式计算访问模块的协同操作，实现了双模式计算内存控制器在内存模式和PIM模式之间进行数据路由和地址映射。特别是通过多模式状态机实现毫秒级模式切[0037]在一些实施例中，当多模式状态机将双模式计算内存控制器切换为内存模式时，双模式计算内存控制器允许主机通过标准DDR命令访问并将数据写入DRAM主存空间中的单[0038]内存模式(MemoryMode)也称单存储体(Single-Bank,SB)模式或单bank模式，该7模式的行为类似于传统DRAM,是一种常规访问模式，主机机通过标准DDR命令访问单个DRAMbank。[0039]具体地，主机芯片使用标准的内存命令和地址访问各个存储体，每个内存请求针对特定的存储体。该模式主要用于传统的内存读写操作，适用于大多数常规应用场景。在内[0040]在一些实施例中，PIM模式包括全存储体模式和全存储体PIM模式。[0041]PIM模式也称计算模式或全bank模式，其包括全存储体模式(All-BankMode,AB模式)和全存储体PIM模式(Al1-BankPIMMode,AB-PIM模式),支持所有DRAMbank同步执行计算指令。[0042]当多模式状态机将双模式计算内存控制器切换为全存储体模式时，双模式计算内存控制器允许主机配置和编程PIM核心的参数寄存器。AB模式主要用于配置和编程PIM核到所有处理单元中，从而提高配置效率。AB模式是一种特殊模式，允务同时访问一个内存通道中的所有DRAMbank以用于并行配置PIM核心。在此模式下，主机发出的内存命令、行地址和列地址会广播到一个内存通道中的所有DRAMbank,从而实现同步操作。[0043]当多模式状态机将双模式计算内存控制器切换为全存储体PIM模式时，双模式计算内存控制器允许PIM核心访问并将数据写入DRAM中的计算内存空间。AB-PIM模式是SMPU的核心模式，用于执行实际的PIM(内存内计算)核心任务。在AB-PIM模式下，每次内存事务不仅访问一个内存通道中的所有DRAMbank,还会并行执行已编程的PIM核心。这意味着，在一个内存事务中，所有DRAMbank中的处理单元会同时执行相同