CN114707648B 一种基于存内计算的图卷积网络软硬件协同加速方法 （清华大学）

2018.02.012018.02.012018.11.29,一种基于存内计算的图卷积网络软硬件协本发明公开了一种基于存内计算的图卷积的节点特征映射到用于特征聚合的RRAM交叉阵现图卷积网络GCN计算的加速。本发明提升了计算的并行度、架构的吞吐率和硬件的资源利用2软件方面：在进行图数据的存内计算中通过量化定点方式，割成多个子图得到聚类结果，并将所述多个子图的节点特征映射到用于计算特征聚合的在基于所述RRAM的存内计算中，使用面向图卷积网根据待量化的数据，通过下述公式计算出分配给整数和小数部分的比特数Widthint与使用Graclus算法将图数据的原始图聚类成多个子图，并最大化子图内的连接最小化根据所述聚类结果，将特征矩阵进行分割，并把不同子图的节点对值T，并在边删除算法中使得所述原始图中每个节点删除的邻边数小于该节点原本的度数每次迭代时，选择一个覆盖了这一节点最多未被覆盖的邻居的子3邻的单元或者自己对应的RRAM交叉阵列接收数据，经过合并处理后转发给相邻的其他单缓存中存储的中间数据将首被写入到所述向量组合阵列的等软件设计模块，用于在进行图数据的存内计算中通过量化定协同加速模块，用于通过所述软件方面和所述硬件方面的协同设4而图卷积网络模型(GCN)得益于其较小的计算代价和出色的准确率性能，已经成为当下最求平均值函数)作用，这个步骤通常可以被抽象成用稀疏的邻接矩阵和稠密的特征矩阵进中的摆放是不连续的。并且由于现实图规模一般很大，GCN计算时访存的负担将进一步加[0006]2008年，科学家研制了阻变式随机存储器(RRAM，ResistiveRandomAccessMemory)，这种器件具有阻值可变的特性，只要在器件两端加特定的电压就可以改变其电RRAM器件以行列的方式排布组织成交叉阵列的结构，用RRAM的电导值代表矩阵元素的值，5卷积。该方案提出的数据映射方法和硬件架构设计为解决CNN存内计算问题做出了重要贡献。如用该实现方案实现GCN的计算，因为邻接矩阵A的规模极大(矩阵元素个数一般超过[0013]2.现有的存内计算架构计算GCN时位宽定点计算的存内计算架构上部署32位浮点数的GCN模型依旧是一个亟待6积网络每一层的特征数据和网络权重，预设数据的总量化位宽，在预设总量化位宽Widthtotal后，根据待量化的数据，通过下述公式计算出分配给整数和小数部分的比特数[0029]使用Graclus算法将图数据的原始图聚类成多个子图，并最大化子图内的连接最7[0038]进一步地，所述方法还包括：利用数据转发单元从相邻的单元或者自己对应的[0039]进一步地，所述向量组合阵列包括一个等待队列和多个MLP核心，用于并行计算连接不同所述子图的边进行删除，以通过面向硬件的部署算法将所述图数据部署到硬件8[0049]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0052]图3为根据本发明实施例的基于存内计算的图卷积网络软硬件协同加速方法的框[0053]图4为根据本发明实施例的基于存内计算的图卷积网络软硬件协同加速方法的流[0059]图10为根据本发明实施例的基于存内计算的图卷积网络软硬件协同加速装置的员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范9[0062]下面参照附图描述根据本发明实施例提出的基于存内计算的图卷积网络软硬件[0065]图4是本发明一个实施例的基于存内计算的图卷积网络软硬件协同加速方法的流[0070]本发明实施例设计了一种面向GCN的量化定点方式。对于每一层的特征数据和网个矩阵向量乘来完成矩阵乘法。因为图中节点的个数往往比特征向量的维度多很多(例如次迭代才能完成计算，并且每次迭代只会激活导通RRAM交叉阵列的很少一部分行参与计发明实施例定义了一个边删除率阈值T，并在算法中保证每个点删除的邻边数小于该点原[0077]图6的伪代码展示了该算法的流程。算法的输入为图的节点，以及每个子图的信RRAM交叉阵列旁放置了比较器和加法器用来合并不同RRAM交叉阵列输出的结果。一方面，以被送到该层的任意一个空闲MLP核心中进行计算，使得向量组合阵列可以很好地继承聚[0085]受益于以乒乓形式工作的聚合核阵列，本发明实施例可以把GCN计算的一次迭代DGL框架在40核的IntelXeonE5-2630v42.20GHzCPU和NvidiaRTX2080TiGPU上进行边的连接不规则。通过使用上文介绍的软硬件协同设计，本发明实施例相比CPU，GPU和发明实施例使用边删除技术来删去横跨两个子图的边，并设置了一个边删除阈值T来限制时最优的T值选取。对于CORA，CITESEER，都可以使用8比特量化与T＝1。而对于PUBMED，[0099]协同加速模块300，用于通过软件方面和硬件方面的协同设计，实现图卷积网络术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结