CN113986878B 一种数据写入方法、数据迁移方法、装置及电子设备 （深信服科技股份有限公司）

主分片接收目标弹性搜索计算节点发送的主分明利用副本分片使用分布式文件系统中主分片解析过程和单独数据存储，降低了CPU资源消耗2弹性搜索计算节点中的第一主分片接收目标弹性搜索计算节点发送的主分片写入数将索引结构数据发送到第一副本分片；其中，所述索引结构数据将存储数据存储到分布式文件系统中所述第一主分片对应的存所述弹性搜索计算节点中的第二副本分片根据第二主分片发送的索引所述弹性搜索计算节点接收客户端设备发送的所述主分片所述弹性搜索计算节点中的第二副本分片根据弹性搜索主节点6.根据权利要求1至5任一项所述的数据写入方法，在所述弹性搜索集群中添加新弹性搜索计算节点后，确定旧弹性控制所述新弹性搜索计算节点创建所述迁移主分片对主分片对应的副本分片保存有各自对应的迁移主分片中保存将所述分布式文件系统中所述迁移主分片对应的存储目录下的存储数据迁移到各自分片各自对应的所述新弹性搜索计算节点中的副本分将所述新弹性搜索计算节点中所述迁移主分片对应的副本3等待所述迁移主分片各自的当前写入请求处理完成后迁移主分片对应的存储目录下的存储数据迁移到各自对应的目标存对应的，所述将所述新弹性搜索计算节点中所述迁移主分片对应的副控制所述新弹性搜索计算节点中的主分片恢复处理各自数据接收模块，用于利用第一主分片接收目标弹性搜索计算数据存储模块，用于将存储数据存储到分布式文件系统中所述第弹性搜索集群中添加新弹性搜索计算节点后，弹性搜索主节点确定控制所述新弹性搜索计算节点创建所述迁移主分片对应的副主分片通过解析所述主分片写入数据得到的可被全文检索将分布式文件系统中所述迁移主分片对应的存储目录下的存储数据迁移到各自对应将所述新弹性搜索计算节点中所述迁移主分片对应的副本等待所述迁移主分片各自的当前写入请求处理完成后迁移主分片对应的存储目录下的存储数据迁移到各自对应的目标存对应的，所述将所述新弹性搜索计算节点中所述迁移主分片对应的副控制所述新弹性搜索计算节点中的主分片恢复处理各自4迁移确定模块，用于在弹性搜索集群中添加新弹性搜索计算节构数据为所述迁移主分片通过解析所述主分片写入数据得到的可被全文检索的索引结构数据迁移模块，用于将分布式文件系统中所述迁移主分片对各所述迁移主分片各自对应的所述新弹性搜索计算节点中处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所算机程序被处理器执行时实现如权利要求1至7任一项所述的数据写入方法或如权利要求95[0002]目前开源的Elasticsearch(ES，弹性搜索)集群在海量数据存储以及高并发写入[0006]弹性搜索计算节点中的第一主分片接收目标弹性搜索计算节点发送的主分片写[0008]将存储数据存储到分布式文件系统中所述第一主分片对所述存储数据包括所述主分片写入数据和所述索引[0009]本方案中，利用副本分片使用分布式文件系统中主分片的存储目录提供查询服[0011]所述弹性搜索计算节点中的第二副本分片根据第二主分6计算节点中的第一主分片接收目标弹性搜索计算节点发送的主分片写入数据之前，还包[0018]本方案中，各弹性搜索计算节点能够对客户端设备发送[0020]所述弹性搜索计算节点中的第二副本分片根据弹性搜索迁移主分片对应的副本分片保存有各自对应的迁移主分片中保存的索[0027]将所述分布式文件系统中所述迁移主分片对应的存储目录下的存储数据迁移到移主分片各自对应的所述新弹性搜索计算节点中的副移到各自对应的目标存储目录下，利用分布式文件系统实现主分片对应的存储数据的迁所述迁移主分片对应的存储目录下的存储数据迁移到各自对应的目标存储7[0043]将分布式文件系统中所述迁移主分片对应的存储目录下的存储数据迁移到各自分片各自对应的所述新弹性搜索计算节点中的副本分移到各自对应的目标存储目录下，利用分布式文件系统实现主分片对应的存储数据的迁所述迁移主分片对应的存储目录下的存储数据迁移到各自对应的目标存储对应的存储目录下的存储数据迁移到各自对应的目标存储8各所述迁移主分片各自对应的所述新弹性搜索计算节点中的副本分片写入数据得到的；将存储数据存储到分布式文件系统中第一主分片对应的存储目录9[0075]步骤101：ES计算节点中的第一主分片接收目标ES计算节点发送的主分片写入数[0077]可以理解的是，本实施例是以ES集群中的一个ES计算节点中的一个主分片(即第一主分片)的写入请求处理过程(即数据写入过程)为例进行的展示，对于ES集群中的该ES群中的主节点(Master)集群，主节点集群中同一时刻仅有一个主节点生效作为ES主节点；以管理ES集群中全部ES计算节点中的所有分片，包括主分片(PrimaryShard)与副本分片写入数据分发到判定的所属的主分片(如第一主分片)，而不是主分片和相应的副本分片，[0080]对应的，本实施例所提供的方法还可以包括ES计算节点对待写入数据的分发过现，只要第一主分片能够获取主分片写入数据对应的可被全文检索的索引结构数据(如倒存中保存的索引结构数据和分布式文件系统中第一主分片对应的存储目录下的存储数据，集群的性能测试中，本实施例的写入性能相比于双副本方案，ES集群的写入性能提升了点在将新ES计算节点中迁移主分片对应的副本分片升级为主分片，并关闭迁移主分片之[0114]分片升级模块，用于ES计算节点中的第二副本分片根据ES主节点发送的升级指分片对应的副本分片保存有各自对应的迁移主分片中件系统中迁移主分片对应的存储目录下的存储数据迁移到各自对应的目标存系统中迁移主分片对应的存储目录下的存储数据迁移录下，使得副本分片可以利用接收的索引结构数据和分布式文件系统中主分片的存储目ES计算节点可以为ES集群中新增的ES计算节点(即新ES计算节点)之外的其他正常工作的ES计算节点的分片(如主分片和副本分片)，并将计算出的分片中的主分片作为迁移主分分片与新ES计算节点中创建的各自对应的一个副本[0137]步骤203：将分布式文件系统中迁移主分片对应的存储目录下的存储数据迁移到对应的存储目录下的存储数据迁移到各自对应的目标存储各自对应的目标存储目录下；例如ES主节点可以在步骤202完成迁移主分片与新ES计算节式文件系统中迁移主分片对应的存储目录下的存储数据迁移到各自对应的目标存储目录[0154]写入恢复模块，用于控制新ES计算节点中的主分片恢复处理各自新增的写入请式文件系统中迁移主分片对应的存储目录下的存储数据迁移到各自对应的目标存储目录种电子设备与上文描述的一种数据写入方法和数据迁移个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储[0164]上文所描述的数据写入方法或数据迁移方法中的步骤可以由电子设备的结构实行时实现上述方法实施例的数据写入方法或数据迁移方[0167]该可读存储介质具体