CN113312345B 结合Kubernetes和Ceph的遥感数据存储系统、存储及检索方法 （中科星图股份有限公司）

US2017329048A1,2017.11.16结合Kubernetes和Ceph的遥感数据存储系本公开的实施例提供了结合Kubernetes和接收客户端上传的遥感数据和/或根据用户的遥客户端上传的遥感数据生成队列并通过数据缓存层分发到数据存储层；和/或根据客户端查询请求在数据缓存层及数据存储层中查询对应的数据存储层包括用于在MongoDB数据库中存储所述元数据文件以及在Ceph分布式存储系统中存2所述交互层用于与客户端进行交互，接收客户端上传的遥感数据和/或根据用户的遥所述服务层用于为客户端上传的遥感数据生成队列并通过数据缓存层分发到数据存所述数据存储层包括用于在MongoDB数据库中存储所述元数据文件以及在Ceph分布式所述交互层、所述服务层和所述数据缓存层部署于Kubernetes集群的master节点中；所述数据存储层部署于Kubernetes集群的worker节点中；所述MongoDB数据库和所述Ceph分布式存储系统分别部署于Kubernetes集群的worker4.一种结合Kubernetes和Ceph的遥感数据存储方法，应用于如权利要求1_3中任一项交互层接收客户端通过PUSH方式定义的通用接口提服务层为所述遥感数据生成队列数据并通过数据缓存层分发到数据存储层；所数据存储层将所述元数据文件队列数据存储到MongoDB数据库，将所述影像队列数据5.一种结合Kubernetes和Ceph的遥感数据查询方法，应用于如权利要求1_3中任一项交互层接收客户端通过PULL方式定义的通用缓存层根据所述查询请求中给定的键值查询缓存层的内存中是否包含请求所需数据若未命中，在数据存储层的MongoDB的分布式存储系统和基于Ceph的分布式存储系统6.根据权利要求5所述的方法，其特征在于，将获取的所需数据信息返回给客户端包将获取的所需数据信息通过服务层及交互层返回对应的元数据文件或影像文件信息7.一种电子设备，包括存储器和处理器，所述存储34[0002]随着遥感数据获取能力的日益增强，仅单颗卫星每日获取[0003]早期空间数据存储与管理方法是基于关系型数据库建立的极为有效的异构空间[0006]在本公开的第一方面，提供了一种结合Kubernetes和Ceph的遥感数据存储系行交互，接收客户端上传的遥感数据和/或根据用户的遥感数据查询请求提供对应的遥感据生成队列并通过数据缓存层分发到数据存储层；和/或根据客户端查询请求在数据缓存据存储层包括用于在MongoDB数据库中存储所述元数据文件以及在Ceph分布式存储系统中署于Kubernetes集群的worker5数据库和所述Ceph分布式存储系统分别部署于Kubernetes集群的work[0011]在本公开的第二方面，提供了一种结合Kubernetes和Ceph的遥感数据存储方存层将队列数据缓存在内存型缓存中；数据存储层将所述元数据文件队列数据存储到[0012]在本公开的第三方面，提供了一种结合Kubernetes和Ceph的遥感数据查询方所述程序被处理器执行时实现如根据本公开的第一6[0028]MongoDB：一个分布式的、面向列的开源数据库，适合被用来存储海量数据。[0030]图2示出了根据本公开实施例的结合Kubernetes和Ceph的遥感数据存储系统106式定义的通用接口(上传接口)；交互层210将客户端1传接口)向存储系统106提交的遥感数据提交给下层的服务层220做进[0035]在一些实施例中，交互层210部署于Kubernetes集群的master节点中。所述7解析模块、数据库操作模块和存储操作模块。消息队列模块负责接收交互层210提交的数过缓存层230写入数据存储层240的MongoDB数据库中。存储操作模块负责将影像文件队列中的存储任务通过缓存层230写入数据存储层240的Cep元数据文件队列数据与部署MongoDB数据库的worker节点之间的映射关系，以及影像文件队列数据与部署Ceph分布式存储系统的worker节点之间的映射关系。在一致性哈希算法而提供的元数据内容及格式也不尽相同。根据元数据模板生成的元数据文件以XML文件保[0045]在一些实施例中缓存层230接收通过服务层220发送的数据获[0046]①接收服务层220发送的查询请求，根据所述查询请求中给定的键值查询缓存层[0049]④将获取的所需数据信息通过服务层220及交互层210返回给客户端102，并回写8[0052]在一些实施例中，数据存储层240包括MongoDB数据库以及Cep[0054]在一些实施例中，数据存储层240部署于Kubernetes集群的worker节点中。所述MongoDB数据库以及Ceph分布式存储系统都部署在Kubernetes集群之上，而不是独立地部义的通用接口(上传接口)；交互层210将客户端口)向存储系统106提交的遥感数据提交给下层的服务层220[0065]在一些实施例中，数据存储层240包括MongoDB数据库以及Cep9[0068]在框410，交互层210接收客户端102通过PULL方式定义的通用接口提交的数据检[0071]在框430，缓存层230根据所述查询请求中给定的键值查询缓存层230的内存中是分布式存储系统)查询所述数据；将获取的所需数据信息通过服务层220及交互层210返回过服务层220及交互层210向客户端102返回查[0076]通过结合Kubernetes和Ceph的方式实现了海量遥感数据的高效存储，共享和备[0079]图5示出了可以用来实施本公开的实施例的电子设备500的示意性框图。设备500根据存储在只读存储器(ROM)502中的计单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM503并由CPU501执行[0082]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例集成电路(ASIC)、专用标准产品(ASSP)、芯[0083]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。的各种特征也可以单独地或以任何合适的子组合的方