CN112286714B 在基于nand的读取源存储中提高大数据分析吞吐量的方法和系统 （阿里巴巴集团控股有限公司）

US2018076828A1,2018.在基于NAND的读取源存储中提高大数据分括先前已经基于纠错码(ECC)进行了编码的压缩文件的请求，系统通过存储设备基于ECC将副本2通过所述存储设备从与所述存储设备分离的原始物理介质中获取将获取的文件作为只读副本存储在所述存储设备的3.根据权利要求1所述的方法，其中解压缩所经由多个PCIe通道到多个PCIe交换机的下行链路，所述多个通过所述计算设备存储由所述文件的文件名到与所述存储设备关联的当前物理块地响应于检测到将所述文件从所述当前物理块地址移动到与所述存储设备相关联的新3和存储器，所述存储器连接到所述处理器并存储有指令，该指令通过所述存储设备从与所述存储设备分离的原始物理介质中获取将获取的文件作为只读副本存储在所述存储设备的11.根据权利要求9所述的计算机系统，其中解压缩所述ECC解码的数据由所述计算设经由多个PCIe通道到多个PCIe交换机的下行链路，所述多个通过所述计算设备存储由所述文件的文件名到与所述存储设备关联的当前物理块地响应于检测到将所述文件从所述当前物理块地址移动到与所述存储设备相关联的新4和17.一种分布式存储系统，用于通过一个或更多个客户端便于一个或更多个大数据分多个与所述交换机相连的NAND卡；其中，所述NAND卡不包括执行ECC编码的模块或单其中，所述前端头服务器被配置为对解码的数据进行解压缩从与所述NAND卡分离的原始物理介质获取所述文件，其中文件包括先前基于纠错码从而通过减少ECC编码的数量来便于大数据分析应用有效地分5在基于NAND的读取源存储中提高大数据[0004]随着大数据分析的继续增长，常规分布式存储系统的低效率和挑战也将继续增先前已基于纠错码(ECC)进行了编码。所述系统将所获得的文件作为只读副本存储在存储[0007]在一些实施例中，由计算设备的并行解压缩引擎执行对所述ECC解码的数据进行6取存储器(DRAM)接口和通过该DRAM接口访问的DRAM模块；执行闪存转换层(FTL)功能的处卡上的文件的请求；以及并由NAND卡基于纠错码(ECC)将文件解码以获取ECC解码的数据；前端头服务器配置为对ECC解码的数据进行解压缩，并将解压缩后的数据作为请求的文件[0016]在一些实施例中，NAND卡还被配置为从与该NAND卡分离的原始物理介质获得文[0018]图2示出了根据本申请的实施例的用于便于在存储设备中的数据访问的示例性环[0019]图3示出了根据本申请的实施例的用于原始数据源中的数据放置以及复制到读取7[0020]图4示出了根据本申请的实施例的包括具有简化架构的NAND卡的存储设备的示例[0023]图7A呈现了示出根据本申请的实施例的用于便于在存储设备中数据访问的方法[0024]图7B呈现了示出根据本申请的实施例的用于便于在存储设备中的数据访问的方[0025]图8示出了根据本申请的实施例的便于在存储设备中的数据访问的示例性计算机[0026]图9示出了根据本申请的实施例的便于在存储设备中进行数据访问的示例性装为存储设备来解决当前分布式存储系统中大数据分析的效率低下。这些存储设备将ECC编务器和存储服务器(包括网络)组成的整个分布式存储系统；数据中心中昂贵的机架空间；[0033]本文描述的实施例通过提供具有高容量存储和高吞吐量的分布式存储系统来解8统包括连接到以太网交换机的前端头服务器，该以太网交换机连接到智能网络接口卡(NIC)片上系统(SOC)。智能NICSOC(通过多个PCIe通道)备执行ECC编码，并且可以从出站数据I/O路径上的原始数据源存储设备上检索ECC编码数[0036]“存储驱动器”是指具有可以提供数据持久存储的非易失性存储器的设备或驱动[0041]图1示出了根据现有技术的用于便于存储设备中的数据访问的示例性环境。在该[0042]环境100的常规分布式存储系统的一个优点是其提供足够容量以容纳数据分析服界网关协议(BGP)相关联的网络成本可能会很大。其次，数据中心中的机架空间可能很昂9[0043]图2示出了根据本申请的实施例的用于便于在存储设备中数据访问的示例性环境网络附加存储(NAS)协议以处理来自多个大数据分析服务器传入的请求。每个前端头都可以下在附图4中的描述了示例性NAND卡(例如NAND卡261)。为了增加环境200中描述的系统[0047]因此，在本文所述的实施例中，系统通过在例如环境200的环境中使用多个NAND[0049]图3示出了根据本申请的实施例的用于原始数据源中的数据放置以及复制到只读模块312接收并压缩接收到的数据；(通过通信354)将压缩的数据发送到ECC编码器模块或检索(或者原始源310可以传送或发送)全部ECC码字(包括ECC奇偶校验位)的无错误数据新的物理位置。如果需要刷新或移动数据，则系统可以将数据发送回NAND332(通过通信低总运营成本(TCO)，并且可以消除对传统分布式存储系统中数十台或数百台服务器的需[0053]图4示出了根据本申请的实施例的包括具有简化架构的NAND卡400的存储设备的示例图。NAND卡400可以对应于如图2中所述的NAND卡261-272中的任何一个，诸如NAND卡以通过这些通道通过NAND闪存接口430传输或通信，包括：NAND裸片432(经由通道431访作中提供更高的可靠性和性能，因此在本公开中将NAND闪存描述为示例性非易失性存储[0057]在分布式存储系统的常规文件系统中，通常在逻辑块地址(LBA)和物理块地址可以通过在块的末尾附加新数据来在单个块中使用日志结[0058]图5示出了根据本申请的实施例的文件到物理块地址的示例性映射。被映射的文端头计算设备(或除存储设备控制器之外的其他计算设备或实体)可以存储文件名560到[0060]图6示出了根据本申请的实施例一致的文件格式和NAND块布局的示例图600。图600可以包括与写入例如NAND的非易失性存储器的文件相对应的文件格式。该文件格式可630描述了如何将格式化的文件存储在块[0063]图7A提供了示出根据本申请的实施例的用于便于存储设备中的数据访问的方法[0064]图7B示出了与本申请的实施例一致的便于在存储设备中数据访问的方法的流程算设备经由至少包括如下之一的系统将请求发送到存储设备：第一和第二以太网交换机；果系统检测到将文件从当前PBA移到新PBA的条件(决策728)，则系统更新文件名到新物理块地址的映射(操作730)。如果系统未检测到将文件从当前PBA移至新PBA的条件(决策[0066]图8示出了根据本申请的实施例的示例性计算机系统800和便于存储设备中的数[0068]计算机系统800可以经由分布式存储系统与存储系统820通信，该存储系统820可储服务器，并且存储设备826可以对应于图2的NAND卡261。处理器/控制器822或存储设备826可以包括用于从与存储系统820分离的原始物理介质中获取文件的指令(通信模块830)。处理器/控制器822或存储设备826可以包括用于将所获得的文件作为只读副本存储以包括用于由存储设备基于ECC对副本进行解码以获得ECC解码数据的指令(ECC解码模块[0069]数据840可以包括由本公开中描述的方法和/或过程中作为输入所需或作为输出[0070]图9示出了根据本申请的实施例的便于存储设备中的数据访问的示例性装置90算机可读存储介质可以是可以存储代码和/或数据以供计算机系统使用的任何设备或介[0072]在详细描述部分中描述的方法和过程可以被体现为代码和/或数据，其可以被存介质上的代码和/或数据时，计算机系统执行体现为数据结构和代码并存储在计算机可读