CN119519723A 数据压缩方法、装置、计算设备及存储系统 （华为技术有限公司）

202111109332.X2021.09.22影响待压缩数据的压缩结果的参数确定待压缩据进行压缩得到压缩后数据，并存储压缩后数缩方法中计算设备使用的压缩策略是依据影响配待压缩数据的特征的压缩策略对待压缩数据2根据预设参数确定待压缩数据的压缩特征值，所述预设参数是会影从多个压缩策略中确定出与所述压缩特征值压缩时所用到的硬件资源的参数及/或描述所述待压缩数块大小和所述待压缩数据包含的字符的分布中间的网络带宽和所述存储设备的可用存储容量中的至确定所述待压缩数据的压缩特征值对应的所述对应关系根据所述对应关系所确定的压缩特征值确定所述压缩特征值对应的压缩策略为压缩根据所述压缩率调节对应关系中的所述压缩特征值和所述预处理模块，用于根据预设参数确定所述待压缩数据的压缩特征值，压缩模块，用于使用所述压缩策略对所述待压缩数据进行压行压缩时所用到的硬件资源的参数及/或描述所述待压缩数据的数据3之间的网络带宽和所述存储设备的可用存储容量中的至所述策略匹配模块根据所述压缩特征值确定压缩所述待压缩数据确定所述待压缩数据的压缩特征值对应的所述对应关系根据所述对应关系所确定的压缩特征值确定所述压缩特征值对应的压缩策略为压缩所述更新模块，用于确定压缩数据时所采用的所述压缩策略的压压缩率调节对应关系中的所述压缩特征值和4供的数据压缩方法中计算设备使用的压缩策略是依据影响待压缩数据的压缩结果的特征5计算设备执行如第一方面或第一方面任意一种可能的实现方式中6提供的分布式存储系统包括计算节点集群和存储节点举例来说，随机存取存储器是动态随机存取存储器(dynamicrandomaccessmemory，[0035]DRAM是一种半导体存储器，与大部分随机存取存储器(randomaccessmemory，7装置与存储器特性的复合型储存技术，存储级存储器能够提供比硬盘更快速的读写速度，示例性的说明，内存还可以包括其他随机存取存储器，例如静态随机存取存储器(static(programmablereadonlymemory，PROM)、可抹除可编程只读存储器(erasable[0038]网卡114用于与存储节点100通信。例如，当内存113中的数据总量达到一定阈值[0039]存储节点集群可以包括多个存储节点100，所述存储节点用于对计算节点传输的如固态硬盘或者叠瓦式磁记录硬盘等。控制单元101用于根据计算节点110发送的读/写数8CPU用于执行地址转换以及读写数据等操作。内存用于临时存储将要写入硬盘105的数据，进行存储、CPU202与内存203用于处理计算节点110传输的数据或者本地运行的程序的数[0044]图1所示的为分布式存储系统的架构图，本申请实施例的方案还可以应用于集中[0050]影响待压缩数据的压缩结果的参数包括对待压缩数据进行压缩时所用到的硬件9存储设备的可用存储容量等影响数据压缩结果的硬件资源中备可以利用复杂度较低的压缩算法对待压缩数据进行压缩，在确保数据的压缩率的前提[0054]计算设备和存储设备可以是两个独立的物理设备。例如上述图1所示的分布式存储系统中的计算节点110或存储节点100。计算设备通过网络向存储设备传输压缩后数据。[0057]存储设备的可用存储容量是指用于存储压缩后数据的存储设备中剩余的可用存[0063]步骤430、计算设备根据影响待压缩数据的压缩结果的参数确定待压缩数据的压a1表示计算设备的处理器的占用率向量，元素a2表示计算设备与存储设备之间的网络带宽向压缩特征值确定为与待压缩数据的压缩特征值匹配ham表示待压缩数据的压缩特征值与对应关系的压缩特征值的式距离最短的压缩特征值作为对应关系所确定据公式(2)确定点B1表示的压缩特征值为对应关系所确定0表示待压缩数据的压缩特征值与对应关系的压缩特征值越不相似。计算设备确定归一化互相关值最接近于1的压缩特征值作为对应关系所确定的压缩特征值。待压缩数据的压缩化互相关值，Sa代表待压缩数据的压缩特征值的方差。Sb代表对应关系的压缩特征值的方[0079]计算设备将根据对应关系所确定的压缩特征值对应的压缩策略确定为压缩待压模板库包含了多个条目，每个条目包含一个压缩特征值与该压缩特征值对应的压缩策略。[0081]对应关系中的压缩特征值对应的压缩策略是依据步骤420中阐述的硬件资源的参中的压缩特征值对应的压缩策略指示的压缩算法用率对应的压缩策略指示较长字典区的字典压缩算法。若处理器的占用率大于或等于阈复字符，则存储设备的剩余可用存储容量对应的压缩策略指示较长字典区的字典压缩算[0088]例如，压缩特征值包括处理器的占用率和计算设备与存储设备之间的网络带储设备之间的网络带宽较大，表示计算设备与存储设备在单位时间内传输的数据量较多，压缩特征值相似的压缩特征值对应的压缩策略，利用该压缩策略对待压缩数据进行压缩，[0113]由图6和图7可知，依据字典区的大小为6个字符的长度编码得到的压缩后数据包含5个三元组，依据字典区的大小为2个字符的长度编码得到的压缩后数据包含11个三元[0126]计算设备对待压缩数据进行压缩后得到压缩后数据，将压缩后数据存入存储设[0133]图9为本实施例提供的可能的数据压缩装置的结构示意图。这些数据压缩装置可[0135]通信模块910用于获取待压缩数据，以及将压缩后数据和压缩窗口传输至硬盘[0136]预处理模块920用于获取影响待压缩数据的压缩结果的参数，以及根据影响待压[0137]策略匹配模块930用于根据所述压缩特征值确定压缩所述待压缩数据的压缩策[0138]其中，参数包括对所述待压缩数据进行压缩时所用到的硬件资源的参数及/或描带宽和所述存储设备的可用存储容量中的至[0139]压缩模块940，用于根据所述压缩策略对所述待压缩数据进行压缩得到压缩后数[0140]策略匹配模块930具体用于确定所述待压缩数据的压缩特征值对应的所述对应关[0141]压缩模块940具体用于根据所述多个压缩窗口分别对所述待压缩数据进行压缩，[0143]数据压缩装置900还包括更新模块960。更新模块960用于确定压缩数据时所采用programmablelogicaldevice，CPLD)，现场可编程门阵列(field_programmablegate[0145]根据本申请实施例的数据压缩装置900可对应于执行本申请实施例中描述的方法，并且数据压缩装置900中的各个单元的上述和其它操作和/或功能分别为了实现图4中[0146]图10为本实施例提供的一种计算设备1000的结构示意图。如图所示，计算设备处理器、数字信号处理器(digitalsignalprocessing，DSP)、应用专用集成电路[0149]通信接口1050用于实现计算设备1000与外部设备或器件通信接口1050用于接收待压缩数据和发送压[0151]作为一个示例，计算设备1000可以包括多个处理器。处理器可以是一个多核如计算机程序指令)的计算单元。处理器1010可以调用存储器1030存储的多个压缩特征值根据所述压缩策略对所述待压缩数据进行压缩得到[0153]内存单元1040可以对应上述方法实施例中用于存储多个压缩特征值与压缩策略可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read_速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledatadateSDRAM，DDR取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus[0155]上述计算设备1000可以是一个通用设备或者是一个专用设备。例如，计算设备只读存储器(programmableROM，PROM)、可擦除可编程只读存储器(erasablePROM，产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介