数据压缩原理

1、AIX上总有一种压缩方式适合你当今世界每天产生大量的数据，有些数据我们需要进行压缩，压缩数据的好处不言而喻：节省空间；方便传输；加密保护等等。很多压缩工具应运而出，每种工具都有自己的特点。对于 AIX平台上的压缩方法也很多compress、pack、gzip、pax、tar等等。本文将首先简单介绍一下压缩的根本原理然后详细介绍AIX平台的常用压缩工具并针对它们各自的特色进行比拟，让读者对对AIX平台的压缩有针对性的认识，从而能够根据不通的需要选择适宜的压缩工具。数据压缩的原理数据压缩是指在不丧失信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率的 一种技术方法。或按照一定的算法

2、对数据进行重新组织，减少数据的冗余和存储的空间。数据压缩包 括有损压缩和无损压缩。无损压缩是可逆的；有损压缩是不可逆的。电脑处理信息是以二进制数0和1的形式表示的，压缩软件把二进制信息中相同的字符串以特殊 字符标记起来，从而实现缩小文件大小来到达压缩的目的。压缩的理论根底是信息论。从信息的角度 来看，压缩就是去除掉信息中的冗余，即去除掉确定的或可推知的信息，而保存不确定的信息，也就 是用一种更接近信息本质的描述来代替原有的冗余的描述，这个本质的东西就是信息量。数据压缩的硬件和软件工具也非常多，本文将针对AIX平台常见的几种数据压缩工具进行介绍和比拟 并提供常用的例如进行解说，希望您能从中选择适

3、宜的压缩工具进行压缩。AIX平台上，通常我们看到的.Z .gz .z .ar .tar后缀的文件都是压缩文件。通过compress可以生成.Z 压缩文件，通过 compress、uncompress、gzip可以解压.Z 格式的压缩文件；通过 gzip可 以生成.gz压缩文件，通过gzip可以解压.gz格式的压缩文件；通过pack可以生成.z压缩文件， 通过unpack、gzip可以解压.z格式的压缩文件；通过 pax可以生成.ar压缩文件，通过 pax可 以解压.ar格式的压缩文件；通过 pax、tar可以生成.tar压缩文件，通过 pax、tar、untar、可以 解压.tar格式的压缩文

4、件。图1描述了各种类型文件的压缩及解压可以选择的AIX工具。图1.不同文件类型的压缩及解压回页首compresscompress是一个相当古老的 UNIX档案压缩指令，利用自适应的 Lempel-Zev编码来减少文件大小。 每一个被参数File指定的原文件将被可能的压缩文件所代替，压缩后的档案会加上一个.Z。延伸档名以区别未压缩的档案，压缩后的档案可以以 uncompress解压。值得注意的是执行 compress需要 有相应的权限来替换文件。压缩量依赖于输入大小、由Bits变量指定的单位编码的比特数和公共子串的分布。典型地，源代码或英文文本将减少 50%到60%。特点?如果调用压缩进程有适当

5、的权限，压缩文件将保存与原文件相同的所有权、方式和修改时间。?如果指定的文件的路径大于1023字节，该命令不工作。?如果没有指定文件，标准输入将被压缩到标准输出。?如果压缩没有减少文件大小，将对标准错误写一个消息而不替换原文件。? compress命令的压缩一般比利用哈夫曼编码或自适应哈夫曼编码实现的压缩更紧凑，计算时间更少，哈夫曼编码在 pack命令中被使用。?假设要将数个档案压成一个压缩档，必须先将档案tar起来再压缩。常用例如1.dsm.opt: Compression: 10.14% This file is replaced with .该命令压缩dsm.opt文件，-v参数将程式执

6、行的讯息印在荧幕上。标准输出显示压缩百分比为14 %。dsm.opt文件被压缩并重命名为。2. $compress -b 12该命令指定文件中公共子串的比特的最大值为12。-b参数设定共同字串数的上限，以位元计算，可以设定的值为9至16 bits。由于值越大，能使用的共同字串就越多，压缩比例就越大，所以一般使用预设值16 bit 03. $compress -df dsm.opt.该命令将 解压成，假设档案已经存在-df程式那么会自动覆盖档案。由于系统会自动参加.Z为延伸档名，所以该命令中写成dsm.opt也会当作来处理。Z回页首un compressCompress 的解压也可以由 unco

7、mpress 来完成。uncompress 命令恢复由 compress 命令压缩的原 文件。uncompress 命令恢复由compress命令压缩的原文件。每个由 File参数指定的压缩文件被除去而 由展开后的副本所替换。展开后的文件与压缩的版本名字相同，但没有.Z扩展名。如果用户有root用户权限，展开后的文件保存与原文件相同的所有者、组、方式和修改时间。如果用户没有root用户权限，那么文件保存相同的方式和修改时间，但获取新的所有者和组。如果没有指定文件，那么标准输入将 展开为标准输出。例如$uncompress该命令解压文件，并重命名为。回页首packpack命令以压缩格式存储由Fi

8、le参数指定的文件。输入文件由一个原文件名附加.z后缀的压缩文件所代替。压缩文件维持了同原始文件同样的访问方式、访问和修改日期和所有者。输入文件名包含不超过253个字节，以允许有空间添加.z后缀。如果pack命令成功执行，原始文件就被除去。如果pack命令不能创立更小的文件，它就停止处理并报告不能节省空间。节省空间失败通常发生 于小文件或者是统一字符分布的文件。空间节省的数额取决于输入文件的大小和字符分布频率。由 于译码树形成了每个.z文件的第一局部，因此对于小于3个块的文件不会节省空间。典型情况下，文本文件减少 25 % 到40 %。文件位置/usr/b in/pack特色?采用Huffma

9、n编码来压缩文件。因此 pack命令始终只能压缩小于 8MB的文件? pack命令在以下任何一个条件下都不能压缩：文件已经压缩过；输入文件名超过了253个字节；文件有链接；文件是目录；文件不能打幵；不能通过压缩节省存储块； 名称为 的文件已经存在；.z文件不能创立；处理中发生 I/O错误。例如1.2. pack: dsm.sys: This file is reduced in size 47.3%.pack: dsm.sys.ini: This file is reduced in size 47.5%.该命令压缩名为dsm.sys和的文件并显示修改的文件名。压缩的版本重命名为 和。此pac

10、k命令显示每个压缩文件的文件大小减小百分比。3.3. pack: dsm.sys: This file is reduced in size 47.3%.4. The file changed from 6296 to 3315 bytes.5. The Huffman tree has 11 levels below the root.6. There are 49 distinct bytes in input.7. The dictionary overhead is 67 bytes.8. The effective entropy is 4.21 bits per byte.The

11、asymptotic entropy is 4.13 bits per byte.该命令压缩名为dsmwebcl.log的文件并显示该文件的统计信息。回页首unpackunpack命令展开由pack命令创立的文件。对每个指定的文件，unpack命令搜索名为的文件。如果这个文件是压缩文件，那么unpack命令用其展开的版本来替换它。unpack命令通过从File除去.z 后缀来给新的文件命名。如果用户有root用户权限，那么新的文件具有和原文件一样的访问方式、访问和修改时间、所有者和组。如果用户没有root用户权限，那么该文件保存同样的访问方式、访问时间和修改时间，但获取新的所有者和组。unpa

12、ck命令仅对以.z结束的文件进行操作。结果，当指定不以.z结束的文件名时，unpack添加该后缀并搜索目录以寻找带有这种后缀的文件名。文件位置/usr/b in/un pack特色?如果正在解压的文件有链接，unpack命令会把警告写到标准错误。与其来源的压缩文件比拟，新解压的文件有不同的索引节点。但是，任何其它链接到压缩文件原索引节点的文件仍然存在，仍然处于压缩状态。?以下情况那么文件不能解压：文件名除.z文件之外多于253字节；文件不能翻开；文件不是压缩文件；有展开文件名的文件已存在；不能创立被解压的文件。该命令展开了压缩文件和，并用名为dsm.sys和的文件来替换它们。unpack命令的

13、文件名可以带有或不带.z后缀。回页首pax抽取、写以及列出归档文件成员；复制文件和目录层次结构。-r和-w标志指定了归档操作的类型。通过pax主要可以实现 4大功能包括：列出已归档文件的成员文件列表方式；使用-r标志抽取归档文件读取方式；使用-w标志写归档文件写方式用-r和-w标志复制文件复制方式。 pax命令应该是用于系统转储和2 GB以上的映像的首选存档方法。pax命令还可以用于查看和修改tar和cpio格式的文件，下面的例如中将会给出相应解释。文件位置/usr/b in/pax特点?系统缺省支持64-位POSIX-定义的数据格式。目的是允许归档大文件，例如dump文件。归档文件大小可以大

14、于或等于8 GB?支持长用户名或组名? 支持大于 2097151 的超大 UID/GID?支持长路径名或链接名?用-o标志可以修改归档算法考前须知?在读取或复制方式下，如果需要中间目录来抽取归档成员，pax执行与mkdir子例程相同的操作，中间目录作为路径参数，值S_IRWXU作为方式参数。?如果没有任何指定的模式或文件操作数与至少一个文件或归档成员匹配，pax为每个不匹配的模式或文件操作数写一条诊断消息到标准错误，并以错误状态退出。?遍历目录过程中，pax将检测无限循环；例如，进入一个作为最后访问文件的祖先的先前访问的目录。在检测到无限循环时，pax将诊断消息写到标准错误然后终止。?当pax

15、处于读取方式或列表方式，使用-x pax归档格式和文件名、链接名、所有者名或任何其他扩展的头记录中的字段，这些字段无法从pax UTF8编码集格式转换到当前编码集和语言环境，pax写诊断消息到标准错误，如-o in valid二选项所描述的那样处理文件，然后处理归档中的下一个文件。?对于，在缺省情况下 pax命令将忽略扩展属性。-U选项通知pax来归档或恢复扩展 属性，它包括ACL o-pe选项将保存 ACL °指定-pe选项时，如果pax无法保存ACL， 诊断消息将写入标准错误，但是不会删除抽取的文件。将返回非零退出代码。pax归档文件中的扩展属性条目需要新的记录类型。例如1. $

16、pax -wf mytest.ar -x pax testl该命令将在当前目录下为目录test1创立pax格式的归档。使用-w标志来写归档文件，-x参数指定输出归档格式。pax有3中输出格式：pax、copyio、ustar ° pax为缺省数据交换格式。特定字符归档文件的格式的缺省分块值是10240。支持以512递增的从512到32256的分块值；cpio扩展cpio交换格式。特定字符归档文件的格 式的缺省分块值是5120。支持以512递增的从512至V 32256的分块值；ustar扩展tar交换格式。特定字符归档文件的格式的缺省分块值是10240。支持以512递增的从512到3

17、2256的分块值。值得注意的是：pax并不一定会减小目录的大小。2. $ pax -rvf bin.ar -o delete=path3. PAX format archive4. bin5. bin/tsmstatsck6. bin/7. bin/dsm.tar8. bin/9. bin/dsm.opt该命令将抽取，抽取过程中要忽略pax格式的归档的路径名。当归档文件中包含ASCII码，抽取到zVM/ESA操作系统时为了防止出现乱码现象我们需要在添加其他的标志来进行抽取。10.$ pax -r -f myfile1.pax -o from=ISO8859-1,to=IBM-1047该命令将抽

18、取myfile1.pax文件，该命令保证了归档文件中的ASCII码解压到zVM/ESA丨操作系统的正常使用。11. $ pax -rw bin n ewdir该命令将bin目录层次结构复制到 newdir中同时保存了源文件的大多数属性，如硬 连接数和文件访问次数等。 如果newdi目录中包含相同的文件或目录那么该命令不会 覆盖原有的目录结构，该命令会提示类似下面的信息：12. $ pax: bin : The file/directoryexists and will not be overwritten.回页首tartar是一个已移植到 Linux中的经典 UNIX 命令。tar是tape

19、archive磁带归档的缩写，最初设 计用于将文件打包到磁带上，现在也可用于其它存储介质。使用tar可以打包整个目录树，这使得它特别适合用于备份。归档文件可以全部复原，或从中展开单独的文件和目录。备份可以保存到基于文 件的设备或磁带设备上。文件可以在复原时重定向，以便将它们重新放到一个与最初保存它们的目录或系统不同的目录或系统。tar是与文件系统无关的。它可以使用在 ext2、ext3、jfs、Reiser 和其他文件系统上。单独使用时，生成具有.tar扩展名的文件。当与 Gzip结合用于数据压缩时，生成的文件扩展名可能是.tgz、.或与compress结合用于数据压缩时，生成的文件扩展名那么

20、是.。tar命令通过将文件写入归档存储介质或将文件从介质中取回，来处理归档。由tar命令使用的文件通过File参数来表示。如果 File参数引用一个目录，那么引用该目录并递归引用该目录下全部的文件 和目录。tar命令有两组标志：必需标志和可选标志。必需标志控制tar命令的操作，包括-c、-r、-t、-u和-x标志。要执行tar命令至少要选择一个必需标志。选择了必需标志后，您可以选择一个可选标志，但 可选标志对控制tar命令不是必需的。文件位置/dev/rmtO指定缺省磁带设备。 /bin/tar指定tar命令的符号链接。/usr/bin/tar 包含 tar 命令。考前须知?由于在tar命令中

21、对头块空间的限制，当恢复到某些系统时，大于65,535的用户号UID丨和组标识号GID将毁坏。大小约束只影响所有权和许可权而不对数据造成 损害。? ustar头格式允许文件大到8 GB。因此，tar命令支持归档最大 8 GB的文件。? tar不保存任何稀疏分配的文件的稀疏属性。任何在恢复前原是稀疏的文件，将按文件大小在文件系统内分配其所有空间。? tar打包不一定能够压缩文件大小。例如1. $tar-c myfile1该命令将文件myfile1写到缺省磁带机上新的归档中例如/dev/rmtO。通常AIX会连接一些磁带，如果没有物理磁带或者缺省磁带没有配好tar命令就会打印出类似下面的错误信息2

22、.$tar: /dev/rmtO: There is a request to a device or address that doesnot exist.为了防止上述情况发生通常建议用户在使用tar命令时指定-f Archive，使用Archive变量表示要读或写的归档。3. $tar - cvf myfile1.tar myfile1该命令将文件 myfile1在当前目录下归档，归档文件名为，同时处理每个文件时列出 它们的名称。有时候我们只需要某个类型的文件并不想打包整个文件夹，可以通过使用tar命令时指定-L InputList实现。-L选项的Inputlist参数是一个文件名称，该名

23、称列出需要归 档的文件和目录。4. $tar - cvf /usr/log.tar- L log_list该命令归档log_list文件中列出的文件和目录，归档文件到 /usr。这里的log_list列表文件可以通过一下命令获得：5. $lsTar文件的恢复也是通过tar命令来完成的。6. $tar -xf该命令恢复归档文件myfile1.tar到当前目录。有时我们想先看看tar包中有那些文件，然后再决定是否进行解tar，通过-t标志可以按照文件在归档中的顺序列出文件。7. $tar -vtf该命令列出 myfile1.tar磁盘归档文件中各文件的名称。值得注意的是文件可能会屡次列出。有时候我

24、们会遇到gzip格式的文件，通过-z参数tar同样可以解压gzip格式的文件。8.该命令解压 myfile1.tar.gz 文件到当前目录。回页首GZIPgzip最早由Jean-loup Gailly 和 Mark Adler 创立，用于 UNIX 系统的文件压缩。Gzip是一种 无损失的数据压缩格式。gzip也称zip或zlib所使用的算法是开源、无专利的LZ77 Lempel-Ziv1977丨算法的变体。该算法寻找输入数据内的重复字符串。二次出现的字符串由一个指向前一字符串 的指针以对的形式 -距离和长度代替。其中，距离限定为32 KB，长度限定为258字节。如果字符串没有在这前32 KB

25、内出现，它就会作为文字字节序列发出这里所说的字符串定义为随意字节序列，并不仅限于可打印的字符。我们在Linux中经常会用到后缀为.gz的文件，它们就是GZIP 格式的。现今已经成为In ternet上使用非常普遍的一种 数据压缩格式，或者说一种文件格式。实例gzip: already has .z suffix - unchanged该命令压缩把当前目录下的每个文件压缩成.gz文件。当前目录下已经存在的压缩文件，例如.Z .z .gz后缀文件，gzip将不对它们进行操作；对.ar .tar作为后缀的文件责仍然可能进行压缩。4. $gzip -dv *5. rootaixsvt01> /u

26、sr/./bin $ gzip -dv *6. :26.6% - replaced with cert.arm7. :18.7% - replaced with dsmcert.crl该命令把当前目录下每个压缩的文件解压，并列出详细的信息。该命令可以解压当前675% (totals)该命令详细显示当前目录下.gz后缀压缩的文件的信息但是并不解压。12. gzip该命令压缩tar备份文件，此时压缩文件的扩展名为.。回页首zcatzcat命令允许用户扩展并查看压缩文件而不用将该文件解压。zcat命令并不重命名扩展的文件，也不除去.Z的扩展名。zcat命令将扩展输出写入标准输出。例如SERVERNAME testCOMMM