Linux日志文件系统研究

计算机工程与应计算机工程与应用 2006.09计算机工程与应用Linux引言传统的文件系统EXT2一直作为linux的标准文件系统来使用不管是其效率还是其稳定性和可靠性都是得到公认的。但是它有一个缺陷,就是当系统崩溃后,文件系统必需检测整个磁盘分区才能恢复一致性,且检测时间随着分区的增大而延长(分区很大时会花掉几个小时),这就大大地降低了系统的高可用性。为了提高系统的高可用性,在文件系统中引入了日志技术,以使文件系统在崩溃后快速恢复一致性。日志文件系统采用一种记日志的方法来解决这个传统文件系统缺陷。其基本思想就是将所有的文件的改变记录在文件系统中的一个特殊的文件—日志文件中。每次对文件系统的修改都记录在这个文件的尾部,它们不经过磁盘缓冲区直接写回磁盘。这样,在系统崩溃后,只要检查日志文件的尾部,就能够找到文件系统崩溃前的状态,迅速地恢复系统。日志文件系统linux下的日志文件系统主要有:EXT2基础上开发的EXT3,根据面向对象思想设计的ReiserFS,SGI从IRIX系统移植的XFS,IBMAIX系统移植的JFS。其中EXT3完全兼容EXT2,其磁盘结构和EXT2完全一样,只是加入了日志技术;而后三种文件系统广泛使用了B树以提高文件系统的效率,以下对它们一一介绍。3文件系统是直接从2文件系统发展而来,目前3文件系统已经非常稳定可靠。它完全兼容2文件系统。用户可以平滑地过渡到一个日志功能健全的文件系统中来。这实际上也是3日志文件系统初始设计的初衷。EXT3日志所隐含的思想就是对文件系统进行的任何高级

修改都分两步进行。首先,把待写块的一个副本存放在日志中;其次,当发往日志的O数据传送完成时,块就写入文件系统。当发往文件系统的O数据传送终止时,日志中的块副本就被丢弃。EXT3既可以只对元数据做日志,也可以同时对文件数据块做日志。具体来说,EXT3提供以下三种日志模式:(1)日志(unal):文件系统所有数据和元数据的改变都记入日志。这种模式减少了丢失每个文件所作修改的机会,但是它需要很多额外的磁盘访问。例如,当一个新文件被创建时,它的所有数据块都必须复制一份作为日志记录。这是最安全和最慢的3日志模式。2)预定Ordered):只对文件系统元数据的改变才被记入日志。然而,EXT3文件系统把元数据和相关的数据块进行分组,以便把元数据写入磁盘之前写入数据块。这样,就可以减少文件内数据损坏的机会;例如,确保增大文件的任何写访问都完全受日志的保护。这是缺省的EXT3日志模式。3)写回Writeback):只对文件系统元数据的改变才被记入日志;这是在其他日志文件系统发现的方法,也是最快的模式。ReiserReiserFS是一个非常优秀的文件系统,其开发者非常有魄力,整个文件系统完全是从头设计的。目前,ReiserFS可轻松管理上百G的文件系统,这在企业级应用中非常重要。ReiserFS是根据面向对象的思想设计的,由语义层semanticlayer和存储层storagelayer组成。语义层主要是对对象命名空间的管理及对象接口的定义,以确定对象的功能。存储层主要是对磁盘空间的管理。语义层与存储层是通过键(key)联系的。语义层通过对对象名进行解析生成键,存储层基金项目863高技术研究发展计划资助项目编号作者简介:张文江,硕士研究生,主要从事操作系统的研究。吴庆波,研究员,长期从事操作系统的研究,多次参与国家重大攻关项目。通过键找到对象在磁盘上的存储空间,键值是全局唯一的。EXT3一样,ReiserFS也有三种日志模式,ordered,writeback。同时,ReiserFS引入了两种日志优化方法:copyoncapturestealoncapture。copyoncapture当一个事务要修改的块在另一个未提交的事务中时,就把这个块复制一份,这样这两个事务就可以并发进行了。stealoncapture:当一个块被多个事务修改时,只有最晚提交的那个事务才把这个块实际写入文件系统,其他事务都不写这个块。XFS是一种高性能的64位文件系统,SGI公司为了替代原有的EFS文件系统而开发。XFS通过保持cache的一致性,定位数据和处理磁盘请求分布在各个客户上来提供对文件系统数据的低延迟、高带宽的访问。XFS提供了原来在irix系统上优异的性能和管理特性,支持细粒度的访问控制和极为方便的磁盘限额Quota)。当创建XFS文件系统时,底层块设备被分割成多个大小相等的线性区域(region),件子系统,管理组内索引节点和空闲空间,透明地存在于XFS文件系统内。有了分配组,XFS代码将允许多个线程和进程持续以并行方式运行。在高端硬件上,日志经常是整个文件系统中争用最多的资源。XFS通过使用节省空间的逻辑日志记录,可以将对日志的争用降至最小。XFS还具有延迟分配的特性,通过延迟分配,XFS赢得了许多机会来优化写性能。JFSJFSIBM公司开发,最初出现在AIX操作系统之上,它提供了基于日志的字节级、面向事务的高性能文件系统。它具有可伸缩性和健壮性,与非日志文件系统相比,它的优点是其快速重启能力:JFS能够在几秒或几分钟内就把文件系统恢复到一致状态。JFS是完全64位的文件系统。所有JFS文件系统结构化字段都是64位大小。这允许JFS同时支持大文件和大分区。JFS使用基于盘区的寻址结构,连同主动的块分配策略,,以将文件中的逻辑偏移量映射成磁盘上的物理地址。JFS按需为磁盘inode动态地分配空间,同时释放不再需要的空间。这一支持避开了在文件系统创建期间,为磁盘inode保留固定数量空间的传统方法,因此用户不再需要估计文件系统包含的文件和目录最大数目。另外,这一支持使磁盘inode与固定磁盘位置分离。测试与分析测试环境内存:硬盘80G系统Redhat内核linux测试工具所用的测试工具是PostmarkBonnie++。Postmark主要用于测试文件系统在邮件系统或电子商务系统中性能,这类应

测试大文件的IO性能。测试结果及分析下面将详细分析用上述两种测试工具在各种测试参数配置下的结果。1PostMark测试小文件的结果,其参数是文件大小50B增至1K,同一目录下的文件数从5K20K,事务总数为25K。从图中我们可以看出1不论是EXT3ReiserFS,在三种日志模式中,写回writeback最快,预定ordered次之,日志journal最慢。这和我们预料中的是一样的,毕竟在journal模式中普通数据也要像元数据一样既写入日志记录又要写入文件系统,多了一次写操作;ordered模式虽然只对元数据做日志,但有个同步问题,即要在普通数据写入文件系统后才能更新元数据,故它比writeback模式要略微慢一点。2)在各种文件系统中,ReiserFS的写回和预定模式是最快的。可见ReiserFS在处理小文件时性能的确很优异,且由于其采用树形结构组织目录项,故随着文件数的增加事务处理速度下降得比较慢。(3)EXT3在文件数较少时,事务处理速度也比较快,但当文件数超过10K后,速度就比较慢了。在linux2.6内核中的EXT3虽然也使用了一种称为HTree的特殊树形结构来组织目录项,4XFSJFS的速度较慢,但随着文件数的增加,速度下降得比较缓慢。这主要是因为XFSJFS都是针对大型系统设计的,在小系统中由于硬件的原因性能很难发挥,但由于它们也是采用树形结构组织目录项,故文件数的增加对其性能影响不大。2PostMark测试大文件的结果,其参数是文件大小1K16K,同一目录下的文件数从5K增至20K,事务总数为25K时的测试结果。从图中我们可以看出1)在处理大文件时,当文件数达到15K时,各种文件系统处理能力就都很差了。2)当文件数小于10K时,ReiserFS的写回、预定模式和EXT3的写回模式性能是比较好的。但这两种文件系统的全日用的特点是:用的特点是:需要频繁大量地存取小文件。而Bonnie++主 志模式都比较差3XFS文件系统的性能居中,JFS文件系统的性能最差。虽然ReiserFS采用了性能良好的树形结构来组织目录项,但是当文件数到达15K时,就和EXT3交织在一起了,可见这时性能瓶颈不在对目录项的搜索上,可能在磁盘上。对大文件测试时,文件在磁盘上铺得更开,在随机文件的定位中磁盘的寻道时间就更长,所以事务处理速度随着文件数的增加下降很快,且文件数到达15K是各种文件系统就交织一起了,而处理小文件时文件数20K才出现这种情况。3Bonnie++对文件大小分别为1G,2G,4G顺序写的性能比较,4CPU的利用率比较。从上述两图中我们可以看出:1EXT3ReiserFSJournal模式的性能较差外其他几种模式和XFSJFS写磁盘的速率相当。2)CPU利用率来看,各种文件系统的CPU利用率都比较低,而且随着数据量的增大CPU的利用率降低。3Journal模式的CPU利用率比其他两种模式要低。从以上三点我们可以得出结论:在小系统中,对上G的大文件做I/0时,性能瓶颈在磁盘的I/O速度上,CPU利用率比较低,时间都花在等待I/O上。

58Bonnie++对创建和删除文件的性能比较,文件数由50K增至400K。从中我们可以看出:(1)不管是创建文件,还是删除文件,3和eeS的三种日志模式之间的性能差别可以忽略不计。这主要是由于创建、删除文件都是对元数据的操作,而对元数据的操作三种模式之间本身就没有什么区别。2)不管是创建文件,还是删除文件,EXT3的性能都比较差;ReiserFS的性能是最好的,特别是文件数少于100K时。(3)从U的利用率来看,除3的利用率较高外,其他几种文件系统的利用率都很低。可见其他文件系统在创建和删除文件时,大量的时间都耗在了等待磁盘O上。综上所述,我们可以得出以下结论(1)在小型系统上做邮件系统或电子商务系统应用时ReiserFSEXT3的性能是比较好的,当目录下文件较多时ReiserFS的性能更优。2)在对于上G的这种大文件做I/O时,各种文件系统间的性能差距很小,性能瓶颈往往在磁盘上。3)虽然XFSJFS在设计结构上都比较好,但它们是针对大中型系统而言的,在小型系统中由于硬件的原因性能发挥不出来。(4)全日志模式和预定、写回这两种模式相比,性能差距是比较大的;而预定和写回之间的性能差距不大。所以性能和安全兼顾时,文件系统的缺省安全模式,即预定模式是比较好的选择。结束语日志技术极大地缩短了系统的恢复时间,提高了系统的高可用性。在性能方面各种日志文件系统都有其特色,泛泛地给出哪种文件系统最优是不合适的,这要根据具体的应用环境而定。并且各种文件系统都在不断的发展中,特别是ReiserFS发展特别活跃,相信各个文件系统在推出下个版本时会有不同的提高,我们拭目以待。(收稿日期:2005年8月)参考文献DanielPhillips.Adirectoryindexforext2[C].In:5thAnnual69页计算机工程与应计算机工程与应用 1

,

!

[d(xj,Bm) (③取对数。

其中,X={x1,x2,⋯,xT}是未知的说话人的特征矢量,共有 (

T帧。

Bm是训练阶段形成的码书,表示第i个码书第m个码mj的取值相同。④作离散余弦变换。 (

字,N个码书(N个说话人),每一个码书有M个码字。则对于说话人辨识用式(15)计算第i个说话人的平均量化失D,然后用同样的方法求出{D,D,⋯,D},则最终的识别最后得到这一帧DBWPTC系数。用同样的方法得到所有

DBWPTC2DBWPTC频带划分表

结果就是Di最小者所对应的那个i,即是所辨识的那个人。实验结果实验中,20名录音人员,男女各半,录音采样率为8KHz,量化精度为8位,对于文本无关的说话人识别每人随意录音40s,其中20s用于训练,其余20s用于识别。111111122233录制的语音信号首先经过预加重滤波器Hz=1-

a对傅立叶变换而言,变换基是唯一的,没有选择最优基的问题。小波变换则不然,因为有众多的小波函数可供选择,从而使得同一信号可以在不同的变换基上展开,得到不同的展开效果。对于如何选择小波函数并无定论,通常考虑的是变换的有效性、通用性和系数的唯一性。本文在提取DBWPTC参数时,db6进行小波包变换。 矢量量化(VQ)的识别模型矢量量化VectorquantizationVQ一种很重要的数字信号处理方法。每个说话人具有不同的说话特征,可以用特定说话人语音信号的特征参数在空间的分布来描述,用VQ建立识别模型,可以大大减少数据存储量和计算量。VQ的说话人识别系统矢量量化起着双重作用[5]。在训练阶段把每一个说话者所提取的特征参数进行分类产生不同码字所组成的码书。在识别匹配阶段我们用VQ方法计算平均失真测度本文在计算距离d时,采用欧氏距离测度),从而判断说话人是谁或者判断说话人是不是所声称的人。训练的时候,LBG[6]算法,由说话人语音的训练序列聚类

为0.97。再进行端点检测,即去除不含语音信号的背景噪声和无声段,本系统采用双门限端点检测算法。然后进行分帧窗,窗函数采用Hamming窗。进行矢量量化时,码书的阶数为16。实验中每个人分别提取MFCCDBWPTC两种特征参数对于文本无关的说话人识别系统MFCC参数的识别率为80.4%,DBWPTC参数的识别率为85.4%。结论本文借鉴传统的MFCC参数的提取原理,把小波包变换应用于语音特征参数的提取,实验结果表明通过小波包变换提取的语音特征参数DBWPTC优于通过傅立叶变换提取的特征参MFCC。但用小波包提取特征参数时,识别时间较长,如果能够提高小波包变换的算法速度,将可以提高识别速度。收稿日期:20053月参考文献刘贵忠,邸双亮.小波分析及应用[M].第一版,西安:西安电子科技大学出版社1992胡昌华,李国华,刘涛等.基于MATLAB6.x的系统分析与设计—小波分析[M].第二版,西安:西安电子科技大学出版社,2004