第三章数据的组织与存储

第三章数据的组织与存储第1页，课件共63页，创作于2023年2月第三章数据的组织与存储硬盘需要经过三个步骤建立一定的数据逻辑结构才能使用，分别是：低级格式化分区高级格式化可以正常使用的硬盘可以分为5个区域，分别为：主引导记录区（MBR）DOS引导记录区（DBR）文件分配表区（FAT）文件目录表（DIR）数据区（DATA）第2页，课件共63页，创作于2023年2月3.1硬盘低级格式化低级格式化(lowlevelformat)：测试磁盘介质划分磁道制定交叉因子，间隔安排扇区为每个扇区又划分出标识部分ID、间隔区GAP和数据区DATA等对损坏的扇区和磁道做“坏”标记硬盘的低级格式化是高级格式化之前的必须工作硬盘在出厂前，已经进行了低格处理可以选用低格工具对硬盘进行处理第3页，课件共63页，创作于2023年2月3.1硬盘低级格式化何时需要进行低级格式化：新购置的硬盘或硬盘适配器因长期使用硬盘出现坏扇区合理设置交叉因子，改善硬盘数据传输速率当硬盘经常出现各种问题时第4页，课件共63页，创作于2023年2月3.1硬盘低级格式化低格，高格及快格的区别类型主要工作特点备注低级格式化介质检查；磁盘介质测试；划分磁道和扇区；对每个扇区进行编号（C/H/S）；设置交叉因子。在DOS环境或自写的汇编指令下进行，低级格式化只能整盘进行，现在硬盘出厂都是经过低格的，实际使用不到万不得已不要使用低格。低级格式化对硬盘有损伤，如果硬盘已有物理坏道，则低级格式化会更加损伤硬盘，加快报废。低格的时间漫长，比如320G硬盘低格可能需要20小时，或更多。高级格式化清除数据（写删除标记）；检查扇区；重新初始化引导信息；初始化分区表信息；可以在DOS和操作系统上进行，只能对分区操作。高级格式化只是存储数据，但如果存在坏扇区可能会导致长时间磁盘读写。使用Format命令格式化不会自动修复逻辑坏道，如果发现有坏道，最好使用SCANDISK或WINDOWS系统的磁盘检查功能进行修复或隐藏。快速格式化删除文件分配表；不检查扇区损坏情况；可在DOS和操作系统上进行，只能对分区操作。部分Linux系统没有快速格式化命令。第5页，课件共63页，创作于2023年2月3.2硬盘的分区硬盘分区就是把一个硬盘分为数个不同的分区，硬盘分区的目的是为了方便用户更合理、更有效地使用硬盘和管理数据。第6页，课件共63页，创作于2023年2月3.2硬盘的分区对硬盘进行分区的优点便于硬盘的规划，文件的管理有利于病毒的防治和数据的安全可有效利用磁盘空间提高系统运行效率便于为不同用户分配不同的权限便于安装多个操作系统便于镜像磁盘查杀病毒的速度也会快很多第7页，课件共63页，创作于2023年2月3.2硬盘的分区分区应考虑的因素根据实际需要设定分区的个数根据每个分区的应用划定分区的大小分区粒度：以柱面为粒度分区总是结束在某个柱面的最后一个扇区，也就是说，同一个柱面不会被划分到两个分区中去。这就解释了为什么实际分区大小往往比要求的分区大小要略微大一些（大容量磁盘中，几乎可以忽略不计）。第8页，课件共63页，创作于2023年2月3.2硬盘的分区扇区的三维地址和线性地址三维地址C/H/S（柱面/磁头/扇区）C:0~1024H:0~254S:1~63线性地址LBA(logicblockaddress，逻辑块地址)，从0开始线性编号C/H/S转换为LBALBA=C*255*63+H*63+(S-1)LBA转换为C/H/SC=LBADIV(255*63)H=(LBADIV63)MOD255S=LBAMOD63+1第9页，课件共63页，创作于2023年2月3.2硬盘的分区扇区的三维地址和线性地址第10页，课件共63页，创作于2023年2月3.2硬盘的分区第11页，课件共63页，创作于2023年2月3.2硬盘的分区分区工具通过FDISK命令分区利用Windows98软盘或光盘启动盘启动计算机，进入DOS提示符下。然后在DOS提示符下输入FDISK命令，按Enter键，按照提示进行操作。第12页，课件共63页，创作于2023年2月3.2硬盘的分区通过FDISK命令分区第13页，课件共63页，创作于2023年2月3.2硬盘的分区通过FDISK命令分区第14页，课件共63页，创作于2023年2月3.2硬盘的分区通过FDISK命令分区第15页，课件共63页，创作于2023年2月3.2硬盘的分区利用PartitionMagic进行无损分区PQ可以在无损数据的前提下调整分区的数量和大小。利用DiskGenius进行分区和格式化利用WindowsXP安装光盘进行分区和格式化通常情况下，需要对硬盘进行分区、格式化后才能安装操作系统，但对于Windows2000/XP/2003操作系统来说，可以借助其安装光盘，在安装过程中进行分区和格式化，而且分区、格式化界面更为直观方便。利用Windows磁盘管理工具进行分区和格式化s第16页，课件共63页，创作于2023年2月3.3硬盘的高级格式化分区后，需要构建文件系统，才能面向用户正常使用，这个过程就是逻辑磁盘的高级格式化。利用FORMAT命令进行格式化利用工具软件进行格式化在WINDOWS系统下进行格式化第17页，课件共63页，创作于2023年2月3.3硬盘的高级格式化1.FAT16FAT16格式是MS-DOS和最早期的Windows95操作系统中使用的磁盘分区格式。FAT16采用16位的文件分配表。只支持2GB容量的硬盘分区。2.FAT32其采用32位的文件分配表，对磁盘的管理能力大大增强，突破了分区容量2GB的限制，提高了磁盘的利用率。Windows98以后的操作系统都支持这种分区格式。3.NTFSNTFS(NewTechnologyFileSystem)是微软WindowsNT的标准文件系统，主要应用在Windows2000/XP/2003以及最新版的WindowsVista中。4.Ext2Ext2是Linux中使用最多的一种文件系统，它是专门为Linux设计的，拥有最快的速度和最小的CPU占用率。Ext2既可以用于标准的块设备(如硬盘)，也可以用于软盘等移动存储设备。

第18页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构磁盘片的数据结构分为5部分MBR（MainBootRecord，主引导记录）位于硬盘的0柱面、0磁头、1扇区的位置，它由分区工具产生的，MBR结束标志为55AA。其中最重要的部分是DPT，也就是分区表，DPT记录了整个硬盘的分区情况。DBR（DOSBootRecord，Dos引导记录）/OBR(OSBootRecord，操作系统引导记录)位于每一个分区的第一个扇区，它是由格式化工具产生的。DBR结束标志也是55AA其中最重要的部分是BPB（BIOSParameterBlock），也就是本分区参数记录表，记录了关于本分区的一系列重要参数。第19页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构磁盘片的数据结构分为5部分FAT（FileAllocationTable，文件分配表）FAT大小由分区大小来决定FAT记录了本分区中每个分配单元（簇）的使用情况DIR（Directory，文件目录表）当在DOS模式下输入DIR后，屏幕上显示的内容就是该区的内容记录本分区下每个文件/目录的起始位置DATA，数据区，主要负责硬盘中数据的存放，当数据写到硬盘时，数据就存储在这个区中第20页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构主引导扇区位于硬盘的0柱面0磁头1扇区（512字节），包括硬盘主引导记录MBR（MainBootRecord）和分区表DPT（DiskPartitionTable）以及结束标志55AAMBR（446字节）包含了硬盘的一系列参数和一段引导程序。DPT（64字节，最多包含4个分区表项）记录了硬盘中的分区数量，每个分区的起始及终止扇区、大小以及是否为活动分区等。每个分区表项均为16个字节分配如下:

第1字节:引导标志

第2字节:起始磁头

第3字节:低6位为起始扇区，高2位与第4字节为起始柱面

第4字节:起始柱面的低8位

第5字节:文件系统标志

第6字节:终止磁头

第7字节:低6位为该分区首扇区的相对扇区号，高2位与第8字节为终止柱面

第8字节:终止柱面的低8位

第9-12字节:第13-16字节:该分区占用的扇区数目第21页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（一）800101000BFEBFFC3F0000007E86BB00“80”是一个分区的激活标志，表示系统可引导；“010100”表示分区开始的磁头号为01，开始的扇区号为01，开始的柱面号为00；“0B”表示分区的系统类型是FAT32，比较常用的有04（FAT16）、07（NTFS）、0F（扩展分区）；“FEBFFC”表示分区结束的磁头号为254，分区结束的扇区号为63、分区结束的柱面号为764；“3F000000”（高低位互换），首扇区的扇区号为63；“7E86BB00”（高低位互换）分区总扇区数为12289662。思考：请大家验证一下起始扇区、结束扇区以及总扇区数之间的关系是否正确。该如何验证？第22页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）第23页，课件共63页，创作于2023年2月第24页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）MBR中的分区表这四个分区在分区表中如何表现呢？我们从图中可以看出分区表中只有两项内容，分别是8001010007FEFFFB3F000000BD08FA000000C1FC0FFEFFFFFC08FA002CCD0501这意味着MBR的分区表中只定义了两个分区第25页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）MBR中的分区表8001010007FEFFFB3F000000BD08FA0080表示是引导分区第2、3、4字节表示分区从0/1/1扇区开始第5字节表示分区类型，07表示NTFS分区第6、7、8字节表示分区结束在1019/254/63扇区第9、10、11、12字节，表示分区从63扇区开始第13、14、15、16字节，表示分区的扇区数为00FA08BD，换算为10进制为16386237知道了分区起始在63，大小为16386237，结束位置也就知道了63+16386237－1＝16386299。用winhex转到16386299看看，正是1019/254/63扇区。

第26页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）第27页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）MBR中的分区表0000C1FC0FFEFFFFFC08FA002CCD0501前八个字节中我们只要看第一个字节和第五个字节，知道第二个分区是扩展分区，不能引导，这就够了。其余6个字节用C/H/S表示分区的起始和结束就不用再看了，因为8G以后C/H/S已经失去作用了，第二个扩展分区结束的位置超过了8G，C/H/S肯定无法表示了，主要看看后八个字节的LBA参数就可以了扩展分区之前的扇区数是FC08FA00，高低位互换后是00FA08FC，也就是扩展分区的起始是16386300扇区扩展分区的大小是2CCD0501，高低位互换后0105CD2C再转为10进制是17157420扇区，分区结束在16386300＋17157420-1=33543719扇区。扩展分区的起点和终点都知道了，通过Winhex查询C/H/S参数，可知分区的起始是1020/0/1，结束在2087/254/63。第28页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）链式分区表第29页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）第一扩展分区的分区表第30页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）第一扩展分区的分区表从扩展分区的分区表中可以看出定义了两项分区第一项：0001C1FC07FEFFFF3F00000000823E00定义了D分区，可以知道D分区是一个NTFS分区3F000000表示D分区之前的扇区是63，注意，这表示本分区（D分区）的起始到第一个扩展分区起点的距离是63扇区，即相对的首扇区起始位置，扩展分区的分区表在16386300扇区，因此D分区的起始应该是16386300＋63＝16386363，C/H/S参数是1020/1/100823E00表示分区的大小是3E8200扇区，即D分区的结束位置在16386363+4096512（3E8200）-1=20482874，C/H/S参数是1274/254/63。第31页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）第一扩展分区的分区表从扩展分区的分区表中可以看出定义了两项分区第二项：0000C1FF05FEFFFF3F823E00ED4AC700定义的是第二个扩展分区，分区类型05表示是一个扩展分区003E823F表示第二个扩展分区的起点到第一个扩展分区起点的距离，由于第一个扩展扇区的起点是16386300，因此第二个扩展分区的起始是16386300＋4096575（3E823F）＝20482875，C/H/S参数是1275/0/1。第二个扩展分区的大小是00C74AED，所以第二个扩展分区的终点应该是20482875+13060845（C74AED）－1=33543719，C/H/S是2087/254/63。第32页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）第二扩展分区的分区表

第33页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）第二扩展分区的分区表从扩展分区的分区表中可以看出定义了两项分区第一项：0001C1FF07FEFFFF3F00000080E25D00定义了E分区，类型是NTFSE分区的起点到第二扩展分区表之间的距离是63扇区。所以E的起点是20482875＋63＝20482938，C/H/S表示为：1275/1/1E的大小是005DE280，可以计算出E的终点是20482938+6152832（5DE280）-1=26635769。C/H/S表示为1657/254/63第34页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）第二扩展分区的分区表从扩展分区的分区表中可以看出定义了两项分区第二项：0000C1FF05FEFFFFFE649C002E686900定义的是第二个扩展分区，分区类型05表示是一个扩展分区009C64FE表示的是第三个扩展分区的起点和第一个扩展分区起点之间的距离是10249470个扇区。由于第一个扩展分区的起始是16386300，因此第三个扩展分区的起始位置应该是16386300＋10249470＝26635770。用C/H/S表示是1658/0/1第三个扩展分区的大小是0069682E，因此第三个扩展分区的终点应该是26635770＋6907950（0069682E）－1＝33543719。用C/H/S表示是2087/254/63。第35页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）第三扩展分区的分区表第36页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）第三扩展分区的分区表分区表中只有一项，这是因为已经定义到最后一个分区了，因此不需要再向下定义扩展分区了最后一项0001C1FF07FEFFFF3F000000EF676900定义了F分区，第五字节07表示F分区是一个NTFS分区0000003F表示F分区和第三个扩展分区分区表的距离是63扇区，第三个扩展分区的起点是26635770，所以F分区的起始位置是26635770＋63＝26635833，C/H/S表示为1658/1/1。F分区的大小是006967EF，因此计算出F分区的终点是26635833+6907887（6967EF）-1=33543719。C/H/S表示为2087/254/63。第37页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构分区表实例（二）第38页，课件共63页，创作于2023年2月作业某硬盘的分区表如下所示：MBR分区表有两项，分别为：8001010007FEFFFB3F000000BD08FA000000C1FC0FFEFFFFFC08FA002CCD0501第一扩展分区表有两项，分别为：0001C1FC07FEFFFF3F000000823E00000000C1FF05FEFFFF3F823E00ED4AC700第二扩展分区表有两项，分别为：0001C1FF07FEFFFF3F00000080E25D000000C1FF05FEFFFFFE649C002E686900第三扩展分区表有一项：0001C1FF07FEFFFF3F000000EF676900请分析：1、该硬盘共分几区？2、每个分区是否主分区，是否可引导，是哪种文件系统？3、每个分区的起始位置和结束位置（LBA表示法和C/H/S表示法）以及每个分区的容量大小（用扇区总数表示）第39页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构DBR（DOSBootRecord，Dos引导记录）/OBR(OSBootRecord，操作系统引导记录)主要包括BPB（BIOSParameterBlock）本分区参数记录表和一个引导程序。跳转指令厂商标识、操作系统版本号BPB参数块记录着本分区的总扇区数、文件存储格式、硬盘介质描述符、根目录大小、FAT个数、分配单元（AllocationUnit，“簇”）的大小等重要参数。引导程序的主要任务是判断本分区根目录前两个文件是否为操作系统的引导文件，如是，就把第一个文件读入内存，并把控制权交予该文件。结束标志（55AA）第40页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构WINDOWS98系统下逻辑D盘的引导扇区第41页，课件共63页，创作于2023年2月偏移量字节数含义00H3跳转指令（EB3C为FAT16，EB58为FAT32）03H8操作系统名称、厂商标识和版本号0BH2每扇区字节数0DH1每簇扇区数0EH2保留扇区数（用于引导DOS等）10H1FAT个数（通常为2）11H2允许的最大根目录项数（FAT32为0）13H2扇区总数（小卷，小于32MB，FAT32为0）15H1磁介质描述符（F8H表示硬盘）16H2每FAT表所占扇区数（小卷，小于32MB，FAT32为0）18H2每磁道扇区数1AH2逻辑磁头数1CH4FAT区前的隐含扇区数20H4扇区总数（大卷，大于32MB）3.4硬盘的逻辑结构第42页，课件共63页，创作于2023年2月标识说明F8硬盘F9双面5.25"软盘（15扇区高密度）、双面3.5"软盘FAFA双面3.5"软盘、RAM虚拟盘FCFC单面5.25"软盘（9扇区/磁道）、双面8"磁盘FD双面5.25"软盘（9扇区/磁道）、FE单面8“软盘（单密度）、单面8”软盘（双密度）单面5.25"软盘（8扇区/磁道）FF双面5.25"软盘（8扇区/磁道）各类磁盘的介质描述符说明表第43页，课件共63页，创作于2023年2月偏移量字节数含义24H4每FAT表所占扇区数（大卷，大于32MB）28H2标记2AH2版本2CH4根目录的起始簇30H2文件系统信息扇区，BOOT本身占用的扇区数32H2备份引导扇区的位置34H7保留，一般为00H40H1BIOS设备（HD=8xH，第一块硬盘从80开始，依次编号至85,86为光驱）41H1未使用42H1扩展引导标记43H4序列号47H11卷标52H8文件系统3.4硬盘的逻辑结构第44页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构第45页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构FAT（FileAllocationTable，文件分配表），是DOS/Win9x系统的文件寻址系统FAT区紧接在DBR之后，一般有两个，第二FAT为第一FAT的备份FAT所占用的扇区数取决于DOS版本、分区大小、每簇的扇区数等因素，具体值查阅BPB偏移24H磁盘上的每一个簇在FAT中有且只有一个登记项，通过在对应簇号的登记项内填“表项值”来标记该簇是已占用、空闲或是坏簇三种状态之一FAT只与DATA区相对应，DBR、FAT和DIR等磁盘空间不由FAT中的簇表示第46页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构FAT每个簇号可取的表项值及其含义思考题：设一个文件的长度为4个簇，其首簇号为n1,簇号链为“n1->n4->n3->n2”，那么该文件在FAT中对应的表项值是怎样？其逻辑空间和物理存放空间的对应关系又是怎样？表项值（16位）表项值（32位）簇描述信息含义0000H00000000H未使用的簇0002H~FFEFH00000002H~FFFFFFEFH一个已分配的簇号FFF0H~FFF6HFFFFFFF0H~FFFFFFF6H保留FFF7HFFFFFFF7H坏簇FFF8H~FFFFHFFFFFFF8H~FFFFFFFFHEOF（文件结束簇）第47页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构磁盘碎片什么是碎片?文件在磁盘中不连续存储的情形，被称为产生了文件碎片碎片是怎样产生的？文件的编辑、删除等操作导致碎片产生内部碎片和外部碎片思考：磁盘空间越大，文件碎片就越少吗？簇的尺寸越小，文件碎片就越少吗？第48页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构DIR/FDT（Directory/FileDirectoryTable，文件目录表），每个目录项包含32个字节记录每个文件/目录的起始单元、文件的属性等。DIR紧接在第二FAT表之后FAT和DIR配合才能准确定位文件的位置第49页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构DIR/FDT32字节目录项详解0~7字节：文件名8~10字节：文件扩展名11字节：文件属性12字节：长文件名目录项对应的短文件名目录项的文件名和校验和13~15字节：24位的二进制文件建立时间16~17字节：16位的二进制文件建立日期18~19字节：16位的二进制文件访问日期20~21字节：文件起始簇号的高16位22~23字节：16位的文件最新修改时间24~25字节：16位的文件最新修改日期26~27字节：文件起始簇号的低16位28~31字节：32位的文件字节长度第50页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构DIR/FDT0~7文件名字节详解第一字节为00H表示目录项中的空表项，即未使用的目录项第一字节为E5H表示该目录项曾经使用过，但文件已删除一个子目录也占一个目录项，但是其文件属性值为10H，且文件长度为0文件名为2EH和2E2EH表示是子目录下的两个特殊文件“.”和“..”的目录项2EH“.”表示当前子目录，其首簇号是当前目录的起始簇号2E2EH“.”表示上一级子目录，其首簇号是上级目录的起始簇号，若上级目录为根目录，则首簇号设为0第51页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构DIR/FDT0~7文件名字节详解其他任何合法字符，均表示文件名（文件名均以大写字母表示），若有剩余字节则用空白符20H填充文件名超出8个字节的部分会被“~1”替换，若替换后有文件与之重名，则新文件的超出部分会被“~2”替换第52页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构DIR/FDT11属性字节详解低位0~5位分别是只读位、隐藏位、系统位、卷标位、子目录位和归档位00000000读写文件00000001只读文件00000010隐藏文件00000100系统文件00001000卷标00010000子目录00100000档案，只要完成了写操作并已关闭，即为档案第53页，课件共63页，创作于2023年2月3.4硬盘的逻辑结构DATA，数据区，主要负责硬盘中数据的存放，当数据复制到硬盘时，数据就存储在这个区中第54页，课件共63页，创作于2023年2月第55页，课件共63页，创作于2023年2月3.5NTFSNTFS（NewTechnologyFileSystem）是在1993年随着WindowsNT3.5发表而问世的NTFS的特点：大容量：NTFS可以支持的分区(如果采用动态磁盘则称为卷)大小可以达到2TB；良好的空间管理：相较于FAT，NTFS采用了更小的簇，可以更高效地管理磁盘空间，避免了磁盘空间的浪费；

容错性：NTFS可以对用户透明的自动检测和修复磁盘上的错误；安全性：在NTFS分区上,可以为共享资源设置详细的访问权限，包括：允许哪些组或用户对共享资源进行访问、可以进行什么级别的访问；第56页，课件共63页，创作于2023年2月3.5NTFSNTFS的特点：文件加密：使用EFS（EncryptingFileSystem）加密文件压缩：任何基于Windows的应用程序对NTFS分区上的压缩文件进行读写时不需要进行解压缩，文件关闭或保存时会再次自动进行压缩；磁盘配额管理：管理员可以为不同用