计算机科学概论（微课版）· 第4章 数据存储 · 教学课件

高等学校计算机专业核心课程精品系列教材计算机科学概论（微课版）第4章数据存储存储技术发展·文本编码·多媒体数字化·数据压缩·数据恢复2022年，长江存储被列入“实体清单”。一块小小的存储芯片，为何牵动大国博弈？本章沿打孔纸带、磁介质、光盘到半导体的发展脉络，回答“信息如何被可靠、紧凑、长久地保存下来”。IBM350上的硬盘：1956年第一块硬盘，容量5MB教材图4-7，见教材第53页LEARNINGGOALS学习目标与知识导图第4章知识结构导图（教材章首）本章学习目标❶了解数据存储技术的发展历程，掌握各类数据存储介质的基本原理；❷掌握文本数据、多媒体数据在计算机中的存储方式；❸了解数据压缩和数据恢复技术的基本原理。能力落点：以“实体清单”与长江存储为线索，把0/1的物理载体、字符编码、多媒体数字化与压缩容错串成完整链条，理解信息如何被可靠、紧凑、长久地保存。计算机科学概论（微课版）｜第4章数据存储02CONTENTS本章目录4.1数据存储技术的发展打孔纸带｜磁介质存储器｜光盘存储器｜半导体存储器4.2文本存储位与字节｜ASCII｜GB2312与大五码｜Unicode与乱码4.3多媒体存储音频：采样·量化·编码｜图像：像素与RGB｜视频：帧率与刷新率4.4数据压缩Run-Length行程编码｜Huffman变长编码与前缀规则4.5数据恢复数据副本（三副本）｜纠删码（异或运算/2+1方案）章末4.6本章小结｜4.7拓展知识：MySQL数据库｜4.8课后习题计算机科学概论（微课版）｜第4章数据存储034.1.1打孔纸带最早的数据存储介质本节导入2022年12月16日，美国政府将长江存储等36家中国科技公司列入“实体清单”。计算机中的0和1是如何存储的？又与长江存储有什么关系？——先从存储技术的前世今生说起。按一定间隔扫描纸带的每一行或每一列，约定打孔表示1、不打孔表示0，一条纸带就能表示一段由0、1组成的序列——这便是最早的数据存储介质。1725法国纺织工人巴斯·勒布乔最早发明用打孔纸带控制织布机的方法：编织针根据小孔选择是否勾起经线，从而织出图案——人类机械化信息存储形式的开端。1801法国织机工匠雅卡尔设计出人类历史上首台可设计织布机——雅卡尔织布机，对后来发展出其他可编程机器（例如计算机）起到了重要作用。1846传真机与电传电报机发明人亚历山大·贝恩将打孔纸带技术引入自己的电报机，大幅提升了工作效率。图4-1打孔纸带（教材第51页）图4-2巴斯的打孔纸带织布机（教材第51页）计算机科学概论（微课版）｜第4章数据存储044.1.1打孔纸带打孔卡片：从人口普查到IBM图4-3赫尔曼的制表机和分类机（教材第51页）1890年，德裔美国人赫尔曼·霍利里思在美国人口调查局工作期间，在打孔纸带的基础上发明了打孔卡片制表机和分类机，专门用于收集并统计人口普查数据。之后他创立制表机器公司（TabulatingMachineCompany），向全世界的人口统计局推售产品——这便是大名鼎鼎的IBM公司的前身。8年1880年人口普查耗时1年1890年人口普查耗时课堂思考：打孔卡片把“数据”变成了可以自动处理的物理对象——存储介质与自动处理相结合，让一项国家工程从8年缩短到1年。存储技术的每一次跃迁，改变的都不只是容量。计算机科学概论（微课版）｜第4章数据存储054.1.2磁介质存储器磁介质：从磁线到磁鼓打孔纸带容量有限、故障率高。0和1组成的数据被转换为不同的磁化模式进行存储——磁性材料登上存储舞台。1888美国工程师奥伯林·史密斯在英国《电气世界》杂志发表《留声机的一些可能形式》，首次提出可采用磁性介质记录声音——磁介质存储时代的开端。1898丹麦工程师波尔森将设想付诸实践，发明第一台磁线录音机：声音电信号传到磁头，产生与信号相似的磁化模式，记录到磁线中。1928德国工程师普弗勒默发明可存储模拟信号的录音磁带，标志着磁性存储时代正式开启。1932奥地利工程师陶谢克发明磁鼓存储器：金属圆柱体外表面涂铁磁记录材料，内侧大量静态磁头不寻找数据，而是等待磁扇旋转就位后读取。图4-4波尔森的磁线录音机（教材第52页）图4-5磁鼓存储器（教材第52页）计算机科学概论（微课版）｜第4章数据存储064.1.2磁介质存储器磁芯与硬盘：人类进入硬盘时代1947美国工程师菲厄第一个申请磁芯存储器专利：给磁芯绕上电线并施加电流，磁芯被永久磁化在某一方向；反向通电则磁化方向翻转——用磁化方向存0和1。1953年麻省理工学院Whirlwind1计算机等大规模应用。19569月14日，IBM发明人类历史上第一块硬盘：重量高达上百公斤、体积相当于两个冰箱，存储容量却仅有5MB——人类正式进入硬盘时代。1973IBM提出温彻斯特硬盘技术并研制出IBM3340（两个30MB存储单元）：磁头固定在可沿盘片径向运动的臂上、与盘片保持极近距离；盘片旋转+磁头径向移动，即可定位盘片任意位置读写数据。直到今天，机械硬盘在读写速度和容量上已远胜IBM3340，但仍采用磁介质存储形式与“磁头+盘片”定位方式，并无本质区别，仍是大容量数据存储的首选。图4-6磁芯存储器（教材第53页）图4-7IBM350上的硬盘图4-8IBM3340硬盘组（均见教材第53页）计算机科学概论（微课版）｜第4章数据存储074.1.3光盘存储器光盘：用“刻坑”代替磁性1965美国物理学家詹姆斯·罗素发明第一个紧凑型光盘CD（1966年提交专利申请），CD是后来CD/DVD的前身。1982索尼公司与飞利浦公司发布世界上第一部商用CD音频播放器CDP-101，光盘开始普及。1995IBM公司牵头将高容量光盘标准统一合并为DVD（数字多用途光盘），容量可达4.7GB；此后蓝光DVD与多层DVD相继登场。光盘类型代表容量备注CD（120型）700MB普通标准光盘DVD4.7GB1995年标准统一蓝光/多层25~27GB/400GB多层可达16层光盘容量的演进（据教材4.1.3整理）工作原理：不是磁性许多人以为光盘也利用磁性，事实并非如此。光盘利用的是刻坑——光盘表面有很多小坑，这样的设计会造成光的不同反射，从而表示出不同的0和1组合。计算机科学概论（微课版）｜第4章数据存储084.1.4半导体存储器晶体管：开启半导体时代一个疑问摔开U盘外壳，里面只是一块电路板：既没有磁性介质，也没有空间存放物理刻坑——它究竟如何保存动辄几十上百GB的数据？答案要从晶体管说起。1947年12月，贝尔实验室的巴丁、布拉顿在肖克利指导下发明点接触形式的双极性晶体管（BJT）——最早的半导体器件，标志着人类半导体时代的到来。三人因此被授予1956年诺贝尔物理学奖。BJT如何存储0和1？B、C、E为三个电极。当B、E间电压小于阈值：C、E截止，无电流通过→表示0；一旦B、E间电压超过阈值：C、E导通，允许电流通过→表示1。施加不同电压即可改变晶体管存储的状态——0/1第一次可以由一个电子器件直接表示和改写。图4-9U盘（教材第54页）图4-10双极性晶体管的电路（教材第54页）计算机科学概论（微课版）｜第4章数据存储094.1.4半导体存储器从MOS到闪存：固态存储之路1959阿塔拉与科恩在贝尔实验室发明MOSFET（金属-氧化物-半导体场效应晶体管）。与磁芯存储器相比，MOS存储器性能更高、成本更低、功耗更小。1965~731965年提出CMOS存储单元；1968年法金开发硅栅MOS集成电路技术；20世纪70年代初IBM将NMOS存储器商业化——MOS存储器取代磁芯存储器成为主流。1989东芝公司基于MOSFET发布NANDFlash架构，成为今天固态硬盘（SSD）的一部分。2015英特尔与美光发布3DXPoint技术：进一步提高固态硬盘读写速度、降低读写延迟，可能对未来数据存储领域带来深远影响。背景：CPU算力大幅提升，而存储访问速度偏慢，限制了CPU能力的充分利用——新型非易失性存储由此不断涌现。图4-113DXPoint（教材第55页）计算机科学概论（微课版）｜第4章数据存储104.1.4半导体存储器中国力量：长江存储的五年跨越中国半导体存储器行业2022年行业市场规模约4607.2亿元，产值约1905.58亿元。其中DRAM占比最重，为57.77%；其次为NANDFlash，占比40.21%。半导体存储器是信息技术的基础，广泛用于消费电子、通信、工业控制、汽车电子等领域。半导体技术被誉为现代工业的基石，对国家发展和国际竞争力至关重要。2014长江存储3DNAND闪存项目正式启动。20167月，长江存储成立于湖北武汉；启动第一期工厂。2017第一代3DNAND实现首次流片，同年10月成功制造出中国首款3DNAND闪存。2018第二代3DNAND首次流片；Xtacking架构获全球闪存峰会“最佳展示”奖。2019第二代32层3DNAND实现量产，开始供货华为Mate40手机。2020第三代96层TLC/QLC3DNAND研发成功，推出致钛品牌消费级SSD。2021跳过128层、直接发布232层3DNAND，被美国评测机构评为全球最快的闪存芯片。回应节首：五年实现从追赶到领先的跨越——这正是长江存储被列入“实体清单”的产业背景。计算机科学概论（微课版）｜第4章数据存储114.2.1位与字节位与字节：存储的基本单位本节导入打开一个文件，内容却变成一堆“乱码”——这与文本在计算机中的存储方式息息相关。学完本节，你就能弄清原因并解决这个问题。位（bit）：信息的最小单位一个0或一个1构成一个二进制位（bit）。位是信息的最小单位，在香农著名论文《通信的数学理论》第一页中被首次提及。一个位可表示：正负关系、开关两态、晶体管通断、导线电压有无、逻辑上的是否。字节（Byte）：多个位的组合现实中的数据大多无法用一个位表示，需要多个位的组合——字节（Byte，B）。字节大小曾取决于硬件：早期编码常用6位字节，20世纪60年代常用6位或9位；为与2的幂对齐，如今的字节定义为8位。相邻存储容量单位相差210=1024倍：1KB=1024B1MB=1024KB1GB=1024MB1TB=1024GB图4-12乱码（教材第56页）图4-13位与字节（教材第56页）计算机科学概论（微课版）｜第4章数据存储124.2.2英文编码：ASCIIASCII：单字节的英文字符方案英文字母等字符数据也需要以某种规则存储在字节中，这种规则称为编码。不同的计算机要互相通信而不混乱，就必须使用相同的编码规则。谁定的、什么时候定的1963年，美国国家标准学会（ANSI）提出ASCII（美国信息交换标准代码），成为事实上的英文字符编码标准。编码规则ASCII规定了一套使用单字节表示字符的编码方案，每个字符对应一个字节。覆盖范围：所有大小写英文字母、阿拉伯数字、英文标点符号和一些控制字符等——英文世界的全部书写符号尽收其中，但对汉字无能为力。图4-14ASCII表（教材第57页）计算机科学概论（微课版）｜第4章数据存储134.2.3汉字编码：GB2312和大五码GB2312：两字节的区位码1980年，国家标准总局发布GB2312字符集，共收录6767个汉字，覆盖了99.75%的汉字使用频率，基本满足了计算机对汉字的处理需求。区位码方案：GB2312用两个字节存储一个汉字——所有字符分为94个分区，每个分区含94个字符；字符的“区码”和“位码”各占一个字节。分区字符数内容01~09区682特殊符号、数字、英文字符、制表符等全角字符（拉丁、希腊、日文假名、俄文西里尔字母等）10~15区—空区，留待扩展16~55区3755常用汉字（一级汉字），按拼音排序56~87区3008非常用汉字（二级汉字），按部首/笔画排序88~94区—空区，留待扩展GB2312各分区存储的字符（据教材4.2.3整理）大五码：为满足繁体中文存储需求，1983年提出，共收录13060个汉字，同样使用两字节存储一个汉字、采用分区编码方案。计算机科学概论（微课版）｜第4章数据存储144.2.4统一编码：UnicodeUnicode：全球文字的统一编码GB2312和大五码解决了汉字存储，但世界各国有各自的文字与编码。为便于全球交流、免去安装多个编码方案来回切换的麻烦，需要一套兼容全球所有文字的统一编码方案。Unicode联盟1991年，由Adobe、苹果、惠普、IBM、微软、施乐等公司组成的Unicode联盟发布了Unicode编码。收录规模字符总数已达149186个，涵盖全球几乎所有文字，甚至包括网上聊天使用的emoji表情，成为全球计算机用户无障碍沟通的“桥梁”。图4-15部分emoji的Unicode编码（教材第58页）动手一试：Windows10微软拼音输入法中文模式下，先输入“VUC”，再输入笑脸符号的Unicode编码“1F601”，即可输入该符号（图4-16）。计算机科学概论（微课版）｜第4章数据存储154.2.4统一编码：Unicode乱码之谜：编码方案不一致成因：汉字的存储方式不唯一（GB2312、大五码、Unicode……），同一汉字在不同编码方案中对应的字节内容不一样。编辑文本时必须指定编码方案，阅读时也必须用相同编码打开——前后两步编码不一致，就会产生乱码。第一步：用GB2312写入图4-17在GB2312编码方式下输入中文文本（教材第58页）第二步：换UTF-8打开→乱码图4-18在UTF-8编码方式下打开上述中文文本（教材第58页）还原真相：4.2节开头的“乱码”文件，正是用GB2312保存、却用UTF-8打开的效果。若改用GB2312打开即可正常显示（图4-19）。注意：在简体中文Windows的记事本中，“ANSI”编码实际代表GB2312。计算机科学概论（微课版）｜第4章数据存储164.3.1音频存储音频：采样·量化·编码本节导入元宇宙里逼真的鸟鸣、虚拟电影的对白、艺术展的数字作品——音频、图像、视频等多媒体元素如何被精心捕捉、存储和处理？先看声音。两个概念：模拟信号与数字信号模拟信号：随时间连续变化，日常听到的声音都是模拟信号，可用一段连续曲线表示；数字信号：随时间变化且是离散的，一段时间内的值要么是0、要么是1。连续信号含无穷多个点，必须离散化才能用0、1序列表示。图4-20模拟信号和数字信号（教材第59页）①采样：在时间轴上切割，用一个时间点的幅度值代表该间隔——横轴离散、纵轴仍连续。②量化：将连续幅度“四舍五入”到等间隔的整幅度值上。③编码：量化数据用二进制0、1组合记录（如MP3格式），得到可存储的字节文件。图4-21音频的存储过程（教材第60页）计算机科学概论（微课版）｜第4章数据存储174.3.2图像存储图像：像素、位图与RGB像素与位图把图片不断放大，就会发现它由若干个不同颜色的小正方形组合而成——这些小正方形称为像素，这种用像素存储图片的方法称为位图。RGB：三原色各一个字节红、绿、蓝为三原色，不同比例可组合出任何颜色。每种原色用一字节存储强度：0最小、255最大，记作RGB(R,G,B)。一个像素=3种原色×1字节=3字节（24位）的颜色信息。黑色白色纯红色纯黄色RGB(0,0,0)RGB(255,255,255)RGB(255,0,0)RGB(255,255,0)常见颜色的RGB表示（教材第61页）图4-22位图（教材第61页）图4-23常见颜色的RGB（教材第61页）计算机科学概论（微课版）｜第4章数据存储184.3.2图像存储分辨率：像素个数决定清晰度分辨率=屏幕所显示的像素个数。如1920px×1080px表示x轴方向显示1920个像素、y轴方向显示1080个像素——显示器所显示的全部内容其实也是一张位图。分辨率越高，像素点越多、颜色信息越丰富，图像就越清晰。1080P1920px×1080px2K2560px×1440px4K3840px×2160px今天家用显示器的常见分辨率规格图4-25不同分辨率的图像差别（教材第62页）：像素越少，马赛克越明显计算机科学概论（微课版）｜第4章数据存储194.3.3视频存储视频：帧率与刷新率延时摄影的启示三脚架固定相机每隔10秒拍一张照片，快速翻动就像在看视频——视频的存储方式正是如此：存储一系列图像（帧）和对应的音频，播放时以一定频率连续显示。帧率：每秒显示的图像数量无论电子游戏还是视频，帧率都指每秒内显示的图像数量。电影的帧率通常为24帧，即以每秒24张图像的频率存储和播放。帧率越高，相邻两张图像内容越接近，画面越连续；帧率越低，相邻图像时间跨度越大，画面更“卡”。刷新率：显示器的帧率显示器也以一定帧率显示画面，称为刷新率。常见规格有60Hz、144Hz、240Hz，高于60Hz的称为高刷新率显示器。流畅体验需要软硬件配合：硬件上用高刷新率显示器；软件上靠高性能CPU、内存、显卡、硬盘与系统优化让应用跑出高帧率。显示器刷新率高而应用帧率低，高刷新率无法发挥；应用帧率高而刷新率低，刷新率便成为瓶颈。图4-2624帧、30帧、60帧观感对比（教材第62页）计算机科学概论（微课版）｜第4章数据存储204.4.1Run-Length编码数据压缩与行程编码本节导入用Bandizip将百度百科“计算机”词条页面压缩为.zip：原始大小1517657字节，压缩后仅227046字节——只有原来的15%。多余的数据“消失”到哪里去了？思路：连续重复，只记“个数+类型”黑白位图某一行有62个白色像素、5个黑色像素，逐点保存需67个字符。对每个连续相同片段只保存{像素点个数,像素点类型}两个信息，即可大幅节省空间——这种压缩连续、重复元素的方法称为Run-Length编码（实际图片用RGB字节存储，原理相同）。原始（67字符）：WWWWWWWWWWWWBWWWWWWWWWWWWBBBWWWWWWWWWWWWWWWWWWWWWWWWBWWWWWWWWWWWWWW压缩（18字符）：12W1B12W3B24W1B14W图4-28包含百度百科“计算机”词条页面的压缩包（教材第63页）适用场景数据中包含大量连续、重复的元素时效果最好，例如大面积纯色背景的图像。若数据不存在重复特征，则需换一个思路——见下页Huffman编码。计算机科学概论（微课版）｜第4章数据存储214.4.2Huffman编码变长编码与前缀规则更多数据没有“连续重复”特征，但部分字符会高频、分散出现。1952年，美国计算机科学家大卫·哈夫曼据此发明Huffman编码：高频字符配短码字，低频字符配长码字。以串“247242824”为例：码字00011011字符2478表4-1朴素编码的码表字符2478次数4311表4-2字符及出现次数码字010110111字符2478表4-3Huffman编码的码表（均见教材第64页）①ASCII存储：8×9=72位→②朴素定长编码（每字符2位）：“000110000100110001”，18位→③Huffman编码：“0101100100111010”，仅16位，比朴素编码再省2位。前缀规则：任何一个码字不能是其他任何码字的前缀定长变变长后，解码必须能区分码字边界：定义“2”的码字为“0”后，其余码字都只能以“1”开头；定义“4”的码字为“10”后，其余码字以“11”开头……解码时从左到右依次遍历，第一个匹配到的码字就是目标码字。Huffman编码已成为包括ZIP在内的多种压缩算法的基本步骤。本质：数据没有凭空消失——压缩是把重复出现的元素换种方式组织表示，减少信息的冗余程度；毫无冗余的数据无法被压缩。计算机科学概论（微课版）｜第4章数据存储224.5数据恢复三副本与纠删码：用冗余换可靠硬盘故障是常有的事，U盘、移动硬盘也可能遗失。如何防止数据丢失？比较两种思路：直接存副本与存编码生成的冗余。4.5.1数据副本：三副本存储数据中心最常用的副本方案：位串“0101”“1001”同时保存到磁盘A、B、C。即使任意2个磁盘故障，仍可从第三个磁盘读出数据。数据冗余度=总占用÷有效数据=3。图4-29三副本存储（教材第65页）4.5.2纠删码：2+1方案利用异或交换律：若A⊕B=C，则任两个数异或即得第三个数。磁盘A、B存原始位串，磁盘C存异或结果0101⊕1001=1100——任一磁盘故障均可恢复。数据冗余度=3/2=1.5，比三副本降低一半。图4-302+1纠删码（教材第66页）对比：纠删码不存原始数据副本，而是存编码运算生成的冗余数据，冗余量自然更少。除异或编码外，常用纠删码还有里德·所罗门编码（Reed-Solomon）、低密度奇偶校验（LDPC）编码等，广泛应用于数据存储领域。计算机科学概论（微课版）｜第4章数据存储234.6本章小结小结：信息如何被保存下来01存储介质：从打孔纸带到半导体打孔纸带→磁介质（磁线/磁鼓/磁芯/硬盘）→光盘（刻坑反射）→半导体（BJT→MOS→NAND闪存），容量与速度实现数量级跃升。