大数据分析导论 课件 第3章 数据载体：计算机系统与数据的表示

第3章数据载体

计算机系统与数据的表示大数据分析导论冯·诺依曼架构冯·诺依曼架构的起源、特征与演进数据的表示方法数值、字符的编码与表示规范学习目标理解冯·诺依曼架构的核心思想和硬件组成认识现代计算体系的优化方向掌握数值数据的二进制表示方法了解西文与汉字的编码标准目

录大数据分析导论多核CPU、GPU与存储层次结构3.1.1冯·诺依曼架构的起源与特征1.从"硬连线"到"存储程序"大数据分析导论·第3章·3/1053.1冯诺依曼架构3.2

数据的表示方法早期计算机的运行逻辑

计算机发展早期程序执行依赖“硬连线”，通过物理接线与开关设置决定计算任务。硬连线模式的核心问题

每更换计算任务，都需要重新插拔线路、调整开关，操作成本极高。硬连线模式的应用缺陷

任务切换过程繁琐复杂，操作中极易出现错误，限制了计算机的使用效率。冯·诺依曼的革命性思想(1945年的历史转折)数学家、物理学家约翰·冯·诺依曼（JohnvonNeumann）在《EDVAC报告初稿》中提出了"存储程序"的革命性概念：核心思想将程序与数据以二进制形式存储在同一个存储器中计算机可以像读取数据一样读取程序指令按照指令序列自动、高效地执行任务历史意义这一思想奠定了现代计算机的架构基础，至今仍是绝大多数计算机系统的理论核心。大数据分析导论·第3章·4/1053.1冯诺依曼架构3.2

数据的表示方法2.计算机系统的硬件构成冯·诺依曼架构将计算机划分为五个核心部件，它们协同工作，完成数据的输入、处理、存储和输出。图3-1冯·诺依曼型计算机基本结构运算器执行算术与逻辑运算控制器获取、分析并执行指令存储器保存程序、数据与结果输入设备将外部信息转为二进制输出设备将结果以可感知形式输出大数据分析导论·第3章·5/1053.1冯诺依曼架构3.2

数据的表示方法（1）运算器对取自存储器或其内部寄存器的数据进行算术或逻辑运算其结果暂存在内部寄存器或送到存储器性能指标字长计算机运算部件一次能同时处理的二进制数据的位数字长越长，计算机的运算精度和速度就越高运算速度通常用MIPS（MillionInstructionsperSecond，百万次/秒）来表示即每秒钟所能执行加法指令的数目，能直观地反映机器的运算能力大数据分析导论·第3章·6/105运算器（ArithmeticandLogicUnit，ALU），负责执行二进制位的算术运算与逻辑运算，也称其为算术逻辑部件。3.1冯诺依曼架构3.2

数据的表示方法（2）控制器控制器（ControlUnit，CU）负责：获取指令从内存获取指令分析译码分析译码指令内容协调工作指挥各部件协调工作大数据分析导论·第3章·7/1053.1冯诺依曼架构3.2

数据的表示方法CPU：运算器与控制器的统一体CPU的组成运算器和控制器一起组成了中央处理单元（CPU，CentralProcessingUnit）核心地位CPU是计算机的核心部件性能决定性中央处理单元的性能决定着整个计算机系统的性能3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·8/105（3）存储器存储器用于保存：程序数据运算结果分类存储器按功能分为两大类：内存储器与外存储器3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·9/105①内存储器（主存）内存储器，简称为内存或主存，是计算机的数据交换中心。主要功能接收输入数据为CPU提供指令与运算数据暂存运算结果及待输出信息关键指标内存的存取速度和容量是衡量计算机处理能力的关键指标特点存取速度快体积小集成度高3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·10/105内存的两种类型只读存储器（ROM，ReadOnlyMemory）数据只能被读出，不能被用户随意修改断电后信息仍能保留随机存取存储器（RAM，RandomAccessMemory）允许用户随时读出和写入数据断电后数据会丢失用于临时存放正在运行的程序3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·11/105

定义与特点容量大可永久存储数据

工作方式通常不直接与CPU交换数据，其信息需先调入内存才能被CPU处理。

常见设备硬盘固态硬盘（SolidStateDrive,SSD）②外存储器（辅助存储器）3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·12/105计算机主机的构成运算器执行算术与逻辑运算（ALU）控制器获取、分析并执行指令（CU）内存储器数据交换中心（主存）3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·13/105（4）输入设备输入设备是人与计算机交互的主要接口，负责：将外部信息（例如键盘、鼠标、传感器数据等）转换为计算机可识别的二进制数据并送入存储器3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·14/105（5）输出设备输出设备负责：将计算机的处理结果以人们能够感知和识别的形式输出常见输出形式通过显示器显示打印机打印3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·15/105外存的双重身份核心功能实现数据的长期记忆与存储物理结构中的身份在实际的物理结构与系统管理中它不像主存储器那样直接与CPU交换数据而是通过输入/输出（I/O）接口与计算机相连结论：从物理连接的角度看，它既是输入设备，又是输出设备。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·16/1053.冯·诺依曼架构的核心特征（1）存储程序和程序控制这是现代计算机自动化运行的基石核心机制指令与数据被无差别地存储在同一个存储器中二者地位同等，采用统一的寻址方式工作原理计算机在工作时，由控制器：按程序指令的存放顺序逐条取出并执行除非遇到跳转指令，否则顺序执行意义实现了计算过程的自动化与灵活性3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·17/105（2）二进制表示在计算机内部，无论是复杂的程序指令还是原始的数据信息，均采用二进制编码进行表示、存储和运算。优点一极大地简化了底层硬件的设计优点二提高了计算的可靠性3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·18/1053.1.2多核CPU、GPU与存储层次结构随着数据规模从GB级向PB级跃迁，传统的单核处理模式与单一存储结构已难以应对复杂的智能计算任务。为了实现数据处理效能的指数级提升，现代计算体系在计算核心的设计与存储路径的优化上进行了深入的技术演进。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·19/1051.冯·诺依曼瓶颈传统的冯·诺依曼架构通常采用单总线结构，即中央处理器（CPU）与内存之间仅通过一条共享通道来传输指令和数据。这种设计虽然简洁，却产生了一个固有的局限性。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·20/105"冯·诺依曼瓶颈"的根本矛盾3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·21/105速度不匹配导致的资源浪费CPU与内存速度的失衡CPU的运算速度提升远快于内存的读写速度这导致高速CPU常常处于等待低速内存传输数据的"空闲"状态造成了严重的资源浪费大数据处理的挑战面对PB级甚至更高级别的海量数据传统的冯·诺依曼架构难以支撑高性能计算对数据吞吐量的极端要求3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·22/105现代计算体系的应对方案3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·23/1052.存储层次结构处理器高速运算

与

存储器低速访问之间的矛盾而设计的核心理念：局部性原理程序在执行期间倾向于在较短时间内集中访问一小部分指令和数据主要解决：3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·24/105存储层次结构的优化机制"热数据"优化策略将这部分"热数据"放置在：速度更快更靠近CPU的存储介质中就能有效减少：CPU因等待数据而产生的空闲时间从而显著提升系统的整体性能3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·25/105计算机系统存储层次结构3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·26/105寄存器（Registers）寄存器位于层次结构的顶端：位置直接集成在CPU内部工作频率与CPU同频工作速度与容量速度最快但容量极小（通常仅几百字节）功能用于暂存当前正在执行的指令与参与运算的操作数3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·27/105高速缓存（Cache）高速缓存位于CPU与主存之间，通常分为三级：L1、L2、L3由速度较快的静态随机存取存储器（StaticRandomAccessMemory，SRAM）构成功能存放CPU近期可能重复使用的指令与数据副本减少对主存的访问次数3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·28/105主存储器（内存）主存储器即内存，由动态随机存取存储器（DynamicRandomAccessMemory，DRAM）构成。地位与功能是CPU可直接寻址的最大存储空间所有处于运行状态的程序及其处理的数据均须先载入内存，方能被CPU访问3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·29/105本地二级存储器本地二级存储器主要指各类本地辅助存储设备：固态硬盘（SolidStateDrive，SSD）机械硬盘容量容量大成本成本低持久性非易失性，断电后可长期保存数据3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·30/105远程二级存储器远程二级存储器涵盖：云盘分布式文件系统远程服务器容量存储容量可近乎无限扩展速度限制访问速度受限于网络带宽和通信延迟层级地位是三层存储架构中最慢的一层3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·31/105现代大数据的存储策略3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·32/1053.从单核到多核的并行计算技术背景为了突破单核处理器的性能极限，多核处理器（Multi-coreProcessor）技术应运而生。硬件创新多核处理器将两个或更多个独立的计算核心集成在同一块芯片上，使每个核心都能独立执行指令，从而实现了真正意义上的硬件级并行处理。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·33/105多核架构在大数据处理中的优势①并行处理能力能够将大型、复杂的数据分析任务拆分为多个子任务并分配给不同的核心同步执行这种"分而治之"的模式大幅缩短了数据运算的总耗时②高任务并发性系统可以同时调度多个独立的数据分析任务显著提升了单位时间内的信息处理总量③智能负载均衡系统能根据任务的轻重缓急，动态地在各核心间分配计算资源避免了单个核心过度负荷确保了整体计算资源的高效利用3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·34/1054.GPU原始核心任务将计算机中的数字数据转换为显示器可识别的图像信号负责图形渲染、像素填充、几何变换等与图形显示密切相关的计算工作GPU（GraphicsProcessingUnit，图形处理器），是一种专门设计用于高速处理图像和图形相关运算的微处理器。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·35/105GPU的天然并行特性由于图形处理本身具有高度的并行性：屏幕上数以百万计的像素点往往需要同时进行相似的运算结果：GPU在硬件架构上一开始就天然具备大规模并行计算的能力3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·36/105GPU的技术演进从专用硬件到通用计算引擎随着大数据与人工智能技术的兴起：GPU所擅长的并行计算能力恰好与深度学习等领域的计算需求高度契合使其逐步从专用的图形渲染硬件演变为大数据分析与人工智能领域的核心算力引擎3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·37/105GPU与CPU的设计理念差异设计哲学的对比CPU的设计理念追求极高单核主频强化复杂逻辑控制GPU的设计理念"高通量并行计算"3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·38/105GPU的硬件架构特点CPUGPU3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·39/105CPU与GPU的协同工作模式异构计算：相互补充的关系在高性能计算场景下，CPU与GPU并非替代关系，而是通过异构计算模式协同工作：CPU负责数据读取、任务调度、逻辑控制等指挥工作GPU负责大规模矩阵运算、神经网络训练等计算工作现状：这种异构计算模式，已成为现代大数据分析和人工智能系统的标准配置。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·40/1053.1.3计算维度的演进随着技术不断演进，不同时代对计算资源的需求也呈现出截然不同的特征：从早期以字节为单位的存储到大数据时代以PB级别衡量的海量数据再到大模型时代以亿为单位的参数规模深刻含义：每一次跃迁，都意味着计算需求的根本性转变3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·41/105计算维度演进的对比从存储规模、处理对象、计算需求三个维度对比：表3-1计算维度的演进维度基础单位大数据单位大模型单位存储/规模Byte（字节）PB/ZB（海量存储）B（Billion，参数量）处理对象Bit（0/1）Record（数据记录）Token（词元）计算需求Cycle（时钟周期）IOPS（每秒读写次数）FLOPS（每秒浮点运算量）3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·42/105在冯·诺依曼架构中，无论是程序指令还是待处理的数据，最终都以二进制形式存储在存储器中。然而，现实世界中的信息形态多样，涵盖了数值、文本、图像及音频等。本节主要讨论数值数据与字符在计算机内部的编码表示。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·43/1053.2.1数值数据的表示对于数值型数据，数据有正负和小数之分，因此必须解决数符、小数点在计算机内部的表示问题。3.1冯诺依曼架构3.2

数据的表示方法1.机器数2.原码、反码与补码大数据分析导论·第3章·44/1051.机器数在现实生活中使用的带有正负号、小数点的数值称为真值。为了实现从真值到机器数的转换，需要解决：符号的数字化小数点位置的数字化而真值在计算机内部的二进制表示形式，则称为机器数。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·45/105机器数的三个特点（1）机器数有固定的位数超过这个范围就会产生"溢出"例如，一个8位的机器数，所能表示的无符号整数的最大值是全"1"：11111111即十进制数255，如果超过这个值，就会产生"溢出"3.1冯诺依曼架构3.2

数据的表示方法由于计算机设备的限制和操作上的便利，机器数所表示的数受到固定位数的限制，具有一定的范围。大数据分析导论·第3章·46/105（2）机器数把符号数字化机器数中规定的符号位（一般是最高位）取0或1，分别表示其值的正或负：0表示正数1表示负数具体示例一个8位机器数，其最高位是符号位：对于00101110——其真值为十进制数+46对于10010011——其真值为十进制数-193.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·47/105（3）机器数采用定点和浮点表示小数点的位置定点表示法：将小数点的位置固定在二进制数的某一位置，可分为：①定点纯小数小数点固定在符号位之后、数值部分最高位之前②定点整数小数点固定在数值部分最低位之后3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·48/105浮点表示法浮点表示法是指表示一个数时，其小数点的位置是浮动（可变）的，是科学记数法在计算机中的具体实现。特点定点表示浮点表示小数点位置固定浮动表示范围较小大运算规则简单复杂运算速度较快相对较慢3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·49/1052.原码、反码与补码为了在计算机内部实现高效的算术运算，需要将带有符号的数值转化为特定的机器数。根据处理符号位和数值位的规则不同，产生了原码、反码和补码三种表示形式。原码最直观的表示方法反码求补码的中间过渡补码计算机实际使用的编码3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·50/105（1）原码原码是最直观的表示方法。整数X的原码表示是：符号位用"0"表示正，"1"表示负其数值部分是该数的绝对值的二进制表示[X]原=0X

X≥0

1|X|X≤0+7的原码：00000111+0的原码：000000003.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·51/105原码的范围与问题一个八位的二进制表示的机器数原码表示范围是：-127~127(11111111~01111111)0的二义性问题在原码表示中，0有两种表示方法（+0和-0）3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·52/105原码运算的缺陷设X=+6

[X]原=00000110设Y=-3[Y]原=10000011计算X+Y=+6+(-3)=6-3=3原码相加结果00000110+10000011────────10001001结果为-9（错误！应为+3）实际上计算机中并不用这种方法存储有符号数。因为机器数在进行运算时，若将符号位和数值位同时参与运算，则会得出错误的结果。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·53/105原码相减的错误00000110-10000011────────10000011结果为-3（错误！应为+9）为了运算方便，计算机中引入了反码和补码的概念，将加减法运算统一转换为补码的加法运算。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·54/105（2）反码反码是求补码的中间过渡。正数的反码与原码相同负数的反码是在其原码的基础上符号位保持不变，其余各位（数值位）取反[X]反=0XX≥0;

1|X̄|X≤0+7的反码：00000111+0的反码：000000003.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·55/105反码的范围与问题一个八位的二进制表示的机器数，反码表示数的范围：-127~1270的二义性问题：在反码表示中，0仍有两种表示方法3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·56/105（3）补码正数的补码与原码相同负数的补码是在其反码的基础上末位加1[X]补

=0X

X≥0

1|X̄|+1X≤0+7的补码：00000111-7的补码：11111001+0的补码：00000000-0的补码：000000003.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·57/105补码的优势：0的唯一性解决0的二义性补码表示中，0有唯一的表示形式：[+0]=[-0]=00000000扩展表示范围可以用多出来的编码10000000来扩展补码的表示范围值为-128：最高位1即可看作符号位负数又可表示为数值对于一个八位的二进制表示的机器数，补码表示数的范围：-128~1273.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·58/105例3-1：利用补码进行（+6）+（-6）运算设X=+6[X]原=00000110[X]补=00000110设Y=-6[Y]原=10000110[Y]补=11111010

00000110(+6的补码)+11111010(-6的补码)

────────────

100000000(0的补码)最高位的进位自然丢弃，补码运算将加减法统一为加法，极大简化了硬件设计。溢出丢弃3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·59/105例3-2：利用补码进行（+6）+（-3）运算设X=+6[X]原=00000110[X]补=00000110设Y=-3[Y]原=10000011[Y]补=11111101

00000110(+6的补码)+11111101(-3的补码)-----------

100000011(+3的补码)3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·60/105补码运算的优势总结利用补码可以很方便地实现正、负数的加法运算：运算规则简单规则简单，易于硬件实现。符号位参与运算在数的有效存放范围内，符号位如同数值一样参与运算，允许自然丢弃最高位的进位。结果正确性运算结果即为正确结果的补码表示。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·61/1053.2.2西文字符与汉字的编码由于计算机仅能识别"0"和"1"，所有非数值型信息，包括：西文字母标点符号复杂的汉字字符都必须按照统一的规则转换成特定的二进制序列，这一过程即为字符编码。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·62/1051.ASCII码ASCII码，即AmericanStandardCodeforInformationInterchange（美国信息交换标准代码），是对西文字符的一种编码规范。最初是美国国家标准1967年被国际标准化组织（ISO）定为国际标准ASCII码采用1字节编码，编码范围是：0～127（标准ASCII码）128～255（扩充ASCII码）共计最多可表示256个不同字符3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·63/105（1）标准ASCII码编码范围与位数在ASCII码中，二进制最高位为0的编码称为标准ASCII码，其编码范围是：十进制0至127，即标准ASCII码有128组编码。存储方式标准ASCII码只需7位二进制进行编码，所以又称为"7位字符编码"。字节存储的补齐方式在实际存储时，由于存储器是按字节作为最小单位来组织的，7位编码仍然需要占1字节的存储空间，必须在编码前补一个二进制0成为1字节。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·64/105表3-2标准ASCII码3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·65/105ASCII码的编码规律与应用统一编码的优势这样，英文中的每一个字符都有一个固定的编码，保存字符时只需保存它的ASCII码即可。ASCII码表的组成ASCII码表中包括：33个控制符编码（00H～1FH，7FH）95个可显字符编码（20H～7EH）字符大小顺序的规律ASCII码确定了西文字符的大小顺序：小写字母大于大写字母其大小顺序与字母的字典顺序一致记忆技巧只要记住字母"A""a"和数字"0"的ASCII码，就容易推算出所有英文大、小写字母和数字的ASCII码。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·66/105（2）扩充ASCII码编码范围与可变性扩充ASCII码的二进制最高位为1，其范围为128至255。扩充ASCII码也是128个，虽然这些代码也有国际标准，但它们是可变字符。国家定制的编码各国都利用扩充ASCII码来定义自己国家的文字代码。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·67/1052.汉字编码ASCII码只对英文字母、数字和标点符号等进行了编码。为了用计算机处理汉字，同样需要对汉字进行编码。由于汉字数量庞大、字形复杂，其编码远比西文复杂。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·68/105汉字编码的三个层次在一个汉字处理系统中，输入、内部处理、输出对汉字编码的要求不尽相同，因此需要分别设计：汉字的输入码用于将汉字输入计算机的代码，也称外码。汉字的机内码计算机内部存储、处理和传输汉字时所用的代码。汉字的字形码用于解决汉字显示和打印问题而设计的编码。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·69/105（1）输入码定义输入码指用于将汉字输入计算机的代码，也称外码。基本要求一般来说，汉字输入码应具有：单一性方便性高速性可靠性常用的汉字输入编码常用的汉字输入编码有：数字编码字音编码字形编码3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·70/105①数字编码定义与方法数字编码，是将汉字按照特定的规则映射到数字上的一种编码方法。应用场景多用于特殊行业或早期的移动设备。典型代表：区位码其典型代表就是区位码，它通过等长的数字串为汉字逐一编号，以这个编码作为汉字的输入码。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·71/105区位码的特点与标准化优点规则简单、唯一易于和汉字的内部码转换缺点难于记忆标准化基础尽管存在记忆难度，但其逻辑的严密性使得数字编码成为了标准化的核心。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·72/105GB2312-80汉字区位码表的结构区位码的组织方式该标准基于区位码设计，将汉字表分为94个区，每个区对应94个位，每个位置就放一个字符（包括汉字，符号，数字等）。区位码的定义这样每个字符的区号和位号组合起来就成为该汉字的区位码。表示方法区位码一般用十进制来表示。具体示例例如，"啊"字位于16区01位，它的区位码就是1601。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·73/105区位码的计算机内部存储字节存储方式为了处理与存储的方便，每个汉字的区号和位号在计算机内部分别用1字节来表示。汉字编码的基础区位码是所有汉字编码的基础，但由于缺乏规律性，直接将其作为输入码的记忆负担极大。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·74/105表3-3GB2312-80汉字区位码3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·75/105②字音编码字音编码是以汉字读音为基础的一种编码。常用的有：全拼双拼等特点优点缺点学习难度简单易学-思维习惯符合人的思维习惯-重码率-重码率较高3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·76/105③字形编码字形编码是根据汉字字形（如笔画、部首、字根等）的一种编码。具体代表如五笔字型码、表形码等。通过拆分偏旁部首编码。特点对比特点优点缺点录入速度速度快-学习成本-学习成本高3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·77/105非编码输入方式如：手写板输入光学字符识别输入语音输入等均是模式识别输入方式，这些方法大大方便了汉字的输入操作。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·78/105（2）交换码定义与用途交换码是指不同汉字处理系统之间交换信息时统一使用的编码标准。我国规定我国规定将GB2312-80中的国标码作为汉字信息交换的法定编码。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·79/105国标交换码的由来区位码存在的问题由于区位码的编码空间与通信控制码（00H～1FH）重叠，无法直接用于通信。国际标准的规定因此，ISO2022规定每个汉字的区号和位号均须加上32（20H），以避开控制码区间。新编码的名称转换后得到的编码称之为国标交换码，简称国标码。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·80/105国标码的表示与计算国标码通常用十六进制表示。例如，"啊"字的区位码（1601）的十六进制表示为1001H，则其国标码为3021H。区号计算16+32=48，即30H位号计算01+32=33，即21H国标码结果3021H一个汉字的国标码占用2字节，每个字节的最高位均为0。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·81/105（3）机内码例如，"啊"字的国标码3021H，可被计算机错误地解析为两个独立的ASCII字符"0"和"!"。由于文本中通常混合有汉字和西文字符，国标码若直接存储，会与最高位同样为0的单字节ASCII码混淆。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·82/105机内码的解决方案高位置1的方法为解决这一问题，将一个汉字看成两个扩展ASCII码，将表示GB2312汉字的每字节的最高位都置为1。具体转换规则即国标码加上80H（即二进制数10000000B，十进制的128）。机内码的定义这种高位为1的双字节汉字编码即为GB2312汉字的机内码，简称为内码，又称汉字ASCII码。机内码的地位与特点功能与用途它是计算机内部存储、处理加工和传输汉字时所用的代码。编码的唯一性每个汉字的外码可以有多种，但是内码只有一个。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·83/105例3-3："啊"字三种编码的转换"啊"字的区位码（1601）的十六进制表示为1001H，国标码为3021H则"啊"字的机内码为B0A1H高字节计算30H+80H=B0H低字节计算21H+80H=A1H机内码结果B0A1H3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·84/105汉字三种编码间的关系国标码=区位码+2020H机内码=国标码+8080H机内码=区位码+A0A0H3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·85/105其他常用汉字编码标准除了GB2312-80编码之外，常用的汉字编码标准还有：Big5收录了更多的汉字字符，广泛用于繁体中文环境。GBK在GB2312基础上扩展，收录了更多汉字字符。GB18030逐步实现了对多语种的统一支持，是目前最新的国家标准。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·86/105（4）字形码定义与功能字形码是为解决汉字显示和打印问题而设计的编码。两种主要类型主要有点阵和矢量两种。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·87/105点阵码点阵码用点阵表示字形。规格种类16×16点阵24×24点阵等特点表现点阵规模越大字形越清晰美观存储空间所占用的存储空间也越大3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·88/105矢量码定义与特点矢量码存储的是描述汉字轮廓的数学公式。生成方式输出时由计算机实时"计算"出所需大小和形状的汉字字形。优势矢量字形与最终显示的大小、分辨率无关，可生成高质量且节省存储空间的汉字输出。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·89/105（5）汉字处理的过程图3-3汉字处理的过程3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·90/1053.UTF-8"乱码"问题的根源在日常使用计算机和互联网时，人们或多或少都遇到过"乱码"——本该显示的中文变成了杂乱无章的符号，或者不同语言的文字混杂在一起无法正常阅读。根本原因这一现象的根源在于，传统的编码方式大多只针对单一语言或区域设计（如英文的ASCII、中文的GB2312等），不同编码之间互不兼容。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·91/105乱码的产生机制当一份文档中混合了多种语言文字，或者在不同编码标准的系统之间交换数据时：计算机无法正确解析字符便产生了乱码在Unicode出现前：不同语言和地区使用各自的编码标准导致"同码不同字"或"同字不同码"的混乱这就是造成"乱码"现象的直接原因3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·92/105Unicode的出现与意义为了解决这一全球性的文本处理难题，一种能够统一表示全世界所有字符的编码方案应运而生，这就是：Unicode（统一码，又称万国码、单一码）它为世界上每一个字符（包括各种语言的文字、符号、标点、表情符号等）：分配了一个唯一且固定的数字编号从根本上消除了编码冲突满足了跨语言、跨平台进行文本转换和处理的需求3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·93/105Unicode编码系统的两个层次Unicode编码系统可分为：1.编码方式规定了每个字符的唯一编号，即只定义了"字符对应哪个数字"，不涉及这个数字在计算机中如何存储。2.实现方式将码位转换为计算机可存储、可传输的字节序列的具体规则，即UTF格式。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·94/105（1）Unicode编码方式定义与范围Unicode的编码方式规定了每个字符的唯一编号，即只定义了"字符对应哪个数字"，不涉及这个数字在计算机中如何存储。字符集（CodeSpace）Unicode定义了一个巨大的编码空间，可以容纳超过一百万个字符。3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·95/105码位（CodePoint）定义码位（CodePoint）是分配给每一个字符的唯一数字编号，是Unicode的核心。表示方法通常用"U+十六进制数字"来表示。具体示例例如：字母"A"的码位是"U+0041"汉字"中"的码位是"U+4E2D"3.1冯诺依曼架构3.2

数据的表示方法大数据分析导论·第3章·96/105（2）Unicode实现方式定义Unicode的实现方式称为UTF（UnicodeTransformationFormat，Unicode转换格式）。功