大数据导论（第2版）-第5章-大数据硬件环境

林子雨

博士/副教授厦门大学导论（

第2版

）第5章大数据硬件环境厦门大学数据库实验室：/目录CONCENTS服务器的性能指标服务器的分类及选购系统的性能评估硬件系统分析网络设备系统组网方案设计数据中心5.15.25.35.45.55.65.7

5.1

服务器的性能指标5.1服务器的性能指标服务器是一种比普通计算机在特定性能上更优秀（运行更快、负载更高，通常价格也更贵）的特殊计算机。它为大数据系统提供了计算、存储和输入输出的基础性能。服务器是大数据系统的硬件基础与核心。无论是为数据库提供存储空间，还是为任务提供处理数据流的计算能力，又或者是利用虚拟化技术将服务器资源进行虚拟化，都是建立在服务器硬件提供的实际性能之上的。

服务器5.1服务器的性能指标可扩展性指标可用性指标可靠性指标易用性可管理性RASUM评价标准

5.2

服务器的分类及选购5.2服务器的分类及选购按照外形选择服务器需要充分考虑有限的机房空间，要使得单位体积的服务器硬件配置更高、性能更强、更易于维护，同时保留很好的可扩展性5.2服务器的分类及选购01选购物理服务器02选购虚拟化服务器5.2服务器的分类及选购浪潮天梭（浪潮）ProLiant（惠普）市场上主要服务器品牌FusionServer（华为）ThinkServer（联想）曙光天阔（中科曙光）易安信PowerEdge（戴尔）PowerSystem（IBM）CISCOUCS（思科）5.2服务器的分类及选购服务器配置单硬件配置不同标准配置价格品牌系列型号功能特性5.2服务器的分类及选购价格地区与域名服务稳定性售后服务选择虚拟化服务器资源时，需要关注以下几点

5.3

系统的性能评估5.3系统的性能评估5.3.4

网卡5.3.3

存储5.3.2

内存5.3.1

CPU5.35.3.1

CPUCPU（CentralProcessingUnit），即中央处理器，是一块超大规模的集成电路，是计算机的“大脑”与“心脏”，即运算核心和控制核心。服务器的CPU性能，是衡量服务器性能的首要指标CISC型

CPURISC型

CPU5.3.1

CPU主流的CPU产品5.3.1

CPUCPU性能对大数据系统的影响CPU的性能主要取决于3个指标：主频、核数、缓存CPU的性能CPU主频指的是其额定工作频率（并非最高工作频率，根据情况要求可以适当超频），对于同样内核数量及缓存大小相同的不同CPU，主频越高的CPU性能就越好CPU主频CPU的频率有主频、外频和倍频3个参数，x86架构CPU计算频率的公式为：主频=外频x倍频CPU的频率5.3.1

CPU封装多核CPU原生多核CPU每个核心之间完全独立，拥有各自前端总线以避免冲突，性能较好是指把多个核心直接封装在一个CPU里，多核心在满载的情况下会争抢前端总线导致性能下降，目前成熟的商用产品通过扩大前端总线的总体带宽以弥补性能损失，但性能仍然不如原生多核5.3.1

CPU目前主流服务器CPU具有3级缓存：一级缓存(L1)、二级缓存(L2)和三级缓存(L3)。缓存越大不代表其性能就越强，因为CPU架构、工艺等方面对三级缓存也有影响，只有与架构工艺搭配的三级缓存，容量越大才代表其性能越高。缓存大小影响远不如核心线程和频率的影响大5.3.2

内存内存用于暂时存放CPU输出的运算数据，是CPU与硬盘等外部存储器交换数据的“中转站”。内存性能的强弱影响计算机整体发挥的水平，也是影响整个系统运行效率的重要硬件之一只读存储器（ROM）随机存储器（RAM）高速缓冲存储器（Cache）5.3.2

内存服务器的要求（即RASUM标准）与普通计算机不同，其追求的并不是更高的频率或者速度，而是稳定与纠错，服务器内存上通常装载特殊的技术，如ECC（ErrorCorrectingCode，误差校正码）、ChipKill（一种ECC保护技术）、热插拔技术等，使得两种内存具有显著差异。厂家为服务器提供的是与普通计算机不同的内存产品，相互之间不能通用。厂商通常将内存颗粒（内存芯片）、电路板、金手指（金属导电片）等部分组成的条状电路板作为单个产品出售，即常见的“内存条”5.3.2

内存06ULP05VLP04MicroDIMM03SODIMM02Mini-DIMM01DIMM内存条学名DIMM

按其尺寸规格区分5.3.2

内存内存条选配主频是该内存所能达到的最高工作频率，也表示内存的速度，单位是MHz。主流DDR4内存通常为2400MHz，DDR5内存主频达到4800MHz，有望达到6400MHz主频内存的代数以DDR（双倍速率）技术的代数来表示，目前有五代，DDR4是当前主流，DDR5被运用在最新的产品上代数由于内存的数据读写速度相对于存储高出好几个数量级，很多数据库采用了内存数据库的方式设计与部署，即将数据直接存放在内存中操作，对内存的容量要求非常高容量容量、代数、主频5.3.3

存储硬盘是计算机硬件系统中最主要的存储设备。根据工作原理不同，硬盘分为机械硬盘（HDD，HardDiskDrive）与固态硬盘（SSD，SolidStateDrive）两个大类，另还有一种融合机械硬盘与固态硬盘工作原理的混合硬盘（SSHD）硬盘5.3.3

存储

机械硬盘是通过磁头在高速旋转的磁盘上通过电磁流改变而进行读写的，转速影响硬盘的读写性能，转速越高则越快

机械硬盘按照碟片的尺寸大小分为多种规格，主流的机械硬盘为2.5寸或3.5寸硬盘5.3.3

存储

固态硬盘与机械硬盘遵循同样的尺寸规格，用于服务器的固态硬盘一般是2.5寸，比机械硬盘具有更多的优势：防震抗摔、无噪音、低功耗、更轻便，同时读写速度也更高

由于固态硬盘中的闪存具有擦写次数限制，寿命较短，使选用固态硬盘的综合成本要更高硬盘5.3.3

存储企业级硬盘（1）对于企业级的应用场景，硬件导致的数据损坏难以恢复，因此硬盘的可靠性很重要（2）服务器选用的硬盘被称为企业级硬盘（3）相比普通硬盘而言，企业级的机械硬盘在外观与规格上与普通硬盘区别不大，但在这几个关键性能指标上存在差异：硬盘容量、磁盘转速、平均访问时间、数据传输率、IOPS（4）为满足部分对读写速度要求极高的需求，服务器可以使用企业级固态硬盘作为存储设备5.3.3存储计算机主板上通常都保留1个至多个硬盘接口，或是可以通过转换接口再外接硬盘的方式为计算机增加容量，服务器上更是会保留数个接口以提供可扩展性。服务器上的机械硬盘接口根据主板的不同而支持不同的类型，主要有SATA、SCSI、SAS等。如需增设固态硬盘则多用到主板上的PCI-E接口5.3.3存储存储架构随着业务不断地发展，如何有效地管理日益增长的数据是企业所不得不面临的难题，架设服务器通常是要满足不断扩展的业务需求，而单台硬件无论如何扩充都有性能极限。升级整个系统的数据存储能力势在必行，需要思考如何让零散的存储空间组成系统，为此需要制定完善的数据存储备份方案，帮助企业对存储的内容进行分类和优化，并更加高效且安全地将其存储到适当的存储资源中5.3.3存储存储架构DAS直接连接存储是指将存储设备通过SCSI接口或光纤通道直接连接到一台计算机上SAN存储区域网络是指通过光纤通道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络NAS网络附加存储是指将存储设备通过标准网络拓扑结构，连接到一群计算机上5.3.3

存储RAID技术对于硬件系统，单块硬盘是不可靠的，为了将多块独立的磁盘组合成一个存储空间，防止单个磁盘的损坏影响存储的数据实体且为其在物理层面制作可靠的备份，RAID（独立磁盘冗余阵列）技术应运而生。RAID是一种将多块独立硬盘（实体硬盘）按不同方式组合成一个硬盘组（概念上的硬盘），从而提供比单块硬盘更大的存储容量、更高的安全性、更高的可靠性、更好的读写性能等5.3.3

存储RAID技术5.3.4

网卡网卡又称为网络适配器或网络接口卡，是计算机实现与局域网互联的设备。网卡是允许服务器将自己的计算与存储能力供给向网络的“收费站”，是构成整体系统的必不可少的设备服务器专业网卡具有数据传输速度快、CPU占用率低、安全性能高等特点，自带控制芯片，配备网卡出错冗余、网卡负载均衡等容错功能5.3.4

网卡网卡根据其接口分为多种类型

5.4

硬件系统分析5.4硬件系统分析030501040602业务的重要性分析系统的访问量分析服务器的安全性分析服务器的用途分析存储数据空间分析硬件的预算分析无论是自建、租用或是云服务器，在选择硬件系统时需要进行以下几个方面的分析

5.5

网络设备5.5

网络设备有线网络无线网络交换机路由器010203045.5

网络设备交换机交换机是在网络中完成信息转发、交换功能的网络设备。网络的分层结构模型规定了复杂的大型网络都会被分解为多个易于管理的小型网络，故而交换机将会在网络结构中承担不同层级的角色5.5

网络设备交换机接入层：控制用户的网络访问汇聚层：提供第三层交换功能核心层：提供链路冗余、VLAN中继和负载均衡等5.5

网络设备路由器路由器（Router）是连接两个或多个网络（以逻辑网络区分）的硬件设备，它不仅能实现局域网之间的互联，还能实现局域网与广域网、广域网之间的互联。路由器是具有操作系统的智能设备，它会根据信道的情况自动选择和设定路由以最佳路径，并按先后顺序发送信息和数据包5.5

网络设备路由器从功能、性能、应用等方面分级是企业级别网络的核心中枢设备，传输数据量庞大且重要，要求高速度和高可靠性，通常配备有诸如热备份、双电源、双数据通路等冗余技术骨干级01负责连接终端设备，要求使用简单实用的方法实现尽可能多的终端连接，并保证支持不同的数据传输质量企业级02主要应用于家庭或小型企业或部门内部局域网的网络连接，要求配置的参数最为简单，只需接入设备即可使用接入级035.5

网络设备路由器5.5

网络设备有线网络双绞线光纤电缆同轴电缆在局域网布线中最便宜最常用的是双绞线，按照ISO/IEC-11801标准分级，目前常用的有三类、五类和超五类几种，不同等级的传输速度影响连接速度，对于大数据系统，一般使用超五类线以避免影响数据传输性能5.5

网络设备有线网络网线位置是否容易被其它设备压到？网线RJ-45接头是否接触良好？走线过程中是否存在严重的缠绕情况？服务器通过网线连接到交换机，交换机显示是否灯亮？5.5

网络设备无线网络无线局域网络需要用到除了构建起有线网络的基础设备外，还需要用到的设备有WAP（无线接入点）和AC（接入控制器）无线接入点是组建无线局域网的核心设备，它主要是提供无线客户端设备与有限局域网的相互访问，它通常是一个包含了无线网关、无线网桥等设备作用的无线路由器5.5

网络设备无线网络通常无线路由器的覆盖范围是一个半径20-30米的圆形区域，发射的电磁波信号容易因中间介质阻挡而迅速衰减，比如墙壁或铁门。无线网络的最大问题在于无线网络安全性较有线网络差，因为在没有限制MAC（媒体存取控制）地址的情况下任何设备都可以连接该网络，如果没有做好防护，局域网内其它设备数据可能被窃取

5.6

系统组网方案设计5.6系统组网方案设计网络需求分析网络结构设计5.6.1

网络需求分析网络需求分析是网络建设的开始，这个阶段需要明确用户所需的网络服务和网络性能。但是通常用户在项目初始阶段不明确具体需求，或者由于项目进展而使得需求增加或产生巨大变化，使得早期的网络设计与设施不能满足项目需要甚至造成阻碍5.6.1

网络需求分析大数据系统建设需求清单示例需求类型需求内容用户需求（1）收集用户需求，设计出符合用户需求的网络；（2）收集需求机制，包括与用户群交流、用户服务和需求归档系统建设需求（1）远程接入的方式；（2）选择城域网或广域网；（3）组织机构框架；（4）运营体系；（5）安全信任体系；（6）数据灾容与恢复基础软件平台需求（1)工作站,指具备强大的数据运算与图形、图像处理能力的高性能终端计算机；（2）分析个人计算机的处理器、内存、操作系统以及网络配置等；（3）中小型机，指具有区别于PC和服务器的特有体系结构；（4）大机型，可以管理大型网络、存储大量数据以及驱动数据并保证其数据的完整性网络宽带需求与测算（1）局域网的功能；（2）数据备份和容灾；（3）网络管理，包括软件支持标准、硬件支持、软件范围以及可管理性等性能需求分析（1）网络性能，主要考虑网络容量和响应时间；（2）有效性，指在进行网络建设策略的选择时产生的各种过滤条件；（3）具有远程访问功能；（4）控制、维护网络和计算机系统的功能安全系统建设需求（1）身份认证；（2）内核加固；（3）账户管理；（4）病毒防护；（5）漏洞发现与补丁管理；（6）系统备份与修复；（7）桌面安全管理；（8）系统监控与审计；（9）访问控制5.6.2

网络结构设计网络结构设计需要考虑以下内容01逻辑设计目标02网络服务评价03网络管理服务04网络安全服务常见的网络结构包括星型结构、总线型结构、环形结构、树形结构、网型结构等，企业局域网常用的是总线型、星型或者各种结构的混合。每种连接的方式都有其适用的场景和优点，需要根据实际情况综合选择5.7数据中心5.7数据中心百度阳泉数据中心百度数据中心机房数据中心（DataCenter，简称DC），是为集中放置的电子信息设备提供运行环境的建筑场所，包括主机房、辅助区、支持区和行政管理区等。作为算力基础设施的重要组成部分，数据中心是促进大数据、人工智能、云计算等新一代数字技术发展的数据中枢和算力载体，对于数字经济增长具有重要助推作用5.7数据中心5.7.30102035.7.1数据中