数据采集处理项目-技术方案

##x大数据库中心数据库

投资商和企业数据采集处理项目

项目编号：106

技术方案

##x

二。一七年六月

目录

I引言2

1.1项目背景2

1.2项目目标3

1.3建设原则3

1.4参考规4

1.5名词解释5

2云数据采集中心6

2.1需求概述6

2.2总体设计7

2.3核心技术与功能10

3大数据计算平台36

3.1需求概述36

3.2总体设计36

3.3数据模型设计38

4数据运营41

4.1数据挖掘分析41

4.2数据分析欠理的主要工作42

4.3数据分析团队组织如管理43

5安全设计44

6风险分析48

7部署方案49

8实施计划50

9技术规格偏离表50

10售后服务承诺52

11关于运行维护的承诺54

12措施与承诺55

13培训计划57

1引言

1.1项目背景

##X大数据中心建设出发点考虑从投资者角度涵盖招商全流程，尽可能为投资者解决

项目实施过程中的困难和问题，便于招商部门准确掌握全省招商数据，达到全省招商项

目数据共享，形成全省招商工作“一盘棋、一网、一体化”格局。大数据中心将充分发

挥大数据优势，加强对企业投资项目、投资轨迹分析，评估出其到时投资的可行性，为

招商过程留下痕迹、找到规律、明辨方向、提供“粮食”、提高效率，实现数据寻商、

数据引商、数据助商，实现数据资源实时共享、集中管理、随时查询，实现项目可统

计、可监管、可协调、可管理、可配对、可跟踪、可考核。

本次数据运营服务主要是为大数据平台制定数据运营规与管理方法，同时为“企业

数据库”提供数据采集、存储与分析服务，并根据运营规要求持续开展数据运营服务。

1.2项目目标

制定招商大数据运营规与管理方法。

制定招商大数据相关元数据标准，完成相关数据的采集、整理与存储。

根据业务需求，研发招商大数据招商业务分析模型，并投入应用。

根据运营规与管理方法的要求持续开展数据运营工作。

1.3建设原则

基于本项目的建设要求，本项目将遵循以下建设原则：

前瞻性和高标准整个项目要按照企业对大数据应用的需要的高要求和高标准建

设，参考行业标杆应用，建立满足需求，面向未来的目标，整个项目具有一定

前瞻性。

经济性和实用性整个项目以现有需求为基础，充分考虑未来发展的需要来确定

GB/T11457-1995软件工程术语

GB/TU457-2006信息技术软件工程术语

GB/T16260.1-2006软件工程产品质量第1部分：质量模型

GB/T16260.2-2006软件工程产品质量第2部分：外部度量

GB/T16260.3-2006软件工程产品质量第3部分:部度量

GB/T16260.4-2006软件工程产品质量第4部分:使用质量的度量

GB/T14394-2008计算机软件可靠性和可维护性管理

GB/T17544-1998信息技术软件包质量要求和测试

1.5名词解释

•S2DFS：简单存储分布式文件系统(SimpleStorageDistributedFileSystem)

•D2B:分布式数据库(DistributedDatabase)

•JSS:作业调度服务(JobSchedu1erService)

•DCS•数据计算服务(DataConiputerService)

•MPS：消息处理服务(MessageProcessService)

•SDS:流数据处理服务(StreamDataService)

•DMQ：分布式消息队列(DistributedMessageQueue)

•JGS：作业生成服务(JobGenerationService)

•ACS：自动清理服务进程(AutomaticCleaningServices)

•:超文本传输协定(HyperTextTransferProtocol)

•SMB:服务器信息块协议(ServerMessageBlock)

2云数据采集中心

2.1需求概述

根据规划，云数据采集中心的建立至少满足1至2年的数据存储和计算规模，需要

满足：

•数据采集国包括但不限于世界500强、全国500强、行业20强企业相关数据。

•总数据容量至少达到30T。

2.2总体设计

整个云数据采集中心分为三部分：硬件资源层、软件平台层、软件应用层。

硬件资源层主要指实体硬件设备包括用来存储数据的光纤阵列柜和存储服务器用

来作统计分析以与搜索用的计算服务器用来部署分布式消息DMQ）/WEB/APP软件的WEB

与消息服务器，用来部署用PostgreSQL关系数据库软件的应用数据库服务器，用来部署

作业调度服务进程（JSS）的作业调度服务器。作为数据通信用的全千兆三层交换机等等。

其中光纤阵列柜主要用来存储统计分析后的粗颗粒度数据。存储服务器用来部署分布式

文件系统和分布式数据库，同时存储非结构化和结构俎台标图片电商图片等等而结构

化数撤行为数据，索引数据，log数据，清理后的细颗粒度数据等等〉计算服务器主要

用来完成数据的清理、统计、搜索等计算任务。为了节省成本和减少通信代价：建议存

储服务器和计算服务器合二为一，所以该服务器同时具有计算和存储数据的功能，前期

也可以考虑把作业调度服务进程（JSS）进程部署在存储/计算服务器上。由于云数据采集

中心需要面对多种宽带用户（电信、移动、联通）所以，数据中心的对外的网络需要直

连上电信、移动、联通三家公司的网络，保证以上三家公司间的通信性能高速和可靠。

软件平台层是云数据采集中心的核心支撑层，也是我们这次方案设计和实施的主体

部分，在核心技术章节会对“分布式文件系统（S2DFS）”、“分布式数据库（D2B）”、

“分布式消息服务（DMQ）”“作业调度服务进程（JSS）、数据计算服务还程（DCS）

主要部分加以详细的描述。

软件平台层的所有服务器都统一部署的64位操作系统CentOS6.5（也可以选择

RHEL6.5x64）；其核心软件或者进程有：分布式文件系统（S2DFS）、分布式数据库

（D2B）、作业调度服务进程（JSS）、数据计算服务进程（DCS）、作业生成服务进程

（JGS）、消息处理服务进程（MPS）、流数据处理进程（SDS）等等。WEB与应用服务

器软件Apache&Tomcat»消息队列软件分布式消息（DMQ）。还要实现整个云数据采集中

心的资源管理与监控管理系统。

软件应用层是云数据采集中心的功能实现与UI表达层，功能实现需要基于软件平

台层的支撑，后期设计和实施的主体。该层的主要功能应用有：数据采集应用、数据统计

应用、云数据采集中心的资源监控与调度。

通过公共数据网（电信、联通、移动）和协议，把采集的海量文本图片数据以与用户行

为数据存储在云数据采集中心里以供后期分析计算用。

企业数据采柒■投资商数据采集■采柒任务管理I云数据管理I云中心监控

JSS

PostgreSQLApache开放

NginxTomcat平台

CentOS6.5x64

存储设备・网络设备■服务器设备

云数据采集中心整体架构图

云数据采集中心网络结构图

2.3核心技术与功能

2.3.1分布式文件存储技术

（1）传统存储技术面临的问题：

构建成本高：大容量与高网络带宽的高端存储系统架构昂贵。

文件系统功能和性能差强人意：难以实现全局命名空间的文件共享、文件

系统难以扩展，容易形成瓶颈。

扩展性困难：技术存在瓶颈（Scale-up架构决定的）扩展成本无法控制。

可用性问题：潜在的单点故障，数据恢复困难，代价高。

应用目标差异：主要面临运营商、金融行业的OLTP应用、很少针对海量的

流数据，或者非结构化数据进行设计和优化。

异构设备繁杂：不同时期、不同公司、不同操作系统的异构设备纷繁复

杂，无法整合，资源利用率极低。

分布式文件系统主要为解决以上问题而出现的一种新型大规模数据存储技术架

构。主要为非结构化数据（视频/文件/文档/图像/音频等非结构化数据）提供海量的存

储平台，以集群的方式提供线性横向扩展能力。

分布式文件系统是一种构建于通用x86部件之上的高可用、高可靠、高可扩展的新

型分布式文件系统。应用分布式文件系统，用户可以采用廉价可靠的通用服务器、

SATA/SAS硬盘以与以太网络来构建媲美企业级存储产品的存储系统。

(2)分布式文件系统应对的数据特性和访问特性：

数据量巨大，数百TB或PB级，增长迅速；

类型多样化，包括图像、文本、语音、视频等文件数据；

按时间有序生成，数据均带有时间标志；

前端数据写入速度很高，每秒钟写入数据可达几万甚至几十万条记录

或者上GB量数据；

更新操作极少：追加方式写入，一旦写入，几乎没有数据修改，查询

涉与大量的磁盘读操作，查询处理产生大量的临时结果，不同类型的数

据存在联合分析查询；

分布式文件系统的基本原理是采用集群方式来整合物理上独立的多个存储资源以

软件方式提供单一的名字空间采用多副本的方式保证数据的高可用性，任意单一节点

失效均不会导致数据丢失和数据服务的正常运行；同时，分布式文件系统通过良好设计

的系统结构和数据分布策略可保证系统性能的高可扩展性，并支持存储容量/性能的在

线扩展。

相比较于DAS（直连存储）SAN（存储区域网络）和NAS（网络存储）应用分布式

文件系统构建的网络存储系统更像是一个NAS提供类似于传统NAS的文件级访问接口

（SAN和DAS都是块设备级别的访问接口）

（3）分布式文件系统与传统NAS/SAN设备的比较：

比较项高端NASFC-SAN分布式文件系统

性能一般双端口，性能受机头一般双端口，性能受性能愤节点数的增加成线

影响，难以扩展，出口带机头影响，难以扩展，性增长

宽是瓶颈IOPS较好

扩展能力性能与容量无法扩展，或能较好扩展，但成本性能与容量按需扩展，动

者有限扩展高昂态均衡

可用性RAID方式保护，双机保RAID方式保护双机基于灵活的多副本机制，

护，停机RAIDRebuid，耗保护，停机自动检测自动故障恢复，

时RAIDRebuid，耗时无需停机

数据管理企业级功能需要单独购买企业级功能需要单嵌多种企业级应用：快

独照、镜像、回收站

购买（还需要单独的

文件系统400多万一

套）

成本专有的硬件平台，软件拥专有的硬件平台，软开发通用的硬件平台，一

有成本高，拧展成本高件拥有成本高，扩展体化的软件，成本低，扩

成本高展成本低

可维护，性专门的技术支持服务，需结构异常复杂，需要嵌多种自动化的故障检

要培训大量培训，厂商服务测和恢复功能国开发，技

昂贵术支持快速

用户使用分布式文件系统如同使用本地文件系统。所不同的是，传统NAS通常以单

一节点的方式实现，容量和性能的扩展能力有限，易于成为性能瓶颈和单一故障点而分

布式文件系统则有多个节点集合地提供服务由于其结构特征，分布式文件系统的性能

和容量均可在线线性扩展并且系统不存在单一故障点。对比参看下面两幅示意图：

，¥为内

借线存M方式

传统存储架构图

分布式文件系统架构图

分布式文件系统的设计应用特别适合海量非结构化数据存储大量客户端并发的I/O

密集型应用。目前，分布式文件系统已经被应用于政府、医疗影像、勘查数据计算、视

频服务以与动画制作等领域。这些领域的数据访问特征均为：数据量巨大，I/O吞吐率

高，数据增长迅速以与数据可用性要求高。经过长时间的实际生产环境使用，分布式文件

系统已被证明是该类型应用的有效解决方案。

布式文件系统的服务器端程序运行于Linuxx64系统之上，支持多种Linux64位发行版，

包括Redhat、CentOS等。分布式文件系统客户端则支持Linux和Windows，同时分布式文

件系统还可以通过第三方软件输出CIFS和NFS接口，可以兼容大多数应用。

(4)分布式文件系统的核心技术与特征：

扩展性和高性能：分布式文件系统利用双重特性来提供几TB至数PB的高扩

展存储解决方案。Scale-Out架构允许通过简单地增加资源来提高存储客

量和性能，磁盘、计算和I/O资源都可以独立增加，支持lOGbE和

InfiniBand等高速网络互联。分布式文件系统弹性哈希(ElasticHash)解

除了分布式文件系统对元数据服务器的需求，消除了单点故障和性能瓶

颈，真正实现了并行化数据访问。

高可用性：分布式文件系统可以对文件进行自动复制，如镜像或多次复

制，从而确保数据总是可以访问，甚至是在硬件故障的情况下也能正常访

问。自我修复功能能够把数据恢复到正确的状态，而且修复是以增量的方

式在后台执行，几乎不会产生性能负载。分布式文件系统没有设计自己的

私有数据文件珞式，而是采用操作系统中主流标准的磁盘文件系统（如

XFS/EXT4/ZFS）来存储文件，因此数据可以使用各种标准工具进行复制和访

问。

全局统一命名空间：全局统一命名空间将磁盘和存资源聚集成一个单一的

虚拟存储池，对上层用户和应用屏蔽了底层的物理硬件。存储资源可以根

据需要在虚拟存储池中进行弹性扩展，比如扩容或收缩。当存储虚拟机映

像时，存储的虚拟映像文件没有数量限制，成千虚拟机均通过单一挂载点

进行数据共享c虚拟机I/O可在命名空间的所有服务器上自动进行负载均

衡，消除了SAN环境中经常发生的访问热点和性能瓶颈问题。

弹性哈希算法：分布式文件系统采用弹性哈希算法在存储池中定位数

据，而不是采用集中式或分布式元数据服务器索引。在其他的

Scale-Out存储系统中，元数据服务器通常会导致I/O性能瓶颈和单点故障

问题。分布式文件系统中，所有在Scale-Out存储配置中的存储系统都可以

智能地定位任意数据分片，不需要查看索引或者向其他服务器查询。这种

设计机制完全并行化了数据访问，实现了真正的线性性能扩展。

弹性卷管理：数据储存在逻辑卷中，逻辑卷可以从虚拟化的物理存，不会导

致应用中断。逻辑卷可以在所有配置服务器中增长和缩减，可以在不同服务

器迁移进行容量均衡，或者增加和移除系统，这些操作都可在线进行。文

件系统配置更改也可以实时在线进行并应用，从而可以适应工作负载条件

变化或在线性能调优。

完全软件实现(SoftwareOnly)分布式文件系统认为存储是软件问题，不

能够把用户局限于使用特定的供应商或硬件配置来解决。分布式文件系统

采用开放式设计，广泛支持工业标准的存储、网络和计算机设备，而非与

定制化的专用硬件设备捆绑。对于商业客户，分布式文件系统可以以虚拟

装置的形式交付，也可以与虚拟机容器打包，或者是公有云中部署的映

像。开源社区中，分布式文件系统被大量部署在基于廉价闲置硬件的各种

操作系统上，构成集中统一的虚拟存储资源池。简而言之，分布式文件系

统是开放的全软件实现，完全独立于硬件和操作系统。

■完整的存储操作系统栈(面叩1。10$1：0「@8。0「6r@1：1咽5丫516111$1@©1;：分布式文

件系统不仅提供了一个分布式文件系统，而且还提供了许多其他重要的分

布式功能，比如分布式存管理、I/O调度、软RAID和自我修复等。分布式文

件系统汲取了微核架构的经验教训，借鉴了GNU/Hurd操作系统的设计思

想，在用户空间实现了完整的存储操作系统栈。

用户空间实现(Us6rSpace)与传统的文件系统不同，分布式文件系统在用

户空间实现，这使得其安装和升级特别简便。

■模块化堆栈式架构(ModularStackableArchitecture)分布式文件系统采

用模块化、堆栈式的架构，可通过灵活的配置支持高度定制化的应用环

境，比如大文件存储、海量小文件存储、分布式文件系统、多传输协议应

用等。每个功能以模块形式实现，然后以积木方式进行简单的组合，即可

实现复杂的功能。比如'Replicate模块可实现RAID1»Stripe模块可实现

RAIDO，通过两者的组合可实现RAID10和RAID01，同时获得高性能和高可

靠性。

■原始数据格式存储（DataStoredinNativeFomiats）分布式文件系统以原

始数据格式（如EXT3、EXT4'XFS、ZFS）储存数据，并实现多种数据自动修

复机制v因此，系统极具弹性，即使离线情形下文件也可以通过其他标准

工具进行访问。如果用户需要从分布式文件系统中迁移数据，不需要作任

何修改仍然可以完全使用这些数据。

■无元数据服务设计（NoMetadatawiththeElasticHashAlgorithm>对

Scale-Out存储系统而言，最大的挑战之一就是记录数据逻辑与物理位置

的映像关系，即数据元数据，可能还包括诸如属性和访问权限等信息。

传统分布式存满系统使用集中式或分布式元数据服务来维护元数据，集

中式元数据服务会导致单点故障和性能瓶颈问题，而分布式元数据服务

存在性能负载和元数据同步一致性问题。特别是对于海量小文件的应

用，元数据问题是个非常大的挑战。分布式文件系统独特地采用无元数

据服务的设计，取而代之使用算法来定位，服务器都可以智能地对文件数

据分片进行定位，仅仅根据文件名和路径并运用算法即可，而不需要查

询索引或者其他服务器。这使得数据访问完全并行化，从而实现真正的

线性性能扩展。无元数据服务器极大提高了分布式文件系统的性能、可

靠性和稳定性。

基于标准协议分布式文件系统存储服务支持NFS,CIFS,,FTP以与分布式

文件系统原生协议，完全与POSIX标准兼容。

(5)分布式文件系统技术与性能指标：

支持设备数量：最大百万台以上

支持存储容量：最大1024PB以上

客户端的数量：最大支持上亿并发

■网络支持:以太网：lGbps'lOGbps/INFINIBAND：10Gbps、4OGbps

文件副本数量：任意(缺省1份)

■协议：NFS/CIFS//FTP/WEBDAV,与原生协议，兼容POSIX标准

支持文件数量：最大上亿个文件

最大单个文件：16TB

(6)S2DFS与HDFS的比较

对比项HDFS(GFS)S2DFS

架构类型带元数据库中心架构全分布式去中心架构

（瓶颈与故障易发生点）

存在方式分布式文件系统软件，基于x86平台

使用方式CLI/RESTAPINATIVECLIENT/CIFS/NFS标准

协议

（应用代码与平台无关性，便于移

植和维护）

系统可用性低高

数据可用性复制类RAID

数据定位方式INodeHash

同步方式异步同步

负载均衡自动自动

支持网络千兆以太网千兆/万兆以太网，IB网

网络写：读（万兆/单流）约100MB/S:160MB/S约800MB/S:1000MB/S

读（l*20GB）（万兆）约125s约25s

写（1*2OGB）（万兆）约200$约20s

读/写（千兆）差距不大

2.3.2分布式并行计算技术

(1)概述

并行计算技术真正将传统运算转化为并行运算从而更加充分的利用广泛部署的普通

计算资源实现大规模的运算和应用的目的在此基础上为第三方开发者提供通用平台，

为客户提供并行服务。这里主要为门户提供作业调度平台，实现日志分析，性能优化，

全文检索，视频处理，用为分析等等的支撑平台。

用户通过统一计算平台把任务分派给系统的多个节点调度节点资源执行任务，发

挥多核并行欠理优势，提升运算效率，充分运用网络的计算资源达到解决大规模计算

问题的目的。

(2)分布式并行计算架构图

牛

哥

为

斗

邙

牛

■

书

6

资源及计算任务调度

结构化数据/非结构化数据

分布式文件系统/分布式数据库

分布式并行计算架构图

(3)作业调度与计算过程

(4)分布式并行计算技术特点

池化资源管理利用池化技术，任何一台联在互联网上的普通PC机从硬件到软

件，可通过池化技术加入服务器池中，等待任务分配，系统能充分利用现有服务

器资源，将所有运算子任务分配给节点服务器，有效避免计算资源闲置现象的

发生。

降低对单节点计算能力要求，提夭整体资源性能和利用率

•////X\

网络:［服务器］k储设备I'进程［线程［］…

■XX.JX./I

无中心系统架构在平台管理下的单节点能力一致，使节点在部署上和使

用上具备无差别性，任一节点功能可由其他节点替代或强化，可以最大程

度确保平台资源使用的灵活性以与在灾备环境下的可靠性系统架构。

单节点能力网络内节点具备相同的能力，既可作为客户端收

发任务，又可作为服务器进行任务处理，使整个

同质卧网络形成无中心的资源架构

通道式工作机制平台为用户提供一个并行任务处理通道，公理过程对用

户来说完全透明，由平台自动进行负载均衡、资源匹配、任务传输等，使

用户专注于自身任务管理，将执行过程交由平台完成。

平台

KZ>为用户提供端到端的任务处理能型对用户透明、降低使用门槛

I-------------------------------------------负敢均街------------------------------1

2.3.3分布式数据库技术

D2B是一个具有高性能的高性能，可扩展，无模式，面向文档

(document-oriented)的数据库，其存储的是一种JSON-like结构化数据的分布式数据库

软件尤其具有高扩展性和高可靠性支持大表水平折分以与分区镜像。提供存缓存数

据，所以数据存取速度非常快，主要是由于它史理写入的方式：它们存储在存中，然后

通过后台线程写入磁盘。

该软件支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较

复杂的数据类型4)2B另外的最大的特点是他支持的查询语言非常强大嗔语法有点类

似于面向对象的查询语言几乎可以实现类似关系数据库单表查询的绝大部分功能，而

且还支持对数据建立索引。它的特点是高性能、易部署、易使用，存储数据非常方便。

主要功能特性：

面向集合存储，易存储对象类型的数据

“面向集合"（Collenction-Oriented），意思是数据被分组存储在数据集中，

被称为一个集合（Oollenction）。每个集合在数据库中都有一个唯一的标识

名，并且可以也含无限数目的文档。集合的概念类似关系型数据康RDBMS跟的表

（table环同的是它不需要定义任何模式schema）。

模式自由

模式自由（$（±011旧-行色），意味着对于存储在口21^数据库中的文件，我们不需要

知道它的任何结构定义。如果需要的话，你完全可以把不同结构的文件存储在

同一个数据库里。

自动分片以支持云级别的伸缩性：自动分片功能支持水平的数据库集群，可

动态添加额外的机器。

支持动态查询

支持完全索引，包含部对象。

自动处理碎片，以支持云计算层次的扩展性c

可通过网络访问

•可用于IVindows®、MacOSX、Linux®和Solaris的官方二进制版本。

•可用于C、C#、C++、Haskell'Java™、JavaScript、Perl、PHP、Python'Ruby和

Scala的官方驱动程序，以与广泛可用于其他语言的社区支持的驱动程序。

•Ad-hocJavaScript查询让您能够使用基于任何文档属性的任何条件来查找数

据。这些查询对应于SQL查询的功能，使SQL开发人员能够很直观地编写D2B查

询。

支持查询中的正则表达式。

・D2B查询结果存储在提供过滤、聚合和排序等一系列功能的游标中，包挺

1imitO、skip()、sort()、count。、distinctO和group。等等高级特性。

•高级聚合的map/reduce实现。

•类似于RDBMS的属性索引支持，可以直接在文档的选定属性上创建索引。

使用提示、解释计划和分析的查询优化特性。

类似于MySQL的主/从复制，支持复制和故障恢复。

基于集合的对象存储，在需要规化数据时允许参考查询。

通过自动分片功能水平扩展。

高性能无争用并发机制的即时更新。

D2B服务端可运行在Linux、Windows或OSX平台,支持32位和64位应用。推荐

运行在64位平台，因为D2B在32位模式运行时支持的最大文件尺寸为2GB。

分布式数据库（D2B）集群示例图D2B

与关系型数据库的逻辑结构对比:

D2B关系型数据库

数据库（database）数据库(database)

集合(collection)表(table)

文档(document)行（row）

D2B的性能指标:

10亿约600GB以上（与每条记录大小有关系，这

里的数据：1Kb/条）

写（1亿，无索引）约15000-20000条/s

写（1亿，有索引）约10000条/s

写(1亿:ReplicaSets+Sharding模式)约6000-8000条/s

横（1亿）约80MBT20MB/S

读（1亿）8000-10000个查询/s

统计一个值（10亿）<3s（复杂查询）

最大节点数量>1024(理论上)

测试环境的硬件配置:intelXeonE7-88372路16核心，256GB存>15kSAS16^600GB

硬盘，的/〃5〃；总共/2台设备；加6的架构模式：Rep1icaSets+Sharding。

2.3.4负载均衡

1）开源负载均衡软件比较

LVSNginxHAProxy

LVS（LinuxVirtualServer）可以Nginx是一款轻量级、高可用性的HAProxy是一款提供高可用性的

实现Linux平台下的负载均衡,提Web服务软件与反向代理软件塞f基于TCP（第四层）和（第七层）

供了含有三种IP负载均衡技术的（第七层）应用代理服务器在国应用的代理软件。在国大型的互

IP虚拟服务器软件IPVS基于容诗大型的互联网公司都有使用。联网公司都有使用。

求分发的核Layer-7交换机

KTCPVS和集群等功能

1、抗•负载能力强、是工作在网络41、工作在网络的7层之上，可以针1能够补充Nginx的一些缺点比如

层之上仅作分发之用没有流量的对应用做一些分流的策略，比如针Session的保持,Cookie的引导等

产生这个特点也决定了它在负载对域名、目录结构，它的正则规则工作；

均衡软件里的性能最强的；比HAProxy更为强大和灵活；

2、HAProxy对网络的依赖非常小，

2、配置性比较低，这是一个缺点也2、Nginx对网络的依赖非常小，理理论上能ping通就就能进行负载

是一个优点因为没有可太多配置论上能ping通就就能进行负载功功能；

的东西，所以并不需要太多接触，能；

大大减少了人为出错的几率；3、它跟LVS一样，本身仅仅就只

3、Nginx安装、配置、维护比较简是一款负载均衡软件单纯从效率

3、工作备定，自身有完整的双机单；上来讲HAProxy更会比Nginx有更

热备方案♦如LVS+Keepalivec和出色，在并发父理上也是优于

4可以承当高的负载压力且稳定，

LVS+Heartbeat；Nginx；

一般能支撑超过几万次的并发量：

4、无流量，保证了均衡器10的4、HAProxy安装'配置'维护比较

性能不会收到大流量的影响；5界ginx可以通过端口检测到服务简单；

器部的故障，不支持url来检测；

5、软件本身不支持正则公理，不5可以承当高的负载压力且稳定，

建议用Nginx（或者HAProxy）作为负载均衡（反向代理）软件配合硬件负载均衡使

用。究竟选择Nginx还是HAProxy要看团队对这两种软件的熟悉程度，越熟悉，就

能容易掌控，减少风险，我们团队对Nginx非常熟悉，所以，这里我们推荐用Nginx作

为软件的反向代理工具。

2.3.5数据采集

1）概述

数据采集功能主要完成海量数据采集、上传。数据采集的来源有：国家工商局、企

业、百度、谷歌等。根据特定的数据源，不同应用，不同类