大数据中心系统总体部署情况

1、1大数据中央系统总体部署情况1.1 大数据中央系统整体结构图：阳例大常要W的内,门户防火畸端U份认讪关系型款物摩加外弄 致时限KA«SE平台 跋川选MapHeducc3B机数据4r3交抻,Orsclt 1 .API 羯口|!卅何七效蚯制,：,"乜注Kffi W M变换T台订而成自建系嘘手上台前数据1.2 大数据中央系统网络拓扑图is»ck,I*7*lj1.3 大数据中央系统数据流向图LIUCLTn-rLLLUaMJ' rl耶斯j*川y 1agiiff：rri hi0:jb豪ui母红irtSHls 触母口中七枸天化日trFm机TLT2 LE 53.3鹏磨婿忙

2、M01;2 II到 MM LKLie.!HAD'OOP'ttR1.4 大数据中央物理效劳器明细清单月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数大 数 据 平 台 存 储 计 算 服 务 器 共 计 30 台 1XD5172.16.80.36物理服 务器大数据平台效劳 器集群分布式文 件系统 HDFS资 源治理器 YARN分 布式机器 学习引擎 DISCOVER ,分布式 数据库系 统HYPERBAS Ecento s6.5；RH2288 H V3, 2*Xeon E5- 2630 v3- 8Core ,64GB DDR4 内存,

3、 12*400 0GB- SATA 6.0Gb/ s- 7200rp m-3.5 inch- 64 MB 硬盘2XD5172.16.80.35物理服 务器大数据平台效劳 器集群资源治理 器 YARN, 分布式机 器学习引 擎DISCOVER ,分布式centos6.5月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数数据库系统HYPERBASE；+1*600 GB-SAS6.0Gb/ s-3XD5172.16.80.34物理服 务器大数据平台效劳 器集群资源治理 器 YARN, 分布式机 器学习引 擎DISCOVER ,分布式 数据库系 统HYPER

4、BAS Ecentos6.5；10000rpm- 2.5"-16MB 硬盘, SR430CRAID 卡1GB Cache ,4XGE 电口网4XD5172.16.80.33物理服 务器大数据平台效劳 器集群资源治理 器 YARN, 分布式机 器学习引 擎DISCOVER ,分布式 数据库系 统HYPERBAS Ecentos6.5；卡,冗 余风扇 电源, 三年服 务5XD5172.16.80.32物理服 务器大数据平台效劳 器集群资源治理 器 YARN, 分布式机 器学习引 擎 DISCOVER ,分布式 数据库系 统HYPERBAS Ecentos6.5；6XD5172.16.80

5、.31物理服 务器大数据平台效劳 器集群资源治理器 YARN,centos6.5月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数分布式机 器学习引 壑丰DISCOVER,分布式数据库系HYPERBAS；E资源治理器 YARN, 分布式机器学习引7XD5172.16.80.30物理服 务器大数据平台效劳 器集群擎DISCOVER,分布式数据库系centos6.5HYPERBAS；E资源治理器 YARN, 分布式机器学习引8XD5172.16.80.29物理服 务器大数据平台效劳 器集群擎DISCOVER,分布式 数据库系centos6.5HYPERB

6、AS；E资源治理器 YARN, 分布式机9XD172.16.8物理服大数据平台效劳器学习引centos50.28务器器集群擎DISCOVER,分布式数据库系6.5月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数统HYPERBAS；E资源治理器 YARN, 分布式机器学习引10XD5172.16.80.27物理服 务器大数据平台效劳 器集群擎DISCOVER,分布式 数据库系centos6.5凯HYPERBAS；E分布式文 件系统HDFS资源治理器YARN分11XD5172.16.80.26物理服 务器大数据平台效劳 器集群布式机器 学习引擎 DIS

7、COVER ,分布式 数据库系centos6.5纨HYPERBAS；E分布式文 件系统HDFS资源治理器12XD6172.16.80.15物理服 务器大数据平台效劳 器集群YARN分 布式机器 学习引擎 DISCOVER ,分布式 数据库系 统centos6.5月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数HYPERBAS；E物理服分布式文 件系统HDFS资源治理器YARN分布式机器13XD172.16.8大数据平台效劳 器集群centos务器学习引擎60.16DISCOVER,分布式 数据库系6.5凯HYPERBAS；E物理服分布式文 件系统

8、HDFS资 源治理器YARN分 布式机器14XD172.16.8大数据平台效劳 器集群centos务器学习引擎60.17DISCOVER,分布式 数据库系6.5HYPERBAS；E分布式文 件系统 HDFS资 源治理器15XD172.16.8物理服大数据平台效劳 器集群YARN分布式机器centos60.18务器6.5学习引擎DISCOVER,分布式 数据库系 统月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数HYPERBAS；E分布式文 件系统HDFS资源治理器YARN分16XD6172.16.80.19物理服 务器大数据平台效劳 器集群布式机器

9、 学习引擎 DISCOVER ,分布式 数据库系centos6.5凯HYPERBAS；E分布式文 件系统 HDFS资17XD172.16.8物理服大数据平台效劳源治理器YARN分布式数据centos60.20务器器集群6.5库系统HYPERBAS；E分布式文 件系统18XD6172.16.80.21物理服 务器大数据平台效劳 器集群HDFS分布式发布 订阅消息 系统KAFKAcentos6.5分布式文 件系统19XD6172.16.80.22物理服 务器大数据平台效劳 器集群HDFS分 布式发布 订阅消息 系统 KAFKAcentos6.5月艮务 器 类序 号机 柜效劳器IP设备类 型功能分类

10、规划设备 用途操作 系统设备参 数别分布式文 件系统20XD6172.16.80.23物理服 务器大数据平台效劳 器集群HDFS分 布式发布 订阅消息 系统 KAFKAcentos6.5分布式文 件系统21XD6172.16.80.24物理服 务器大数据平台效劳 器集群HDFS分 布式发布 订阅消息 系统 KAFKAcentos6.5分布式文 件系统22XD6172.16.80.25物理服 务器大数据平台效劳 器集群HDFS分布式发布 订阅消息 系统KAFKAcentos6.5分布式应 用程序协 调效劳 ZOOKEEPE R,分布式 文件系统 HDFS资 源治理器23XD172.16.8物理服

11、大数据平台效劳YARN分centos60.11务器器集群布式机器 学习引擎 DISCOVER ,分布式 数据库系6.5凯HYPERBASE,搜索引 擎；月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数ELASTICSEARCH分布式应 用程序协 调效劳 ZOOKEEPE R,分布式 文件系统 HDFS资 源治理器YARN分 布式机器24XD172.16.8物理服大数据平台效劳学习引擎centos70.12务器器集群DISCOVER,分布式 数据库系6.5HYPERBAS E,数据传 递工具 SQOOPt 索引擎 ELASTICSEARCH；分布式文

12、 件系统 HDFS资 源治理器YARN分25XD7172.16.80.13物理服 务器大数据平台效劳 器集群布式机器 学习引擎 DISCOVER ,分布式 数据库系 纬centos6.5HYPERBASE,数据仓；月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数库INCEPTOR,搜索引壑丰ELASTICS EARCH图 形化接口HUE分布式文 件系统 HDFS资 源治理器YARN分布式机器 学习引擎DISCOVER,分布式26XD172.16.8物理服大数据平台效劳数据库系centos70.14务器器集群统 HYPERBAS E,工作流 调度引擎

13、 OOZIE,搜 索引擎 ELASTICS EARCH图 形化接口 HUE6.5；分布式文RH2288件系统H V3HDFS资RH2288源治理器H V3,物理服YARN分2*Xeon27XD172.16.8大数据平台效劳布式机器centosE5-70.40务器器集群6.52630学习引擎DISCOVERv3-,分布式8Core数据库系 统,64GB DDR4月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数HYPERBASE；内存,12*40028XD7172.16.80.39物理服 务器大数据平台效劳 器集群分布式文 件系统 HDFS资 源治理器

14、 YARN分 布式机器 学习引擎 DISCOVER ,分布式 数据库系 统HYPERBAS Ecentos6.5；0GB- SATA 6.0Gb/ s- 7200rp m-3.5 inch- 64 MB 硬盘 +1*600 GB-SAS 6.0Gb/ s-29XD7172.16.80.38物理服 务器大数据平台效劳 器集群分布式文 件系统 HDFS资 源治理器YARN分 布式机器 学习引擎 DISCOVER ,分布式 数据库系 统HYPERBAS Ecentos6.5；10000r pm-2.5"- 16MB 硬盘, SR430C RAID 卡1GB Cache,4XGE 电口网 卡

15、,冗 余风扇30XD7172.16.80.37物理服 务器大数据平台效劳 器集群分布式文 件系统 HDFS资 源治理器YARN分 布式机器 学习引擎 DISCOVER ,分布式 数据库系 统centos6.5电源,三年服 务2U月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数HYPERBASE；大数据平台符1XD7172.16.80.1物理服 务器大数据平台效劳 器集群分布式应 用程序协 调效劳 ZOOKEEPE R,分布式 文件系统 HDFS资 源治理器 YARN分 布式数据 库系统HYPERBAS Ecentos6.5；RH2288 H V3,

16、 2*Xeon E5- 2630 v3- 8Core ,64GB DDR4 内存, 4*600GB-SAS 6.0Gb/理 服 务 器 共 计 4 台 2XD7172.16.80.2物理服 务器大数据平台效劳 器集群分布式应 用程序协 调效劳 ZOOKEEPE R,分布式 发布订阅 消息系统 KAFKAi centos6.5s- 10000r pm- 2.5"- 16MB 硬盘, RAID 卡3XD7172.16.80.3物理服 务器大数据平台效劳 器集群分布式发 布订阅消 息系统 KAFKAcentos6.5SR430C 1GB Cache ,4XGE4XD7172.16.80.4

17、物理服 务器大数据平台效劳 器集群分布式发 布订阅消 息系统 KAFKAcentos6.5电口网 卡,冗 余风扇 电源, 三年服 务虚 拟 化 服 务1XD3172.16.82.104物理服 务器虚拟化效劳器iETL设计 器、iESB 设计器/ 自助仪表 盘工具WindowsRH2288H V3, 2*XeonE5-2650月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数器 (/SVN效劳器v3-10Core共 计 13 台 )2XD3172.16.82.103物理服 务器虚拟化效劳器数据共享 交换、目 录治理系 统/数据 共享交换 前置cento

18、s6.5,64GB DDR4 内存, 3*600G B-SAS 6.0Gb/3XD3172.16.82.102物理服 务器虚拟化效劳器综合信息 采集设计 器、数据 效劳总线 设计器、 自助仪表 盘BIWindowss- 10000rpm-2.5"-16MB 硬盘,RAID4XD3172.16.82.101物理服 务器虚拟化效劳器iETL 后口、统 身份认 证、门户 系统、人 物画像系 统、全文 检索centos6.5卡 SR430C 1GB Cache ,4XGE 电口网 卡, 2*8Gb5XD3172.16.82.108物理服 务器虚拟化效劳器数据效劳 总线效劳 引擎、统 一身份认

19、 证系统/ 数据共享 交换效劳 引擎、综 合信息采 集限制台centos6.5单口 HBA 卡,冗 余风扇 电源, 三年服 务6XD3172.16.82.109物理服 务器虚拟化效劳器网络爬虫 程序/综 合信息采 集设计 器、数据 效劳总线centos6.5月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数设计器、政务智能 设计器7XD3172.16.82.110物理服 务器虚拟化效劳器全文搜索 程序/数 据效劳总 线效劳引 擎、统一 身份认证 系统centos6.58XD3172.16.82.111物理服 务器虚拟化效劳器网络爬虫 程序/综 合信息

20、采 集设计 器、数据 效劳总线 设计器、 政务智能 设计器centos6.59XD3172.16.82.112物理服 务器虚拟化效劳器全文搜索 程序/门 户系统、 目录治理 系统centos6.510XD3172.16.82.113物理服 务器虚拟化效劳器数据共享 交换前置Windows11XD3备用物理服 务器虚拟化效劳器备用centos6.512XD5172.16.81.1物理服 务器ORACLES据库备份效劳器数据仓库 备份效劳 器centos6.513XD5172.16.81.2物理服 务器ORACLES据库效劳器数据仓库 效劳器centos6.5MyS QL 服 务 器 (1XD 4

21、172.16.81.20物理服 务器MYSQ集群效劳器MySQLW 可用性和 可扩展性 的解决方 案 percona,centos6.5RH2288 H V3 2*Xeon E5- 2630 v3-月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数共 计 12 台 检测效劳 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxy请尽量 用中文概 括描述8Core 64GB DDR48*600G B-SAS6.0Gb/ s- 10000r pm- 2.5"-16MB SR430C 1GB Cache 4XGE

22、电口 2U2XD 4172.16.81.12物理服 务器MYSQ集群效劳器MySQL® 可用性和 可扩展性 的解决方 案 percona, 检测效劳 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxycentos6.53XD 4172.16.81.13物理服 务器MYSQ集群效劳器MySQL® 可用性和 可扩展性 的解决方 案 percona, 检测效劳 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxycentos6.5月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系

23、统设备参 数4XD 4备用物理服 务器MYSQ集群效劳器MySQL® 可用性和 可扩展性 的解决方 案 percona, 检测效劳 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxycentos6.55XD 4备用物理服 务器MYSQ集群效劳器MySQL® 可用性和 可扩展性 的解决方 案 percona, 检测效劳 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxycentos6.56XD 4备用物理服 务器MYSQ集群效劳器MySQL® 可用性和 可扩展性 的解决方 案 percona,

24、检测效劳 器状态 keepaliv ed,分布 式数据库centos6.5月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数mycat,负载均衡 haproxy7XD 4172.16.81.14物理服 务器MYSQ集群效劳器MySQL® 可用性和 可扩展性 的解决方 案 percona, 检测效劳 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxycentos6.58XD 4172.16.81.15物理服 务器MYSQ集群效劳器MySQL® 可用性和 可扩展性 的解决方 案 percona, 检

25、测效劳 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxycentos6.59XD 4172.16.81.16物理服 务器MYSQ集群效劳器MySQL® 可用性和 可扩展性 的解决方 案percona, 检测效劳 器状态centos6.5月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数keepaliv ed,分布 式数据库 mycat,负 载均衡haproxy10XD 4172.16.81.17物理服 务器MYSQ集群效劳器MySQL® 可用性和 可扩展性 的解决方 案 percona, 检测

26、效劳 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxycentos6.511XD 4172.16.81.18物理服 务器MYSQ集群效劳器MySQL® 可用性和 可扩展性 的解决方 案 percona, 检测效劳 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡 haproxycentos6.512XD 4172.16.81.19物理服 务器MYSQ集群效劳器MySQL® 可用性和 可扩展性 的解决方 案centos6.5月艮 务 器 类 别序 号机 柜效劳器IP设备类 型功能分类规划设备 用途操作 系统设备参 数

27、percona, 检测效劳 器状态 keepaliv ed,分布 式数据库 mycat,负 载均衡haproxy1.5 大数据中央虚拟化平台虚拟机清单序 号虚拟机物理机IP虚拟机IP规划用途已安装使用操作系统详细配置1172.16.82.104172.16.83.3iETL设计 器、iESB 设计器iETL设计器、iESB设计器WindowsServer 202124G 内存 360G 硬盘,cpu8核172.16.83.4自助仪表盘 工具自助仪表盘工 具WindowsServer 202124G 内存 360G 硬盘,cpu8核172.16.83.30SVN版本控制效劳器SVN效劳器WindowsServer 20214G内存300G硬盘,cpu2核2172.16.82.103172.16.83.1数据共享交 换、目录管 理系统数据共享交 换、目录治理 系统centos64_6x32G 内存 360G 硬盘,cpu6核172.16.83.2数据共享交 换前置数据共享交换 前置centos64_6x16G 内存 360G 硬盘,cpu6核3172.16.82.102172.16.83.7大数据政府 智能分析平 台、元数据 治理系统大数据政府智 能分析平台、 元数据