大数据云中心建设项目技术规范V1

1、数据中心建设功能要求一、数据服务中心建设规划数据服务中心是整个智慧旅游大数据项目核心组成部分，在规划建设过程中，坚持以数据资源为核心，面向数据应用与服务、信息数据资源标准化与管理，实现数据资源横向集成、纵向贯通、全局共享的运转模式。数据服务中心数据流转图和逻辑架构如下图。数服务中心逻辑架构图整个数据服务中心逻辑组成部分有：数据存储、数据组织、数据处理、资源管理、数据服务支撑。数据存储：基于大规模并行处理（Massively Parallel Processing，简称MPP）、Hadoop等分布式计算平台进行搭建，以满足旅游行业结构化、图像视音频等非结构化多种类型格式的海量数据资源存储需求。数

2、据组织：对各类数据资源进行逻辑组织，形成基础数据资源库、专题应用资源库以及资源管理库，满足旅游行业数据资源应用、管理与服务的需求。数据处理：主要包括数据整合汇集、数据标准化处理、通用数据处理、专题数据处理。从多个层面对数据资源进行分析挖掘，为不同业务需求提供数据处理服务支撑。资源管理：资源管理从应用资源、数据资源、服务资源以及标准资源多个层面实现数据服务中心信息资源的管理与标准建设。数据服务支撑：数据服务中心实现了智慧旅游云数据资源的存储和组织。主要包括基础数据资源库、专题应用资源库和资源管理库。数据分析处理：面向具体业务需求，建立对应的数据分析处理模型，实现对数据资源的深度挖掘和综合利用。1

3、.1 大数据平台建设数据集中统一管理后，由于一体化业务为在线运行的系统，为避免大数据应用对现有生产系统造成影响，本期单独建设一套大数据平台，通过ETL将生产数据抽取到大数据平台中，进行分析处理，建立数据仓库，为上层应用提供支撑。基于大数据等新先进理念，融合MPP、Hadoop、OLTP以及HDFS分布式文件系统等数据处理技术，构建具有海量数据处理能力的旅游大数据平台技术支撑体系。有效汇总整合内外部数据资源，实现对数据资源的统一管理、高度共享和高效利用，解决数据资源海量化、异构化，应用需求多样化、复杂化等现实问题，进一步提升信息资源开发利用水平，提升信息资源服务的能力和服务品质，深层次满足上层业

4、务应用、管理决策支持和信息再生应用的需要，达到强化情报信息数据支撑，服务实战应用的目的。完整的大数据集群应当包含4大部分：ETL集群、MPP集群、Hadoop集群和数据仓库，提供从数据抽取、清洗、转换、加载到数据存储计算及数据仓库建设的一整套完整的大数据解决方案。各节点通过万兆网口连接，满足集群网络IO密集型的要求。 ETL集群建议不少于1个节点，完成从各种数据源抽取、清洗、转化和加载数据到大数据集群的工作。 MPP集群建议不少于2个节点。MPP集群负责结构化数据的存储与计算。 Hadoop集群至少应包含6个节点，以满足数据多个备份的高可靠性要求。Hadoop集群负责非结构化和半结构化数据的存

5、储与计算。 数据仓库节点，将ETL集群、MPP集群和Hadoop集群导入的高度提炼汇总后的数据进行存储和分析，满足专业应用需要。流程如下图所示：1.2 数据标准化建设数据标准化是数据服务中心建设的基础。在项目建设时根据旅游信息资源标准，并根据实际情况进行完善。数据服务中心数据标准化工作主要以下几个层面出发进行建设：l 数据内容标准化通过依据现有相关标准内容，对整合的各类数据资源进行标准化处理，形成标准化数据资源，从而对各个旅游业务部门提供标准化的数据资源服务。l 资源管理标准化通过对旅游信息资源注册、梳理、对标等一系列的工作，建立标准化的资源管理机制，实现对智慧旅游全部信息化资源的标准化管理。

6、以管理推动旅游信息标准化应用工作，逐步实现旅游信息化建设的规范化、标准化。l 标准化建设数据标准化工作是一项长期的过程，随着信息化的升级和深入，智慧旅游数据标准体系也在逐渐完善，所以通过制定相应的信息管理规范，必要时制定相关信息管理制度，来规范和长期完善数据标准管理平台，保证数据资源标准化工作开展和标准化工作成果的形成。标准体系建设是智慧旅游信息化的重要组成部分，也是旅游信息化建设的基础，并贯穿旅游信息化工作始终。数据标准管理的主要作用有以下内容：一是对外应用系统提供标准化服务支撑，例如标准代码字典服务、旅游主数据服务等，逐步实现旅游信息建设的标准化。二是规范智数据服务中心内容，为数据服务中心

7、标准数据资源库建设提供建设依据，同时基于数据服务中心对外应用系统提供标准化的数据资源服务。三是对数据资源管理提供标准化服务支撑，通过旅游数据元标注实现数据资源的标准化关联。数据资源标准（数据元标准、元数据标准、数据服务接口、数据传输和存储规范等）是旅游信息化标准体系中的核心和关键内容，须优先编制和修订。1.3 主题库目录建设本期将智慧旅游一体化业务系统数据库数据通过ETL工具抽取到大数据平台上进行存储和分析，并按照业务应用具体需要，通过二次抽取整合的方式，建立相应主题库，为上层应用提供支撑。二、详细参数名称 设备参数单位数量数据中心平台云中心虚拟化计算资源服务器1. 配置2颗处理器。要求Int

8、el Xeon E5-2600v4系列，性能2690v4；2. 配置256G DDR4内存。支持最大可扩展内存1.5TB，内存插槽24个；3.配置6块1.2T SAS 10K转硬盘，2块Intel 3610 800G ssd ，2.5寸热插拔硬盘槽位8个，可扩展至29个2.5寸热插拔硬盘槽位+2个3.5寸热插拔硬盘槽位；4. 配置1块12GB 2端口SAS HBA卡；5. 配置4个万兆以太网接口，要求额外提供1个网卡专用插槽、配置1块8Gb 2-port PCIe光纤通道HBA卡带2个FC SFP+ 模块；6. 配置8个PCIE3.0插槽；7. 配置1Gb的远程管理控制端口，配置虚拟KVM功能

9、, 可实现与操作系统无关的远程对服务器的完全控制；8. 配置2个热插拔冗余电源，支持1+1备份、一套安全面板及导轨；9. 为确保系统的稳定性和兼容性，本次采购服务器须与大数据平台为统一品牌。台6云中心大数据非结构化数据存储服务器1. 机架式服务器，可以安装在长为110CM的标准机柜中；2. 二路服务器，配置2颗E5-2650v4处理器；3. 配置128GB内存，可扩展到1TB内存，配置16个内存插槽; 4. 当前配置内置硬盘2块480GB 2.5寸SSD硬盘和内置42块4TB 7.2K 3.5寸企业级SATA硬盘，为后期硬盘扩容需支持68块磁盘槽位；5. RAID卡 12Gb/s SAS磁盘阵

10、列控制器, 配置4GB缓存；6. 配置2块2*10GE（光口）网卡满配光模块，2*GE（电口）网卡;7. 配置4个热插拔冗余电源；8. 为确保系统的稳定性和兼容性，本次采购存储服务器须与、大数据平台为统一品牌台3云中心核心存储网络FC交换机1.配置要求：光纤交换机，48端口(48端口激活，含10*8Gb多模SFP)；2.端口速度：支持自适应2、4、8 Gbit/sec；3.电源：交流双电源；4.软件特性：可视化用户界面（基于Web的管理界面），5.功能：支持级联、链路聚合等功能；台2云中心大数据结构化数据存储1. 存储控制器数量2，具备Active-Active双控制器架构；配置统一存储缓存容

11、量64GB（不含任何性能加速模块，如FlashCache、PAM卡、SSD Cache、或NAS缓存等）；缓存采用镜像保护，断电后缓存数据可写入磁盘，实现无限时断电保护Cache数据的目的。控制器采用存储设备专用的ASIC芯片。2.配置4个16G FC前端主机接口，最大支持12个FC接口；最大前端主机接口数200个。3. 所有磁盘可同时配置为RAID0/1/5/6，且可共存。支持多对多高速RAID重建，支持无中断地RAID改变，并支持多类型磁盘多方向、无中断在线数据迁移，迁移过程不影响业务性能。本次配置1.8TB 10000转高性能磁盘8块，4TB 7200转大容量磁盘12块，400GB SS

12、D硬盘8块4.配置冗余电源、冗余风扇、冗余控制器，磁盘、电源、IO模块都可以不停机热插拔。5. 配置连接PC服务器的许可数量1024台，配置连接Unix服务器许可数量1024台。实现虚拟资源调配功能，可为应用程序分配更多的虚拟容量。简化并加速调配过程，提供“适时”的容量分配，提高容量利用率。6配置全容量精简配置软件，支持精简卷的空间回收。7. 配置功能全面的图形化管理软件和监控软件，通过图形化方式进行远程系统监控和管理。8. 支持数据克隆和快照,配置所有磁盘所需容量克隆许可。同一卷支持快照数量2000个。配置数据复制软件。9. 允许主机同一个LUN可使用不同类型磁盘，自动感知应用的需求，将同一

13、个LUN的热点数据移动到高性能磁盘上，以提高应用的性能。10. 支持新加入磁盘后，系统自动会将数据重新分配以使卷均匀的分布在更多的磁盘上，随着磁盘的不断加入，无需手工干预即可提升存储整体性能。11. 支持通过存储本身的迁移功能在不同级别、型号的产品之间进行在线数据迁移。12. 支持三数据中心存储级容灾技术，配置FCIP灾备复制接口模块2，必须可实现与同厂商最高端型号存储实现存储底层复制；13. 配置通道管理软件，可在服务器与盘阵间实现路径的负载均衡/故障切换，支持基于数据块/IO数量等高级负载均衡功能。14.为确保系统的稳定性和兼容性，本次采购存储须与大数据平台为统一品牌15.存储产品技术成熟

14、度：Gartner最新企业级存储魔力象限领导者象限的设备供应商，提供证书复印件并加盖设备厂商项目授权章； IDC报告全球磁盘存储系统季度跟踪报告（2015年最新版本）厂商排名前三名，提供证书复印件并加盖设备厂商项目授权章；台1虚拟化软件1.VMWARE vsphere 6.0 标准版Cpu数122.Vcenter 6.0 标准版套13、集成部署服务6台，5年虚拟化平台软件专人运维支持服务。套1大数据平台企业服务总线软件特性：1、服务感知：能够自动感知和发现在云端的REST服务和SOAP服务，并提供灵活的服务编排功能来组合各种原子服务。2、存储过程服务化：支持将数据库存储过程生成服务。3、消息处

15、理: 支持Rule-Based和Content-Based的消息路由，提供对消息进行分割、聚合和格式转换等功能。4、事件感知: 支持事件的发布与订阅功能，支持基于ED-SOA架构的应用整合，支持对实时性要求较高的应用。能够感知符合WS-Eventing规范的事件，并通知事件订阅者完成服务调度。支持对事件消息进行格式转换、分割。5、任务调度: 支持对内部/外部Command应用统一的调度框架。套6、服务治理: 包含服务注册管理、服务粒度监控、服务及服务方法的流量控制、服务请求监控等功能，并提供服务质量保证。7、服务安全: 支持数字证书、安全会话、签名、加密、签名及加密、 STS服务、引导策略、用

16、户令牌认证等安全功能。（提供功能界面截图，原厂盖章）8、集群服务: 支持多台设备组建负载均衡集群。硬件要求：9、标准19英寸2U机架式设备；多核高性能处理器；高峰值能承载1000服务响应/秒；可热插拔双冗余电源系统，支持故障自动切换；内置故障声音报警,提供报警消声针孔键；1000BasdeTX网络端口：4个， RJ45控制端口：1个， USB接口：2个；提供电源状态灯（显示每个电源模块状态），系统状态灯，存储容器状态灯；10、为保障系统稳定性和兼容性，要求软硬件由同一厂家一体化交付；套1资源服务目录软件特性：1、资源类化编目：动态感知符合规范的web服务。根据不同的资源的主题、来源、保密等级和

17、资源服务的访问地址等进行资源的类化编目。（提供功能界面截图，原厂盖章）2、性能：1000用户并发/秒，目录检索响应时间3秒；服务消费认证响应时间2秒。3、目录版本管理：针对目录变更提供目录版本管理，对经过审核后的目录变更内容以多版本的形式存储。目录的变更严格使用权限控制。4、目录检索: 提供目录资源搜索引擎根据目录的分类和目录信息关键字进行目录的搜索和查询。（提供功能界面截图，原厂盖章）5、目录订阅功能: 提供ATOM订阅服务将目录发布给授权的目录消费者。（提供功能界面截图，原厂盖章）6、效果评论功能: 提供资源目录使用效果评论功能。目录订阅者可以将服务运行的效果和问题上报到云资源目录平台。提

18、升智慧旅游的自我评价能力。7、服务消费认证: 对云资源和云服务的消费者和消费行为进行安全有效的权限认证和权限控制。8、支持共享资源之间的依赖关系管理。9、支持共享资源的生命周期管理。（提供功能界面截图，原厂盖章）硬件要求：10、标准19英寸2U机架式设备；多核高性能处理器；可热插拔双冗余电源系统，故障自动切换；内置故障声音报警,提供报警消声针孔键；1000BasdeTX网络端口：4个， RJ45控制端口：1个， USB接口：2个；状态监控：两个电源状态灯，一个系统状态灯，一个存储容器状态灯。11、为保障系统稳定性和兼容性，要求软硬件由同一厂家一体化交付；套1消息中间件软件特性：1、提供多种消息

19、适配器组件，包括输入、输出、条件、转换、工具、脚本、大数据、查询、映射等。2、内嵌JS脚本引擎、转换引擎、流程引擎、调度引擎。3、配置界面：提供图形化配置界面。可以通过拖拽的方式完成数据桥接、采集规则的配置。（提供功能界面截图，原厂盖章）4、数据源支持：支持各种类型的数据源，包括各种类型的数据库（Oracle、MySQL、DB2、H2等等）、Cube数据集市数据源、XML数据源、EXCEL数据源、CSV数据源、LDAP数据源、EMAIL数据源等。（提供功能界面截图，原厂盖章）5、数据提取模式：支持数据库日志分析、触发器、标示位、全表比对、时间戳。6、数据转换：提供上百种数据转换的组件供用户选择

20、，用户根据自己的数据转换规则选择相应组件，通过各种不同的数据转换组件的组合可以完成复杂的数据转换需求。主要的数据库数据转换组件有：字段折分组件、字段合并组件、数据过滤组件、多字段计算组件、空处理组件、字段映射组件、数据类型转换组件、脚本转换组件。（提供功能界面截图，原厂盖章）7、任务调度：支持多种任务调度模式：实时调度、定时调度、时间间隔循环调度。8、实时监控：提供运行监控、流程监控、过程监控、事件预警等功能，监控系统接入情况、流程的运行状态、软件运行过程中问题。套9、日志管理：提供对数据交换过程的日志管理，可以展现数据交换的日志情况，便于管理员查询在系统运行过程中的各种信息。10、接口开发：

21、接口开发无编码过程。通过配置能够实现多种数据桥接功能。11、运行环境：运行容器和配置工具分离。运行环境可以内置到数据交换网关和数据交换总控。12、数据库抽取速度：带宽100Mps 下3000条数据/秒。数据库写入速度：带宽100Mps 下2000条数据/秒。数据库插入更新速度：带宽100Mps 下500条数据/秒。文件传输速度：带宽100Mps 下 2M/秒。套2一、总体要求1、 产品需具备国家版权局认证的“大数据软件”相关著作权登记证书，提供证书复印件（原厂商盖章）2、 投标厂商需连续5年获得国家规划布局内重点软件企业资质证书。3、 提供工信部指导的第三方权威机构2016年出具的大数据平台功

22、能测试、性能测试报告扫描件（原厂商盖章）4、 大数据平台采用业界领先的混合架构：采用Hadoop+MPP混合架构，实现结构化数据和非结构化数据差异化处理； 整体平台需实现统一的运维管理入口。（要求提供Hadoop和MPP统一运维管理的界面截图，原厂盖章）。5、 提供Web图形化操作界面，实现集群快速安装部署。支持一键图形化安装，提供可配置安装功能，支持分钟级交付集群。6、 机架和主机管理：支持图形化地展示主机在机架上的对应物理位置，并对主机和服务进行可视化的监控，方便大型集群的管理。支持对主机和服务的健康状态进行主动的、预防性的检查，保证集群监控可用。（提供功能界面截图，原厂盖章）7、 大数据

23、平台软件、硬件服务器需由厂家一体化交付，确保软硬件的兼容性，提供原厂一年7X24小时技术支持服务。二、Hadoop软件平台8、 硬件部分：共配置2套4U机架式服务器；每套配置冗余电源，机架导轨，配置3节点服务器；单节点配置2*E5-2630v3 CPU，128G内存，2*600G 10K转速硬盘，10块2T 7.2K转速硬盘，2个万兆光口（含2个万兆多模光模块）；配置6个节点大数据Hadoop软件授权许可；9、 运维管理：图形化管理界面支持同时管理多个Hadoop/HBase集群，适应用户创建研发、测试、生产等多个集群并统一管理。（提供功能界面截图，原厂盖章）10、 SQL兼容性：100%兼容

24、SQL92标准。支持存储过程等数据库对象。11、 支持异构数据库间的关联查询语句，支持HBase/Hive等Hadoop数据库和MPP/Oracle/SQL Server等关系型数据库之间统一SQL查询。12、 支持在HBASE上建立全局索引、局部索引，通过多个字段进行组合数据检索。13、 多租户管理：可以根据不同的业务部门，以及各自部门的业务需求，向多个部门提供资源隔离的多租户服务。14、 安全性：(1)三员分立：对管理员的权限进行控制，采用最小授权原则对系统管理员、安全保密员、安全审计员进行系统权限的赋予。(2) 支持分布式存储数据加密，支持密钥统一管理。(3) 组件细粒度访问权限控制：支

25、持用户权限认证。(4) 统一日志审计：记录平台的操作记录，并提供检索功能;管理组件、所有主机、所有服务的日志、审计、告警信息。可针对特定服务和操作提供监控仪表盘功能;提供日志检索、全文搜索、统计功能。二、MPPDB软件平台15、硬件要求：共配置1套2U机架式服务器；每套配置冗余电源，机架导轨，配置2节点服务器，单节点配置2*E5-2630v3 CPU，128G内存，2*600G 10K转速硬盘，4块1.2T 10K转速硬盘，2个万兆光口（含2个万兆多模光模块）；配置2个节点大数据MPP DB软件授权许可；16、 列存储MPP架构，先进性架构设计简洁清晰，扩展性强，变更灵活，可以根据实际业务需要

26、灵活部署和配置。MPP+Shared Nothing架构，完全扁平无Master节点，不存在单点性能瓶颈和SPOF单点故障。17、 安装部署均采用web化向导式配置部署，支持分钟级部署交付。18、 支持粗粒度智能索引，数据入库自动建立索引，无须人工维护，且具备自动优化的能力。19、 自适应压缩算法，根据不同分布方式和数据类型自动选择最优算法。支持三级压缩选项，且基于数据结构相同的列存储技术，最高压缩比可达1:20。且支持数据压缩态下的DML操作。20、 兼容性：(1)符合SQL 92 ANSI/ISO 标准，支持C API、ODBC、JDBC、ADO.NET等国际接口规范，支持DDL，DML，DCL语法，支持基本数据类型、基本完整性约束、基本表管理、搜索条件、表连接、子查询、分组查询、插入、修改、删除、事务控制。21、 提供数据库、表空间、表、索引