数据立方云计算一体机产品白皮书-SL03.doc

数据立方云计算一体机产品白皮书 数据立方云计算一体机产品白皮书 版权声明本文中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容，除另有特别注明，版权均属南京云创存储所有，受到有关产权及版权法保护。任何个人、机构未经南京云创存储的书面授权许可，不得以任何方式复制或引用本文的任何片断。 目 录一. 前言4二. 产品介绍5三. 功能特性7四. 配置参数8五. 测试环境及结果9六. 使用说明11七. 产品应用15八. 成功案例16一. 前言全球在2010年正式进入ZB 时代，根据IDC监测，全球数据量大约每 18 个月翻一番，意味着人类在最近18个月产生的数据量相当于之前产生的全部数据量，预计到 2020 年，全球将总共拥有 35ZB的数据量，相较于2010年，数据量将增长近30倍。我们正处于大数据时代的边缘。随着信息化的发展，企业需要处理的数据呈爆炸式的增长，数据量都达到了TB级、PB级，由此带来了一系列的问题。数据量的增多，系统的负载越来越大，数据的入库和查询性能随之下降。在不增加硬件成本的情况下，如何发挥系统的最大性能，使入库，查询速度最快，是许多企业面临的难题。云计算的出现为海量数据处理提供了有效地解决途径，在通常的云计算解决方案中，通过Hadoop（一种分布式系统基础架构）的HDFS（一种分布式文件系统）可以方便的实现海量数据存储，同时有效防止单点故障，避免不必要的损失。但是，在HDFS上进行数据检索时，常用的方法是开启全局搜索MapReduce（大规模数据并行运算），这需要完整过滤一遍HDFS上存储的所有数据。在云计算中，尤其是在海量数据情况下，这样做会对系统资源造成巨大的浪费，耗费大量的时间，这显然不是一个适合投入现实生产环境的方式。本产品克服现有云计算解决方案中常用数据处理方法会造成系统资源浪费，数据处理时间长的缺点，提供一种有效的海量数据实时处理设备，最大限度的利用了计算机的硬件设备，通过一种高效地并行执行方式，使查询达到了实时完成、简单易用、高可靠安全的效能，成功解决了海量数据的快速索引和查询问题，使得百亿条记录级的数据能够秒级处理，极大地提高用户执行查询操作后的使用效率。二. 产品介绍 产品概述数据立方云计算一体机是一种处理海量数据高效分布式的、软硬件集合的云处理平台，该平台可以从TB乃至PB级的数据中挖掘出有用的信息，并对这些海量信息进行快捷、高效的处理。平台支持100GBps以上量级的数据流实时索引，1s内响应客户请求，秒级完成数据处理、查询和分析工作。平台可以对入口数据进行实时索引，经过数据立方对数据进行分析、清理、分割后，将这些数据存储在云存储系统上，不仅在查询和检索这部分数据的时候具有非常高的性能优势,还可以支持数据仓库存储、数据深度挖掘和商业智能分析等业务。 产品优势全业务支持：采用NoSQL+关系数据库混合模式，不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。对任意多关键字实时索引：利用数据立方存储索引结构，将任意不同的关键字字段分别建立索引，可方便快捷的在海量数据云计算系统中准确检索定位数据。支持类SQL复杂并行组合查询：专门针对地面数据传输的高性能可靠文件传输协议，采用并行流水线方式、将传输与存储作联合优化，并支持多点中继高效传输。分布式万兆实时数据流秒级处理：高效索引算法，智能化调度任务系统，满足秒级查询速度。提高客户体验：能够支撑千万级并发访问，PB级数据存储、秒级数据处理能力，提高了客户体验感。用户访问时，系统通过负载均衡与队列模式，做到资源公平原则加强客户体验。超高可靠性：任意节点宕机，系统不停止服务；任意硬盘、网卡等部件损坏，不影响系统服务，系统能够自动容错，将数据分散在各个节点上，不会出现丢失数据的现象。任务处理过程中，节点宕机，任务自动切换并保留现有进度，保障任务继续执行下去。可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。这样，可以做到与资源池的无缝对接，根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。高性价比：采用X86架构超高性价比的英特尔E5家族CPU及英特尔服务器组件构建云计算平台，用软件容错替代硬件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省10倍左右的成本。三. 功能特性项 目内 容可管理的数据总量可高效管理超过万亿条的记录。实时索引的数据流量支持100Gbps以上量级的数据流实时索引，单节点数据入库索引速度可达10MB-20MB/S。任意关键字段实时创建索引根据提供的表结构解析元数据，并根据提供的任意关键字段实时创建索引。可移植性Java语言实现，具有跨平台性，一次编程，任意操作系统都可运行。查询效率百亿条记录秒级响应，可支持对万亿条记录进行实时查询。支持简答SQL组合查询采用与关系数据混合模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库，可支撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。负载均衡性根据机器负载自动进行负载均衡。拔掉或者增加一台节点后，仍能均匀的向各处处理节点分布数据。支持并发查询支持并发查询，查询要求都能正常下发执行、且都能正常返回结果。数据准确性查询条件相同情况下，每次查询结果相同。稳定性系统连续运行7*24小时，无任何故障，所有周期任务均正常执行，且执行结果正确。可靠性没有单点故障，任意节点宕机，系统工作正常，可以继续进行数据处理和应用查询，不会影响分布式系统运行和查询结果的准确性。扩展性既可以在很小规模的机器上运行，也可以在成千上万台的机器上运行，经过很简单的操作就可以把规模扩展到成千上万台服务器，可靠性随着节点的增加成线性上升。分布式计算能力集群能增加节点、并且能正常执行查询任务，在流量不变、资源增加的情况下，增加机器后，查询任务耗时按比例降低。支持对外接口提供专用API、Web访问和Web Services接口进行对外数据交互操作。监控功能提供Web界面对分布式文件进行监控，支持查看、下载索引文件和元数据文件。四. 配置参数 配置参数设备型号配 置 参 数 部件清单100TB200TB320TB控制节点服务器主板Intel5600芯片组Intel芯片组Intel芯片组CPU双路四核，主频2GHz以上Intel E5系列*2Intel E5系列*2内存32GB DDR332GB DDR332GB DDR3硬盘3.5寸2TB SATA企业盘*13.5寸SATA企业盘*13.5寸SATA企业盘*1电源625W冗余电源1+1750W 高效冗余电源 1+1750W 高效冗余电源 1+1机箱2U机架式服务器机箱1U机架式服务器机箱1U机架式服务器机箱处理节点服务器主板Intel5600芯片组Intel芯片组Intel芯片组（高温主板）CPU双路四核，主频2GHz以上Intel E5系列*2Intel E5系列8核*2内存16GB DDR348GB DDR348GB DDR3硬盘3.5寸3TB SATA企业盘*123.5寸3TB SATA企业盘*123.5寸3TB SATA企业盘*12扩展卡高速内置接口SAS端口 6Gb/sIntel RAID Expander RES2SV240Intel RAID Expander RES2SV2404端口进阶型 SerialATA 3G 1.5G电源625W冗余电源1+1750W高效冗余电源 1+1750W高效冗余电源 1+1机箱2U机架式服务器机箱2U机架式服务器机箱2U机架式服务器机箱配套设施交换机千兆交换机冗余千兆交换机冗余InfiniBand 交换机机柜42U 高通风率六角弧形网 SPCC优质冷扎钢板制42U 高通风率六角弧形网 SPCC优质冷扎钢板制42U 高通风率六角弧形网 SPCC优质冷扎钢板制五. 测试环境及结果 测试环境硬 件 环 境编号机种IP地址CPU内存硬盘控制台1Intel Server System H2000系列（H2312JF）192.168.0.12680*2pcs8GB1TB控制台2Intel Server System H2000系列（H2312JF）192.168.0.22680*2pcs8GB1TB1Intel Server Product R2000系列（R2312IP）192.168.0.32620*2pcs4GB*12pcs=48GB3TB*3pcs+2TB*5pcs=19TB (3.5)2Intel Server Product R2000系列（R2312IP）192.168.0.42620*2pcs4GB*12pcs=48GB3TB*3pcs+2TB*5pcs=19TB (3.5)3Intel Server Product R2000系列（R2312IP）192.168.0.52620*2pcs4GB*12pcs=48GB3TB*3pcs+2TB*5pcs=19TB (3.5)4Intel Server Product R2000系列（R2312IP）192.168.0.62620*2pcs4GB*12pcs=48GB3TB*3pcs+2TB*5pcs=19TB (3.5)5Intel Server Product R2000系列（R2312IP）192.168.0.72620*2pcs4GB*12pcs=48GB3TB*1pcs+2TB*7pcs=17TB (3.5)6Intel Server Product R2000系列（R2208GZ）192.168.0.82620*2pcs8GB*8pcs=64GB1TB*8pcs=8TB (2.5)7Intel Server Product R2000系列（R2208GZ）192.168.0.92620*2pcs4GB*12pcs=48GB1TB*8pcs=8TB (2.5)8Intel Server Product R2000系列（R2208GZ）192.168.0.102620*2pcs4GB*12pcs=48GB1TB*8pcs=8TB (2.5)软 件 环 境1OSredhat6.2、datacubev1.0 测试结果入库速度表查询响应时间图查询响应时间表六. 使用说明DataCube平台提供CMS后台管理系统方便用户的管理、监控和操作。 登录输入用户名和密码，进入后台管理系统。初始用户名和密码为：admin/admin 文件监控通过文件监控，一目了然的观察到集群中的所有文件，同时可以下载一些源文件进行测试操作，支持文件路径访问、下载、在线查看等操作。集成hdfs自带的文件管理功能，提供hdfs上文件夹与文件的查看，并且可以下载文件。 数据立方数据立方功能主要是对表、索引和数据的管理和查询，通过表管理可以定义表和索引的结构，生成索引功能可以在线上传数据文件创建索引，而在线查询提供实时的数据查询功能。包括： u表管理 v在线查询 w生成索引 集群监控 集成了Ganglia，对整个hadoop集群进行监控。 任务监控通过任务监控模块能看到当时集群中工作的任务，观察任务进度以及状态，并能删除任务。 用户管理用户管理功能主要是对系统帐号的管理，可以增加和删除用户帐号，也可以修改当前用户帐号的密码。包括： u用户列表 v创建用户 w修改密码 日志管理七. 产品应用 安防工程（平安城市） 移动网络优化 娱乐行业 媒体 大中型企业整体信息化服务 中小型企业门户网站 商业智能 系统集成 应用软件开发. .八. 成功案例 智能交通云平台按照省级公安机关信息化系统，为交通管理、治安管控、侦查破案、巡逻防范、反恐处突等各项公安工作提供服务保障。实现对重点车辆的自动比对和动态管控、对异常车辆行踪的自动研判预警、对特定车辆行车轨迹的自动生成、对重要节点道路交通信息的远程再现、对基层单位和执勤民警的勤务实施管理等建设目标。该系统主要有下面几个功能模块：实时监控、报警监控、车辆轨迹查询与回放、电子地图、报警管理、布控管理、设备管理、事件检测报警、流量统计和分析、系统管理等。系统实施阶段，应客户要求通过短信、串口等传输方式将监控报警信息传输展示到PC客户端、浏览器、手机、监控指挥台、道路上的大屏幕等多种载体上。 cVideo云转码系统由于视频片源需求的多样