XX证券期互联网金融投资者大数据平台建设方案(汇报稿)2016

1、思迪信息深圳市思迪信息技术有限公司目录124走进数据集中备份存储数据集中备份存储架构数据集中备份存储项目设计13数据集中备份存储特点与优势5 行业趋势业务场景化智能化融合应用l前端应用数据l中台统计数据l后端清算数据金融行业发展趋势l海量数据存储共享l行业应用整合l金融与IT技术融合l运维告警管理l故障自动替换l业务负载均衡l数据智能分析数据集中备份存储系统简介 思迪数据集中备份存储系统针对金融监控行业应用的专业级集中备份存储系统Text in here集群化虚拟化离散存储流式数据结构云架构存储模式数据备份存储是否能针对金融数据特点和金融应用扩展做出面向应用的调整与优化云 存 储数据集中备份存

2、储针对金融数据存储的流式非结构化特点，以流式数据结构统创新地将数据存储、金融应用扩展与集中备份存储优势结合，灵活运用集群化、虚拟化、分布式存储等技术、改造和优化集中备份存储结构以满足大规模金融监控系统对集中备份存储服务的需求集中备份存储通过软件运用集群技术、虚拟化技术、分布式存储技术将网络中大量各种不同类型的存储设备集合起来协同工作，共同对外提供数据存储和业务访问功能，适合通用的文件存储。数据集中备份存储数据集中备份存储概念核心技术：集群化虚拟化分布式存储 核心技术：云核心技术流式数据结构金融应用融合 目录24走进数据集中备份存储数据集中备份存储架构数据集中备份存储项目设计3数据集中备份存储特

3、点与优势51数据集中备份存储系统-逻辑架构支撑应用管理层接口层机构本地设备层存储层应用层集群管理业务调度资源管理设备管理索引管理日志管理容量整理机构存储设备通过流式数据结构将数据、数据、附属流写入存储设备机构存储设备机构存储设备数据备份平台数据监控应用运维平台提供标准、灵活的接口；Web Service接口、API接口、Mibs接口等虚拟化存储资源池设备层接口层标准、灵活的接口；Web Service接口、API接口、Mibs接口等存储设备存储设备存储设备数据集中备份存储系统-物理拓扑成本低数据集中备份存储系统-数据流程1、平台下发数据计划管理节点集群存储节点存储节点存储节点全域虚拟化存储资源

4、告警服务器监控管理平台集中备份存储系统2、数据计划同步中心管理服务器3、数据接口直写存储机构数据服务器负载均衡分布式数据存储集群（Hadoop）元数据存储数据集中备份存储系统-数据存储流程1、平台向集中备份存储请求并获取数据存储空间2、数据接口将数据写入接入服务器3、平台接入服务器将数据存入指定集中备份存储管理节点集群接入服务器监控管理平台集中备份存储系统中心管理服务器全域虚拟化存储资源机构数据服务器存储节点存储节点存储节点负载均衡分布式数据存储集群（Hadoop）元数据存储负载均衡 1、平台下发回放请求管理节点集群告警服务器数据监控管理平台集中备份存储系统2、集中备份存储返回数据索引中心管理

5、服务器3、存储节点推送数据数据集中备份存储系统-下载流程全域虚拟化存储资源机构数据服务器存储节点存储节点存储节点分布式数据存储集群（Hadoop）元数据存储数据集中备份存储系统-两大节点数据集中备份存储管理节点（ CVMN ）数据集中备份存储存储节点（ CVSN ）l 内置数据集中备份存储管理软件（CVM）l 可组建CVMN 管理集群，线性提升系统性能l 负责整个系统的运行与管理，支持业务负载均衡、实时动态调整l 支持双机HA和集群部署模式l 内置数据集中备份存储存储软件（CVS）和数据集中备份存储接入软件（CVA）；l 可支持主动数据、数据离散存储、并发读取，可提供高效的业务持续性服务；l

6、支持服务器、控制器架构磁盘阵列；l 支持16、24、36、48、60盘位磁盘阵列数据集中备份存储系统-四大构件数据集中备份存储接入软件 CVM(数据集中备份存储管理软件) : 负责集中备份存储系统资源管理、索引管理、计划管理、策略调度。 CVS (数据集中备份存储存储软件) : 负责数据数据存储、读取、存储设备管理、存储空间管理。 CVA (数据集中备份存储接入软件):负责数据计划执行、数据数据写入。异构存储服务软件ASS(异构存储服务)软件：负责接入第三方iSCSI/FC 存储设备。数据集中备份存储系统由CVM（集群）协同其它节点共同为用户提供优质服务体验数据集中备份存储管理软件数据集中备份

7、存储存储软件数据集中备份存储接入软件异构存储服务软件数据存储功能 相关数据 数据检索 数据上传 数据下载 数据标注 数据摘要 主动补录 冗余备份 运维管理功能系统管理功能 集群化管理 虚拟化管理 存储空间管理 负载均衡管理 自动精简管理 分散存储管理数据管理功能 数据计划管理 数据计划执行 移动侦测数据 事件数据 数据帧分析 系统信息获取 系统故障告警 存储设备告警 标准协议对接数据存储功能数据写入 数据压缩 HTTP访问 数据锁定 数据删除 周期覆盖数据集中备份存储5大基础功能数据运维管理传输系统数据集中备份存储-Smart IPC接入 数据集中备份存储系统支持与智能IPC无缝对接，支持数据

8、流和智能流同步存储，支持快速智能检索，比如越界检测、区域入侵检测报警等相关应用。Smart IPC数据集中备份存储客户端存储节点管理节点存储节点存储节点管理节点指定数据流数据流数据集中备份存储-智能补录 网络故障时。数据本地数据库本地保存。 网络恢复时，链路通畅，数据回传。 数据集中备份存储系统支持网络恢复后从前端存储卡或编码器获取链路中断期间的数据数据。本地数据库数据集中备份存储存储节点管理节点存储节点存储节点管理节点断网本地数据补录数据集中备份存储文件合并 数据集中备份存储系统支持通过文件合并技术，对历史数据合并后再存储，使存储空间大幅减少。节省空间高达50%-70%。存储节点存储节点存储

9、节点已使用的数据资源池使用空间减少50%-70%数据资源池数据资源池文件合并数据集中备份存储云备份 通过云备份功能将同一份数据数据在集中备份存储系统内部异设备存储2次； 数据集中备份存储支持存储内备份和多存储备份。存储节点A存储节点B数据块1数据块N数据块N数据块1本地数据库视频流视频流数据备份原数据块备份数据块数据集中备份存储-运维管理硬件运维软件运维实时监控系统告警监控服务器、存储设备的CPU、内存、网络、磁盘、块设备、风扇、温度等状态。监控软件模块运行状态、包括资源池的存储空间利用、前端的接入和数据情况。动态更新当前系统的运行状况，提供管理依据。 当硬件故障、系统压力过大、软件资源消耗过

10、大时，运维系统会采用实时语音 、邮件等方式告知管理员。目录34走进数据集中备份存储数据集中备份存储特点与优势数据集中备份存储项目设计12数据集中备份存储架构1数据集中备份存储3大技术亮点全面整合存储容量，始终对总容量进行管理和维护可按照实际需求对总容量进行分配针对业务调整，分配后的容量可以灵活的进行扩大和缩小全域虚拟化技术离散存储技术 虚拟化完成存储资源整和分配； 离散存储实现高并发和大吞吐的处理性能； 集群保证存储系统的高可靠性和安全性业务支撑；流数据离散算法均衡切片，数据块分布式存储，奠定数据高效性的基础降低单点故障数据的丢失概率和风险以集群的响应方式，并发提供服务，如高速的并发下载高效集

11、群技术集群运行负载均衡算法，全面提升系统内设备利用率，均衡设备压力集群根据前端数量变化、存储设备数量变化动态调整系统压力，保持业务的稳定和高效N+M系统级高可靠性和业务持续性，安全系数全面提升虚拟化技术优点数据集中备份存储全域虚拟化.全面整合存储容量，始终对总容量进行管理和维护。可按照实际需求对总容量进行分配针对业务调整，分配后的容量可以灵活的进行扩大和缩小存储节点数据块存储资源池创建数据池A创建数据池B创建数据池C扩大数据池缩小数据池数据池A数据池B数据池C虚拟化数据集中备份存储-虚拟化对比虚拟资源池集中存储环境中，前端数据与存储设备一一对应，存储位置固定。集中备份存储环境中，前端数据与虚拟

12、资源对应，与存储设备无对应关系，存储位置分散。数据数据还原集中存储数据集中备份存储数据数据集中存储数据集中备份存储-虚拟化对比管理复杂修改前数据无法回放虚拟资源池集中存储环境需要多人维护，每台设备都需要进行独立管理；集中备份存储环境中存储资源虚拟化后，只需要管理一个界面，类似管理一台设备；数据集中备份存储管理便捷数据集中备份存储-离散存储.存储节点数据块存储资源池数据池离散存储优点流数据离散算法均衡切片，数据块分布式存储，奠定数据高效性的基础降低单点故障数据的丢失概率和风险以集群的响应方式，并发提供服务，如高速的并发下载虚拟化数据集中备份存储负载均衡-前端变化存储节点数据块数据池集群技术优点集

13、群技术优点集群运行负载均衡算法，全面提升系统内设备利用率，均衡设备压力集群根据前端数量变化、存储设备数量变化动态调整系统压力，保持业务的稳定和高效N+M系统级高可靠性和业务持续性，安全系数全面提升 虚 拟 化存储资源池300100路数据前端路数据100路数据100路数据500166167167数据集中备份存储负载均衡-存储变化存储节点数据块数据池集群技术有点集群运行负载均衡算法，全面提升系统内设备利用率，均衡设备压力集群根据前端数量变化、存储设备数量变化动态调整系统压力，保持业务的稳定和高效N+M系统级高可靠性和业务持续性，安全系数全面提升 虚 拟 化存储资源池500166路数据前端路数据16

14、7路数据167路数据250250路数据路数据125125125125数据集中备份存储-集群容灾.存储节点数据块数据池集群技术优点集群运行负载均衡算法，全面提升系统内设备利用率，均衡设备压力集群根据前端数量变化、存储设备数量变化动态调整系统压力，保持业务的稳定和高效N+M系统级高可靠性和业务持续性，安全系数全面提升虚拟化存储资源池数据集中备份存储用户价值节省投资弹性扩展存储资源按需分配数据并发高速上传/下载低投入高产出系统可靠稳定，屏蔽单多点故障云运维管理面向大数据融合 集中备份存储系统用户价值 n 节省投资 文件数据和数据数据只需要一套数据集中备份存储系统； 数据集中备份存储系统不再需要流媒体

15、服务器、存储服务器、数据应用服务器；数据集中备份存储用户价值n 弹性扩展 数据集中备份存储通过自身弹性扩展可适应由小到大，不同规模的监控系统； 弹性扩展过程系统运行、存储服务不中断；数据集中备份存储用户价值n 数据集中备份存储系统大数据支撑 数据集中备份存储系统以高并发的大数据吞吐率向云计算、智能分析系统提供预处理、基础运算数据单元；数据集中备份存储用户价值目录43走进数据集中备份存储数据集中备份存储项目设计数据集中备份存储特点与优势2数据集中备份存储架构1 数据集中备份存储设计步骤集中备份存储套数逐套集中备份存储设计Click to add TitleFINISH 实际项目中受机房和网络环境

16、的影响，选择采用一套集中备份存储或者多套集中备份存储 管理服务器设计 存储设备设计 软件清单的设计 本地数据接口，决定管理备份数据服务器的数量和型号集中备份存储管理服务器集中备份存储存储设备 存储容量决定存储设备的数量 平均设备负载决定存储设备型号软硬件清单 硬件清单由管理服务器和存储设备组成 软件清单由硬件上集成的软件数量得出数据集中备份存储设计步骤设计原则机房情况网络情况 存储所有设备集中放置，集中备份存储套数越少越好一个机房部署一套集中备份存储系统，集中备份存储套数与机房数量一样单个机房网络带宽需满足所有前端数据流传送到集中备份存储系统的带宽总和。123集中备份存储套数数据集中备份存储设

17、计步骤4设计原则1000路规模 前端本地数据接口越多服务器数量越多、配置越高数量： 2台（双机HA部署）型号： IS-VSE2326X-FDA 4000路规模数量： 3台（集群部署）型号： IS-VSE2326X-FDA 6000路规模数量： 5台（集群部署）型号： IS-VSE2326M-GDA 3124集中备份存储管理服务器3数据集中备份存储设计步骤设计原则容量计算存储设备型号和数量选定需要同时满足存储容量和存储性能的要求。依据数据集中备份存储容量计算工具算出总容量和设备数量；容量计算时需保证一定冗余，一般为10%-25%性能计算单机并发数据性能 设备数量全部前端数量；推荐形态数据项目： 16盘位或者24盘位数据项目： 16、24、36、48、60盘位124集中备份存储存储设备3数据集中备份存储设计步骤设计原则硬件清单软件清单123软硬件清单软件清单数量指的是集成在硬件上的软件数量若软件清单各平台进行了定义，可按平台定义的方式列出管理服务器台数=N；存储设备台数=M;CVM=N；CVS=M；CVA=M(数据项目)；数据