




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、大数据时代的DSG数据复制云技术创新 变革未来目录 / CONTENTSPART 01认识我们PART 02大数据与DSGPART 03DSG的开放大数据平台PART 04DSG应用成果DSG的现状:北京总部成都研发中心上海南京杭州广州长沙沈阳福州长春济南郑州海口南昌乌鲁木齐银川石家庄兰州西安研发中心重庆武汉昆明贵州南宁3:3家公司成立240:员工人数约1:总部北京3:北京、成都、西安研发中心25:25个省市设有办事处或者技术支持中心800:拥有电信、金融、政府等800 多个大型客户1.5亿:2017年10月,资产为1.6亿DSG的历史:最强的Oracle备份产品名称灾备 级别功能特点厂家DB
2、P容备云平台高效备份、 应用测试 和数据迁 移支持BDMP BS、BDMP DC一体机所含 有的所有软件功能支持大型Oracle数据库统一灾备、测试 迁移一体化:高性能数据库首次全同步及准实时 同步容灾端在线测试及报表查询数据库同平台迁移DSG一 体 机BDMP- DC数据中心 级全数据 云灾备管 理一体机支持BDMP BS 一体机功能支持Oracle高性能备份智能全备非归档备份直接表恢复备份数据验证端到端数据流压缩与存储DSGBDMP-BS企业级 备份 容灾 一体机硬件一体机传统数据库备份VMwareESXi、HyperV虚拟机备份CDP实时备份P-V、V-V实时容灾DSGDSG的历史:最强
3、的Oracle复制,800多用户全球独家支持:Rowid复制支持源/目标安装、或第三方静默安装支持UDT和IOT高速首次全同步数据一致性检查、高效修复双活容灾数据库异构迁移统一监控管理日志并发分析、多次使用,提高分析效率、实现最 高150GB/小时日志分析、实时增量日志可处理3Tbit/天以上首次同步技术可实现200G-800G/小时分钟级容灾切换、容灾切换时间小于5分钟系统干扰小于5%能分钟内高速处理数千DDL操作功能优势性能优势数据灾备零宕机迁移和升级基于日志 实时捕获 变化数据数据同步分发数据库各类DBOracleMS+Sqlserver查询分流报告数据库完全主动分 布式数据库Activ
4、e to Active双活DWSuperSync容灾数据库实时BI新的数据库/操 作系统/应用Our ProductsDSG产品体系备份容灾事业部复制容灾共享DSG服务和运维BDMP BS 、BDMP DC、DBP新概念备份、云备份、云容灾、单产品监控、统一监控SuperSync应用级双活容灾 Enhanced ETL、数据脱敏、大数据交换平台统一监控NDMP容灾导航管理+数据迁移数据库运维 + DB monitor+数据库审计智能运维大数据和应用开发兆源数通大数据应用开发平台行业大数据方案基于智能识别的安防不良信息识别+商业信息识别 爬虫+深度舆情DSG的现在:目录 / CONTENTSPA
5、RT 01认识我们About UsPART 02大数据与DSGPART 03DSG的开放大数据平台PART 04DSG应用成果数据库数据与大数据交换技术趋势人工汇聚数据应用软件 定时采集 汇聚发送数据库采集 前置一体机数据库数据 实时转换共享实时大数据 交换平台12345通过人工数据查询, 将数据个性化发给不 同用户效率低、成本高、干扰系统、时效差增加自动化,减少了 人工开发成本高、对数据 库影响较大、不灵活跨应用、跨用户之间 难以协调、成本高典型技术采用ODBC/ JDBC技术性能低、高干扰源端 数据库、实时增量差、不支持DDL,异构数 据库、异构平台难不支持实时转换,需 要借助第三方ETL
6、数 据转换代表产品DSG的 Enhanced ETL高性能、1-2% 的低 干扰,单数据库间实 现一小时数百GB 、 支持实时增量支持DDL、异构数据 库、异构硬件平台支持实时转换将数据库实时交换共 享技术,与各类大数 据技术集成开发,实 现新一代大数据交换 PaaS支持实时采集、变换支持可视化拖拉拽支持多租户虚拟管理 等Oracle数 据库PostgreSQL达梦Dameng浪潮KDBFrom other数据库SQL ServerDB2MySql国产数据库MPP内存数据库常见数据库消息队列文本格式达梦DamengEMC greenplumgbase8MSap hanaKafka tibcoT
7、XTCSVXMLsql人大金仓Kingbase南大通用GbaseBa浪潮KDB神州通用 DBoneHP VerticaDB2PostgreSQLMySql SQL Server常见数据库国产数据库InformixsybaseTo 大数据To NoSqlGemfireFrom KafkaDSG已经实现的:数据实时交换与共享支持系统框架华为云腾讯云阿里云天翼云To other 数据库To Cloud 云端本地物理环境数据复制数据复制数据复制DSG:多种云和云间复制场景同种云内数据灾备异种云之间灾备天翼云灾备至政务云 政务云灾备至天翼云天翼云灾备至天翼云 政务灾备至政务云云上云下间数据灾备物理机灾备
8、至天翼云 物理机灾备至政务云衍生的三大新方向:应 用 级 双 活 容 灾 : 实现 Unix 、Linux、windows 环境下的应用级 双活容灾、支持异构硬件环境、跨 数据库、容灾端数据库可用Super SyncEnhanced ETL大数据交换平台数据库实时共享交换:实现Unix、Linux 、windows 环境下异构数 据库之间数据实时复制、实时转 换、实时交换和共享大数据实时共享交换平台:实现Unix、Linux、windows 环境与 大数据、互联网数据之间实时复 制、转换和交换,是PaaS平台, 支持多租户等全球竞争力:DSG的数据库复制技术具有全球竞争力,与全球竞争对手 OG
9、G、Quest、IBM CDC 、Informatic等知名厂家相比有显著的技术优势:高性能、多种DDL支持、多数据库和大数据之间环境支持。国产数据库支持:DSG的技术是国内自主知识产权,对国产数据库的支持也最多,并远优于国外对手。国内高端用户普遍使用:近800家,如建行、太平洋保险、中国移动、联通、电信、政府公安、证券等。1、DSG SuperSync数据同步产品标准化的单一技术解决 多种需求保证业务的连续性同时满足实时数据共享 和灵活的数据结构变换低影响、高效率跨平台、低成本,投资 回报率高快速部署、一体化的监 控管理。零宕机迁移和升级数据同步分发查询分流Active to Active双
10、活基于日 志实时 捕获变 化数据SuperSync容灾数据库实时BI报告数据库OracleSQLServerK-DBDB2MySQLPostgreSQLDMCDBHbaseHiveKuduPhoneixKafka性能优势功能优势SuperSync 的优势全球独家支持:Rowid、PK/UK等复制全球独家支持源/目标安装、或第三方静 默安装支持UDT和IOT高速首次全同步数据一致性检查、高效修复双活容灾数据库异构迁移统一监控管理日志并发分析、多次使用,提高分析效率、实现最高200GB/小时日志分析、 实时增量日志可处理3Tbit/天以上首次同步技术可实现200G-800G/小 时分钟级容灾切换、
11、容灾切换时间小于5分钟系统干扰小于5%能分钟内高速处理数千DDL操作2、DSG Enhanced ETL数据库实时交换与共享平台OracleSQLServerK-DBDB2MySQLPostgre SQLDMCDB中间库第三方ETL接口文件结构化数据大数据/云源ETL过程目标端用户实时多表关联镜像库精简库数据仓库数据 抓取 模块实时Loader实时单表转换过滤准实时对源数据库的首次 同步和实时增量跟 踪技术目标数据库或者云直接装载源数据库-接口文件和ETL-目标库多种通路选择实现实时和准实时转换和共享镜像库精简库Enhanced ETL 的功能功能说明数据实时抽取通过源系统端的Agent进程对
12、数据库Log日志进行实时分析,获取交易指令将交易指令和交易数据经过格式转化生成数据格式;过滤转化为与生产应用相吻合的指令实时传输到目标端系统数据实时转换复制指定的数据、表、列支持数据集中,即多个相同结构的数据库中将数据整合到一个库中同类的数据项集合放到一个表中支持数据分发实时存储和增量变化通知Agent将识别到的实时增量数据发送到中间数据库在此中间库中维护一张和生产系统对应的数据表;对数据进行整合、过滤和判断后通知订阅方支持ETL实现准实时数据抽取支持增量抽取间隔到每几秒钟、几分钟、10分钟生成一个接口文件支持从镜像库中获取数据QETL支持多表关联同步只复制到多表关联结果集到目标端支持复杂的s
13、ql模式支持多种同步维护模式保持分析日志模式而非sql查询模式Enhanced ETL 的优势实时性采用数据跟踪和push 技术,安装在数据源端 的数据变化跟踪程序Agent实时跟踪数据变化,将变化实时发送到 数据需求端,数据可在 秒级实现共享可配置性通过参数配置来定义需要共享的数据表(table)、共享的数据项(字段)、共享的条件(满足条件 的记录)低干扰性通过数据库自身信息获 取源系统上的改变并传 送给目的系统,降低对 生产系统性能影响无需全量数据处理, 只抽取增量数据,减少 数据库存储压力多样性支持多种复制 系统拓扑结构灵活性提供选择表、选择字段 和选择记录的复制提供数据转换,如字段 名
14、映射、数据类型转换、 数据运算等支持中间库、定制文件 到ETL的准实时转换多表关联实时高性能复制场景传统同步一般会采用链接、视图、触发器等方案解决,占用较大资源,还 不能满足实时要求。传统ETL一般将全量数据、部分数据或者组合推送至目标 端,由于推送的数据包含大量不需要的数据,不高效;特别涉及多个表的数 据量大,而所需数据量又较小的情况下,非常适合只推送SQL语句查询结果 集,以实表的情况存放在目标端实时使用。Enhanced ETL 的典型应用案例介绍湖北某券商客户使用Enhanced ETL 将各地市的 数据集中复制到数据仓库,然后使用QETL对数 据实时导出并进行组合运算,将转换后的数据
15、集 实时同步到各业务库。案例功能特点源端为组合视图,目标端直接同步的结果集为表中;目标数据涉及多个用户下的多张表,QETL只 关注客户所需数据,最小化同步范围,节省系统 资源;只跟踪业务所需字段,避免了敏感字段数据的向下传递;某行业某块业务所需的数据,业务上仅需要 通过一条SQL从多张分别拥有百万和几亿条的数 据表中提取所需结果,该结果返回仅有几十条数 据,传统的推送方式要么达不到实时要求,要么 占用较大资源,现通过QETL 实时的推送所需的 几十条数据的结果集,简化了同步方式、大大提 高了同步效率,深受客户好评,并将大量推广应 用。地市1-oracle地市2-oracle地市n-oracle
16、数据仓库-oracle业务1-oracle业务2-oracle业务n-oracleEnhanced ETLQETL3、DataONE大数据应用开发统一平台(开放平台)DataONE总体架构含:平台的统一流程调度管理数据交换分发数据海量存储数据查询数据容灾数据ETL转换数据分析数据挖掘数据应用与展示层目录 / CONTENTSPART 01认识我们PART 02大数据与DSGPART 03DSG的开放大数据平台PART 04DSG应用成果发展史起步期(2010-2014年)关注平台是否可以稳定运行,多用于某类 特定场景(详单查询、上网日志分析、银行交易查询与分析);平台开放期(2014-2016
17、年)平台和数据开放、多应用提供商、多用户 访问,关注平台安全、数据安全,目前国内 企业级市场多数在此阶段;应用扩展期(2014-2016年)提升数据的分析/数据ETL处理能力(统一的 SQL处理能力和机器学习能力的支持),进一 步降低TCO、稳定性和大集群运维能力,目 前的优秀技术实施处于这一阶段;第4代Hadoop技术兴起(2016-2018年)DSG公司从2012年起关注和研究Hadoop为代表的大数据技术,我们认为随着以往IOE架构被重新定义DataONE大数据应用开发统一平台DataONE总体架构含:平台的统一流程调度管理数据交换分发数据海量存储数据查询数据容灾数据ETL转换数据分析数
18、据挖掘数据应用与展示层DataONE的定位面向结构化和非结构实时、批量、PB级数据处理实现百亿级数据的秒级查询开放架构,已经支持近百种统计、分析、和挖掘算法,还可以加入第三方算法集成主流图形化展示框架,多种图形化可选全球领先的实时数据采集与数据转换和交换分发平台开放PaaS平台,兼容用户现有Hadoop大数据系统, 支持基于华为、CDH 、星环等目前主流Hadoop平台,支持Hadoop开源1.6-2.8、Solr、Hbase、Hive、Spark1.1-2.1、Kudu、Flume、Sqoop、Kafka等大数据组件产品该平台支持用户个性化二次开发大数据应用,降低用户投资成本,提高数据处理、
19、使用效率DataONE功能特点DataOne大数据应用开发平台提供了完整功能管理和流程管 理大数据综合处理平台;用户可在DataOne平台上通过托拉拽实现以下功能:大数据采集数据转换加工数据治理,建模分析容灾查询数据挖掘图形化展示流程管理和实时实时数据监控.等一系列复杂的流程处理操作。DataOne是PaaS开放平台:提供 了良好的接口,支持其他 第三方平台的算法功能接入DataOne;在统一平台中,完成 大数据的处理工作。DataONE组件与部署部署方式可以分为:单一集群模式统一集群模式混合集群模式图 多集群混合架构大数据应用开发平台大数据平台数据调度组件统一权限认证组件大数据采集组件ETL
20、组件数据存储组件数据容灾组件数据查询组件数据挖掘组件数据统计分析组件图形化展示组件DataONE组件与可视化操作特点特点功能组件支持拖拉拽操作,直 接对组件配置参数信息,通过 连接线设置任务之间的关系;组件可单独执行,也可以定时 执行;跟踪查看整个流程的执行情况 和每个功能组件的执行进度;组件可复用,并且支持第三方 平台以REST标准接口接入; 模块化的和可插拔的功能组件 机制,具有良好的扩展和兼容 性;DataONE组件特点查看每个组件在流程执行 中的进度、结果信息查看每个组件在流程执行中的日志信息查看整个工作流程的执行日志信息大数据采集与数据转换治理采集方式说明爬虫从一个或多个指定初始网页
21、的地址URL开始,读取URL列表,建立初始待爬队列;开始顺序爬信息,并不断在从当前正在爬取的网页上抽 取新的URL放入带爬取队列;直到爬完为止。Flume/ Logstash分布式、可靠、高可用的海量日志采集、聚合和传输的 系统,支持在系统中定制各类数据发送方,用于收集数 据;同时,提供对数据进行简单处理,并写到各种数据 接受方(可定制)的能力Sqoop即 SQL to Hadoop ,在传统型数据库(如 Oracle、MySQL、DB2、PostgreSQL等)与Hadoop之间进行 数据迁移的工具,充分利用MapReduce并行特点以批处 理的方式加快数据传输。支持关系型数据库和Hive、
22、HDFS,HBase之间数据的相互导入。Enhanced ETLDSG公司一款革命性的数据共享产品,在异构数据库/文 件系统之间实时、准实时交换数据的统一管理平台,实 现跨平台、跨数据库、跨系统之间的批量数据同步以及 实时增量数据同步;实现数据库到大数据平台之间的数 据实时交换基于全球领先的实时数据库复制技术DataONE组件-数据采集按数据类型分为结构化数据采集和非结构化数据 采集按数据量分为全量采集和增量采集按采集方式分为文件采集,目录采集,端口采集DataONE组件-数据存储支持采集并缓存在Kafka和存入HIVE,HBASE、HDFS支持在数据存入HBase后做实时数据查询(使用实时查
23、询组件)支持HBASE表实时同步到其他集群(HBase实时容灾组件)支持在数据存入HIVE后做DSG报表自助分析(数据分析组件)支持在数据存入HDFS后做数据挖掘,建立模型,使用模型进 行预测(数据挖掘组件)。支持对Kafka中的数据进行监控,查 看已采集并缓存在Kafka中的数据量 和已存入的Hive的数据量支持对Kafka进行管理。如:删除topic,设置分 区属性,查看添加分区,管理consumer等支持HBase表实时(和离线)复制 到另一套HBase集群中DataONE组件-数据存储DataONE组件-数据查询实时查询首先通过DataOne的采集组件, 实时将数据存入DataOne平
24、台后,查询组 件会自动建立索引,将数据从HBase中的 数据实时缓存进Solr中,完成在线实时检索。适用于海量数据的实时在线查询或者监控用。特点是条件过滤查询效率高,速度快,使用了数据同步,所以对原业务影响小。 可以实现百亿级秒级查询特点支持离线数据查询支持在线实时数据查询属性构造属性构造是对两列数值类型的数据进行加减乘除的操作,并得到新的一列结果,可删除原有的列;重新编码1.对输入列进行重新编码2.输出经过编码操作后附加编码列的数据 记录DataONE组件-数据ETL处理及举例DataONE组件-数据ETL举例自增序列增加新列包含自增序列、增加常量列、增加字符串列和增加日期列,即在数据上增加
25、一列数据对该数据增加一列自增序列,从0开始自动编号空值填充空值填补是对列中的空值通过人工输入 和附近统计值的方式进行填补的,只针对 数 值 类 型 的 数 据对age列的数据进行空值填补,通过人工输入的方式为50值替换3、值替换是将数据列进行空值替换或者 非数值替换为某值,可以同时选择多列类型替换类型转换是将数据中列的数据类型进行转换;有的数据是数值,但在数据库中的类型为string或者其他不能计算的类型,需要将该列数据转换为数值类型的;对work_country列的varchare类型强制转换为整型,所 以输出的结果全为null.数据过滤根据输入的列信息和过滤条件得到满足条件的数 据此例过滤
26、age字段区间(35,45)内的数据记录DataONE组件-数据ETL举例批处理去重数据去重组件可以针对一列或者多列数据进行去重,针 对 该 列 重 复 的 行 只 会 保 留 一 行 这 样 的 数 据 ;对work_country列数据去重后,得到的结果中不存在重复的国家.DataONE组件-数据挖掘数据挖掘目前主要有几大类:聚类分析时序预测回归分析分类神经网络使用模型进行预测的标准流程是先做ETL,接着格式转换,最后选择合适算法生成模型。数据挖掘-线性回归模型举例线性回归模型回归分析(regression analysis) ,一个统计预测模型,用以 描述和评估应变量与一个或多个自变量之
27、间的关系。分析:用来拟合一个变量与其他解释变量之间的线性关系。最 终呈现回归方程以及模型检验的结果。用户可以增加一个 线性回归预测节点对数据进行预测;本例的线性回归方程为:7.36929480167497+0.1301924899332466*载脂蛋白a+1.3638106543370339*载脂蛋白b+(-2.219345743810897)载脂蛋白e+(-0.4457326860357491)载脂蛋白c根据历史数据来对指定数据进行预测数据挖掘- KMeans聚类模型举例Bisecting k-means聚类算法,即二分k均值算法,它是k-means聚类算法的一个变体,主要是为了改进k-me
28、ans算法随 机选择初始质心的随机性造成聚类结果不确定性的问题,而 Bisecting k-means算法受随机选择初始质心的影响比较小, 是为了克服K-means算法收敛于局部最小值的问题而提出的DSG自助报表分析组件是一个分布式搜索,提供Hadoop之上 的SQL查询接口及多维分析(OLAP)能力以支持超大规模数 据。支持拖拽生成报表。直接将MYSQL库中的数据导入到Hive中,使用DSG 数据分析组件建模后,即可拖拽生成得到可视化报表, 并且这些报表还可以切换展示效果。大数据采集&应用存储计算层管理控制台应用程序CDBD服务CDBD服务CDBD服务主数据库从数据库主数据库从数据库主数据库
29、从数据库主数据库从数据库元数据管理.CDB数据库节点CDB元数据节点CDB服务节点动态添加、删除数据库支持多种数据导入到CDB中支持CDB数据导出成文件、SQL、xf1、xdt格 式,方便加载到其他数据库中支持标准编程接口,实现二次开发数据备份用户操作权限管理图形化操作界面CDB集群数据库CDB是一款高可用、高性能、高安全性的集群数 据库,可弹性扩展,无需改变企业现有设备,降 低企业成本CDB的高并发分析能力,可用于企业经营分析系 统中,同时还可以用于归档查询库,分担主业务 压力性能与客户评价功能特点构建大数据治理体系,成立数据治理组 织结构、治理流程、治理制度等方面, 以大数据平台作为大数据
30、治理核心,遵 循平台建设先行,将数据治理作为推进 平台建设的重要手段和措施,更加快企 业数据资产化进程;基于DataOne大数据平台,可以快速定制与开发财政大数据平台、数据中心、 宏观管财政监管分析预测系统;建设财政大数据中心,分为五大库,将 分散在各个业务系统数据统一集中,便 于财政内部各部门及其他部门的数据共 享和数据交换;构建领导全景图、全省预算全貌、全省 收入全貌等。大数据典型案例财政大数据方案特点目录 / CONTENTSPART 01认识我们PART 02大数据与DSGPART 03DSG的开放大数据平台PART 04DSG应用成果DSG灾备一体机(Unix+linux+windo
31、ws)案例介绍:综合性三级医院,有200多位知名专家担任客座教授,设40余个临床、医技科室,床位700余张。医院信息系统HIS等是运营支撑系统,包括挂号, 交费,诊断在内医疗环节和服务均依赖于该信息系统。需要备份,因为:一旦发生数据丢失或软硬件故障引发运营中断,将产生经济损失;Windows支撑信息系统一旦出问题, 会造成医院服务系统业务停顿, 容易引发医患纠纷。该院选择以下架构备份:案例功能特点为医院配置多台BDMP BS,并直接接入到医院现有网络中; 在服务器和工作电脑中安装BDMP BS客户端软件对服务器进行保护:文件及数据库:对数据库和业务文件实施在线同步 数据复制,并利用快照技术,在
32、BDMP BS空间形成多 个保护的数据版本系统:对操作系统及应用环境,实施在线多版本复制对工作电脑进行保护:对医院业务操作电脑(如:挂号、收费、发药等)提供 对操作系统、应用环境及文件的保护3. 当服务器和工作电脑发生任何软件故障、存储故障时:实现连续保护采用网络启动模式,3分钟内快速恢复正常运营若主机发生其它硬件故障时,更换主机后利用“系统及 数据即时迁移”实现分钟级快速恢复Dsync文件复制企业需求信息系统是企业最重要的资产,企 业需要对系统中重要的数据、信息、 文件等进行及时、实时的复制备份, 用来提高系统的安全性与保证业务 的连续性,最大限度地减少因灾难 或故障所带来的损失。Dsync
33、支持所有主流操作系统的文件及目录复制支持全量复制和增量复制多路复制、并发装载指定时间段数据复制支持同步删除文件支持断点续传统计文件及目录信息Our Products日志自动备份参数设置统一管理平台:DMP监控拓扑图同步-mapping和vm、ddl设置告警图数据对比系统日志统一管理平台:DMP灾备切换延迟数据展示通道信息,实时同步拓扑图权限角色配置性能监控灾备切换Archiving历史数据归档解决方案业务数据库表表表归档数据库表表表数据抽取数据传输数据接收数据装载数据核对数据修补数据删除数据缓存1.xf1 N.xf1数据缓存1.xf1 N.xf1迁移策略02:00:00删除策略2010-01-
34、01日志文件日志分析数据整合数据传输数据缓存1.xf1 N.xf1数据接收数据装载数据缓存1.xf1 N.xf1数据过滤Include .历史数据定时迁移和 归档数据实时迁移和归档数据自动验证数据故障修补数据删除和系统优化历史归档数据库的可 在线使用特殊归档规则的客户 化订制服务DSG Oracle冷抽取工具:高效数据库救援工具冷抽取指在数据库已损坏的状态下,采用Oracle冷库抽取技术提取数据,保证数据可再使用。支持支持的Oracle数据库版本,包括 9i,10g,11g,12c支持ASM,能够直接从ASM中导出数据支持多种字符集之间的转换支持各种表,包括普通的HEAP表,IOT表和聚簇(C
35、LUSTER)表,以及分区和子分区支持压缩表支持的多种数据类型支持的UDT(用户自定义数据类型)全面支持LOB字段支持恢复被误删除数据支持xmltype,暂不支持存储为BINARY XML的xmltype优势无需运行Oracle数据库软件,直接读取 数据库文件解析数据自动检测数据库参数,如Oracle版本号, 数据块大小(blocksize),字节序(Big Endian和Little Endian)等数据文件名可以和原文件名不一样,即 数据文件可以复制到任意位置并改名后, 也可以直接导出数据自动检测数据文件的表空间号和文件号自动从SYSTEM表空间获取数据字典信息支持10g及以上的大文件(B
36、igFile)表空间全局集中监视实现异地远程集中监控,提供 可视化图形监控界面首页布局及展开操作,提供记 忆功能,方便用户再次打开时 保持原状全方位的多数据库实时监控: 包括数据库的数据文件、表空 间、SGA、等待事件、归档日 志等信息数据库坏块、碎片监控及分析数据库历史统计分析异常告警提示优势Audit大型数据库监控与审计Audit大型数据库监控与审计功能实现异地远程集中监控,提供可视化图形监控界面监控异地多台服务器CPU内存磁盘和I/O、多数据库异常事件告警,系统自动通知到相关管理人员,在最 短的时间内做出响应,化解风险全球独家支持坏块、碎片监控与分析优势支持多用户多并发远程访问支持SQL
37、自定义,协助DBA监控查询其关心的数据库 参数,并为DBA显示运行趋势,提高运维效率支持定制,并可进行二次开发运行占用CPU资源 3%,占用内存少于400MB,对网络及I/O的影响可以忽略Audit应用场景监控数据库1MySQLDBMonitor监控平台监控数据库N监控服务器1Web客户端1Web客户端N.监控服务器N监控模型监控数据库1MyS QLDBMonitor监控平台监控数据库N监控服务器1Web客户端1Web客户端N.监控服务器NAgentAgent生产系统MySQLDBMonitor监控平台备份系统Web客户端1Web客户端N.AgentAgentAgent数据日志监控模型坏块、碎
38、片监控模型Agent数据库恢复模型监控数据库1监控数据库N监控服务器1Web客户端1Web客户端N.监控服务器NDSG监控平台Audit审计 平台DBDBMonitor监 控平台MySQL数据库运行状态监控优势多服务器性能监控支持多服务器并发监控,对数据库服 务器的CPU、内存、磁盘及服务器进程运 行情况进行全面监控全方位的多数据库实时监控数据文件、表空间、SGA、等待事件、归档日志等信息,提供详尽的数据库运行情况剖析Audit大型数据库监控与审计历史与对比对数据库表空间、数据文件、IO及日志切换进行统计分析,能够通过 界面快速 查询出用户的历史操作过程,分析事故 发生原因监控到数据库的任何一
39、个细小的操作,不仅包括用 户的操作,数据库后台发起的定时任务、数据库结 构的改变、数据库语句执行的批量操作等都可被精 确审计5万笔/秒审计效率允许客户自定义各种审计策略事件回放:通过界面快速查询出用户的历史操作过 程,分析事故发生原因。提供全球领先的数据库备份技术、日志分析和回滚 技术,可以高效、精确地修复被篡改的、或者被毁 坏的相关数据库数据;能够生成修复操作建议,便 于尽快恢复系统的正常运行状态优势Audit大型数据库监控与审计SQL审计可疑SQL审计资 源 消 耗 审 计企业级备份BDMP-云备份与分布式文件存储DSGFS通过横向扩展支持数PB级别存储容量以及处理数千客户端,可以 将物理
40、分布的存储资源聚集在一起,使用单一全局命名空间来管理数据,适 合云备份的存储管理,其特点:完成对称式架构,无元数据服务器;高可用性,在线扩容,无单点故障;支持在线集群关系管理和集群扩张收缩;通过存储虚拟化技术和逻辑卷管理,实现弹性存储,用户可以灵活地增 加或缩减数据存储以及增删存储池中的资源,而不需要中断系统运行;使用WEB界面管理,参数配置、安装等操作简单化,方便用户维护。功能介绍Vmware、Vsphere、Exsi 虚拟机备份、恢复、瞬时恢复(在秒级 时间内快速恢复虚拟机到可用状态)、提供细粒度文件恢复,提供 更好的数据保护;提供完全备份、增量备份、差异备份等多种不同备份方式,并提供报表
41、查询功能;提供对异构存储环境的支持,支持多种存储类型,包括本地磁盘、分区、LVM、FC、iSCSI、NFS、CIFS等;支持分布式部署备份系统,多节点备份,统一管理,满足大型虚 拟化环境虚拟机备份要求;支持Lan-Free传输模式,备份数据可直接通过SAN进行传输,降 低传统网络传输的开销;重复数据删除支持,有效减少数据传输和存储的数据;支持虚拟化环境无代理备份;无人值守,各种策略支持。企业级备份BDMP-虚拟机备份与容灾某移动双中心应急容灾平台营业库北环中心B中心营业库 备份库帐务库B中心帐务库 备份库公共库客服库开通库CBOSS库A中心营业库 备份库商贸路中心营业库A中心帐务库 备份库帐务
42、库公共库客服备份库开通库CBOSS备份库不带 A中 B中 区号 心公心公 的表 共库共库 同步 的备的备份同份同步 步A中心 备份 同步B中心 备份 同步营业库D中心营业库 备份库C中心营业库 备份库营业库电信行业:应急灾备项目解决方案全库复制,其他网省如宁 夏、广西、南方基地、集 团139邮箱、集团网关系 统、集团手机阅读基地等解决营业库、账务库、公共库、客服库、开通库、CBOSS 等数据库的灾备、数据安全、双活应用银行异地容灾案例 :单套系统每日增量3T的数据异地灾备某银行异地容灾解决方案通过DSG数据库实时复制软件, 实现银行13套核心数据库从兰 州到嘉峪关的双活容灾容灾系统实时处于Active可用 状态,发生故障时可以在几分 钟内接管业务灾备系统在非故障时期可用作 查询和统计报表,提高灾备系 统的使用率10倍以上的数据压缩传输,适 应低带宽远程复制,节约带宽 资源2-5s的平均延时,使RTO和RPO都趋近与零再次感谢广大用户对DSG的支持!企业集团:中国移动集团、中国电信集团、中国联通集团、国家电网、南方电网、中国民航、中国国航、中国一汽、中石油、格力集团、中国中车.金融行业:中国金融期货交易所、中国证券金融公司、中国
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
评论
0/150
提交评论