数据镜像同步POC测试报告.docxVIP

1、数据镜像同步项目POC测试报告5.2镜像同步系统表现5.2.1主机内存使用情况MemoryM.MMdato»1W>O5.2.2主机网络使用情况网络报文读写比较稳定NrtworkPacUtihlhtdM4201M/M一sail一略5.2.3主机CPU使用情况CPU占用率几乎可以忽略。CPUbyProcwwr2O19/V»（。thr5.2.4主机磁盘读写情况磁盘10大部分时间保持在1M左右，最高为：25M的样子。DisktotalKB/shhtdata-2019/6/30Ci*«gwm«5omc6.测试小结基于此次数据同步poc测试总体结论：基本满足数

2、据同步需求。经过不同场景下，持续3天的的功能与性能测试，数据同步系统都能满足业务需求，在单机模式环境下，CPU利用率和内存使用平稳，能满足数据同步的业务要求。1 .测试简介本次测试主要考察数据镜像同步系统功能以及性能上的表现，验证压力测试强度，通过测试来验证是否满足数据同步的技术要求和业务要求。2 .测试环境服务器及网络环境如下：序号应用类型操作系统类型CPU内存硬盘带宽1源数据库centos8c32GIT1000M/S2目标数据库centos8c12GIT1000M/S3镜像同步系统centos8c16GIT1000M/S说明：镜像同步系统是需要与源和目标数据库主机能够相互连通，并保证具备稳

3、定的网络传输性能。3 .测试方法3.1数据准备本次测试参考深圳社康项目的数据采集，20个数据集，对应约30个表。本次测试的数据准备如下：1. 30个表，每个表最少19个字段，字段类型基本上涵盖了所有常用的类型：.椭表ADAPTER_ORIGINALDATA_HZ02|勾tr|eo列仲健索引I"硼I类型所有者名称名称类型可为空默认存储注释CHAR(32)rRECORDCLASSIFYINGVARCHAR2(32)F7RECORDTITLEVARCHAR2(50)7EFFECTIVETIMEDATEQAUTHORORGANIZATIONVARCHAR2(56)7SOURCEIDVARCH

4、AR2(32),I7VERSIONNUMBERVARCHAR2(10)VAUTHORVARCHAR2(32),I7SYSTEMTIMEDATEVUPLOADTIMEDATE,I7HEADERVARCHAR2(4000)5T7DOCFORMATVARCHAR2(8).7ZIP7YPEVARCHAR2(8)QPROCESSFLAGCHAR(1)(70MPIPROCESSFLAGCHARQ0MPIVARCHAR2Q2)7DQDCHAR(16)VCREATETIMEDATE7AUTHORORGANIZATION_TEXTVARCHAR2(56)QREPEATFLAGVARCHAR2(4)70INSER

5、T_TIMEDATEQsysdate*P2. 30个表同时插入数据，定时进行删改操作，并记录这些删改日志。3. 每个表每次插入约60万条记录以后停止插入操作，待数据完全同步到目标库后,根据删改日志，检查源表与目标表数据是否一致。4. 源表定义一个字段：时间类型，默认值sysdate,表示数据入源表时间目标表定义一个字段：时间类型，默认值sysdate,表示数据入目标表时间两者的差值，即为同步所需要的时间。GJlNSERT.TIMEISVNC.TIME源表：|WSERT_T1ME201W30163306-281*6/30163305-201330163305-201狗30163306-201狗3

6、0163306-201啊301&3306201狗30163306201狗30163306-2S狗3016330523*6/30163305-*201W3016:33:17"201啊3017:2822.201W30163317201啊30172822201W3016:33:17-201啊3017:28:22-201啊30163317201啊301728222O1W3016:33:17-201啊301728:22-201W301633:18201W30172822201W3016:33:18201啊30172822-201W3016:33:18201W3017:28:22201啊

7、30163318201啊30172822-201W3016:34:03-201啊3017:28:22-201啊30163403201啊30172822201W3016:34:03-201W3017:28:22-目标表-201啊30163403201啊301728223.2源表数据的插入数据插入脚本:BV132224*KA/BMiUJUA/RM32219J22VMA/m»i32219ArM1322N32222数据插入量：电；ddUmrrorput-aOubles左；：IM01>-IIoat?用国h°°*j岫础0M历史DB.-KMt匕性1685dMKrkj<

8、;B>Previewdu9奶的迅蹄*5林<S±迎就1001676898055896600023221005SW665Sg55896631SW8003WUWM322405宓66558双559966515349004WURM3221905冰655896455896651534900$IKX/120S双66558次55896631M010006/Bit1322140S埔66538*5589663153490007痴V/土1322200S瑚665589665589663155490008爪/土132270S5W565589C45589663147250009/*13205SW66

9、558双55996631533600010m/RS13221205琳66558次55896651534900011SU/EE221605炀66558次556966J14W100012炒/映1322170SSW66558655896651492900013畛/购1322203做66558次558966514W0000U虫/土1322220S5W56558%655896631482100015/«M322505SW66558次558966315549000162*15055W66558次558966515349000V/WM322905*6655畛558966为534900018K/MH

10、322110SSWW338次558966J1S34900019BU/珈13221305SW66558次5S896631534900020炒/唳1322150S5W66558%4558966315M900021/«M3222505SW5655g558966314知200022/ew132205冰6558双559966515348000232*13221。05琳6655畋55096651534800024l*/Wf1322240S炀66558次55896631534900025炒/更仙132230SS89&6538*55896631534900026g/映1322230S瑚665

11、5896655896631514800027*./土13226055的665589U558966314W200028SU/*1322805SW6655畛559966314871000«/Rfl05琲66558次558966J1534900090/Vtf1405炀66558次55896651590400031炒/更*130，埔66338次55896631S28300026mn10»10.67526mn11，35626mn11$35626mn11s35626mn11s35626mn11s35626mn17t35426mn11f35626mn11j35626mn11$35626m

12、cIB3S626mn11s35626mn11t35626mn11，35626mn11j35626mn11$35626mn11s35626frm10s3S626mn11s3S626mn11f35626mn11，35626mn11$35626mnVs35426mc11s3S626mn11s3S626mn1135626mn11»35626mn10s35626mn17$35426mcIB3S626mn11s3S6Pr/n/Out3.3源表数据的删除PersiG庭I.H难一个表fiS伽隐1final五巽W.谗S-个暮网虬更带100finol>»lia<l>or?&#

13、163;100%功能简述：1. 随机选择一个表，随机选择其中的100条数据，sql语句类似于：selecteventidfrom(selecteventidfromTableNameConditionorderbydbms_random.value)whererownum<=100日志表记录这100条数据的表名,主键值。2, 删除这100条记录。4. 该脚本定时每分钟执行。3.4源表数据的更新9®as>!既吼逸择耳札SB粉10051fiMlI'）：SWU8择一个蠢li机更新100S4final3既©SSL=g:功能简述：1. 随机选择一个表，随机选择其中

14、的100条数据，sql语句类似于：selecteventidfrom(selecteventidfromTableNameConditionorderbydbms_random.value)whererownum<=100日志表记录这100条数据的表名，主键值。2. 100条记录指定字段更新为指定值。3. 日志表中记录更新数据。4. 改脚本定时每分钟执行一次。6.功能测试测试场景-测试点-测试目标-测试步骤-测试结果4.1各类型数据库Tab-DML操作测试序号源端库支持源数据版本号目标库结果2SqlServer2008及以上版本Oracle全量、增量通过4Oracleilg/12c/支持

15、物化视图版Oracle全量、增量通走注：理论上源支持的版本有SQLServer2008及以上版本，和Oracle支持物化视图的版本,本次测试暂时使用的源为sqlserver2008,以及Oraclellg和Oraclel2c,目标使用Oraclel2C。对源端的测试表进行增加删除修改操作，同时检查目标端的同步结果批量insert/update/delete操作测试1）数据库执行insert语句同步测试初始化完成数据同步开始后，在源端数据库创建空表est,字段不少于20个向表中insert十万行数据，测试镜像同步效率，统计用时从源端commit开始直至目标端表行数与源端一致。2）源数据执行upd

16、ate语句同步测试对源数据库正在进行增量镜像同步的表数据随机选择几条数据进行修改时，通过对比验证修改会实时同步到目标镜像库的对应表中，即可以实现update操作的实时同步。3）源数据执行delete语句同步测试同样对源数据库正在进行增量镜像同步的表数据随机选择几条数据进行删除时，通过对比验证删除操作会实时同步到目标镜像库的对应表中，即可以实现delete操作的实时同步。4.2数据同步准确性测试对比数据，数据一致4.3可用性测试同步开始后，在源数据库持续大批量进行数据插入、修改等操作、测试软件的可用性，测试持续2-3天。测试结果：数据同步成功。4.4目标系统可用性说明：目标系统数据库实时可用，可

17、做采集与其它查询业务。4.5源或目标主机或数据库重启测试4.5.1正常重启4.5.1.1源端正常重启数据库主机操作步骤：1. 关闭数据库实例2. 重启源端主机3. 重启源端数据库4. 进行DML测试测试结果：数据同步成功4.5.1.2目标端正常重启数据库主机操作步骤：L关闭数据库实例2. 重启目标主机3. 重启目标端数据库4.进行DML测试测试结果：数据同步成功4.5.2宕机重启4.5.2.1源端异常重启数据库主机操作步骤：L直接重启源端主机2. 重启源端数据库3. 进行DML测试测试结果：数据同步成功4.5.1.2目标端正常重启数据库主机操作步骤:L直接重启目标主机2. 重启目标端数据库3. 进行DML测试测试结果：数据同步成功7.性能测试测试在多表（几十张表），以及大量数据情况下实施数据镜像同步时源数据服务主机的稳定性，以及镜像同步系统在处理多表、并发量高和吞吐量大的情况下的稳定性。本次性能测试涉及表30张、每张表数据量为50万，每张表字段多达1020个，监控时长1-2小时。监控的指标有内存、网络、cpu以及磁盘读写的情况。5.1数据源服务主机性能表现5.1.1主机内存使用情况开始时，进行表的全量同步，占用的内存比较大，随着全量结束，进入增量内存使用基本保持在一个