主机系统CICS健康检查手册.docx

主机系统CICS和CPSM健康检查手册 目 录第 1 章CICS和CPSM检查方法概述31.1检查内容31.2数据收集3第 2 章CICS和CPSM系统配置检查42.1系统配置检查内容42.2CICS和CPSM配置描述42.3CICS与其他子系统连接描述42.4数据案例5第 3 章CICS和CPSM运行性能检查73.1CICS运行性能检查概述73.2交易完成速率和响应时间73.3交易量执行情况83.4达到MXT和TCLASS情况103.5DSA/EDSA使用情况123.6TDQ和TSQ使用情况133.7CICS CONNECTION使用情况153.8DB2 Attachment153.9DBCTL Attachment173.10TCB POOL使用情况193.11VSAM文件检查193.12LOGSTREAM检查21第 4 章CICS和CICSPLEX 错误信息检查234.1CICS LOG信息检查234.2联机STORAGE VIOLATION检查234.3联机交易DUMP检查24第 1 章 CICS和CPSM检查方法概述1.1 检查内容本CICS和CPSM健康检查主要检查CICS运行的整体性能，资源使用瓶颈、系统错误等；而对于与应用程序相关的交易的性能，则不在本检查范围内。概括讲，主要包括以下内容： CICS和CPSM的配置检查对CICS和CPSM的整体配置进行评估。 CICS系统运行性能检查检查CICS运行的资源使用情况，发现资源使用瓶颈。 CICS系统错误信息检查检查影响CICS系统稳定运行的出错情况。1.2 数据收集CICS和CPSM检查基于如下系统数据： CICS和CPSM系统参数，包括: CICS启动JCL， CICS SYSIN参数， CSD资源定义， CPSM DREP资源定义 CICS LOGSTREAM定义 CICS End-of-day统计报告数据（SMF 110） LOGSTREAM统计数据（SMF 88） CMAS EYULOG和CICS JOB LOG第 2 章 CICS和CPSM系统配置检查2.1 系统配置检查内容对检查环境的CICS和CPSM配置进行描述，并对配置情况进行检查和评估。2.2 CICS和CPSM配置描述数据来源CICS启动JCL，CICS启动参数SYSIN，CICS资源定义CSD，CPSM资源定义DREP。配置描述包括： CPSM的拓扑结构 CAS的LPAR分布，连接状况 CMAS的LPAR分布，功能（MP或Non MP），连接状况 MAS的LPAR分布，功能（TOR，AOR，FOR等），连接状况 MAS GROUP分类情况 CPSM WLM描述 WLM SPEC，GROUP，DEF定义描述 WLM 交易路由控制（DYNAMIC或STATIC） WLM 交易 AFFINITY情况 CPSM RTA描述 RTA SPEC，DEF定义描述检查要点 应当充分利用CPSM 交易动态路由的功能，减少交易的AFFINITY。 对于CPSM，建议实施CICSDB2 CONNECT的监控功能。2.3 CICS与其他子系统连接描述数据来源CICS启动JCL，CICS启动参数SYSIN，CICS资源定义CSD。配置描述包括： CICSDB2 INTERFACE CICSMQ INTERFACE CICS RLS使用情况 CICS CF STRUCTURE使用情况，如NAMING COUNTER，TS SERVER，和CFDT2.4 数据案例第 3 章 CICS和CPSM运行性能检查3.1 CICS运行性能检查概述CICS运行性能检查主要是通过CICS EOD的STATISTICS和WLM RMF报告检查CICS各部分运行的状况，目的在于消除CICS运行的性能瓶颈。CICS运行性能检查部分包括： 交易完成速率和响应时间 交易量执行情况 达到MXT和TCLASS情况 DSA/EDSA使用情况 TDQ和TSQ使用情况 CICS CONNECTION使用情况 DB2 Attachment TCB POOL使用情况 VSAM文件检查 LOGSTREAM检查3.2 交易完成速率和响应时间数据来源来自RMF WLM报表中，交易完成速率和交易响应时间数据,每隔15分钟为一个数据采集点。 TRANSACTIONS TRANS.-TIME HHH.MM.SS.TTT AVG 0.00 ACTUAL 107 MPL 0.00 EXECUTION 106 ENDED 129734 QUEUED 0 END/S 144.15 R/S AFFINITY 0检查要点根据WLM定义的GOAL检查交易的平均响应时间和完成速率。交易的完成速率（END/S）反映CICS的压力，交易的平均响应时间（ACTUAL）反映了交易运行的性能。如果交易的平均响应时间出现异常，则需要对异常情况进行分析。造成平均响应时间异常的原因主要有资源的瓶颈（如STORAGE SHORT），资源的锁（如文件，DB2的LOCK），交易错误（如大量的ABEND）等。数据案例从上图分析, 核心系统的交易峰值在384笔/秒左右,平均交易响应时间在0.12秒以内; 基本达到响应时间要求在0.3秒以内的目标.3.3 交易量执行情况数据来源来自CICS STATISTICS EOD报表:TRANSACTION MANAGER STATISTICSTotal number of active user transactions 检查要点Total number of active user transactions ：反映CICS总体的交易量。通过交易量的检查，其一可以了解CICS交易总量，其二可以了解各CICS和各LPAR交易负载均衡情况。负载均衡情况反映了各个CICS或LPAR承受的压力大小，理想情况是各CICS或LPAR的负载能够大致相同，避免个别CICS或LPAR压力过大，CPU等资源承受不了。从CICS看，各TOR和各AOR的交易量应当大体均衡；从LPAR看，各LPAR上的交易量也应当大体均衡。如果交易量出现较大的不均衡，应当调查不均衡的原因，并进行改进。数据案例数据分析核心系统除PB21交易量相对较外, 其他AOR上的交易分布相对均衡。每个AOR的一天内处理交易数, 在160万笔左右。数据表明核心两个LPAR上处理的交易量, 还是比较均匀的。3.4 达到MXT和TCLASS情况数据来源来自CICS STATISTICS EOD报表:MXT达到情况检查：TRANSACTION MANAGER STATISTICSCurrent MAXTASKS limit ：Peak number of active user transactions ：Times the MAXTASKS limit reached ：Peak number of MAXTASK queued user transactions ：Total number of MAXTASK delayed user transactions ：TCLASS达到情况检查：TRANSACTION CLASS STATISTICSPeak Act，Peak Queued，Times MaxAct检查要点Peak number of active user transactions 反映交易的最大活动数，值应当小于最大的定义值Current MAXTASKS limit，即Times the MAXTASKS limit reached应当为0。如果Times the MAXTASKS limit reached不为0，则Peak number of MAXTASK queued user transactions和Total number of MAXTASK delayed user transactions可以反映出达到MXT的严重性。Peak Act，Peak Queued，Times MaxAct反映了TCLASS的使用情况，Times MaxAct值应当为0。如果出现MXT或者TCLASS达到的情况，可以考虑适当增加MXT或TCLASS的最大设定值。因为WLM用CICS最大任务数这个参数来确定PB（Performance Block）的数量以进行数据收集。如果最大任务数设定较高，则会导致严重的开销问题；同时活动交易增多，同样会造成其他的资源瓶颈，如DSA/EDSA等。检查案例核心AOR的MXT为200, 没有到达MXT的情况发生, 目前PEAK MAX TASK是123以下.核心TOR的MXT为200, 各TOR有最多175次到达MXT的情况贷记卡AOR的MXT为100, 没有到达MXT的情况发生.贷记卡TOR的MXT为100, 没有到达MXT的情况发生核心系统上的其他CICS分区, 没有到达MXT的情况发生核心系统AOR有TCALSS TCLCBB10最6次到达TCLASS purge threshold, 最多24个交易被QUEUE的情况, 此TCLASS定义了AIPS和TLUA交易, 定义Max Act为10, Purge Thresh为5, 如果不是有意对这两个交易做这种限制, 建议加大Max Act数据分析总体正常, 但仍有调整的余地。建议如果CPU资源如果不特别紧张, 可以加大核心TOR的MXT到250。3.5 DSA/EDSA使用情况数据来源来自CICS STATISTICS EOD报表，包括DSA和EDSA。STORAGE MANAGER STATISTICSCurrent DSA size :Peak DSA Size :Times went short on storage ：检查要点DSA/EDSA反映CICS STORAGE使用情况，当DSA/EDSA使用达到定义值时，CICS会进入SHORT ON STORAGE状态，CICS交易如果无法得到内存而无法执行，CICS性能将会受到严重影响。正常情况下，DSA应该有1M以上的空余空间，EDSA应该有50M以上的空余空间；并且在一段时间内，DSA/EDSA的使用量没有明显的变化趋势。如果出现DSA的SHORT ON STORAGE，除了考虑扩大DSA空间外，还应该减少/消除程序对16M线下STORAGE的使用；如果出现EDSA的SHORT ON STORAGE，可以考虑增加CICS EDSA的大小。数据案例核心CICS DSA/EDSA使用情况数据分析核心环境和贷记卡环境AOR的DSA/EDSA的PEAK使用率都不高, DSA/EDSA有相当富余空间。3.6 TDQ和TSQ使用情况数据来源来自CICS STATISTICS EOD报表。TDQ使用情况TRANSIENT DATA Control intervals : Peak control intervals used : Intrapartition buffers : Intrapartition buffer waits : Peak intrapartition buffer waits : Number of strings : Intrapartition string waits : Peak string waits : TSQ使用情况TEMPORARY STORAGENumber of control intervals available : Peak control intervals in use : Temporary storage buffers : Buffer waits : Peak users waiting on buffer : Temporary storage strings : Peak number of strings in use : Times string wait occurred : Peak number of users waiting on string : 检查要点对于TDQ和TSQ，主要关心三个方面：Buffer Waits：应该避免出现Buffer Wait。如果出现Buffer Waits在CICS Storage富裕的情况下，可以适当增加Buffer值。String Waits：应该避免出现String Wait。如果出现String Waits在CICS Storage富裕的情况下，可以适当增加String值。Peak Control Intervals In Used： 应当与Number of control intervals available有较大距离。如果达到或接近Number of control intervals available ，则需要增加TSQ或TDQ Dataset的大小，或者对TDQ或TSQ进行清理。数据案例数据显示核心环境AOR和MOR的TSQ的TS buffer需要增加。AOR的TS=(,100,50)增加为TS=(,110,50); MOR的TS=(,3,3) 增加为TS=(,6,3)3.7 CICS CONNECTION使用情况数据来源来自CICS STATISTICS EOD报表。ISC/IRC SYSTEM AND MODE ENTRIESPeak outstanding allocatesFailed link allocates Failed allocates due to sessions in use 检查要点CICS连接是由一组SESSION构成。如果SESSION数目不足，会影响CICS间交易的路由及通信。主要关注是否有Peak outstanding allocates，如果不为0，则需要考虑要增加SESSION数。数据案例核心环境, AOR-TOR, AOR-EOR, AOR-AOR, AOR-MOR的SESSIONS个数都在正常范围内, 无Peak outstanding allocates。3.8 DB2 Attachment数据来源来自CICS STATISTICS EOD报表。DB2 CONNECTION STATISTICS TCB LimitPeak number of TCBsCurrent Pool Thread LimitNumber of Pool Thread WaitsPeak number of Pool Threads in useDB2ENTRY STATISTICSThread LimitThread HWMPthread LimitPthread HWMThread Waits/OverflowsReadyq HWM检查要点CICSDB2 Interface反映CICS交易使用DB2 THREAD情况，主要关注THREAD WAIT发生的情况，包括POOL和DB2ENTRY THREAD。 如果Peak Number TCBs达到或接近TCB Limit，则需要考虑增加CICSDB2 TCB数 如果出现POOL THREAD WAIT或者ENTRY Thread Waits/Overflows，则可以考虑增加相应的Thread Limit，同时TCB Limit也要相应增加 如果调整了TCB Limit，SYSIN参数中的MAXOPENTCBS也要进行相应的调整检查案例核心环境各AOR的pool thread wait 最多有92次, thread Waits/Overflows最多有75次, 同时TCB的PEAK使用都接近TCBLIMT=80.鉴于目前核心环境对应DB2 member的CTHREAD总数为300*2=600, 而Protected thread总数为20*8=160, 相对富余; 而TCB LIMIT总数80*8=640. 基于Total DB2 TCB LIMIT Total DB2 CTHREAD的原则, 我们建议如下:1) 在与DB2专家协商后, 将CTHTEAD至少增加为330(最好到400, 由于目前XX行DB2版本为7.1,可先增加到330), 这样总数为330*2=660.2) 在CTHREAD增加的基础上, 相应同步上调DB2 entry DP20DB2E 的 thread limit, 比如从50到80, 总数为 80 * 8 = 6403) 目前只定义了一个Priority为HIGH的DB2 entry, 建议增加一类Priority为EQUAL的DB2 entry; IBM建议将交易数量较大,但DB2资源使用较少的HOT交易定义为HIGH, 而将其他HOT交易定义为EQUAL. 使用DB2 entry可增加thread re-use, 提高访问DB2效率.4) 目前Pool Thread Priority 定义为HIGH, 这是值得讨论的, 建议改为EQUAL.3.9 DBCTL Attachment数据来源来自CICS STATISTICS 报表，收集数据时，需要断开CICS与IMS的连接；打印STATISTICS报表时，使用TYPE=DBCTL参数。DBCTL SESSION TERMINATION STATISTICS _ DBCTL identifier : DBCTL RSE name : Minimum number of threads : Maximum number of threads : Times minimum threads hit : Times maximum threads hit : Elapsed time at maximum threads : Peak number of thread TCBs : Successful PSB schedules :检查要点CICSIMS Interface反映CICS交易使用IMS THREAD情况，主要关注Times maximum threads hit发生的情况。 如果Times maximum threads hit数值较高，则需要考虑增加CICSIMS MAXTHRD数量检查案例核心环境AOR:CI21SA11的DBCTL SESSION使用情况：DBCTL SESSION TERMINATION STATISTICS _ DBCTL identifier : IS21 DBCTL RSE name : IS21 Minimum number of threads : 25 Maximum number of threads : 35 Times minimum threads hit : 287 Times maximum threads hit : 15566 Elapsed time at maximum threads : 000-00:47:06.96 Peak number of thread TCBs : 35 Successful PSB schedules : 3641675) 其中Times maximum threads hit达到15566 次，Elapsed time at maximum threads时间达到47分钟，Times minimum threads hit也有287次。我们建议调整MAXTHRD到40，并继续监控THREAD使用情况。如果在各个LPAR交易均衡的状况下，Times maximum threads hit依然很高，可以考虑继续调整MAXTHRD数量。3.10 TCB POOL使用情况数据来源来自CICS STATISTICS EOD报表。CICS TCB Pool StatisticsPeak TCBs attached in this TCB Pool . . . . . . : Max TCB Pool limit . . . . . . . . :检查要点当Peak TCBs attached in this TCB Pool达到或接近Max TCB Pool limit定义时，需要扩大Max TCB Pool Limit值。其中，需重点关注MAXOPENTCBS。数据案例核心AOR MAXOPENTCBS目前定义为120, 单个AOR最多使用到112, 需扩充。核心AOR没有发现L9 OPEN TCB被使用, 建议客户可以花较少代价改造为OPENAPI threadsafe程序, 提高程序执行性能.3.11 VSAM文件检查数据来源来自CICS STATISTICS EOD报表；VSAM LISTCATEOD报表：FILES - Performance Information0 File Active Excl Cntl Name Strings Strings Current Total Highest Data Index ConflictsVSAM LISTCAT;SPLITS-CI ， SPLITS-CA检查要点对于VSAM 文件的检查，首先需要检查文件是否出现String Wait，这可以通过检查EOD报表中文件性能部分的Wait On Strings统计信息。如果文件出现String Wait，则在CSD 文件定义中，需要增大String Number。其次，需要检查文件是否出现大量的CI/CA Split。大量的CI/CA Split对文件和交易的性能有很大的影响。数据案例1) 发现如下文件使用RLS模式来访问ESDS文件: File Dataset Name Dataset Name Base Dataset Name (If Applicable) Type RLS _ CSCLOG ESS.PRD.CS10V.CSCLOG ESDS YESPMLF ESS.PRD.AP121V.PMLF ESDS YESPML2 ESS.PRD.AP121V.PML2 ESDS YESPRMLOG ESS.PRD.ISS.CICS.PRMLOG ESDS YES2) 发现1个文件存在较多STRING WAIT0FILES - Performance Information +_ 0 File Wait On Strings Excl Cntl Name Strings Total HWM Data Index Conflicts + _ GADTLOGB 1 10927 3 3 2 0 3) 使用LISTCAT检查VSAM文件的CI/CA SPLIT数据分析1) 在RLS模式下使用ESDS文件会造成CICS hung和可用性的问题,如果一个CICS分区在写ESDS文件时发生错误, 则此ESDS文件可能被LOCK, 直到CICS分区被重起。 所以不建议在RLS模式下不使用ESDS文件。2)GADTLOGB是ESDS文件,且只有ADD操作, 这是合理的, 不需要增加STRING。3.12 LOGSTREAM检查数据来源来自SMF TYPE 88检查要点对DFHLOG和DFHSHUNT检查，避免出现STAGE DATASET FULL情况，避免出现LOG DASD SHIFT情况。数据分析核心系统和贷记卡系统: peak # offload次数核心系统为24, 贷记卡系统为21 可见少量DASD SHIFT AOR在域“BYT DELETED INTERIM ST W/DASD”, 频繁出现很大数目 说明”BYT DEL