0性能测试监控规范.doc

性能监控规范东软集团性能测试监控规范版本： 1.0部 门解决方案中心撰 写周聪雄、陈钢发布日期2013年10月23日密 级QQ:471351719修订记录版本号更新时间修订内容修订者V1.02013.10.23周聪雄目录1性能监控基本规范51.1Windows主机同步方法61.2Linux主机同步方法62交易数据监控规范72.1监控工具与方法72.2监控指标73性能数据监控规范73.1Windows主机监控规范73.1.1监控工具73.1.2监控方法73.1.3监控指标143.1.4辅助监控工具153.2Linux主机监控规范153.2.1监控工具153.2.2监控方法163.2.3监控指标203.2.4辅助监控工具213.3SQLServer数据库监控规范213.3.1监控工具213.3.2监控方法213.3.3监控指标213.3.4辅助监控工具223.4Oracle数据库监控规范243.4.1监控工具243.4.2监控方法243.4.3监控指标373.4.4辅助监控工具373.5DB2数据库监控规范383.5.1监控工具383.5.2监控方法383.5.3监控指标423.5.4辅助监控工具433.6Windows压力客户端监控规范433.6.1监控工具433.6.2监控方法443.6.3监控指标443.6.4辅助监控工具443.7JVM性能监控规范443.7.1监控工具443.7.2监控方法443.7.3监控指标483.7.4辅助监控工具483.8Weblogic性能监控规范483.8.1监控工具483.8.2监控方法493.8.3监控指标513.8.4辅助监控工具523.9Websphere性能监控规范523.9.1监控工具523.9.2监控方法533.9.3监控指标553.9.4辅助监控工具561 性能监控基本规范性能监控的目的是通过监控能够获得一段时间内准确的描述系统性能的相关数据，从而为后续的分析、诊断、优化提供依据。因此对于时间准确性有较高的要求，在进行性能测试并开始性能监控前，首先要确保压力客户端及各个服务器之间的时间绝对的同步。可以采用统一架设NTP服务器的方法，其他机器与之进行同步。1.1 Windows主机同步方法手动填入NTP服务器地址，点击【立即更新】，依次确定。1.2 Linux主机同步方法使用ntpdate命令同步时间。命令：ntpdate 00由于性能测试环境有可能是使用虚拟化技术搭建而成的，因此在性能测试过程中除了要对虚拟化环境进行监控外，还需要监控物理环境，以对整体性能测试环境有更全面的记录。2 交易数据监控规范2.1 监控工具与方法同步场景：监控工具Loadrunner，监控数据的采集由Loadrunner进行。异步场景：根据系统日志、数据库记录等业务数据统计相关信息。2.2 监控指标常用的监控指标如下，可根据测试场景的侧重进行适当裁剪。交易平均响应时间、90%交易响应时间、平均每秒交易数、交易成功率。3 性能数据监控规范3.1 Windows主机监控规范3.1.1 监控工具Windows主机采用Loadrunner和Windows自带监控工具perfmon监控。3.1.2 监控方法在Loadrunner场景的【Windows资源】右键菜单中选择【添加度量】，如下图所示。然后点击【添加】，并填入监控主机IP，选择操作系统平台，如下图所示。确定后，Loadrunner默认选择了一些监控指标，如下图所示。可以全部选择，然后点击【删除】，将默认指标全部删除，并点击【添加】，添加自定义监控指标，点击后要求输入用户名和密码，如下图所示。填入用户名和密码后确定，就可以选择自定义监控指标了，这里以选择反映CPU整体利用情况的Processor(_Total)% Processor Time为例，如下图所示。Processor(_Total)% Processor Time监控指标添加完成后的结果，如下图所示。确定后，等待一小会，监控的数据就被采集到了，如下图所示。监控数据保存在Loadrunner的结果文件中，可以随时调出查阅。3.1.3 监控指标常用的监控指标如下表所示。指标项含义Processor% Processor Time处理器用来执行非闲置线程时间的百分比。Processor% User Time处理器处于用户模式的时间百分比。PhysicalDisk% Disk Time所选磁盘驱动器忙于为读或写入请求提供服务所用的时间的百分比。PhysicalDisk% Disk Read Time所选磁盘驱动器忙于为读请求提供服务所用的时间的百分比。PhysicalDisk% Disk Write Time所选磁盘驱动器忙于为写入请求提供服务所用的时间的百分比。PhysicalDiskDisk Bytes/sec在进行写入或读取操作时从磁盘上传送或传出的字节速率。PhysicalDiskDisk Read Bytes/sec在读取操作时从磁盘上传送字节的速率。PhysicalDiskDisk Write Bytes/sec在写入操作时传送到磁盘上的字节速度。PhysicalDiskDisk Reads/sec在此盘上读取操作的速率。PhysicalDiskDisk Writes/sec在此盘上写入操作的速率。PhysicalDiskCurrent Disk Queue Length在收集性能数据时磁盘上当前的请求数量。PhysicalDiskAvg. Disk Queue Length读取和写入请求(为所选磁盘在实例间隔中列队的)的平均数。PhysicalDiskAvg. Disk Read Queue Length读取请求(为所选磁盘在实例间隔中列队的)的平均数。PhysicalDiskAvg. Disk Write Queue Length写入请求(为所选磁盘在实例间隔中列队的)的平均数。MemoryAvailable MBytes以 MB 表示的物理内存量，此内存能立刻分配给一个进程或系统使用。MemoryPages/sec指为解决硬页错误从磁盘读取或写入磁盘的速度。Network InterfaceBytes Total/sec在每个网络适配器上发送和接收字节的速率。Network InterfaceBytes Sent/sec在每个网络适配器上发送字节的速率。Network InterfaceBytes Received/sec在每个网络适配器上接收字节的速率。其中的Processor、PhysicalDisk、Network Interface可能会包括若干子项，可以根据实际需要进行选择。3.1.4 辅助监控工具Windows任务管理器。3.2 Linux主机监控规范3.2.1 监控工具Linux主机采用成熟的免费性能监控工具nmon监控。Linux版本nmon的官方网址：。最新版本的nmon及分析工具nmon Analyser可以在此网站下载到。3.2.2 监控方法在下载的nmon工具包中，根据操作系统的厂商、版本、位数找到相应的nmon工具，如nmon_x86_rhel5是适用于Red Hat Enterprise 5 32位版的。上传到任意合适的位置，并使用chmod命令授予执行权限。如chmod 775 nmon_x86_rhel5。使用命令./nmon_x86_rhel5运行nmon，出现如下启动界面。根据提示直接键盘输入相应的字符即可调出相应项目的监控界面。如键盘输入c显示CPU状态，键盘输入d显示磁盘状态。下图为CPU状态监控图。为了持续记录监控数据，需要使用nmon命令将监控数据输出到文本文件中。命令格式如下：./nmon_x86_rhel5 -f -s -c。其中参数f代表生成监控数据，参数s代表设置收集间隔，如-s2表示每隔2秒收集一次监控数据，参数c代表设置收集次数，如-c100表示收集100次监控数据。以上命令输入后，会在当前目录下生成形如：主机名_当前日期_当前时间.nmon记录监控数据的文本型文件。实际使用中需要根据场景的运行时间设置合适的收集间隔和收集次数参数，如几分钟的负载测试场景中s和c都可以小一些，而几个小时的稳定性测试，s和c就要大一些。如命令：./nmon_x86_rhel5 f s2 c60表示每隔2秒收集一次，共收集60次监控数据，也就是收集2分钟内的监控数据。命令执行后生成监控数据文件如下：vm-rh55_120823_0929.nmon。按照设定的参数nmon采集完监控数据后，就可以使用nmon Analyser分析工具分析监控数据了。nmon Analyser工具其实是一个Excel文件。打开这个Excel，界面如下图所示。点击【Analyse nmon data】，选择监控数据文件，如下图所示。监控数据分析中，如下图所示。输出监控数据分析后的结果，如下图所示。3.2.3 监控指标nmon监控工具收集的监控信息比较全面，常用的监控指标如下表所示。指标项含义CPUUser%处理器处于用户态的时间百分比。CPUSys%处理器处于系统态的时间百分比。CPUWait%处理器处于等待IO态的时间百分比。CPUCPU%(User%+Sys%)处理器使用率。DISKDisk %Busy磁盘使用率。MEMMemfree剩余的物理内存。NETRead网络接收速率。NETWrite网络发送速率。其中的CPU、DISK、NET可能会包括若干子项，可以根据实际需要进行选择。3.2.4 辅助监控工具vmstat、top、iostat等linux命令。3.3 SQLServer数据库监控规范3.3.1 监控工具同Windows主机监控。3.3.2 监控方法同Windows主机监控。3.3.3 监控指标常用的监控指标如下表所示。指标项含义SQL Server:Access MethodsFull Scans/sec每秒不受限制的完全扫描数。SQL Server:Buffer ManagerBuffer Cache Hit Ratio在缓冲区高速缓存中找到而不需要从磁盘中读取的页的百分比。SQL Server:Buffer ManagerLazy writes/sec每秒被缓冲区管理器的惰性编写器写入的缓冲区数。SQL Server:Buffer ManagerPage reads/sec每秒发出的物理数据库页读取数。SQL Server:Buffer ManagerPage writes/sec每秒执行的物理数据库页写入数。SQL Server:LatchesAverage Latch Wait Time (ms)必须等待授予的闩锁请求的平均等待时间（毫秒）。SQL Server:LatchesLatch Waits/sec未能立即授予的闩锁请求数。SQL Server:LocksNumber of Deadlocks/sec每秒导致死锁的锁请求数。SQL Server:LocksAverage Wait Time (ms)每个导致等待的锁请求的平均等待时间（毫秒）。SQL Server:LocksLock Requests/sec锁管理器每秒请求的新锁和锁转换数。SQL Server:Memory ManagerTotal Server Memory (KB)从缓冲池提交的内存 (KB)。SQL Server:Memory ManagerTarget Server Memory (KB)服务器能够使用的动态内存总量(KB)。SQL Server:SQL StatisticsSQL Compilations/sec每秒的SQL编译数。SQL Server General StatisticsUser Connections统计当前与 SQL Server 连接的用户数。3.3.4 辅助监控工具 Sql Server Profiler:打开Profiler，文件-新建跟踪：输入跟踪结果名字并选择保存到文件：点击运行：3.4 Oracle数据库监控规范3.4.1 监控工具Oracle数据库采用Oracle自带的自动工作负载信息库AWR工具监控。3.4.2 监控方法AWR工具可以使用图形化和命令行两种方式操作。 图形化图形化操作AWR是在Oracle的EM中进行的，因此首先要启动EM才行，下面为EM启动和停止命令，需要在Oracle用户中执行。启动EM：emctl start dbconsole停止EM：emctl stop dbconsole然后就可以使用浏览器输入如下面的IP地址，访问EM了。http:/:/em输入数据库管理员账户/密码，点击【Login】登录EM，如下图所示。首次登录需要确认许可协议，如下图所示。登录之后的首页面，如下图所示。AWR功能在【Performance】菜单中的【Snapshots】链接中，如下图所示。在测试场景开始前，点击【Create】创建一个快照，如下图所示。确认创建快照，如下图所示。快照创建完成，如下图所示。在测试场景结束后，重复上述步骤，再次创建一个快照，如下图所示。点击第二个快照的链接，如下图所示。系统通过对测试执行前后的快照对比，生成AWR报告，可以点击【Save to File】，将报告保存下来，如下图所示。 命令行一、用户创建：以Oracle管理员用户执行以下命令useradd -g oinstall -G dba perftesterpassword perftester以Sysdba身份登录Sqlplus，分配用户执行AWR报告权限：create user perftester identified by citics;grant execute on DBMS_WORKLOAD_REPOSITORY to perftester;二、操作步骤：以root通过SSH2协议登录数据库服务器切换用户至oracle(假设生成AWR报告的用户为oracle)su - oraclesqlplus / as sysdba进入SQLplus后，在场景开始前执行：exec dbms_workload_repository.create_snapshot();程序创建快照并生成Snap Id场景结束后再次执行：exec dbms_workload_repository.create_snapshot();程序创建快照并生成Snap Id生成报告，执行：/home/oracle/product/10.2.0/rdbms/admin/awrrpt.sql回车后输入report_type:html(以html格式输出报告)回车后输入num_days:1(显示最近几天的数据)回车后输入begin_snap:(场景运行前的Snap Id)回车后输入end_snap:(场景结束后的Snap Id)回车后输入report_name:(默认)报告将已指定格式保存下来3.4.3 监控指标AWR工具收集的监控信息非常全面，一般来说可以从TOP5等待事件【Top 5 Timed Events】和TOP SQL【SQL Statistics】入手进行分析，如下图所示。3.4.4 辅助监控工具EM其他工具，PLSQL Developer方便访问动态性能视图、查看SQL执行计划。3.5 DB2数据库监控规范3.5.1 监控工具DB2数据库采用Loadrunner监控。3.5.2 监控方法1. 设置DB2监控器环境 1) 首先在本机上安装DB2客户端。 2) 选择“开始”“所有程序”“IBM DB2”“一般管理工具”“控制中心”，进入控制中心页面。 3) 右击左栏中的文件夹“所有系统”或是右击右栏中的所有系统中的区域，选择“添加”，出现如图所示的图示。输入系统名称或是点击“发现”按钮，自动搜取系统名称。根据需要输入节点名，点击“确定”。系统添加成功。 此时在文件夹“所有系统”下添加成功该系统中的数据库。 4) 右击左栏中的文件夹“所有数据库”或是右击右栏中的所有数据库中的区域，选择“添加”，出现如图所示的图示。 点击“主机名”下方的“搜索”，相应的主机名就会出现。数据库也添加成功。点击“确定”。数据库添加成功。 5) DB2的监控环境设置成功。 在此过程中需要注意的是：1、本机的IP一定要和DB2数据库服务器的IP在一个段中,否则搜索不到相应的服务器名称和主机名称以及数据库等内容会导致不能添加。 2、“节点名”很重要，区分大小写。 2.添加参数前的操作1) 首先打开LR的Controller，选择添加已经录制好的脚本。 2) 设置Design栏数据，与监控其他的数据库的设置相同。 3) 设置Run栏数据，在Available Graphs栏中选择DB2，右击，选择添加参数。如图 4) 弹出添加的对话框 5) 点击Add 在Name栏中按照【服务器IPdb2（node）】，格式输入，点击OK，就进入指标列表，根据监控的需要，选择相应的指标，选择完毕后，设置DB2就大功告成了。监控数据保存在Loadrunner的结果文件中，可以随时调出查阅。3.5.3 监控指标常用的监控指标如下表所示。指标项含义agents_from_pool代理程序池中已分配的代理程序数agents_stolen从应用程序中盗用代理程序的次数。重新分配与应用程序相关联的空闲代理程序，以便对其他应用程序执行操作，称作“盗用”post_threshold_sorts达到排序堆阈值后，已请求的堆的排序数rem_cons_in正在被监视的数据库管理器实例的当前连接数，从远程客户端启动sort_heap_allocated拍快照时，以所选择的级别为所有排序分配的排序堆空间的总页数appls_cur_cons当前已连接到数据库的应用程序数appls_in_db2当前已连接到数据库并且数据库管理器当前正在处理其请求的应用程序数files_closed已关闭的数据库文件的总数hash_join_small_overflows哈希联接数据大小超过可用排序堆空间，但超出比率小于10%的次数lock_timeouts锁定对象的请求因超时而未得到满足的次数lock_waits应用程序或连接等待锁定的总次数locks_waiting等待锁定的代理程序数pkg_cache_inserts请求的一个节不可用，因而必须加载到程序包缓存中的总次数。此计数包括由系统执行的任何隐式准备pkg_cache_lookups应用程序在程序包缓存中查找一个节或程序包的次数。在数据库级，它表示自从启动数据库或重置监视器数据以来的引用总数pkg_cache_overflows程序包缓存溢出分配内存上额的次数pool_data_l_reads已经通过缓冲池的数据页逻辑读取请求数pool_data_p_reads要求I/O将数据页放入缓冲池的读取请求数pool_index_l_reads已经通过缓冲池的索引页逻辑读取请求数pool_index_p_reads需要将索引页放入缓冲池的物理读取请求数sort_heap_allocated拍快照时，以所选择的级别为所有排序分配的排序堆空间的总页数sort_overflows用完排序堆并且可能需要临时磁盘存储空间的排序总数total_sort_time所有已执行排序的总已用时间（以毫秒为单位）total_sorts已经执行的排序总数appls_cur_cons当前已连接到数据库的应用程序数appls_in_db2当前已连接到数据库并且数据库管理器当前正在处理其请求的应用程序数files_closed已关闭的数据库文件的总数其中前5项为DB Manager级别，其余的为DB级别。3.5.4 辅助监控工具3.6 Windows压力客户端监控规范3.6.1 监控工具同Windows主机监控。3.6.2 监控方法同Windows主机监控。3.6.3 监控指标监控指标相对于Windows主机监控裁剪如下。指标项含义Processor% Processor Time处理器用来执行非闲置线程时间的百分比。MemoryAvailable MBytes以 MB 表示的物理内存量，此内存能立刻分配给一个进程或系统使用。Network InterfaceBytes Sent/sec在每个网络适配器上发送字节的速率。Network InterfaceBytes Received/sec在每个网络适配器上接收字节的速率。3.6.4 辅助监控工具同Windows主机监控。3.7 JVM性能监控规范3.7.1 监控工具JDK自带性能负载工具：JVisualVM。3.7.2 监控方法由于SecureCRT不支持打开图形界面，这里使用Xmanager Enterprise 4中Xshell工具登录。以root用户登录JVM应用服务器，切换用户至app（su - app）并进入对应JDK/bin目录；输入命令：./jvisualvm后回车即进入Java VisualVM主界面如界面显示有乱码，可通过如下方式设置（退出已打开的Java VisualVM，命令行输入：export LC_ALL=en_US；export LANG=en_US，再次输入命令：./jvisualvm即可） 双击监控的AppServer，显示服务器端JVM总体情况。 点击“Monitor”TAB页，可以看到CPU、内存、类、线程的总体情况。 点击“Threads”TAB页，可以查看到每个线程运行的情况，查看到线程运行的四种状态。 还可以点击“Thread Dump”来查看，JVM中正在处理的线程情况。 点击“Sampler”TAB页，可以看到CPU、内具体资源消耗情况。 点击Sample中CPU,可以看到具体方法消耗CPU资源情况。点击Snapshot生成对应时刻快照 点击Sample中Memory,可以看到具体Class消耗Memory资源情况。点击Snapshot生成对应时刻快照 点击主界面Applications-Application Snapshot可生成整个AppServer的快照。3.7.3 监控指标监控时关注的数据3.7.4 辅助监控工具3.8 Weblogic性能监控规范3.8.1 监控工具Weblogic控制台3.8.2 监控方法1) 登录控制台监控登录http:/IP:端口/console控制台，点击左侧服务器，再点击AdminServer (管理)进入管理页面：点击监视，进入weblogic监视页面，具体监测项见weblogic日常维护记录。监控选项如下：l 一般信息：重点关注状态为RUNNING则正常。l 性能：堆空闲百分比，该项反映未使用的内存比例，如果此性能空间比在相当长周期内（几天或更多）要考虑做资源扩展。l 线程l JDBC3.8.3 监控指标JVMHeapFreeCurrent当前空闲堆HeapFreePercent堆空闲百分比HeapSizeCurrent当前堆大小HeapSizeMax最大堆大小线程Active Execute Threads活动执行线程Execute Thread Total Count执行线程总数Execute Thread Idle Count空闲执行线程计数Queue Length队列长度Pending User Request Count暂挂用户请求计数Completed Request Count完成的请求计数Hogging Thread Count独占线程计数Standby Thread Count备用线程计数JDBCActive Connections Average Count活动连接平均计数Active Connections Current Count当前活动连接计数Active Connections High Count最大活动连接计数Connection Delay Time连接延迟时间Connections Total Count连接总数Curr Capacity High Count最大当前容量计数Current Capacity当前容量Failed Reserve Request Count失败的保留请求计数Failures To Reconnect Count重新连接失败计数Highest Num Available最大可用数Leaked Connection Count泄漏连接计数Num Available可用数Num Unavailable不可用数Reserve Request Count保留请求计数Wait Seconds High Count最长等待秒数Waiting For Connection Current Count等待连接当前计数Waiting For Connection Failure Total等待连接失败总数Waiting For Connection High Count最大等待连接计数Waiting For Connection Success Total等待连接成功总数Waiting For Connection Total等待连接总数3.8.4 辅助监控工具3.9 Websphere性能监控规范3.9.1 监控工具Was控制台3.9.2 监控方法1） 登录wa