环境管理_solaris环境性能监控

引言 几个注意事项 监控CPU性能数据 监控内存性能数据 监控磁盘IO性能数据 监控网络性能数据 收集服务器性能数据 小结 附 获取solaris10系统信息 引言本文是基于unix平台 以solaris为例 其他系统会有少许差异 讲解如何监控服务器的性能 如何获取服务器的性能数据作为解决项目性能瓶颈和性能调优的依据 文档中会按序讲解CPU Memory I O Network四个部分 并穿插讲解一些命令 工具的使用 同时也会给出一些性能数据的 参考值 作为借鉴 希望能够解决大家对服务器性能数据的一些疑惑 并给大家的日常工作提供帮助 引言 几个注意事项 监控CPU性能数据 监控内存性能数据 监控磁盘IO性能数据 监控网络性能数据 收集服务器性能数据 小结 附 获取solaris10系统信息 什么是瓶颈 举出几个性能瓶颈的例子 你所理解性能调优是什么 虽然讲解过程中是顺序的 单独的讲解如何监控 采集每项系统资源的性能数据 但是一定要清楚 服务器各类资源之间的关系是相互依赖 相互制约的 不要孤立的看待某一项性能数据趋于正常 出现瓶颈就妄下结论 例1 用top查看某系统的idle cpu空闲 95 并不能说明系统没 有性能问题 很可能是因为系统在忙于处理磁盘I O 例2 某系统的的性能问题表现为CPU利用率高 其实可能是内存不够用导致CPU消耗在内存管理上 如果用增加CPU方法来优化是解决不了根本问题的 例3 某系统网络数据传输指标不理想 于是调高了网络吞吐量使监控到网络数据趋于正常 但却带来了新的问题 系统因为增加网络吞吐量而导致CPU出现了瓶颈 讲解过程 网上资料中会给出一些 参考值 顾名思义仅仅能提供给你做对比的参考 不要用来作为 标准 这些参考值都有一个适用的环境 需要根据项目 应用 系统类型适当的调整这些标准 例1 Oracle等数据库生来就是I O大户 用一般应用服务器的标准 来衡量oracle数据库服务器的性能是不恰当的 例2 我们的web应用高并发的情况下则会占用更多的CPU资源 例3 一个高性能的服务器存在超出 标准 的CS 上下文切换 也是正常的 分析性能问题时需要有 天马行空 的思维 指的是广阔思维 合理的猜想 而不是胡思乱想 敢于假设 敢于猜想 我感觉这个问题出在磁盘I O上 瓶颈有可能是网络带宽 但是对待监控 采集性能数据要杜绝猜想 要有非常严谨的态度 要用数据和事实来说话 专业的的性能测试人员要用实际的数据说话 不要讲 性能感觉比较差了 或者是 系统响应比较慢了 一类的话 系统响应比较慢 要知道正常是多少 慢了多少 数据量有多少 系统有多少并发等 拿出具体的数据 杜绝主观的臆想或臆造性能数据 在不正确的依据下工作 将直接导 致性能调优的结果出现偏离 引言 几个注意事项 监控CPU性能数据 监控内存性能数据 监控磁盘IO性能数据 监控网络性能数据 收集服务器性能数据 小结 附 获取solaris10系统信息 运行队列运行队列 cpu数目 100 cpu饱和度CPU使用率用户使用率 系统使用率 cpu利用率上下文切换contextswitching CS 单CPU的分身术 假象 SystemActivityReporter 系统活跃情况报告 的缩写监控系统资源的常用命令之一 多用于监控CPU和内存sar是一个低开销的系统性能监控 采集工具sar可以连续对系统采样采样数据可以存储在文件中 便于查询历史数据sar命令格式 sar options A ofile t n t为采样间隔 是必须有的参数n为采样次数 是可选的 默认值是1ofile表示将命令结果以二进制格式存放在名字为file的文件中options为命令行选项 u 显示CPU使用率统计信息 sar命令的默认参数 没有任何选项的sar命令与sar u命令等效 q 检查队列活动 命令示例 用sar进行CPU利用率的分析 sar u210每2秒采样一次 连续采样10次 观察CPU的使用情况 命令示例 用sar检查进程队列活动 sar q210每2秒采样一次 连续采样10次 观察进程队列活动情况 命令示例 存储sar命令的采样数据 sar u o test25 观察CPU的使用情况 并将采样结果以二进制形式存入当前目录下的test文件 中 见 图一 sar q ftest sar u ftest 从test文件中读取系统历史进程队列数据见 图二 从test文件中读取系统历史cpu使用情况数据见 图三 图示见下页 VirtualMeomoryStatistics 虚拟内存统计 的缩写监控系统资源的常用命令之一 可对操作系统的虚拟内存 进程 CPU活动进行监视vmstat是一个低开销的系统性能监控 采集工具vmstat可以连续对系统采样不足之处 它是对系统的整体情况进行统计 无法对某个进程进行深入分析 vmstat命令格式 vmstat cipqsS disk interval count interval是两次输出之间的延迟时间count是指按照这个时间间隔统计的次数 命令示例 用vmstat进行CPU的监控 vmstat110每间隔1秒采样一次 共采集10次结束kthr 展示内核进程的状态faults 展示进程控制的信息 如cpu上下文切换和中断 cpu 展示cpu使用的情况 kthr区域图示如下 faults区域图示如下 CPU区域图示如下 mpstat是MultiprocessorStatistics的缩写mpstat是实时系统监控工具mpstat不但能查看所有CPU的平均状况信息 而且能够查看特定CPU的信息 在多CPU 核的系统里 mpstat可以轻松诊断多cpu 内核系统中 多个cpu 内核任务分配不均匀的问题 与vmstat命令相似 mpstat命令监控与CPU有关的统计信息 因此所有与CPU问题有关的讨论也都适用于mpstat mpstat命令格式 mpstat aq p Pprocessor set interval count a 以处理器为单位展示cpu多颗内核的平均信息 mpstat命令格式 mpstat aq p Pprocessor set interval count q 展示所有虚拟cpu的运行信息 是mpstat命令的默认参数 mpstat命令格式 mpstat aq p Pprocessor set interval count p 展示所有虚拟cpu的运行信息 比 q参数多一列set 表示处理器的ID 处理器的ID是从0开始的 mpstat命令格式 mpstat aq p Pprocessor set interval count P 指定监控哪个CPU processor set取 p的set值 如果processor set设置为不存在的处理器ID则不显示数据 如图 mpstat P0 查看第一个CPU mpstat P1 查看第二个CPU mpstat510 查看所有CPU mpstat命令格式 mpstat aq p Pprocessor set interval count interval 指定迭代间的时间间隔 如果没有指定interval 则仅仅显示度量值的一次快照 它实际上报告自系统启动以来的值 count 指定迭代数 如果指定interval但不指定count 则mpstat会无限运行 如果没有指定interval 则不能指定count 如果指定count 第一批数据总是报告自系统启动以来的平均值 stat类的监控命令均遵循此规则 如vmstat iostat top可以实时监控系统当前的进程和资源使用情况top独占前台 直到用户终止该程序为止top可以按CPU使用 内存使用和执行时间对任务进行排序top可以通过交互式命令定制展示top不是solaris默认的安装工具需要单独安装 top资源占用率较高 Solaris下安装top工具 需要root权限 前提条件 solaris服务器上需要安装gcc和make工具 下 载地址 下载地址 http www unixtop org download 不建议使用beta版本 如 Version3 8beta1Step3 解压 gzip dtop 3 7 tar gz tar xvftop 3 7 tar gzStep4 进入解开后的文件目录top 3 7 cdtop 3 7Step5 configureStep6 makeStep7 makeinstallStep8 验证 top v安装完毕 top命令格式 top ISTbcinqu dx sx ofield Uusername number 注 各系统 版本的Top命令有较大差别 详细用法见各自的top帮助 这里只讲解常用的几个参数和交互命令 参数 s 设置top间隔的时间 秒 默认top命令刷新的间隔时间为5s c 显示进程完整的路径与名称 交互命令 h 进入top帮助c 切换显示进程完整的路径与名称M 按内存使用情况排序 按照SIZE排序 N 按照进程ID排序 PID P 按照CPU使用百分比排序T 按照进程使用CPU的时间排序u 仅显示所输入的用户进程 输入 号显示所有用户进程 空格 立刻刷新当前显示s 改变两次刷新之间的延迟时间 注意 如果设置太小的间隔时间会加大系统负载 o 通过命令改变排序情况 可使用命令 cpu size res time n 定义top展示的进程数i 忽略闲置和僵死进程 q 退出top top显示字段 和top地位一样 prstat是Solaris系统中最重要 使用最广的实用工具 有些功能甚至要强于top 这里仅对prstat的常用用法做一下介绍 详细用法参加manprstat用法1 prstatinterval参数是采样 刷新的时间间隔 以秒为单位 默认间隔时间是5s 用法2 prstat a将额外打印有关用户的报告 如下图 用法3 prstat s S 制定prstat排序规则 s 降序排列 S 升序排列cpu 按照CPU使用率排序 这是默认设置 pri 按照进程优先级排序 rss 按照进程所使用物理内存的大小排序 按照RSS size 按内存使用情况排序 按照SIZE排序 time 按照进程执行时间排序 用法4 prstat uusername查看指定用户 username 的进程运行情况 用法5 prstat ppid查看指定进程 pid 的运行情况 用法6 prstat cvm查看进程cpu资源使用率最高的前15个进程的CPU使用率的情况 iostat命令用来监视系统输入 输出设备负载 可以使用 c参数单独监控cpu的使用情况 但一般都是将cpu与系统io信息一起输出使用 例如 iostat cnx 引言 几个注意事项 监控CPU性能数据 监控内存性能数据 监控磁盘IO性能数据 监控网络性能数据 收集服务器性能数据 小结 附 获取solaris10系统信息 活动虚拟内存总量内存的总需求量 实际使用的物理内存大小 使用的交换空间大小交换 swapping 率 进程交换频率调页 paging 率 页面调度频率 高换页率 通常情况下 操作系统只执行调入页面进入内存 pagein 的操作 以让进程能够运行 只有操作系统觉得系统需要释放一些内存空间时 才会执行从内存调出页面 pageout 的操作 而过高的调出页面操作说明内存缺乏 需要配合其他工具进一步分析 高交换率 空闲物理内存少 使用的交换空间大 说明系统中实际的物理内存已不够满足新的分配需求 导致很多进程被换入交换空间 强制进入不活动状态 applicationisoutofmemory 交换空间 swap 不足 vmstat是监控内存的主要工具 vmstat检测内存举例 颠簸 演示thrashing颠簸 是内存存在性能问题的一个表现 指的是因系统发生过度页请求操作而导致系统运行缓慢或进入暂停状态的现象 swap s 列出总调页空间的摘要信息 磁盘 内存 swap l 列出调页空间区域的信息 磁盘 sar b53 监控缓冲区的使用情况 sar w53 监控系统交换活动 使用ipcs命令可以查看系统使用的共享内存的信息 ipcs ma注 由于我的solaris服务器上没有使用共享内存的进程 图例中使用的是linux系统的截图 和solaris的展示风格会略有不同 常用命令 pmap xpid 使用prstat mL关注进程等待内存的时间百分比 DFL值 solaris下默认的ps命令版本为SystemV版本常用ps命令 ps elf ps efl head 1 ps efl sort rk10 head 10 查看系统所有进程 查看内存消耗最多的前10个进程 利用mdb k查看系统物理内存的分配情况 引言 几个注意事项 监控CPU性能数据 监控内存性能数据 监控磁盘IO性能数据 监控网络性能数据 收集服务器性能数据 小结 附 获取solaris10系统信息 磁盘的IOPS或tps 每秒I O数 一次磁盘的连续读或者连续写称为一次磁盘I O 磁盘的IOPS就是每秒磁盘连续读次数和连续写次数之和 磁盘的吞吐量 Throughput 指磁盘传输数据流的速度 传输数据为读出数据和写入数据的和 其单位一般为Kbps MB s等 磁盘利用率 磁盘活动时间百分比diskutilization 磁盘处于活动状态时间的百分比 例如 磁盘在数据传输和处理命令 如寻道 磁盘利用率与资源争用程度成正比 与性能成反比 磁盘服务时间 ServiceTime 指磁盘读或写操作执行的时间 包括寻道 旋转时延 和数据传输等时间 其大小一般和磁盘性能有关 CPU 内存的负荷也会对其有影响 请求过多也会间接导致服务时间的增加 I O等待队列长度 diskqueuelength 指待处理的I O请求的数目 如果I O请求压力持续超出磁盘处理能力 该值将增加 如果单块磁盘的队列长度持续超过2 一般认为该磁盘存在I O性能问题 需要注意 如果该磁盘为磁盘阵列虚拟的逻辑驱动器 需要再将该值除以组成这个逻辑驱动器的实际物理磁盘数目 以获得平均单块硬盘的I O等待队列长度 等待时间 WaitTime 指磁盘读或写操作等待执行的时间 即在队列中排队的时间 如果I O请求持续超出磁盘处理能力 意味着来不及处理的I O请求不得不在队列中等待较长时间 过高的磁盘利用率太长的磁盘等待队列 指单块磁盘的队列长度持续超过2 高等待磁盘I O的时间所占的百分率太长的运行进程队列 但CPU却空闲太长等待I O进程队列 df h命令用来检查文件系统的磁盘空间占用情况 可以利用该命令来获取硬盘被占用了多少空间 目前还剩下多少空间等信息 df oi命令显示磁盘inode信息 inode的数量关系着系统中可以建立的档案及目录总数 du diskusage 用来查看某个文件或目录占用的磁盘空间大小 使用du查看当前目录下占用磁盘空间最多的前10个文件 du k sort rn head df和du输出结果会有差距引入元数据的概念元数据 MetaData 文件系统分配其中的一些磁盘块用来记录它自身的一些数据 如i节点 磁盘分布图 间接块 超级块等 这些数据对大多数用户级的程序来说是不可见的 通常称为MetaData 差距原因分析du s命令 通过将指定文件系统中所有的目录 符号链接和文件使用的块数累加得到该文件系统使用的总块数而计算出使用的磁盘大小 df命令 通过查看文件系统磁盘块分配图得出总块数与剩余块数而计算出使用的磁盘大小 du命令是用户级的程序 它不考虑MetaData 而df命令则查看文件系统的磁盘分配图并考虑MetaData 因此正常情况下 df计算的USED空间会比du计算的结果要稍大 quota v显示当前用户磁盘使用情况和限额 vmstat命令观察磁盘tps 每秒I O数 vmstat命令观察磁盘tps 每秒I O数 vmstat命令可以为四个磁盘报告每秒磁盘I O的数量 s表示scsi盘 0表示盘号 iostat对系统的磁盘操作活动进行监视的主要工具 iostat在监控磁盘活动统计情况的同时也会监控CPU使用情况 iostat的弱点是它仅能对系统的整体情况进行分析 不能对某个进程进行深入分析 iostat E查看磁盘物理信息 常用命令 iostat xtc5 每隔5s输出一次磁盘I O信息 sar d52监控硬盘使用情况 引言 几个注意事项 监控CPU性能数据 监控内存性能数据 监控磁盘IO性能数据 监控网络性能数据 收集服务器性能数据 小结 附 获取solaris10系统信息 可用性 availability 测试网络性能的第一步是确定网络是否正常工作 最简单的方法是使用ping命令 响应时间 responsetime Ping命令的echorequest reply一次往返所花费时间就是响应时间 网络延时latency delay 网络延时是向目的地发送请求到目的地实际接收到数据包之间的时间间隔即一个报文或分组从一个网络 或一条链路 的一端传送到另一端所需要的时间 网络利用率 networkutilization 网络利用率是指网络被使用的时间占总时间 即被使用的时间 空闲的时间 的比例 网络吞吐量 networkthroughput 网络吞吐量是指在某个时刻 在网络中的两个节点之间 提供给网络应用的剩余带宽 即端到端每秒发送的比特数网络带宽容量 networkbandwidthcapacity 数字信道的 数据率 比特率 指的是数字信道传送数字信号的速率 带宽表示在特定的一段时间内可以通过网络传输的数据包数量 带宽影响可以传输的数据量 它把向一个主机传输数据的速度限制为网络连接支持的最大速度 在使用多个并发连接时限制总传输速度 最常用的网络测试命令ping s10 10 18 940885命令解释 用4096 4k 大小的数据包 去连续ping5次 其中 10 10 18 9为目标主机IP地址 4088为指定数据包大小 默认大小为56 实际包大小 4088 8 4096 5表示发包次数为5次 netstat是NetworkStatistics的缩写 是一个监控TCP IP网络的非常有用的工具 它可以显示路由表 实际的网络连接以及每一个网络接口设备的状态信息 Netstat用于显示与IP TCP UDP和ICMP协议相关的统计数据 一般用于检验本机各端口的网络连接情况 netstat i 检测每一个接口发送和接收数据包的情况 netstat m检查内存 如果Ierrs列比Ipkts的1 大 那么 需要执行netstat m命令来检查内存是否不够 引言 几个注意事项 监控CPU性能数据 监控内存性能数据 监控磁盘IO性能数据 监控网络性能数据 收集服务器性能数据 小结 附 获取solaris10系统信息 GMON工具组成 gmon sh脚本 shell脚本 用于采集服务器的性能数据 CPU 内存 磁盘 网络 及服务器信息 执行后生cpu gmon disk gmon mcpu gmon net gmon static gmon成五个数据文件 nicstat脚本 perl脚本 nicstat脚本用于收集网络数据 net gmon 通过gmon sh脚本