自动化运维与开发课件 任务1 psutil实现系统信息采集_第1页
自动化运维与开发课件 任务1 psutil实现系统信息采集_第2页
自动化运维与开发课件 任务1 psutil实现系统信息采集_第3页
自动化运维与开发课件 任务1 psutil实现系统信息采集_第4页
自动化运维与开发课件 任务1 psutil实现系统信息采集_第5页
已阅读5页,还剩23页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

自动化运维与开发

项目2基于Python脚本轻量级服务器集群状态监控系统任务1psutil实现系统信息采集第二篇

Python语言开发篇目录1知识储备任务要求任务实施23任务小结4过渡页1任务要求【任务要求】

本任务主要是对服务器资源数据的高效采集,精准获取CPU使用率、内存、磁盘I/O、网络流量等核心指标,具体要求如下。实时采集CPU、内存、磁盘、网络等核心指标。提供标准化数据监控接口,支持后续日志记录与报警模块集成。任务分析【学习目标】理解系统资源指标体系及其在运维中的意义。掌握psutil模块的基本功能与使用方法。实现CPU使用率、内存占用、磁盘I/O和网络流量的实时监控。过渡页2知识储备psutil模块介绍系统资源指标体系psutil核心资源监控方法章节目录1psutil模块介绍系统资源指标体系2psutil核心资源监控方法3使用率(Utilization):表示CPU在单位时间内处理任务的百分比,高使用率可能表示系统繁忙或存在性能瓶颈。具体指标定义包括用户空间使用率(User%),内核空间使用率(System%),空闲率(Idle%),等待I/O率(IOWait%)负载(LoadAverage):表示系统在特定时间段(通常为1分钟、5分钟、15分钟)内运行队列中的平均进程数,反映系统任务压力。短期负载高可能是突发请求激增,长期负载高可能是系统资源规划不足,需扩容或优化。系统监控监控命令:使用top命令实时显示系统中负载、各个进程的资源占用情况(CPU、内存等),按1查看多核CPU的每个核心状态,按q退出。[root@localhost~]#toptop-01:26:59up6min,1user,loadaverage:0.00,0.07,0.05Tasks:121total,1running,120sleeping,0stopped,0zombie%Cpu0:0.0us,0.0sy,0.0ni,100.0id,0.0wa,0.0hi,0.0si,0.0st%Cpu1:0.0us,0.3sy,0.0ni,99.7id,0.0wa,0.0hi,0.0si,0.0st%Cpu2:0.0us,0.0sy,0.0ni,100.0id,0.0wa,0.0hi,0.0si,0.0st%Cpu3:0.0us,0.3sy,0.0ni,99.7id,0.0wa,0.0hi,0.0si,0.0stCPU监控指标物理内存(RAM):包括总内存total、已用内存used、空闲内存free和缓存内存Buffers/Cache。缓存内存用于加速数据访问,需关注实际可用内存。当Free内存过低时,需警惕内存泄漏或内存不足风险。交换空间(Swap):指磁盘上的虚拟内存区域,用于临时存储内存数据。频繁使用交换空间可能表示物理内存不足。内存使用率:物理内存的已用百分比used/total,反映内存资源紧张程度。监控命令:在Linux系统中使用free-h命令查看内存和交换空间的使用情况。[root@ansible~]#free-htotalusedfreesharedbuff/cacheavailableMem:7.6G398M7.1G11M136M7.0GSwap:4.0G0B4.0G内存监控指标系统监控总空间(TotalSpace):磁盘分区的总存储容量(GB)。已用空间(UsedSpace):分区中已使用的存储容量(GB)。空闲空间(FreeSpace):分区中剩余的存储容量(GB)。使用率(UsageRate):已用空间占总空间的百分比,高使用率可能导致服务中断。监控命令:使用df-h命令可以查看[root@ansible~]#df-hFilesystemSizeUsedAvailUse%Mountedondevtmpfs3.8G03.8G0%/devtmpfs3.9G03.9G0%/dev/shmtmpfs3.9G12M3.8G1%/runtmpfs3.9G03.9G0%/sys/fs/cgroup/dev/mapper/centos-root76G1.6G74G2%//dev/sda1509M144M365M29%/boottmpfs781M0781M0%/run/user/0系统监控磁盘存储监控指标运维离不开对系统信息的监控,虽然我们可以通过操作系统提供的任务管理器或命令查看相关信息,但仍不能简化这些日常的运维任务。如果我们通过编写程序获取以上信息,那么系统信息监控就是一件轻松而简单的工作。提示章节目录1psutil模块介绍系统资源指标体系2psutil核心资源监控方法3psutil(ProcessandSystemUtilities)是一个跨平台的Python第三方库,用于获取系统资源信息和进程管理,支持Windows、Linux、macOS等操作系统,广泛应用于系统监控和自动化运维场景。模块功能:提供CPU、内存、磁盘、网络和进程等信息的获取接口安装方法:通过pipinstallpsutil命令安装跨平台特性:psutil通过统一的API屏蔽操作系统差异,代码可跨平台复用系统监控psutil模块介绍章节目录1psutil核心资源监控方法系统资源指标体系2psutil模块介绍3psutil模块提供了丰富的API,用于获取系统资源数据,是实现自动化运维监控的核心工具。本节主要介绍用于监控CPU、内存、磁盘I/O和磁盘存储的核心方法,涵盖各资源的关键指标,帮助读者掌握psutil在运维场景中的应用。psutil库CPU监控方法系统监控psutil.cpu_percent(interval=None,percpu=False)

功能:返回CPU使用率(百分比),反映CPU任务负载。

参数:interval:采样时间间隔(秒),若为None,返回瞬时值;percpu:若为True,返回每个CPU核心的使用率列表。返回值:浮点数(总使用率)或列表(各核心使用率)psutil.getloadavg()功能:返回系统负载(1分钟、5分钟、15分钟的平均进程数),反映任务压力,这个功能仅限于Linux系统。

返回值:系统负载三元组,如(1.2,0.8,0.6)。psutil.cpu_times(percpu=False)功能:返回CPU时间统计信息,记录CPU在不同模式下(用户、系统、空闲等)的累计运行时间,反映CPU的工作负载分布。常用于分析系统性能和任务类型。参数:percpu若为True,返回每个CPU核心的时间统计列表;若为False,返回所有核心的汇总数据。返回值:命名元组,包含user:用户态进程占用CPU时间;system:内核态(系统调用、驱动等)占用CPU时间;idle:CPU空闲时间等。importpsutilprint(psutil.cpu_percent(interval=1))#间隔一秒采样cpu使用率print(psutil.cpu_percent(percpu=True))#输出每个cpu的瞬时使用率print(psutil.getloadavg())#输出1分钟、5分钟、15分钟的负载cpu_times=psutil.cpu_times()print(f"用户态时间:{cpu_times.user:.2f}秒")#输出用户态时间print(f"系统态时间:{cpu_times.system:.2f}秒")#输出系统态时间print(f"空闲时间:{cpu_times.idle:.2f}秒")#输出空闲时间psutil库CPU监控方法系统监控内存监控包括物理内存和交换空间的使用情况,psutil提供以下方法:psutil.virtual_memory()功能:返回物理内存信息,包括总内存、已用内存、空闲内存和使用率。

返回值:命名元组,包含total(总内存)、used(已用)、free(空闲)、percent(使用率)等字段psutil.swap_memory()功能:返回交换空间信息,包括总空间、已用空间和使用率。

返回值:命名元组,包含total、used、free和percent等字段(单位:字节)。系统监控psutil库内存监控方法importpsutilmemory=psutil.virtual_memory()print(f"内存使用率:{memory.percent}%")#输出:65.2%print(f"已用内存:{memory.used/(1024**3):.2f}GB")#输出:7.89GBswap=psutil.swap_memory()print(f"交换空间使用率:{swap.percent}%")#输出:5.3%print(f"已用交换空间:{swap.used/(1024**3):.2f}GB")#输出:0.45GB磁盘性能指标包括吞吐量、IOPS、响应时间等,psutil提供以下方法:psutil.disk_io_counters(perdisk=False)功能:返回磁盘I/O统计信息,包括读写数据量、操作次数和时间。

参数:perdisk若为True,返回每个磁盘的统计数据(字典)。返回值:命名元组,包含read_bytes(读取字节数)、write_bytes(写入字节数)、read_count(读取次数)、write_count(写入次数)、read_time(读取时间,毫秒)、write_time(写入时间,毫秒)磁盘性能监控方法示例:系统监控psutil库硬盘I/监控方法importpsutildisk_io=psutil.disk_io_counters()print(f"读取数据:{disk_io.read_bytes/(1024**2):.2f}MB")#输出:1234.56MBprint(f"IOPS:{disk_io.read_count+disk_io.write_count}")#输出:5678print(f"读取时间:{disk_io.read_time}ms")#输出:123ms磁盘存储指标包括总空间、已用空间、空闲空间和使用率,psutil提供以下方法:psutil.disk_usage(path)功能:返回指定路径所在分区的存储信息。

参数:path是文件系统路径(如/或C:\\)。返回值:命名元组,包含total(总空间)、used(已用空间)、free(空闲空间)和percent(使用率)等字段(单位:字节)。系统监控psutil库硬盘存储监控方法importpsutildisk_usage=psutil.disk_usage('/')print(f"磁盘使用率:{disk_usage.percent}%")#输出:70.1%print(f"总空间:{disk_usage.total/(1024**3):.2f}GB")#输出:500.00GBprint(f"空闲空间:{disk_usage.free/(1024**3):.2f}GB")#输出:149.50GB磁盘存储监控方法示例:过渡页3任务实施实时数据采集器设计与实现任务实施实时数据采集器是集群状态监控系统的核心组件,负责持续采集服务器的CPU、内存、磁盘等关键指标。本任务将基于psutil库设计并实现一个轻量级数据采集器,为后续的日志记录和报警模块提供标准化数据支持。设计思路

实时数据采集器的核心目标是高效、准确、全面地获取系统资源指标。设计时需考虑以下要点:指标覆盖:需包含CPU使用率、内存占用、磁盘I/O、磁盘存储等核心指标。数据标准化:将采集的原始数据(如字节、毫秒)转换为人类可读格式(如GB、MB/s)可扩展性:采用函数模块化设计,每个指标对应独立采集函数,便于后续新增指标。跨平台兼容:利用psutil的跨平台特性,确保采集器在Windows、Linux上均可运行。2.实现步骤步骤1:环境准备安装psutil库:由于psutil是第三方库,需先通过pip安装:pipinstallpsutil导入依赖模块:采集器需用到psutil(核心采集)和time(获取时间戳),代码开头导入:importpsutilimporttime步骤2:封装指标采集函数按指标类型拆分采集功能,每个函数返回对应指标的标准化数据。任务实施①函数1:CPU指标采集采集CPU使用率(总使用率+各核心使用率)和系统负载(1/5/15分钟):defget_cpu_info():"""获取并打印CPU相关指标"""#总使用率(间隔1秒采样,确保准确性)total_percent=psutil.cpu_percent(interval=1)#各核心使用率per_core_percent=psutil.cpu_percent(percpu=True)#系统负载(仅Linux有效,Windows返回(0,0,0))load_avg=psutil.getloadavg()ifhasattr(psutil,'getloadavg')else(0,0,0)#打印指标print(f"[CPU]总使用率:{total_percent}%")print(f"[CPU]各核心使用率:{per_core_percent}")print(f"[CPU]系统负载(1/5/15分钟):{load_avg}")任务实施②函数2:内存指标采集采集物理内存和交换空间的使用情况,并打印关键信息:defget_memory_info():"""获取并打印内存相关指标"""#物理内存virtual_mem=psutil.virtual_memory()#交换空间swap_mem=psutil.swap_memory()#转换为GB(保留2位小数)virtual_used_gb=round(virtual_mem.used/(1024**3),2)swap_used_gb=round(swap_mem.used/(1024**3),2)#打印指标print(f"[内存]物理内存使用容量:{virtual_used_gb}GB,使用率:{virtual_mem.percent}%")print(f"[内存]交换空间使用容量:{swap_used_gb}GB,使用率:{swap_mem.percent}%")任务实施③函数3:磁盘指标采集采集磁盘存储(分区使用率)和磁盘I/O性能,并打印关键信息:defget_disk_info():

"""获取并打印磁盘相关指标(存储+I/O)"""

#磁盘存储(以根目录为例,Linux/macOS用'/',Windows用'C:\\')

disk_usage=psutil.disk_usage('/')

#磁盘I/O统计

disk_io=psutil.disk_io_counters()

#转换为人性化可读格式

disk_total_gb=round(disk_usage.total/(1024**3),2)

disk_used_gb=round(disk_usage.used/(1024**3),2)

read_mb=round(disk_io.read_bytes/(1024**2),2)

write_mb=round(disk_io.write_bytes/(1024**2),2)

#打印指标

print(f"[磁盘存储]总容量:{disk_total_gb}GB,已用:{disk_used_gb}GB,使用率:{disk_usage.percent}%")

print(f"[磁盘I/O]读取数据:{read_mb}MB,写入数据:{write_mb}MB,总IOPS:{disk_io.read_count+disk_io.write_count}")任务实施(3)步骤3:整合采集器主函数if__name__=='__main__':"""获取系统所有资源指标的主函数(含打印)"""time

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论