Grafana-9-部署-配置-使用

Grafana9.2.0使用基础目录1.Grafana基础安装 2下载安装 2环境配置 3配置设置 3基础配置项 3基础配置说明 4服务启动 4客户端工具 52.权限配置 5权限概述 5Organizations管理 5Users管理 6Teams管理 6操作权限管理 63.业务数据源配置 7数据源简介 7Prometheus数据源配置 74.仪表盘配置(Dashboard) 7Dashboard简介 7Folder创建 8Dashboard创建 85.告警配置 8A.告警概述 8B.AlertRules-邮件规则信息配置 9C.Contactpoints-通知终端配置 10D.Notificationpolicies-告警通知策略配置 11E.Silences告警静默配置 12F.告警通知实现 136.告警模板自定义 13A.邮件告警模板配置 13B.企业微信告警模板配置(WeCom) 14依赖组件版本说明:组件版本备注JDK1.8.0_202预置安装[必选]Prometheus2.39.1预置安装[可选]Pushgateway1.4.3预置安装[可选]MySQL0.2.0预置安装[可选]1.Grafana基础安装下载安装官网Github下载地址中选择指定版本下载解压即可。环境配置配置设置将[conf/sample.ini]复制并重命名为[custom.ini],然后修改[custom.ini](官方建议不要修改sample.ini).只需要修改[custom.ini]中需要变更的配置即可,不需要变更的配置会默认加载[defaults.ini]配置文件的默认配置,其实大多数配置如果不需要都会使用[defaults.ini]文件,所以该文件很重要不要随意修改.基础配置项app_mode=production[paths]data=D:/grafana/test/grafana/datalogs=D:/grafana/test/grafana/log[server]root_url=[yourgrafanaurl][database]type=mysqlhost=[yourdatabaseurl]name=grafanauser=testpassword=123456[smtp]enabled=truehost=[youremailurl]user=[emailaccount]password=[emailpassword]from_address=[fromemailaccount]基础配置说明app_mode：配置运行环境.可选值为production/development,默认production.data:配置临时存储目录.用于存储临时文件/会话文件/sqlite3数据文件(如果配置了sqlite存储的话)logs:配置日志存储目录.root_url:配置的grafana服务的访问地址.这个地址也会作为告警等其他提示信息中所发送的本机访问地址.type:配置系统存储数据源类型.可选mysql/postgres/sqlite3.host:数据源地址加端口.name:数据库名称.user:数据源用户.password:数据源密码.enabled:启用smtp邮件发送配置.host:配置smtp邮件发送地址加端口.user:配置smtp邮件发送账号.password:配置smtp邮件发送密码.from_address:配置smtp邮件发送发件人配置.服务启动可以通过[grafana-server.exe--help]查看启动帮助提示.[grafana-server.exe-configD:/grafana/grafana-9.2.0/conf/custom.ini-pidfileD:/grafana/test/grafana/pid/grafana.pid]启动命令中指定了配置文件和pid文件位置(在linux环境下最好指定这些参数,防止默认生成位置并不适用的问题)服务启动完成后访问地址为:配置项[root_url].服务启动完成后默认的用户名密码是[admin/admin],登录时会提示重设密码可选跳过或重设(可以在自动生成数据库中的user表中查看用户列表).客户端工具重置管理员密码:./grafana-cliadminreset-admin-passwordadmin123列出帮助文档:grafana-cli--help列出指定命令帮助文档:grafana-clladmin--help2.权限配置权限概述Grafana的权限功能一共分为Organizations(组织)、Teams(团队)、Users(用户),三级管理.Organizations相当于公司的概念(下称Org).Teams则相当于公司的下的某个团队.Users则存在于公司和团队之下的个体用户.同样的权限的管理也可以针对这三级来管理,但是为了方便管理一般建议创建明确的组织、团队、用户阶层,以便方便授权管理.TIPS:所有权限管理操作都是基于Org的范围来管理的,所以无论是使用Admin用户还是其他用户,在操作之前一定要确认当前所在的Org是否是需要操作的Org下,否则就不是对指定Org下的权限管理操作了.可将鼠标悬浮在已登录用户的图标上即可查看当前所在Org的名称,或者点击已登录用户的图标,在右侧[Preferences]面板的Org区域选择切换到指定的Org下即可.Organizations管理[Serveradmin]->[Organizations]:点击NewOrg按钮创建新的组织数据,填写完成即可创建.将Admin切换到新创建的Org组织下.Users管理[Serveradmin]->[已登录用户]:点击Newuser按钮创建新的用户数据,填写完成即可创建.创建后在信息面板中Org区域点击[Addusertoorganization]按钮将当前用户添加到指定组织结构下.Teams管理[Configuration]->[Teams]:点击NewTeam按钮创建新的团队数据,填写完成即可创建.创建后在信息面板中Members区域点击[Addmember]按钮添加当前Org下的指定用户到当前Teams.(注意:当前Org归属)操作权限管理Grafana的所有信息相关的数据全部与Org绑定,所以权限设置也是以Org为单位,不同的Org之间的所有数据均不可见.但是同一个Org下的所有信息都是可见的,可以选择默认展示Dashboard和用户是否编辑等权限.Org权限设置[Configuration]->[Preferences]:可以设置当前Org的默认Dashboard/UITheme/Timezone/Weekstart等信息.Teams权限设置[Configuration]->[Teams]:选择需要设置的Team,点击[Setting]Tab页即可设置默认Dashboard/UITheme/Timezone/Weekstart等信息.User权限设置:[Configuration]->[Users]:可以选择对应用户的Role,以设置该用户是否具有查看、编辑、管理员权限等信息.3.业务数据源配置数据源简介业务数据源是用于配置Grafana采集指标数据来源的配置.Grafana通过已配置好的业务数据源可以采集指定的通过该类型数据源的指标数据到Grafana进行显示、查询和监控等等.业务数据源的类型非常多,比如:时序数据库类->[Prometheus/InfluxDB/OpenTSDB],分布式采集类->[Tempo/Zipkin],云上服务->[AzureMonitor/GrafanaCloud],关系型数据库->[MySQL/PostgresSQL]等等.Prometheus数据源配置创建路径:[Configuration]->[Datasources]->[Adddatasource](初次使用可能没有该按钮，而是创建Tab卡，点击即可新建)name:填写当前Prometheus数据源业务名称.[HTTP]URL:填写Prometheus数据源地址.[Alerting]Scrapeinterval:设置数据拉取频次(默认:15s).[Alerting]Querytimeout:设置数据查询超时(默认:60s).点击[Save&Test]按钮即可保存并查看Test结果.4.仪表盘配置(Dashboard)Dashboard简介Dashboard是Grafana最常用的可视化组件,它可以将采集的所有指标信息按照指定的运算规则进行展示,方便进行数据查询、查询、监控等等操作.Folder创建为了更好的管理Dashboard的分组,在使用Dashboard之前需要先创建存储Dashboard的目录.点击[Dashboard]->[Newfolder]即可创建一个folder.然后可以在[Dashboard->Browse]浏览列表中查看该folder结构,然后鼠标悬浮该folder后显示[Gotofolder]即可直接跳转至该folder内,会展示该folder内所有的Dashboard列表.Dashboard创建在folder目录下点击右侧[New]按钮选择[NewDashboard]即可创建Dashboard对象,也可以点击已有的Dashboard进入,即可修改当前Dashboard信息.5.告警配置TIPS:1.此处以邮件告警为例演示告警通知功能,此前请确认smtp配置已完成.2.此处以采集一个随机整数指标为示例来说明告警信息配置.3.Grafana不支持对包含模板变量的查询进行监控（这个有待考证）.A.告警概述Grafana模块(v9.2.0版本)包含六个功能:AlertRules:告警规则信息配置.用于配置告警触发规则.Contactpoints:告警通知终端配置.用于配置告警通知方式.Notificationpolicies:告警通知策略配置.用于配置告警触发规则和告警通知方式的匹配关系(通过label来匹配).Silences:告警静默策略配置.用于配置告警静默时段段,已配置在静默模式下的告警规则则不会触发告警通知消息.Alertgroups:告警分组配置.暂未确定用法.(暂未使用)Admin:告警模板管理配置.预览当前整个告警模块的配置模板信息.(暂未使用)Grafana支持对于指标信息的各种告警配置,且告警渠道支持Alertmanager/Dingding/Email/MicrosoftTeams等等终端.B.AlertRules-邮件规则信息配置1.Setaqueryandalertcondition在该区域是设置告警数据来源条件的地方.可以通过[Addquery]和[Addexpression]来创建查询和表达式等对象来生成告警数据.这里每添加一个Query或者Expression对象时,会默认分配一个代号,默认从"A"开始依次递增,这个代号在整个区域中可以通过$A或者${A}方式来引用(后者是当代号有特殊字符时使用,一般用$A即可).此处以采集一个随机数指标为例,通过判断指标最后上传时间(push_time_seconds)在2m(指标上传间隔为5s)内未更新的条件下则触发告警信息.>首先,创建一个查询A,设置指标表达式为:increase(push_time_seconds{job="self_metrics"}[2m]).increase函数是计算指定指标在指定时间间隔的差值,此处就是计算job="self_metrics"}在每2m时间跨度上的push_time_seconds指标的差值.>然后,创建一个表达式B,用Operation=Reduce操作来收集A查询中的结果到当前表达式上.表达式内容为[Operation=Reduce,Function=Last,Input=A,Mode=Strict(严格模式)].这样就将A的最后一个结果收集到B表达式上来.>最后,创建一个表达式C,用于判断表达式B的结果是否满足判断条件,从而决定是否触发告警设置.表达式内容为[Operation=Math,Expression="$B==0"].这样表达式C就是可以实时判断2m内是否有上传指标数据上来.在设置完数据源查询表达式后,在[Setalertconditoin]区域选择最后的表达式结果C,从而以C表达式的结果为准.2.Alertevaluationbehavior在该区域是设置告警监控规则的设置.可以设置监控频率、时间范围、空数据及错误数据处理、预览告警查询计算结果等等.Evaluateevery:10sfor1m.表示每10s采集一次监控数据,持续采集周期为1m.这个周期对于告警计算非常重要.告警规则有三个状态Normal/Pending/Alerting.告警会以Evaluateevery参数一为频率来检测告警数据,告警检测结果为正常时它处于Normal状态,当它遇到第一个异常结果时它处理Pending状态,在持续收到检测数据在Evaluateevery参数二时间内之内均为异常数据时,它的状态会切换为Alerting,此时告警机制会通过Notificationpolicies配置查找Contactpoints终端,然后通过该终端发送告警通知.如果在Evaluateevery参数二时间之内又恢复了正常数据,则会由Pending状态转为Normal状态.只有当告警规则的状态为Alerting状态时才会发送告警通知,其他状态均不会触发通知.Configurenodataanderrorhandling:用于配置在无检测数据输入或告警状态获取异常情况下的处理情况.无数据输入情况下可选择[Alerting、NoData、OK]三种处理策略,获取状态异常情况下可选择[Alerting、OK、Error]三种处理策略.3.Adddetailsforyouralert在该区域是设置告警详细内容的信息.Rulename:告警规则名称.Folder:告警规则存储目录.Group:告警规则归属分组(没有则会默认自动新建).Suumaryandannotations:告警预览信息.这些信息在某些告警终端会予以显示(比如:邮件).这里可以设置系统默认Summary(概述)/RunbookURL(辅助信息地址)/Description(描述)/DashboardUID(仪表UID)/PanelID(面板ID)/自定义信息.如设置了RunbookURL/DashboardUID/PanelID,则可以在邮件告警通知中出现[ViewRunbook]/[GotoDashboard]/[GotoPanelSource]等操作按钮.DashboardUID&PanelID可以通过在DashboardSettings页面的[JSONModel]栏确认并获取到.4.Notifications在该区域可以简单查看Grafana的告警处理流程说明,并且可以配置告警Labels信息.在后续关联告警规则和通知终端的配置中(Notificationpolicies)会使用Labels作为关联依据,所以这个要特别注意.这里的Labels是作为告警识别判断的依据,所以建议在这里单独设置告警Labels信息,而不要借用业务指标数据中的Labels(groupingKey)信息,这样容易让业务和告警配置混淆.C.Contactpoints-通知终端配置1.ChooseAlertmanager这里是用于选择Grafana告警管理服务,简单说就是告警发生后对接到哪个服务来进行后续处理.常用有grafana/alertmanagerserver等.一般如果没有额外部署AlertmanagerServer服务,则默认使用GrafanaServer来默认处理告警信息.2.MessageTemplates这里用于设置告警信息模板,如果设置生效后,当产生告警信息后会以预设模板样式将告警信息发送至告警终端.3.ContactPoints这里用于设置告警终端设置.通过[Newcontactpoint]设置来新增告警终端,填写告警通知终端名称/告警通知终端类型/告警通知终端参数/可选参数设置/通知设置(是否通知已处理)等设置.D.Notificationpolicies-告警通知策略配置1.ChooseAlertmanager该区域基本和[Contactpoints]的[ChooseAlertmanager]作用相同.2.Rootpolicy该区域是用于设置默认顶级告警通知关联设置(告警顶级路由节点),意思就是系统默认的告警通知关联设置.所有告警信息都会由该顶级路由节点进入路由树,该路由树必须匹配所有告警,然后遍历子节点.所以这个Rootpolicy就相当于默认一定要经过的告警通知关联设置.3.Specificrouting该区域是用于设置告警通知关联设置的区域.只有当对告警规则和告警通知终端二者设置了告警通知关联设置,当告警触发时才会通过指定告警通知终端来下发告警信息.通过[NewPolicy]来新增告警通知关联设置.然后点击[Addmatcher]添加匹配规则,将Labels信息符合要求的告警规则关联到该设置后续所设置的告警通知终端上来,从而实现告警下发.通过[Contactpoint]选择要设置的告警通知终端设置.通过[Continuematchingsubsequentsiblingnodes]选择告警规则在命中当前告警关联设置后是否继续匹配路由树节点中后续的其他告警通知关联设置.默认false.通过[Overridegrouping]选择对命中告警规则进行重分组.如果它为空则默认集成父类告警分组.默认为false.通过[Overridegeneraltimings]选择对命中告警规则的时间功能设置.[Groupwait]告警通知发送等待时间.即告警第一次触发后等待多久发送一组告警通知.如果立刻发送就尽量设置短一点.[Groupinterval]分组内每个告警通知(包含触发/解除告警)发送间隔.该值会影响同组下所有告警通知发送间隔,且含触发和解除通知的间隔.比如:该值设置为20m,则触发通知发出后需要至少20m后才会发送解除通知(哪怕该告警已立刻解决).所以不建议过长.[Repeatinterval]告警成功通知后的重发时间间隔.同一告警重发发送间隔,此值不建议设置太低,否则会频繁收到告警通知邮件.通过[Mutetimings]选择告警静默时间设置.该设置可以在已设置静默规则的列表中选择针对当前告警通知关联规则的静默设置.如果设置了静默规则,则该告警关联规则在静默时段内不会下发告警信息到告警通知终端.该项设置来源于<4.Mutetimings>设置项TIPS:1.建议设置[GroupWait]时间为1s,这样可以减少Grafana的告警通知下发触发等待时间,默认值很慢,其他时间不用修改默认值即可.2.经过测试针对[Overridegeneraltimings]参数效果如下:+[Groupwait]决定触发告警下发时间间隔,如:1s,就表示告警触发后立刻下发通知.+[Groupinterval]决定同组下触发告警和解除告警发送时间间隔,如:1m,就表示触发告警发出后至少在1m后才会发送解除告警(假设告警在10s就已解除).+[Repeatinterval]决定单个告警下发最低时间间隔,不过这个参数需要集合[Groupinterval]一起生效,因为单个告警肯定是同组,所以假如[GroupInterval]=5s,[RepeatInterval]=10s,则单个告警重发的实际时间间隔为15s.而解除告警通知则仅受[Groupinterval]影响.4.Mutetimings该区域用于设置静默规则设置.用于提供给告警关联规则决定在静默时间范围内不会下发告警信息到告警通知终端.这个设置相对简单,不做赘述.E.Silences告警静默配置该区域是用于对已经设置的告警规则进行静默设置.就是不让告警规则下发告警通知到告警通知终端(注意:是不下发告警,并不会阻止任何告警状态的变化).点击[NewSilence]然后选择静默时间段设置,然后设置与告警规则关联的Labels(这点与告警通知关联设置相同),最后保存当前告警静默设置即可生效.可以在静默设置列表中已生效的静默设置进行解除,同样也可以对已经失效的静默设置进行重建.F.告警通知实现>DingDing告警.首先在钉钉群添加机器人助手,然后复制其WebHook地址到Grafana中设置ContactPoint选择DingDing,配置好DingDing机器人助手的推送策略即可.注意:检查WebHook地址前后不能包含空格.>EPWeChat告警.在企业微信群添加机器人助手,然后复制WeHook地址到Grafana中设置Contactpoint选择WeCom即可.>邮件告警. 在Contactpoint选择Email类型，然后会使用配置文件中配置的[smtp]设置来进行邮件发送设置.6.告警模板自定义TIPS:1.告警模板可以通过{{define"name"}}方式定义模板内容,然后在其他位置使用{{template"name".}}方式来调用自定义模板.2.模板语法中要注意变量的作用域问题,全局变量可以在任意位置调用如{{.ImageURL}},但是循环体变量则必须在range循环体内才能调用.如{{.Annotations.SortedPairs}}内变量等等.A.邮件告警模板配置在使用邮件告警功能时,请先确认Grafana配置文件(linux:grafana.ini/windows:custom.ini)中是否已开启STMP相关配置.从配置文件中的[emails]->[templates_pattern]配置项可以确定邮件通知模板的位置,一般无需修改这个配置.默认邮件通知会使用[./public/emails/ng_alert_notification.html]模板,这个是使用指定格式内置表达式写的邮件模板,如果需要对邮件模板进行定制可以对此文件进行重写即可.具体变量使用方法可以参考下面企业微信自定义模板的语法来设置即可.B.企业微信告警模板配置(WeCom)在Contactpoint的[OptionalWeComsettings]设置中设置Message的内容如下即可,这个是基本和上述邮件模板展示指标内容相同,可自定义删减