下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
监控系统详设本文档之所以简单,是因为面向高阶人士,不赘述大家耳熟能详的细节。机器监控沙盘1、介入时间:机器进入xbox,这些机器是从xman中同步过来的。应该放到一个buffer池中。此时(可能全公司只有一个,也可能各个owt分别有自己的备机池),这些机器会自动添加上基础监控,报警接收人是备机管理员。怎么做到的呢?buffer池节点创建之初,就已经由备机管理员添加了一个基础监控项模板,这个模板是比较有经验的sre讨论出来的,自动加了一个策略模板,报警接收人就是备机管理员(备机嘛,可能报警频率不高,比如连续报了10次才发一个email)。2、机器要上服务了,创建一个新节点,把机器从备机池拿过来(机器从一个节点拿掉,原来节点绑定的模板就会失效),我们仍然要加基础监控,但是默认的采集策略模板需要修改,可以继承过来修改一下然后绑定之,或者直接绑定之前准备好的基础监控项策略模板绑定之。如果对监控项模板没有定制,每次就直接使用类似备机池那样的基础监控项采集模板即可,觉得每次从备机池删掉之后相关监控项就删掉了觉得麻烦,可以在比较高层的节点上提前绑定好。3、对于同一个pdl的机器可能有一些共性的监控,OK,制作成一个common模板,哪个服务想用就直接绑定这个common模板即可。建议不要把这个common模板绑定到pdl这个高于srv层级的tag上,因为某个srv可能比较特殊,它即使不想用也没办法。建议的做法是:这个srv的sre制作一个模板,继承common模板,使用覆盖的方式定制化自己的监控需求,然后把这个定制化的模板绑定在自己的srv上。-------------------------------------------------------------------------------------------------------------------------------第二条建议在高层级节点上绑定通用监控项模板,第三条又不建议,呵呵,不能理解了么?再读一遍第二第三条,这个需要用户自己做决定,度自己把握,如果这个高层节点的所有孩子节点都是一样的监控需求,那就在高层节点上绑定,否则就只能在低级节点上绑定了。-------------------------------------------------------------------------------------------------------------------------------4、服务要下线了,sre对服务做一些stop操作,然后归还到备机池,既然机器从原来的节点拿掉了,故而在原来节点绑定的模板都会失效,但是机器加入备机池节点,就会自动生效原来备机池应用的模板,nice。5、机器下线,从备机池或者从正常服务节点直接删除,所有监控自动失效ps:对于所有做了raid的机器做监控。这个需求需要新建一个节点,放置所有做了raid的机器,然后绑定raid监控相关的监控项和策略模板。实例监控沙盘实例监控和机器监控有很大不同。数据是希望用户通过监控apipush上来,push上来的数据至少包含如下几项:endpoint:比如ip:port,要求group下全局唯一group名称:比如jobtag,不能跟别的业务重复,同一个job的不同instance,采用同一个group名称timestamp:时间戳metric:到底是监控的啥,比如qps,tval:metric的值通过apipush上来的数据根本不需要事先在系统中定义监控项,自然也不需要什么监控项模板了。那策略怎么搞?直接进入监控系统实例监控页面做配置,配置采用perfcounter的方式:metric=qps,endpoint=3,group=xbox,val>10000,send_to=qinxiaohui:mailmetric=qps,group=xbox,val>5000,send_to=qinxiaohui:phonemetric=qps,group=xbox,avg(val)>8000,send_to=user-group1:all说明:0、每条都必须指定group1、第一条是指定了具体的endpoint,是说就是这个endpoint的val>10000就报警2、第二条没有指定endpoint,是说group=xbox的所有endpoint采用相同规则,val>5000即报警3、第三条没有指定endpoint,是说group=xbox的所有endpoint的val的平均值,如果>8000就报警。ps:如果连续多次都没有数据,应该也报警,可能instance挂掉了或者用户把instance下线了而忘记了删除实例监控策略机器监控领域图common报警策略模板common报警策略模板common采集项模板报警策略模板*1采集项模板报警策略模板*1采集项模板采集项1**1******报警策略*hostgroup报警策略*hostgroup11**hosthost说明:上面的1和*代表了一对多、多对多的关系。采集项模板和报警策略模板都是可以继承和覆盖领域类属性简介host机器hostid:全局唯一的标识,最好是整个小米使用一个ID,避免了系统整合和交互的麻烦,我们暂且使用uuid?hostname:sre在操作机器监控的过程中,用的最多的应该就是hostname,也可以给ip,此时应该求助于dns,获取这个ip对应的hostname机器改名时如何处理监控?监控项和策略应该是和hostid绑定的,所以机器改名理论上不应该影响监控,但是因为监控系统存储了hostname,所以改名动作应该通知监控系统。通知失败了咋办?两个办法解决:改名和通知这两个动作放到一个事务里处理。这样一来,所有存储了冗余数据(此处为hostname)的关联系统都应该用类似方式处理,比较麻烦hostid和hostname的对应关系作为一个meta数据存储在一个单独的系统中,呵呵,或许就是metadb,任何一个子系统都不用存储hostname,只是使用hostid交互,用户操作的时候使用hostname,子系统拿到hostname之后去metadb查询hostid来用。此时延展一步,ip也可以作为meta信息纳入,然后有个线程一直在跑,查询dns,矫正hostname和ip的对应关系。综上,感觉有个metadb更靠谱host_group机器分组grpid:全局唯一的一个:a-zA-Z_0-9的一个字符串,最常见的可能就是服务树中的一个tag串,比如cop.xiaomi_iao_pdl.sre_srv.xae_job.master不同的schema应该保证id相同,比如cop.xiaomi_iao_pdl.sre_job.master_srv.xae和上面的tag串虽然调整了job和srv的位置,他们的id应该相同,表示同一个host_group然后再有一张关联表来存储host_group和host的对应关系,grpid–hostidcreate_user:创建者create_at:创建时间创建者和创建时间,准确来讲,是在服务树上对某个节点绑定模板的那一刻。用户基本是不会直接在监控系统中创建host_group,修改host_group与host的对应关系的。这个事情应该由服务树来完成,用户在服务树上调整tag和机器,就会直接关联监控。grpid–hostid这个对应关系也是一个冗余数据,用户在做绑定模板的那一刻,监控系统会生成host_group以及grpid–hostid的对应关系,之后如果机器从一个节点移动到另一个节点,服务树需要通知监控系统,移动可以分解为一个删除和一个新增。疑问:服务树在机器做移动的时候真的可以做到准确无误的通知监控系统么?即:是否可以根据机器查到对应了哪些tag?metric监控采集项metric_id全局唯一的id,无业务语义metric_name比如:cpu.idle/t/t等等collect_method比如:agent(使用监控的agent来采集);scripts(使用用户提供的脚本来采集),当然,在db中可能就是用数字来不同的
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年个护家电行业市场容量研究报告
- 2026年STEAM教育行业市场细分领域发展动态报告
- 口腔颌面外科医师晋升副主任医师高职称病例分析专题报告(口腔颌面部异物滞留诊疗分析)2篇
- 2026年轨道交通装备国产化进程与市场空间报告001
- 2026年全渠道消费融合下的图书出版行业分析报告
- 2026年化妆品行业报告:市场潜力与经营决策指南
- 2026年线上品牌与线下品牌市场拓展策略报告
- 2026年能源行业环保合规与技术创新报告
- 高中物理力学实验探究物体离心现象影响因素技巧训练试题及答案
- (2025)原发性骨质疏松症与肌少症的营养和运动管理专家共识
- 当下幼教行业职位分析报告
- 地质灾害治理工程勘查和设计服务方案(技术标)
- 解酒饮创业计划书
- 攻丝机机械加工作业指导书
- 山东省老旧营运货车报废更新资金申请表
- 具身智能:从理论到实践的全面解析
- 2026年医院药房药剂师高频面试题包含答案及考察点分析
- 眼镜打磨抛光知识培训班课件
- 数字媒体艺术专业教学标准(高等职业教育本科)2025修订
- DB22-T 3687.1-2025 反恐怖防范管理规范 第1部分:学校
- T/CASTEM 1007-2022技术经理人能力评价规范
评论
0/150
提交评论