天眼-第一节课_第1页
天眼-第一节课_第2页
天眼-第一节课_第3页
天眼-第一节课_第4页
天眼-第一节课_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

腾讯课堂图灵学院项目班,天眼-Java大规模分布式跟踪监控系统,致敬大师致敬未来的你,Contents,课程安排,本项目对java、scala等运行于jvm的程序进行实时日志采集、索引和可视化，对系统进行进程级别的监控，对系统内部的操作进行策略性的报警、对分布式的rpc调用进行trace跟踪以便于进行性能分析。Github地址：,1、日志实时采集2、日志实时页面实时展示（支持关键字过滤）3、历史日志查询（支持多种条件过滤，支持sql语句查询）4、app实时部署位置和采集器状态展示5、app历史部署位置展示6、api和第三方请求实时统计和历史统计7、rpc调用链展示（支持多种条件检索）8、系统上下线报警9、系统内嵌采集器报警10、中间件、api、第三方、job执行异常报警（策略报警和异常报警）,1、了解zookeeper、kafka和es-sql的使用2、掌握多种log框架的自定义appender3、掌握日志实时收集4、掌握普通日志和事件日志索引设计5、掌握如何从业务层面保证kafka消费的有序性6、掌握监控报警的埋点设计7、掌握如何自定义hbase的springbootstarter并加入埋点8、掌握高效分布式唯一ID生成策略9、掌握谷歌dapper论文概念和本项目的rpc设计10、掌握基于dubbo修改源码实现rpc跟踪,由于该项目使用的都是分布式的架构，并且组件都是分布式的框架，所以应当根据生产环境实际场景的日志量来部署，测试环境一台机器即可部署（需要有个小的hbase集群）。该项目测试下来3台pc大概能每秒实时索引2w-2.5w的日志，每秒实时处理50w+条日志，每秒能够处理rpc数据3w+条，并且随着集群的增大数据处理能力线性增长。,1、日志实时采集2、日志实时页面实时展示（支持关键字过滤）3、历史日志查询（支持多种条件过滤，支持sql语句查询）4、app实时部署位置和采集器状态展示5、app历史部署位置展示6、api和第三方请求实时统计和历史统计7、rpc调用链展示（支持多种条件检索）8、系统上下线报警9、系统内嵌采集器报警10、中间件、api、第三方、job执行异常报警（策略报警和异常报警）,数据模型znodeSession机制节点类型persistent（永久节点）ephemeral（临时节点）sequence（顺序节点）Watch机制自增id,Kafka相关概念MessageProducerBrokerTopicPartitionConsumerConsumergroupReplica读写如何保证kafka有且仅消费一次,Es相关概念ClusterNodeShardRepilca全文检索Es数据架构Es的特点和优势Es-sql：,Zookeeper集群和kafka
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论