2022年集团企业IT大数据平台建设综合解决方案完整版

集团企业IT大数据平台建设综合解决方案集团企业IT大数据平台建设综合解决方案集团企业IT大数据平台建设综合解决方案01IT大数据平台介绍02IT大数据平台部署03IT大数据平台使用04IT大数据平台运维集团企业IT大数据平台建设综合解决方案IT大数据平台介绍集团企业IT大数据平台建设综合解决方案日志处理的历史背景

日志没有被集中统一管理查看时需要登陆每个服务器和进入应用目录，使用脚本命令或程序查看

日志主要用于事后问题追查日志经常在安全事件发生后被关注没有对日志实时监控、分析

日志未被完整保留日志被定期清理，节省磁盘空间黑客入侵后抹去入侵记录日志

日志导入关系型数据库传统数据库无法适应TB级以上日志关系型数据库无法适应半结构化和非结构化日志信息不提供全文检索集团企业IT大数据平台建设综合解决方案日志的价值数据类型位置它可以告诉您什么应用日志本地日志文件、log4j、log4net、Weblogic、WebSphere、JBoss、.NET、PHP业务流程管理日志Web服务器、路由器、代理服务器和广告服务器系统配置文件数据库日志文件、审计表敏感数据存储在共享文件系统中通过命令行实用程序（例如Unix和Linux上的ps与iostat以及Windows上的性能监视器）显示的CPU、内存利用率和状态信息tcpdump和tcpflow可生成pcap或流量数据以及其他有用的数据包级和会话级信息路由器、交换机和网络设备上的Syslog用户活动、欺诈检测、应用性能业务流程日志点击流数据配置文件数据库审计日志文件系统审计日志跨渠道客户活动、购买、帐户变更以及问题报表可用性分析、数字市场营销和一般调查如何设置基础设施、调试故障、后门攻击、"定时炸弹"病毒如何根据时间修改数据库数据以及如何确定修改人监测并审计敏感数据读取权限操作系统度量、状态和诊断命令故障排除、分析趋势以发现潜在问题并调查安全事件数据包/流量数据性能降级、超时、瓶颈或可疑活动可表明网络被入侵或者受到远程攻击故障排除、分析、安全审计SyslogWeb访问日志Web访问日志会报告Web服务器处理的每个请求Web市场营销分析报表Web代理日志Web代理记录用户通过代理发出的每个Web请求监测并调查服务条款以及数据泄露事件集团企业IT大数据平台建设综合解决方案产品特点全网日志统一管理问题溯源与大数据集成定制化开发支持任何来源、格式日智能运维，智能告警，整合大数据存储、计算、搜索能力，对海量数据进行实时分析、挖掘。强大的数据处理和方便的扩展能力，以应用、插件的方式集成。志，例如TCP、UDP、及时发现问题、定位、数据库审计、文件等方原始数据取证，并自动式。通过采集、结构化、与用户、资产信息关联分类、归并、分析日志数据。集团企业IT大数据平台建设综合解决方案简介使用IT大数据系统进行日志数据的集中存储、管理和分析•Lion利用分布式存储计算框架，对大量的系统和应用产生的日志进行采集、监控和分析，保证日志的多副本安全存储和实时快捷的分析计算能力。Lion具有友好的用户界面，方便用户通过web界面中的可视化数据进行日常运维和问题快速定位。Lion支持多种日志格式的采集和解析，并提供定制化开发和第三方插件集成。••集团企业IT大数据平台建设综合解决方案功能介绍

支持日志文件上传、文件和目录监控、服务器端口监听、服务器性能监控等数据导入方式的界面化操作和进度查看。

数据搜索结果支持时间轴筛选、自定义过滤条件、字段结果分类统计。数据导入

通过数据的查询、过滤、聚合结果生成多种可视化图表，支持动态实时更新。

告警功能、主机管理、用户权限控制等。数据可视化数据搜索更多功能多种应用服务程序分析结果虚拟化设备日志数据IT大数据系统服务器路由交换集团企业IT大数据平台建设综合解决方案框架•LionUI具备友好交互的Web应用，进行数据管理和可视化的界面配置和展示LionUI全文检索数据可视化数据管理告警•LionService基于RPC的分布式服务设计，能快速处理复杂数据和业务LionService计算挖掘运维管理任务调度API•ElasticSearch基于Lucene的搜索引擎，分布式架构，具有集群，分片，副本等属性数据存储ElasticsearchPostgreSQL•Logstash日志接收、富化、转发的引擎。支持系统日志、webserver日志、应用日志等Spark数据采集BeatsLogstashStreamKafka•Beats日志采集器，搜集文件、Windows事件、网络流量、性能指标信息集团企业IT大数据平台建设综合解决方案IT大数据平台部署集团企业IT大数据平台建设综合解决方案软件环境名称版本要求操作系统CentOS6.5/7Redhat6.5/7Ubuntu14.04、15.10、16.04chrome37+浏览器Firefox25+IE10+JDK1.7.0_79Lion安装包内部集成环境Python2.7.9集团企业IT大数据平台建设综合解决方案部署方案控制台输入部署控制台提示，支持默认模式和自定义模式运行Lion安装包控制台输入配置信息Lion集群部署读取配置文件部署

一键部署，简单快捷配置Lion配置文件执行Lion安装命令Lion集群部署集团企业IT大数据平台建设综合解决方案安装前准备

集群主机检测网络安装包准备

安装包命名规则为lion-<version>.bin。发送安装包到Lion集群主节点。集群主机时间校对集群主机信息获取

获取集群主机IP、ssh端口(默认22)、root密码的信息。

集群主机名检测合法的hostname，不能为localhost。保证/etc/hosts中hostname和IP一一对应。集团企业IT大数据平台建设综合解决方案Lion安装控制台输入方式部署Lion过程集团企业IT大数据平台建设综合解决方案IT大数据平台使用功能点集团企业IT大数据平台建设综合解决方案主页数据可视化大屏展示主机列表主机管理全文搜索和精确过滤添加服务器和探针数据搜索结果导出、搜索条件另存为告警告警任务创建、编辑、启动、停止告警管理可视化图表多种可视化图表新建、保存、分享告警信息查询数据可视化可视化图表自由组合成仪表盘数据索引管理仪表盘数据管理定时刷新，图表联动和下钻保存的对象管理文件上传远程文件和目录监控、端口监听用户和角色管理数据监控访问控制数据导入数据库、系统性能、系统事件监控数据权限管理数据事件数据导入事件状态查询、启动、停止系统参数设置系统管理解析规则数据解析规则查看和配置后台任务管理主页集团企业IT大数据平台建设综合解决方案数据导入集团企业IT大数据平台建设综合解决方案数据采集数据解析数据存储数据搜索数据可视化集团企业IT大数据平台建设综合解决方案监测并审计敏感数据读取权限集团企业IT大数据平台建设综合解决方案集团企业IT大数据平台建设综合解决方案/usr/local/lion/lion_start.控制台输入命令：supervisorctltail–f<service-name>如何监控Windows日志志，例如TCP、UDP、集团企业IT大数据平台建设综合解决方案控制台输入命令：pm2logs集团企业IT大数据平台建设综合解决方案访问控制-用户和角色管理集团企业IT大数据平台建设综合解决方案Lion支持多种日志格式的采集和解析，并提供定制化开发和第三方插件集成。集团企业IT大数据平台建设综合解决方案集团企业IT大数据平台建设综合解决方案文件上传集团企业IT大数据平台建设综合解决方案数据监控场景

如何监控远程文件和目录如何接收转发的日志(TCP/UDP/SNMP)如何监控用户上网行为(HTTP/DNS)如何监听邮件服务(POP3/IMAP)如何监控数据库操作如何监控服务器性能如何监控Windows日志

集团企业IT大数据平台建设综合解决方案数据监控集团企业IT大数据平台建设综合解决方案采集流程集团企业IT大数据平台建设综合解决方案数据事件数据导入事件状态查询数据导入事件启动、停止、查看日志集团企业IT大数据平台建设综合解决方案解析规则集团企业IT大数据平台建设综合解决方案数据搜索具备快速自定的各种型态搜寻，而不是只有固定几种的字段，不需要指定数据的格式(format)，更可结合时间与关键词进行搜寻，呈现出清楚的搜寻结果，使用上就像Google一样的直观易用。键入关键词后任意搜寻

即时的在线查询自定义过滤条件自定义字段显示搜索结果导出搜索另存为告警集团企业IT大数据平台建设综合解决方案时间选择器使用时间范围挑选器指定检索事件的时间段。时间范围挑选器提供了许多可供选择的预设时间范围，但您也可以输入自定义时间范围围挑选器指定检索事件的时间段。相对时间选择：选择相对现在的时间范围自动刷新：选择刷新频率集团企业IT大数据平台建设综合解决方案数据可视化集团企业IT大数据平台建设综合解决方案新建可视化图表

支持多种可视化图表绘制通过数据的查询、过滤、聚合结果生成图表实时的可视化分析

报表钻取集团企业IT大数据平台建设综合解决方案编辑可视化1.度量2.聚合3.多维4.拆分表5.选项6.钻取故障排除、分析趋势以发现潜在问题并调查安全事件器提供了许多可供选择的预设控制台输入命令：supervisorctltail–f<service-name>如何监控远程文件和目录集团企业IT大数据平台建设综合解决方案集团企业IT大数据平台建设综合解决方案相对时间选择：选择相对现在的时间范围控制台输入命令：pm2list集团企业IT大数据平台建设综合解决方案LogTime（攻击日志时间戳）每分钟汇总一次访问控制-用户和角色管理集团企业IT大数据平台建设综合解决方案编辑可视化饼图1.将数据以字段srcAddress（攻击源地址）不同的值作为不同条目进行分组2.提取每个分组中的数据的统计数量，进行倒序排序，提取数量最大的前5个srcAddress值3.完成攻击源TOP5统计集团企业IT大数据平台建设综合解决方案编辑可视化折线图1.X轴为时间维度，使用时间序列聚合方法，将数据以时间LogTime（攻击日志时间戳）每分钟汇总一次2.Y轴为攻击次数，使用每分钟内数据的统计数量3.完成攻击次数变化趋势集团企业IT大数据平台建设综合解决方案新建仪表盘

自定义图表排列实时数据更新图表间数据动态关联可增加时间段和其它过滤条件

集团企业IT大数据平台建设综合解决方案保存和导出仪表盘

保存仪表盘将仪表盘导出PDF保存仪表盘时间范围共享仪表盘给其他用户

集团企业IT大数据平台建设综合解决方案主机管理主机类型服务器探针主机WindowsUbuntuCentsOS/Redhat集团企业IT大数据平台建设综合解决方案告警管理能够定期执行，并依据搜寻结果发出各项警示通知，可通过email等方式通知用户。集团企业IT大数据平台建设综合解决方案访问控制-用户和角色管理角色是权限集用户继承角色的权限集团企业IT大数据平台建设综合解决方案访问控制-数据权限功能权限数据权限索引权限对象权限可视化报表仪表盘搜索条件集团企业IT大数据平台建设综合解决方案个人设置更换主题数据权限设置主页修改密码修改个人属性集团企业IT大数据平台建设综合解决方案帮助页面集团企业IT大数据平台建设综合解决方案审计日志记录用户在IT大数据平台上的操作，用于审计用户行为，及时发现违规操作。集团企业IT大数据平台建设综合解决方案审计日志可视化TOP5访问用户检查恶意登陆热点访问地区热门功能统计集团企业IT大数据平台建设综合解决方案IT大数据平台运维集团企业IT大数据平台建设综合解决方案查看Lion各服务运行状态

控制台输入命令：supervisorctlstatus

控制台输入命