2022年集团企业大数据平台建设方案完整版

集团企业大数据平台建设方案大数据云平台01IT大数据平台介绍02IT大数据平台部署03IT大数据平台使用04IT大数据平台运维大数据22IT大数据平台介绍大数据33日志处理的历史背景

日志没有被集中统一管理查看时需要登陆每个服务器和进入应用目录，使用脚本命令或程序查看

日志主要用于事后问题追查日志经常在安全事件发生后被关注没有对日志实时监控、分析

日志未被完整保留日志被定期清理，节省磁盘空间黑客入侵后抹去入侵记录日志

日志导入关系型数据库传统数据库无法适应TB级以上日志关系型数据库无法适应半结构化和非结构化日志信息不提供全文检索大数据44日志的价值数据类型位置它可以告诉您什么应用日志本地日志文件、WebSphere、JBoss、.NET、PHPlog4j、log4net、Weblogic、业务流程管理日志Web服务器、路由器、代理服务器和广告服务器系统配置文件数据库日志文件、审计表敏感数据存储在共享文件系统中与通过命令行实用程序（例如iostat以及Windows上的性能监视器）显示的Unix和Linux上的ps故障排除、分析趋势以发现潜在问题并调查安全事件CPU、内存利用率和状态信息tcpdump其他有用的数据包级和会话级信息和tcpflow可生成pcap或流量数据以及路由器、交换机和网络设备上的Syslog用户活动、欺诈检测、应用性能业务流程日志点击流数据配置文件数据库审计日志文件系统审计日志跨渠道客户活动、购买、帐户变更以及问题报表可用性分析、数字市场营销和一般调查如何设置基础设施、调试故障、后门攻击、"定时炸弹"病毒如何根据时间修改数据库数据以及如何确定修改人监测并审计敏感数据读取权限操作系统度量、状态和诊断命令数据包/流量数据性能降级、超时、瓶颈或可疑活动可表明网络被入侵或者受到远程攻击故障排除、分析、安全审计SyslogWeb访问日志Web访问日志会报告Web服务器处理的每个请求Web市场营销分析报表Web代理日志Web代理记录用户通过代理发出的每个Web请求监测并调查服务条款以及数据泄露事件大数据55产品特点全网日志统一管理问题溯源与大数据集成定制化开发支持任何来源、格式日志，例如TCP、UDP、数据库审计、文件等方式。通过采集、结构化、分类、归并、分析日志数据。智能运维，智能告警，及时发现问题、定位、原始数据取证，并自动与用户、资产信息关联整合大数据存储、计算、搜索能力，对海量数据进行实时分析、挖掘。强大的数据处理和方便的扩展能力，以应用、插件的方式集成。大数据66简介使用IT大数据系统进行日志数据的集中存储、管理和分析•Lion利用分布式存储计算框架，对大量的系统和应用产生的日志进行采集、监控和分析，保证日志的多副本安全存储和实时快捷的分析计算能力。Lion具有友好的用户界面，方便用户通过web界面中的可视化数据进行日常运维和问题快速定位。Lion支持多种日志格式的采集和解析，并提供定制化开发和第三方插件集成。••大数据77功能介绍

数据导入

数据可视化支持日志文件上传、文件和目录监控、服务器端口监听、服务器性能监控等数据导入方式的界面化操作和进度查看。化图表，支持动态实时更新。通过数据的查询、过滤、聚合结果生成多种可视

数据搜索

更多功能数据搜索结果支持时间轴筛选、自定义过滤条件、字段结果分类统计。告警功能、主机管理、用户权限控制等。多种应用服务程序分析结果虚拟化设备日志数据IT大数据系统服务器路由交换大数据88框架•LionUI具备友好交互的Web应用，进行数据管理和可视化的界面配置和展示LionUI全文检索数据可视化数据管理告警•LionService基于RPC的分布式服务设计，能快速处理复杂数据和业务LionService计算挖掘运维管理任务调度API•ElasticSearch基于Lucene的搜索引擎，分布式架构，具有集群，分片，副本等属性数据存储ElasticsearchPostgreSQL•Logstash日志接收、富化、转发的引擎。支持系统日志、webserver日志、应用日志等Beats日志采集器，搜集文件、Windows事件、网络流量、性能指标信息Spark数据采集BeatsLogstashStreamKafka•大数据99IT大数据平台部署大数据1010软件环境名称版本要求操作系统CentOS6.5/7Redhat6.5/7Ubuntu14.04、15.10、16.04chrome37+浏览器Firefox25+IE10+JDK1.7.0_79Lion安装包内部集成环境Python2.7.9大数据1111部署方案控制台输入部署控制台提示，支持默认模式和自定义模式运行Lion安装包控制台输入配置信息Lion集群部署读取配置文件部署

一键部署，简单快捷配置Lion配置文件执行Lion安装命令Lion集群部署大数据1212安装前准备

集群主机检测网络安装包准备

安装包命名规则为lion-<version>.bin。发送安装包到Lion集群主节点。集群主机时间校对集群主机信息获取

获取集群主机IP、ssh端口(默认22)、root密码的信息。

集群主机名检测合法的hostname，不能为localhost。保证/etc/hosts中hostname和IP一一对应。大数据1313Lion安装控制台输入方式部署Lion过程大数据1414数据搜索结果支持时间轴筛选、自定义过滤条件、字段获取集群主机IP、ssh端口(默认22)、root密码的信息。Elasticsearch查看后台各服务运行状态路由器、交换机和网络设备上的Syslog故障排除、分析、安全审计日志主要用于事后问题追查件、网络流量、性能指标信息查看后台各服务运行状态控制台输入命令：pm2logs与通过命令行实用程序（例如iostat以及Windows上的性能监视器）显示的Unix和Linux上的ps故障排除、分析趋势以发现潜在问题并调查安全事件IT大数据平台使用大数据1515功能点主页数据可视化大屏展示主机列表主机管理全文搜索和精确过滤添加服务器和探针数据搜索结果导出、搜索条件另存为告警告警任务创建、编辑、启动、停止告警管理可视化图表多种可视化图表新建、保存、分享告警信息查询数据可视化可视化图表自由组合成仪表盘数据索引管理仪表盘数据管理定时刷新，图表联动和下钻保存的对象管理文件上传远程文件和目录监控、端口监听用户和角色管理数据监控访问控制数据导入数据库、系统性能、系统事件监控数据权限管理数据事件数据导入事件状态查询、启动、停止系统参数设置系统管理解析规则数据解析规则查看和配置后台任务管理大数据1616主页大数据1717数据导入数据采集数据解析数据存储数据搜索数据可视化大数据1818文件上传大数据1919数据监控场景

如何监控远程文件和目录如何接收转发的日志(TCP/UDP/SNMP)如何监控用户上网行为(HTTP/DNS)如何监听邮件服务(POP3/IMAP)如何监控数据库操作如何监控服务器性能如何监控Windows日志

大数据2020数据监控大数据2121采集流程大数据2222数据事件数据导入事件状态查询数据导入事件启动、停止、查看日志大数据2323解析规则大数据2424数据搜索具备快速自定的各种型态搜寻，而不是只有固定几种的字段，不需要指定数据的格式(format)，更可结合时间与关键词进行搜寻，呈现出清楚的搜寻结果，使用上就像Google一样的直观易用。键入关键词后任意搜寻即时的在线查询自定义过滤条件自定义字段显示搜索结果导出搜索另存为告警大数据2525时间选择器使用时间范围挑选器指定检索事件的时间段。时间范围挑选器提供了许多可供选择的预设时间范围，但您也可以输入自定义时间范围围挑选器指定检索事件的时间段。相对时间选择：选择相对现在的时间范围自动刷新：选择刷新频率大数据2626数据可视化大数据2727新建可视化图表支持多种可视化图表绘制通过数据的查询、过滤、聚合结果生成图表实时的可视化分析报表钻取大数据2828编辑可视化1.度量2.聚合3.多维4.拆分表5.选项6.钻取大数据2929编辑可视化饼图1.将数据以字段srcAddress（攻击源地址）不同的值作为不同条目进行分组2.提取每个分组中的数据的统计数量，进行倒序排序，提取数量最大的前5个srcAddress值3.完成攻击源TOP5统计大数据3030编辑可视化折线图1.X轴为时间维度，使用时间序列聚合方法，将数据以时间LogTime（攻击日志时间戳）每分钟汇总一次2.Y轴为攻击次数，使用每分钟内数据的统计数量3.完成攻击次数变化趋势大数据3131新建仪表盘自定义图表排列实时数据更新图表间数据动态关联可增加时间段和其它过滤条件大数据3232保存和导出仪表盘保存仪表盘将仪表盘导出PDF保存仪表盘时间范围共享仪表盘给其他用户大数据3333主机管理主机类型服务器探针主机WindowsUbuntuCentsOS/Redhat大数据3434告警管理能够定期执行，并依据搜寻结果发出各项警示通知，可通过email等方式通知用户。大数据3535访问控制-用户和角色管理角色是权限集用户继承角色的权限大数据3636访问控制-数据权限功能权限数据权限索引权限对象权限可视化报表仪表盘搜索条件大数据3737个人设置更换主题数据权限设置主页修改密码修改个人属性大数据3838的多副本安全存储和实时快捷的分析计算能力。/usr/local/lion/lion_install.时间范围，但您也可以输入自CPU、内存利用率和状态信息数据搜索结果支持时间轴筛选、自定义过滤条件、字段自动刷新：选择刷新频率ElasticSearch基于Lucene的搜索引擎，分相对时间选择：选择相对现在的时间范围传统数据库无法适应TB级以上日志使用时间范围挑选器指定检索访问控制-用户和角色管理志，例如TCP、UDP、布式架构，具有集群，分片，副本等属性NET、PHPlog4j、log4net、Weblogic、用户活动、欺诈检测、应用性能帮助页面大数据3939审计日志记录用户在IT大数据平台上的操作，用于审计用户行为，及时发现违规操作。大数据4040审计日志可视化TOP5访问用户检查恶意登陆热点访问地区热门功能统计大数据4141IT大数据平台运维大数据4242查看Lion各服务运行状态

控制台输入命令：supervisorctlstatus

控制台输入命令：pm2list